図面 (/)

技術 画像符号化装置、撮像装置、画像符号化方法、及びプログラム

出願人 キヤノン株式会社
発明者 小林幸史竹田英史
出願日 2018年1月24日 (3年1ヶ月経過) 出願番号 2018-009943
公開日 2019年8月1日 (1年6ヶ月経過) 公開番号 2019-129411
状態 未査定
技術分野 TV信号の圧縮,符号化方式
主要キーワード V形式 エッジオフセット LF処理 カウント機構 フィルタ処理用 分割領域単位 バンド位置 オルタネート
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

画像の分割領域の境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制する技術を提供する。

解決手段

動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置において、動画像に含まれる第1の画像を複数の分割領域に分割する分割手段と、第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて動画像に含まれる第2の画像を符号化する符号化手段と、符号化された第1の画像を復号する復号手段と、復号された第1の画像において複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、を備える。第1の画像が所定の符号化順において第2の画像の直前に位置し、第1の画像が動き補償フレーム間予測のための参照画像として使用される場合、符号化手段は、第1の画像における複数の分割領域の境界領域を動き補償フレーム間予測の探索範囲から除外する。

概要

背景

動画像国際標準符号化規格である、HEVC(High Efficiency Video Coding)符号化方式が普及し始めている。HEVC符号化方式では、従来のH.264符号化方式に対してタイル分割という技術が新たに追加されている(非特許文献1参照)。これは、画面タイルと呼ばれる複数の分割領域に分割し、タイルごとに順番に符号化動作を行うものである。例えば、画面を左右の2つのタイルに分割した場合、まず左のタイルの符号化動作を行った後に、右のタイルの符号化動作を行う。タイル分割を行わない通常の符号化動作では、1画面を左上からブロックごとにラスタ順に符号化を行うが、タイル分割の符号化動作ではタイルごとに順に符号化を行い、タイル内で左上からブロックごとにラスタ順で符号化を行う。従って、タイル分割を行わない場合と比べて、符号化順が異なることになる。

HEVC符号化方式でも、H.264符号化方式と同様にデブロッキングフィルタという処理が行われる。これは、ブロック境界に対してブロックノイズを除去するフィルタ処理である。通常、タイル分割を行わない1画面でのラスタ順の符号化動作の場合、ブロックごとにデブロッキングフィルタの処理が行われる。デブロッキングフィルタは、上下のブロック境界、及び左右のブロック境界にフィルタかけられる。そのため、エンコーダは通常、ブロック境界近辺ローカルデコード後の画素を、フィルタ処理用に内部に保持しておく。ラスタ順の処理の場合、左右境界のフィルタ用の画素についてはブロックごとに保持しておけばよい。上下境界のフィルタ用の画素については、上境界のフィルタ処理用の複数ラインの画素を保持しておけばよい。

タイル分割処理の場合、符号化順が通常とは異なる。この場合、タイル内でのデブロッキングフィルタ処理は問題ないが、タイル境界のデブロッキングフィルタ処理が問題になる。図2に例を示す。まず、エンコーダは左のタイル201の符号化処理を行い、デブロッキングフィルタ処理も行う。次に、エンコーダは右のタイル202の符号化処理を行う。ここで、タイル分割を行わない場合と符号化順が異なるため、タイル分割境界203にデブロッキングフィルタ処理を行う際に、1つ前に符号化されたブロックには、タイル分割境界203のデブロッキングフィルタ処理用の画素が存在しない。そのため、タイル分割境界203に対するデブロッキングフィルタ処理を可能にするためには、タイル分割境界203のデブロッキングフィルタ処理用の画素を取得可能にする何らかの構成が必要である。

特許文献1は、従来からデブロッキングフィルタ用に保持していた画素に加えて、左右のタイル分割境界(以下、「タイル境界」とも呼ぶ)近辺の画素を垂直方向解像度分すべて保持しておく技術を開示している。特許文献1の技術によれば、タイル境界近辺の垂直方向の解像度分の画素を全て保持しておくため、大量のバッファが必要となる。

或いは、1画面全体にタイル境界のデブロッキングフィルタ処理以外の符号化処理を全て行った後に、タイル境界に対してデブロッキングフィルタのみを行う構成が考えられる。即ち、エンコーダは、タイル境界のデブロッキングフィルタ処理以外の符号化処理を行い、1画面分のローカルデコード画像を一旦保存し、その後、タイル境界のデブロッキング処理を行うというように、2段階に分けて処理を行うことになる。この場合、タイル境界のデブロッキングフィルタ処理用に境界近辺の垂直方向の画素を保持しておく必要がないので、必要なバッファサイズを削減することができる。

概要

画像の分割領域の境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制する技術を提供する。動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置において、動画像に含まれる第1の画像を複数の分割領域に分割する分割手段と、第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて動画像に含まれる第2の画像を符号化する符号化手段と、符号化された第1の画像を復号する復号手段と、復号された第1の画像において複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、を備える。第1の画像が所定の符号化順において第2の画像の直前に位置し、第1の画像が動き補償フレーム間予測のための参照画像として使用される場合、符号化手段は、第1の画像における複数の分割領域の境界領域を動き補償フレーム間予測の探索範囲から除外する。

目的

本発明はこのような状況に鑑みてなされたものであり、分割領域単位で符号化される画像において分割領域の境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制する技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置であって、前記動画像に含まれる第1の画像を複数の分割領域に分割する分割手段と、前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化手段と、前記符号化された前記第1の画像を復号する復号手段と、前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、を備え、前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置し、前記第1の画像が前記動き補償フレーム間予測のための参照画像として使用される場合、前記符号化手段は、前記第1の画像における前記複数の分割領域の前記境界領域を前記動き補償フレーム間予測の探索範囲から除外することを特徴とする画像符号化装置。

請求項2

動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置であって、前記動画像に含まれる第1の画像を複数の分割領域に分割する分割手段と、前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化手段と、前記符号化された前記第1の画像を復号する復号手段と、前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、を備え、前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置する場合、前記符号化手段は、前記第1の画像を前記動き補償フレーム間予測のための参照画像として使用しないことを特徴とする画像符号化装置。

請求項3

前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置する場合、前記フィルタ手段による前記第1の画像のための前記フィルタ処理と、前記符号化手段による前記第2の画像の前記符号化とは、並列に実行されることを特徴とする請求項1又は2に記載の画像符号化装置。

請求項4

前記フィルタ処理は、デブロッキングフィルタ処理を含むことを特徴とする請求項1乃至3のいずれか1項に記載の画像符号化装置。

請求項5

前記複数の分割領域は、HEVC符号化方式のタイルであることを特徴とする請求項1乃至4のいずれか1項に記載の画像符号化装置。

請求項6

動き補償フレーム間予測のための参照画像として使用されない第1の画像と、動き補償フレーム間予測のための参照画像として使用される複数の第2の画像とを含む動画像を符号化する画像符号化装置であって、前記複数の第2の画像それぞれを複数の分割領域に分割する分割手段と、前記複数の第2の画像それぞれを分割領域単位で符号化し、動き補償フレーム間予測を用いて前記第1の画像を符号化する符号化手段と、前記符号化された前記複数の第2の画像それぞれを復号する復号手段と、前記復号された前記複数の第2の画像それぞれにおいて前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、を備え、前記符号化手段は、前記第1の画像を符号化する前に、前記複数の第2の画像のうち、前記第1の画像の符号化時に参照画像として使用される全ての画像と前記全ての画像の次に撮影された画像とを符号化することを特徴とする画像符号化装置。

請求項7

前記符号化された前記第1の画像及び前記複数の第2の画像それぞれをエントロピー符号化するエントロピー符号化手段を更に備え、前記エントロピー符号化手段は、前記次に撮影された画像をエントロピー符号化する前に前記第1の画像をエントロピー符号化することを特徴とする請求項6に記載の画像符号化装置。

請求項8

前記フィルタ処理は、デブロッキングフィルタ処理を含むことを特徴とする請求項6又は7に記載の画像符号化装置。

請求項9

前記複数の分割領域は、HEVC符号化方式のタイルであることを特徴とする請求項6乃至8のいずれか1項に記載の画像符号化装置。

請求項10

請求項1乃至9のいずれか1項に記載の画像符号化装置と、前記動画像を生成する撮像手段と、を備えることを特徴とする撮像装置

請求項11

動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置が実行する画像符号化方法であって、前記動画像に含まれる第1の画像を複数の分割領域に分割する分割工程と、前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化工程と、前記符号化された前記第1の画像を復号する復号工程と、前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ工程と、を備え、前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置し、前記第1の画像が前記動き補償フレーム間予測のための参照画像として使用される場合、前記符号化工程は、前記第1の画像における前記複数の分割領域の前記境界領域を前記動き補償フレーム間予測の探索範囲から除外することを特徴とする画像符号化方法。

請求項12

動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置が実行する画像符号化方法であって、前記動画像に含まれる第1の画像を複数の分割領域に分割する分割工程と、前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化工程と、前記符号化された前記第1の画像を復号する復号工程と、前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ工程と、を備え、前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置する場合、前記符号化工程は、前記第1の画像を前記動き補償フレーム間予測のための参照画像として使用しないことを特徴とする画像符号化方法。

請求項13

動き補償フレーム間予測のための参照画像として使用されない第1の画像と、動き補償フレーム間予測のための参照画像として使用される複数の第2の画像とを含む動画像を符号化する画像符号化装置が実行する画像符号化方法であって、前記複数の第2の画像それぞれを複数の分割領域に分割する分割工程と、前記複数の第2の画像それぞれを分割領域単位で符号化し、動き補償フレーム間予測を用いて前記第1の画像を符号化する符号化工程と、前記符号化された前記複数の第2の画像それぞれを復号する復号工程と、前記復号された前記複数の第2の画像それぞれにおいて前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ工程と、を備え、前記符号化工程は、前記第1の画像を符号化する前に、前記複数の第2の画像のうち、前記第1の画像の符号化時に参照画像として使用される全ての画像と前記全ての画像の次に撮影された画像とを符号化することを特徴とする画像符号化方法。

請求項14

コンピュータを、請求項1乃至9のいずれか1項に記載の画像符号化装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、画像符号化装置撮像装置画像符号化方法、及びプログラムに関する。

背景技術

0002

動画像国際標準符号化規格である、HEVC(High Efficiency Video Coding)符号化方式が普及し始めている。HEVC符号化方式では、従来のH.264符号化方式に対してタイル分割という技術が新たに追加されている(非特許文献1参照)。これは、画面タイルと呼ばれる複数の分割領域に分割し、タイルごとに順番に符号化動作を行うものである。例えば、画面を左右の2つのタイルに分割した場合、まず左のタイルの符号化動作を行った後に、右のタイルの符号化動作を行う。タイル分割を行わない通常の符号化動作では、1画面を左上からブロックごとにラスタ順に符号化を行うが、タイル分割の符号化動作ではタイルごとに順に符号化を行い、タイル内で左上からブロックごとにラスタ順で符号化を行う。従って、タイル分割を行わない場合と比べて、符号化順が異なることになる。

0003

HEVC符号化方式でも、H.264符号化方式と同様にデブロッキングフィルタという処理が行われる。これは、ブロック境界に対してブロックノイズを除去するフィルタ処理である。通常、タイル分割を行わない1画面でのラスタ順の符号化動作の場合、ブロックごとにデブロッキングフィルタの処理が行われる。デブロッキングフィルタは、上下のブロック境界、及び左右のブロック境界にフィルタかけられる。そのため、エンコーダは通常、ブロック境界近辺ローカルデコード後の画素を、フィルタ処理用に内部に保持しておく。ラスタ順の処理の場合、左右境界のフィルタ用の画素についてはブロックごとに保持しておけばよい。上下境界のフィルタ用の画素については、上境界のフィルタ処理用の複数ラインの画素を保持しておけばよい。

0004

タイル分割処理の場合、符号化順が通常とは異なる。この場合、タイル内でのデブロッキングフィルタ処理は問題ないが、タイル境界のデブロッキングフィルタ処理が問題になる。図2に例を示す。まず、エンコーダは左のタイル201の符号化処理を行い、デブロッキングフィルタ処理も行う。次に、エンコーダは右のタイル202の符号化処理を行う。ここで、タイル分割を行わない場合と符号化順が異なるため、タイル分割境界203にデブロッキングフィルタ処理を行う際に、1つ前に符号化されたブロックには、タイル分割境界203のデブロッキングフィルタ処理用の画素が存在しない。そのため、タイル分割境界203に対するデブロッキングフィルタ処理を可能にするためには、タイル分割境界203のデブロッキングフィルタ処理用の画素を取得可能にする何らかの構成が必要である。

0005

特許文献1は、従来からデブロッキングフィルタ用に保持していた画素に加えて、左右のタイル分割境界(以下、「タイル境界」とも呼ぶ)近辺の画素を垂直方向解像度分すべて保持しておく技術を開示している。特許文献1の技術によれば、タイル境界近辺の垂直方向の解像度分の画素を全て保持しておくため、大量のバッファが必要となる。

0006

或いは、1画面全体にタイル境界のデブロッキングフィルタ処理以外の符号化処理を全て行った後に、タイル境界に対してデブロッキングフィルタのみを行う構成が考えられる。即ち、エンコーダは、タイル境界のデブロッキングフィルタ処理以外の符号化処理を行い、1画面分のローカルデコード画像を一旦保存し、その後、タイル境界のデブロッキング処理を行うというように、2段階に分けて処理を行うことになる。この場合、タイル境界のデブロッキングフィルタ処理用に境界近辺の垂直方向の画素を保持しておく必要がないので、必要なバッファサイズを削減することができる。

0007

特開2017−50766号公報

先行技術

0008

H.265/HEVC教科書、大久保 榮[監修]、鈴木 輝彦、▲高▼誠之、中条 健[編]、2013年10月21日発行

発明が解決しようとする課題

0009

上述のように処理を2段階に分ける場合、処理時間が長くなる。処理時間を削減するために、2つの処理をピクチャ単位並列に行うことが考えられる。即ち、タイル境界のデブロッキングフィルタ処理以外の符号化処理と、タイル境界のデブロッキングフィルタ処理とを、ピクチャ単位のパイプライン処理で行うことができればよい。しかしながら、直前に符号化を行ったローカルデコード画像を参照画像として用いて符号化を行うためには、タイル境界のデブロッキングフィルタ処理が完了するのを待つ必要がある。そのため、例えばPピクチャの直後のBピクチャの符号化時などには、このようなパイプライン処理を適用することができない。

0010

本発明はこのような状況に鑑みてなされたものであり、分割領域単位で符号化される画像において分割領域の境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制する技術を提供することを目的とする。

課題を解決するための手段

0011

上記課題を解決するために、本発明は、動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置であって、前記動画像に含まれる第1の画像を複数の分割領域に分割する分割手段と、前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化手段と、前記符号化された前記第1の画像を復号する復号手段と、前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、を備え、前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置し、前記第1の画像が前記動き補償フレーム間予測のための参照画像として使用される場合、前記符号化手段は、前記第1の画像における前記複数の分割領域の前記境界領域を前記動き補償フレーム間予測の探索範囲から除外することを特徴とする画像符号化装置を提供する。

発明の効果

0012

本発明によれば、分割領域単位で符号化される画像において分割領域の境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制することが可能となる。

0013

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

図面の簡単な説明

0014

撮像装置100の構成を説明するブロック図。
タイル分割を伴う符号化動作について説明する図。
符号化対象画像入力順、符号化順、及び参照関係を示す図。
動きベクトル検出を行う探索範囲の制限を行わない場合の符号化動作について説明する図。
画像304(図4)が参照する参照画像の探索範囲を示す図。
探索範囲の制限を行う場合の画像306、304、305、309(図4)の符号化動作について説明する図。
撮像装置100が実行する符号化処理のフローチャート
撮像装置800の構成を説明するブロック図。
撮像装置900の構成を説明するブロック図。
画像符号化部902(図9)の詳細について説明する図。
撮像装置900が実行する符号化処理のフローチャート。
図11のフローチャートに従う符号化動作の例について説明する図。
撮像装置900が実行するエントロピー符号化処理のフローチャート。
図13のフローチャートに従うエントロピー符号化動作の例について説明する図。

実施例

0015

以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

0016

[第1の実施形態]
図1は、第1の実施形態に係る画像符号化装置を含む撮像装置100の構成を説明するブロック図である。以下では、HEVC符号化方式により動画像の符号化を行う例について説明するが、本実施形態の符号化方式はHEVC符号化方式に限定されない。

0017

最初に、タイル分割を行わない通常の符号化動作について説明する。被写体からの光束が、レンズ101を通して撮像部102に入力される。撮像部102は、入力された光束をデジタル画素データに変換し、現像処理部103へ出力する。

0018

現像処理部103は、デベイヤー処理、キズ補正ノイズ除去、YCbCr形式への色変換などの各種画像処理を行う。画像処理後の、圧縮符号化を行うことができる形式になった画像が、これから符号化を行う対象である符号化対象画像として符号化フレームバッファ104に入力される。

0019

動き予測部105は、符号化フレームバッファ104に格納されている符号化対象画像と、参照フレームバッファ116に格納されている参照画像との間でブロックマッチングをとり、動きベクトル検出を行う。その際に、参照画像範囲設定部118が、動きベクトル検出を行う探索範囲の設定を行う。動き予測部105は、符号化対象画像と、検出された動きベクトル位置予測画像との間で画素の差分をとり、差分画像直交変換部106に出力する。また、動き予測部105は、ローカルデコード画像作成用に、予測画像を動き補償部113に出力する。

0020

直交変換部106は、差分画像に対して離散コサイン変換を行うことにより変換係数を生成し、量子化部107に出力する。

0021

量子化部107は、直交変換部106から送られてきた変換係数に対して、量子化制御部108が出力する量子化ステップ量子化値)に従って量子化を行う。量子化された変換係数は、符号化ストリーム作成のために可変長符号化部109へ出力される。また、量子化された変換係数は、ローカルデコード画像を作成するために、逆量子化部111へ出力される。

0022

可変長符号化部109は、量子化された変換係数に対してジグザグスキャン又はオルタネートスキャン等を行い、可変長符号化を行う。また、可変長符号化部109は、動きベクトル、量子化値、マクロブロック分割情報、適応オフセット処理パラメータなどの符号化方式情報に対して可変長符号化を行う。可変長符号化部109は、符号化された変換係数に対して符号化された符号化方式情報を付加することにより、符号化ストリームを生成する。生成された符号化ストリームは、記録メディア110に保存される。また、可変長符号化部109は、符号化の際にマクロブロックごとの発生符号量を算出し、量子化制御部108に出力する。

0023

量子化制御部108は、可変長符号化部109から送られてくる発生符号量を用いて、目標符号量を達成するように量子化値を決定し、量子化部107に出力する。

0024

逆量子化部111は、量子化部107から送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。この変換係数は逆直交変換部112に出力される。

0025

逆直交変換部112は、逆量子化部111から出力された変換係数に対して逆離散コサイン変換を行うことにより差分画像を生成する。生成された差分画像は動き補償部113に出力される。

0026

動き補償部113は、動き予測部105から送られてきた動きベクトル位置の予測画像と、逆直交変換部112から送られてきた差分画像とを加算することにより、ローカルデコード用の画像データを生成する。生成された画像データは、デブロッキングフィルタ部114に出力される。

0027

デブロッキングフィルタ部114は、動き補償部113から送られてきた画像データに対してデブロッキングフィルタをかける。デブロッキングフィルタ後の画像データは、適応オフセット処理部115に出力される。

0028

適応オフセット処理部115は、バンドオフセット処理、エッジオフセット処理、又は何も処理をしない、のいずれかの選択を行い、適応オフセット処理を行うバンド位置エッジ方向オフセット値などを決定する。適応オフセット処理部115は、デブロッキングフィルタ後の画像データに対して適応オフセット処理を行い、適応オフセット処理後の画像をローカルデコード画像として参照フレームバッファ116に格納する。また、適応オフセット処理部115は、適応オフセット処理用のパラメータ(適応オフセット処理としてどの処理を選択したかの情報、バンド位置、エッジ方向、オフセット値など)を符号化ストリームに含めるために、可変長符号化部109に出力する。

0029

以上の処理により、符号化ストリーム及びローカルデコード画像が作成される。

0030

次に、タイル分割を伴う符号化動作について説明する。ここでは、図2に示すように符号化対象画像を左右のタイル(分割領域)に2分割した場合について説明する。まず、左のタイル201について、上述した通常の符号化動作と同様に、タイル内でラスタ順に符号化動作が行われる。タイル201の符号化動作が完了したら、右のタイル202について同様に符号化動作が行われる。但し、タイル202の符号化動作の際に、タイル分割境界203には、デブロッキングフィルタ処理は行われない。

0031

なお、タイル201もタイル202も、タイル分割境界203の画素を含むマクロブロック(CTU)においては、適応オフセット処理を行わないものとする。これは、適応オフセット処理はデブロッキングフィルタ処理後の画素に対して行う必要があるためである。

0032

ピクチャ全体の符号化処理が完了し、参照フレームバッファ116にローカルデコード画像が格納された後に、タイル分割境界203のデブロッキングフィルタ処理が行われる。具体的には、タイル境界デブロッキングフィルタ部117は、タイル分割境界203のデブロッキングフィルタ処理に必要な画素を参照フレームバッファ116から読み出す。そして、タイル境界デブロッキングフィルタ部117は、タイル分割境界203のデブロッキングフィルタ処理を行い、デブロッキングフィルタ処理後の画素を参照フレームバッファ116の同じ場所に格納する。

0033

図3は、符号化対象画像の入力順、符号化順、及び参照関係を示す図である。図3には、符号化対象画像として、順番に入力される画像301から画像310までが示されている。符号化は、これらの画像の順番を入れ替えて行われる。画像303が入力された後、最初にIピクチャとして画像303が符号化される。画像303はIピクチャなので、画面内のみで符号化が行われる。次に、Bピクチャとして画像301、302が符号化される。画像301、302の符号化は、動き補償フレーム間予測を用いて行われ、画像303のロ−カルデコード画像が参照画像として使用される。次に、Pピクチャとして画像306が符号化される。画像306の符号化は、動き補償フレーム間予測を用いて行われ、画像303のローカルデコード画像が参照画像として使用される。次に、Bピクチャとして画像304、305が符号化される。画像304、305の符号化は、動き補償フレーム間予測を用いて行われ、画像303、306のローカルデコード画像が参照画像として使用される。次に、Pピクチャとして画像309が符号化される。画像309の符号化は、動き補償フレーム間予測を用いて行われ、画像306のローカルデコード画像が参照画像として使用される。

0034

ここで、図4を参照して、動きベクトル検出を行う探索範囲の制限(詳細は後述)を行わない場合の符号化動作について説明する。図4には、画像306、304、305、309の符号化動作が、タイル境界のデブロッキングフィルタ処理以外の符号化処理(Enc処理)と、タイル境界のデブロッキングフィルタ処理(Deb処理)とに分けて示されている。

0035

最初に、画像303のローカルデコード画像を参照して、画像306(Pピクチャ)のEnc処理401が行われる。その後、画像306のDeb処理402が行われる。次に、画像303、306のローカルデコード画像を参照して、画像304(Bピクチャ)のEnc処理403が行われる。その後、画像304のDeb処理404が行われる。Deb処理404と並行して、画像303、306のローカルデコード画像を参照して、画像305(Bピクチャ)のEnc処理405が行われる。その後、画像305のDeb処理406が行われる。Deb処理406と並行して、画像306のローカルデコード画像を参照して、画像309(Pピクチャ)のEnc処理407が行われる。その後、画像309のDeb処理408が行われる。

0036

このように、画像304のDeb処理404及び画像305のEnc処理405、並びに画像305のDeb処理406及び画像309のEnc処理407は、パイプライン処理として並列に行うことができる。しかし、画像304のEnc処理403は、直前に符号化が行われている画像303のローカルデコード画像を参照画像として用いるため、画像303のDeb処理402と並列に行うことができない。そのため、Enc処理403を実行するためには、Deb処理402が完了するのを待たなければならず、パイプラインで処理を行うことができない。

0037

次に、図5及び図6を参照して、動きベクトル検出を行う探索範囲の制限を行う場合の符号化動作について説明する。画像304の符号化のように、直前に符号化された画像を参照画像として使用する符号化を行う場合、参照画像範囲設定部118は、動きベクトル検出を行う参照範囲(探索範囲)を通常よりも狭い範囲に設定する。

0038

図5に、画像304が参照する参照画像の探索範囲を示す。画像304の符号化には、画像303、306のローカルデコード画像が参照画像として使用される。図5には、画像303のローカルデコード画像501、及び画像306のローカルデコード画像502が示されている。網掛けで示す探索範囲503は、ローカルデコード画像501の探索範囲である。ローカルデコード画像501は、画像304の直前に符号化された画像ではないため、探索範囲503は画像全体である。即ち、探索範囲の制限は行われず、探索範囲は通常の符号化動作の場合と同じである。ローカルデコード画像502のうち、領域504は、タイル境界のデブロッキングフィルタ処理部分である。ローカルデコード画像502から領域504を除いた部分である探索範囲505、506(網掛け部分)は、ローカルデコード画像502の探索範囲である。このように、直前に符号化が行われた画像が参照画像として使用される場合、参照画像範囲設定部118は、領域504(複数のタイルの境界領域)を探索範囲から除外する。従って、画像304の符号化時に領域504は参照されることがなく、タイル境界(領域504)のデブロッキングフィルタ処理を行う前にローカルデコード画像502を参照画像として用いることが可能になる。

0039

図6を参照して、探索範囲の制限を行う場合の画像306、304、305、309の符号化動作について説明する。最初に、画像303のローカルデコード画像を参照して、画像306(Pピクチャ)のEnc処理601が行われる。その後、画像306のDeb処理602が行われる。Deb処理602と並行して、画像303、306のローカルデコード画像を参照して、画像304(Bピクチャ)のEnc処理603が行われる。その後、画像304のDeb処理604が行われる。Deb処理604と並行して、画像303、306のローカルデコード画像を参照して、画像305(Bピクチャ)のEnc処理605が行われる。その後、画像305のDeb処理606が行われる。Deb処理606と並行して、画像306のローカルデコード画像を参照して、画像309(Pピクチャ)のEnc処理607が行われる。その後、画像309のDeb処理608が行われる。

0040

図6の符号化動作は、探索範囲の制限を行わない場合(図4参照)と比較して、画像306のDeb処理602と画像304のEnc処理603が並列に実行される点が異なる。直前に符号化されたローカルデコード画像を参照画像として使用する場合においてもEnc処理とDeb処理を並列に行えるため、パイプライン処理を保ったまま符号化処理が行える。そのため、処理時間を削減することができる。

0041

図7は、撮像装置100が実行する符号化処理のフローチャートである。なお、ここでは符号化処理のうち主に探索範囲の制限に関係する処理について説明を行うものとし、その他の処理(例えば、符号化ストリーム作成処理など)については説明を省略する。また、本フローチャートの各ステップの処理を実行する機能は、任意のハードウェア又はソフトウェアにより実装可能である。例えば、ソフトウェアによる実装の場合、撮像装置100のCPUがROMに格納された制御プログラムをRAMに展開して実行することにより、これらの機能を実現することができる。

0042

S701で、撮像装置100は、符号化対象画像を取得する。符号化対象画像の取得は、画像の入力順とは異なる所定の符号化順に従って行われる(図3参照)。

0043

S702で、撮像装置100は、符号化対象画像を複数のタイルに分割する。

0044

S703で、撮像装置100は、符号化対象画像がIピクチャとして符号化される画像であるか否かを判定する。符号化対象画像がIピクチャとして符号化される画像である場合、処理はS704に進み、そうでない場合、処理はS705に進む。

0045

S704で、撮像装置100は、符号化対象画像に対して、タイル境界のデブロッキングフィルタ処理以外の符号化処理をタイル単位(分割領域単位)で実行する。即ち、撮像装置100は、各タイルのフレーム内符号化及び復号、及びタイル境界を除く領域に対するデブロッキングフィルタ処理を実行する。

0046

S703において符号化対象画像がIピクチャとして符号化される画像でないと判定された場合、符号化対象画像はPピクチャ又はBピクチャとして符号化される画像である。即ち、符号化対象画像に対して、以前に符号化された1以上の画像を参照画像として用いる動き補償フレーム間予測符号化が行われる。この1以上の参照画像に関して、S705で、撮像装置100は、直前に符号化された参照画像が存在するか否かを判定する。「直前に符号化された参照画像」とは、符号化順において現在の符号化対象画像の直前に位置する参照画像である。直前に符号化された参照画像が存在する場合、処理はS706に進み、そうでない場合、処理はS707に進む。

0047

S706で、撮像装置100は、参照画像範囲設定部118を用いて、直前に符号化された参照画像について、動き補償フレーム間予測の探索範囲からタイル境界を除外する。

0048

S707で、撮像装置100は、符号化対象画像に対して、タイル境界のデブロッキングフィルタ処理以外の符号化処理をタイル単位で実行する。即ち、撮像装置100は、各タイルの動き補償フレーム間予測符号化及び復号、及びタイル境界を除く領域に対するデブロッキングフィルタ処理を実行する。S706において探索範囲からタイル境界を除外する処理が行われた場合、S707の動き補償フレーム間予測符号化において、除外されたタイル境界の探索は行われない。

0049

S708で、撮像装置100は、S704又はS707においてタイル境界のデブロッキングフィルタ処理以外の符号化処理が行われた符号化対象画像に対して、タイル境界のデブロッキングフィルタ処理を行う。なお、S708の処理は、次の符号化対象画像に対するS704又はS707の処理と並行して実行可能である。そのため、撮像装置100は、S708の処理の完了を待たずに、次のS709の処理を実行する。

0050

S709で、撮像装置100は、次の符号化対象画像が存在するか否かを判定する。次の符号化対象画像が存在する場合、処理はS702に戻り、そうでない場合、本フローチャートの符号化処理は終了する。次の符号化対象画像が現在の符号化対象画像を参照してPピクチャ又はBピクチャとして符号化される場合、現在の符号化対象画像に対するS708の処理が完了する前に、S707において現在の符号化対象画像が参照される可能性がある。この場合であっても、S705においてタイル境界が探索範囲から除外されるため、現在の符号化対象画像に対するS708の処理が完了する前に、S707において次の符号化対象画像に対する動き補償フレーム間予測符号化を行うことが可能である。

0051

以上説明したように、第1の実施形態によれば、撮像装置100は、符号化対象画像をタイル単位で符号化して復号する。また、Pピクチャ又はBピクチャに対応する符号化対象画像については、撮像装置100は、動き補償フレーム間予測を用いて符号化を行う。現在の符号化対象画像の動き補償フレーム間予測のために参照画像として使用される符号化対象画像が、符号化順において現在の符号化対象画像の直前に位置する場合がある。この場合、撮像装置100は、この直前の符号化対象画像におけるタイルの境界領域を、動き補償フレーム間予測の探索範囲から除外する。これにより、直前の符号化対象画像におけるタイルの境界領域に対するデブロッキングフィルタ処理が完了する前に、現在の符号化対象画像を符号化することが可能となる。従って、タイル単位で符号化される画像においてタイルの境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制することが可能となる。

0052

[第2の実施形態]
第2の実施形態では、直前に符号化された画像を参照画像として使用せずに動き補償フレーム間予測符号化を行う構成について説明する。

0053

図8は、第2の実施形態に係る画像符号化装置を含む撮像装置800の構成を説明するブロック図である。以下、主に第1の実施形態と異なる点について説明する。

0054

撮像装置800は、参照画像範囲設定部118(図1参照)の代わりに、参照画像選択部801を備える。参照画像選択部801は、ピクチャごとにどの画像を参照画像として用いるかを選択する。図3を参照して、通常の符号化時の参照関係を説明する。Pピクチャである画像306は、画像303のローカルデコード画像を参照する。Bピクチャである画像304、305は、前方参照として画像303のローカルデコード画像を参照し、後方参照として画像306のローカルデコード画像を参照する。このように、Bピクチャでは通常、前方参照と後方参照の2つの参照を行う。

0055

ここで、画像304は、符号化順において画像306の次に位置する。第1の実施形態において図4を参照して説明したように、符号化順で直前に位置するローカルデコード画像を参照画像として用いる場合、Deb処理が終わるのを待たねばならず、パイプライン処理を行うことができない。そのため、符号化に要する時間が長くなる。

0056

これを回避するために、本実施形態では、撮像装置800は、符号化順で直前に位置するローカルデコード画像は参照画像として用いないものとする。参照画像選択部801は、符号化順と通常の符号化動作時の参照関係とに基づき、現在の符号化対象画像の符号化に用いる参照画像を選択する。

0057

再び図3を参照して、参照画像選択の例を説明する。画像306は、符号化順で3ピクチャ前の画像303のローカルデコード画像を参照画像として用いる。画像304は、通常であれば画像303と画像306のローカルデコード画像を参照する。しかし、画像306は直前に符号化された画像である。そのため、参照画像選択部801は、4ピクチャ前に符号化された画像303のローカルデコード画像のみを参照画像として選択する。

0058

画像305は、通常の符号化動作と同様、5ピクチャ前に符号化された画像303のローカルデコード画像と、2ピクチャ前に符号化された画像306のローカルデコード画像を参照画像として用いる。

0059

画像304の符号化時に、符号化順において直前に位置する画像306を参照画像として使用しないことにより、画像306のDeb処理を待つことなく画像304の符号化を行うことができ、ピクチャパイプラインで処理を行うことができる。

0060

以上説明したように、第2の実施形態によれば、撮像装置800は、符号化対象画像をタイル単位で符号化して復号する。また、Pピクチャ又はBピクチャに対応する符号化対象画像については、撮像装置800は、動き補償フレーム間予測を用いて符号化を行う。この時、撮像装置800は、符号化順において現在の符号化対象画像の直前に位置する符号化対象画像を、動き補償フレーム間予測のための参照画像として使用しない。これにより、直前の符号化対象画像におけるタイルの境界領域に対するデブロッキングフィルタ処理が完了する前に、現在の符号化対象画像を符号化することが可能となる。従って、タイル単位で符号化される画像においてタイルの境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制することが可能となる。

0061

[第3の実施形態]
図9は、第3の実施形態に係る画像符号化装置を含む撮像装置900の構成を説明するブロック図である。撮像装置900は、撮像部909、画像処理部901、画像符号化部902、記録部903、メモリバス904、フレームメモリ905、CPU906、フラッシュメモリ907、及びCPUバス908を含む。

0062

撮像部909は、レンズやCCD等のカメラ部及び光学部を含み、レンズから取り込んだ光信号センサにて電気信号へ変換する。撮像部909は、変換後の電気信号を、ベイヤー形式デジタルRAW画像データとして、メモリバス904を介して、大容量DRAM等のフレームメモリ905に出力する。

0063

画像処理部901は、RAW画像に対してデベイヤー処理(デモザイク処理)を施し、
輝度色差からなる信号に変換する。その後、画像処理部901は、各信号に含まれるノイズを除去し、光学的な歪を補正し、画像を適正化する等、所謂現像処理を行う。そして、画像処理部901は、現像後の画像データを圧縮符号化するため、再度フレームメモリ905へ出力する。

0064

画像符号化部902は、デジタル画像データをフレームメモリ905から読み出し
動き補償フレーム間予測とエントロピー符号化による画像データの冗長性を利用した映像圧縮を行い、符号化ビットストリームを出力する。以下の説明において、画像符号化部902は、映像圧縮方式としてHEVC符号化方式を採用するものとするが、本実施形態の映像圧縮方式はHEVC符号化方式に限定されない。

0065

記録部903は、符号化ビットストリームを、MP4やMOV形式等の、各種PCアプリケーション再生編集互換性が保たれている所定のコンテナ形式に変換し、USBメモリSDカード、又はハードディスクなどの不揮発メモリ媒体に記録する。

0066

メモリバス904は、撮像部909、画像処理部901、画像符号化部902、及び記録部903と、フレームメモリ905との間を接続し、画像データ、符号化データ、各種パラメータデータを高速転送するためのデータバスである。バス転送方式は、ISAPCI−Express、AXI等の標準的なバス規格でもよいし、独自のバス方式を採用してもよい。

0067

フレームメモリ905は、画像符号化部902の符号化処理の過程で使用する原画像データや、フレーム間予測のための参照画像データ、符号化ビットストリーム等を格納する。

0068

CPU906は、撮像部909、画像処理部901、画像符号化部902、記録部903の起動や停止、割り込み通知などのハードウェア制御を、CPUバス908を介して行うコントローラである。

0069

フラッシュメモリ907は、CPU906を動かすプログラムを格納した不揮発性メモリである。CPU906は、フェッチ動作でフラッシュメモリ907へアクセスすることができる。

0070

CPUバス908は、CPU906と各ペリフェラルとを接続する制御用のバスである。CPUバス908は、メモリバス904と同様の標準化バス規格方式を採用してもよいし、十分な処理余裕があれば低速なI2C等のシリアル方式を採用してもよい。

0071

次に、図10を参照して、画像符号化部902の詳細について説明する。画像符号化部902は、イントラ予測部1000、インター予測部1001、イントラインター判定部1002、予測画像生成部1003、整数変換部1004、量子化部1005、エントロピー符号化部1006、及び符号量制御部1007を含む。画像符号化部902はまた、逆量子化部1008、逆整数変換部1009、ループフィルタ1010、ポストループフィルタ1011、減算器1012、及び加算器1013を含む。

0072

イントラ予測部1000は、フレームメモリ905に格納されたフレーム画像データから符号化対象ブロックの画像データを読み出し、符号化対象ブロック周辺参照画素データから生成される複数のイントラ予測画像との相関を計算する。そして、イントラ予測部1000は、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部1002へ通知する。

0073

インター予測部1001は、フレームメモリ905に格納された符号化対象画像を受信すると共に、符号化済みの画像データを参照画像として受信する。そして、インター予測部1001は、ブロック単位で画素データ同士のパターンマッチングを行って動きベクトルを算出する。

0074

イントラ・インター判定部1002は、前述のイントラ予測部1000と、インター予測部1001からの出力の結果に基づいて、符号化のための予測方式を選択する。具体的な選択方法としては、符号化対象画像ブロックについてイントラ予測部1000において計算した予測画像と、インター予測部1001で導出した動きベクトルを用いて参照画像から生成した予測画像とについて、符号化対象画像との予測誤差をそれぞれ導出して比較する。或いは、イントラ予測部1000や、インター予測部1001で予測誤差を求めておき、イントラ・インター判定部1002にて予測誤差を評価値として取得後、評価値を比較する方法でもよい。イントラ・インター判定部1002は、予測誤差の比較の結果、差分値が小さい方の予測モードを符号化予測モードと判定して予測画像生成部1003に出力する。

0075

予測画像生成部1003は、イントラ・インター判定部1002で選択された予測モードに応じて予測画像を生成する。生成された予測画像は、入力画像との差分画像算出のために減算器1012へ出力される。予測画像はまた、ローカルデコード画像生成のために加算器1013へも出力される。

0076

整数変換部1004は、ブロック単位で画素データの空間解像度変換を行って空間周波数領域に変換する。

0077

量子化部1005は、目標符号量に基づいて量子化係数を算出し、整数変換部1004で空間周波数領域に変換された係数データに対して量子化処理を行う。量子化された係数データ(量子化データ)は、エントロピー符号化を行うためにエントロピー符号化部1006へ出力される。量子化された係数データはまた、参照画像や予測画像を算出するために逆量子化部1008へも出力される。

0078

エントロピー符号化部1006は、量子化部1005にて量子化された係数データに対して、CABAC(コンテキスト適応算術符号化)方式等のビットデータの出現確率の偏りを利用したエントロピー符号化による情報圧縮を行う。また、インター予測の場合には、エントロピー符号化部1006は、動き予測で用いたベクトル値に対してもエントロピー符号化を行う。エントロピー符号化部1006は、符号化データに対して、復号処理のために必要なパラメータ(SPSやPPS等のヘッダ情報)を付加し、所定のデータフォーマットに整形してフレームメモリ905に出力する。出力データはフレームメモリ905に格納され、上述の記録部903にて所定のコンテナ形式に変換された後に、ファイルとして記録媒体に保存される。

0079

符号量制御部1007は、エントロピー符号化部1006から出力された符号化データの符号量を取得し、ビットレートバッファモデルに基づいて1ピクチャ当たりの目標符号量を算出する。そして、符号量制御部1007は、算出された目標符号量を量子化部1005に設定するフィードバック制御を行う。

0080

逆量子化部1008は、量子化部1005にて量子化された係数データに対して、再度量子化係数を乗じて係数データを計算する。

0081

逆整数変換部1009は、逆量子化部1008から出力された係数データを逆整数変換することにより画像データを生成する。

0082

ループフィルタ1010は、逆整数変換部1009から出力された画像データと予測画像とを加算した画像データに対して、ブロック境界で発生する符号化歪みを軽減するフィルタ処理(例えばデブロッキングフィルタ処理)を施す。ループフィルタ1010は、フィルタ処理された画像データを、フレームメモリ905へローカルデコード画像として出力する。なお、符号化対象画像がHEVC規格で定められる水平方向にタイル分割して符号化される場合、タイル境界を跨ぐフィルタ処理を行う必要がある画素については、ループフィルタ1010はフィルタ処理をスキップする。

0083

ポストループフィルタ1011は、タイル単位での符号化処理とは独立して動作する。ポストループフィルタ1011は、フレームメモリ905上に格納された1画面分のローカルデコード画像について、ループフィルタ1010でフィルタ処理をスキップしたタイル境界部(分割領域の境界領域)の画素データを再度読み出し、フィルタ処理を行う。

0084

なお、上述のエントロピー符号化部1006及び符号量制御部1007は、通常1画面分のピクチャ単位で制御を行い、その他の処理ブロックは、所定の矩形画素ブロック単位で制御を行うものとする。特に、HEVC方式においては、量子化はCU(Coding Unit)、動きベクトル探索はPU(Prediction Unit)、整数変換はTU(Transform Unit)の単位で行われる。

0085

図11は、撮像装置900が実行する符号化処理のフローチャートである。なお、ここでは符号化処理のうち主に符号化順の制御に関係する処理について説明を行うものとし、その他の処理(例えば、符号化ストリーム作成処理など)については説明を省略する。撮像装置900が、タッチパネルやボタン等のインタフェース(不図示)からのユーザ操作トリガとして動画記録状態になると、1フレーム期間毎に本フローチャートの処理が実行される。

0086

最初に、S1101で、画像符号化部902は、撮像装置900が動画を記録中であるか否かを判定する。動画を記録中の場合、図10を参照して説明した1画面分の符号化処理が開始し、本フローチャートの処理はS1102に進む。動画を記録中でない場合、画像符号化部902は、ユーザ操作により動画記録の停止指示がなされたものと判断し、本フローチャートの処理を終了する。

0087

S1102で、画像符号化部902は、符号化対象画像のピクチャタイプが、参照ピクチャとして使われるIピクチャ又はPピクチャであるか否かを判定する。符号化対象画像がIピクチャ又はPピクチャの場合、処理はS1103に進み、そうでない場合(即ち、符号化対象画像が参照ピクチャとして使用されないBピクチャの場合)、処理はS1106に進む。

0088

S1103で、画像符号化部902は、符号化対象画像についてタイルによる画面分割を行い、タイル単位で1フレーム期間内に1画面分の画像符号化を実行する。

0089

S1104で、画像符号化部902は、全タイル、即ち1ピクチャ全体の符号化が完了したか否かを判定する。この判定は、タイル単位の符号化処理が完了したタイミングで実行される。なお、タイル単位の符号化完了を検出する方法については特に限定されないが、例えばポーリングにより動作状態を繰り返し問い合わせる方式や、割り込み通知による方式などを利用可能である。全タイルの符号化が完了した場合、処理はS1105に進み、そうでない場合、処理はS1103に戻る。

0090

S1105で、画像符号化部902は、ポストループフィルタ1011により、符号化対象画像のローカルデコード画像のタイル境界に対してフィルタ処理(以下、「ポストLF処理」とも呼ぶ)を施す。ポストループフィルタ1011は、画像符号化部902内のその他のブロックとは独立して動作する。そのため、画像符号化部902は、ポストLF処理の完了を待たずに、処理をS1101に戻して後続ピクチャの符号化を実行することができる。

0091

S1106で、画像符号化部902は、前回符号化したI又はPピクチャが現在の符号化対象Bピクチャの参照画像として使用されるか否かをする。前回符号化したI又はPピクチャが現在の符号化対象Bピクチャの参照画像として使用される場合、処理はS1107に進み、そうでない場合、処理はS1108に進む。

0092

前回符号化したI又はPピクチャが現在の符号化対象Bピクチャの参照画像として使用される場合、参照画像のタイル境界に対するポストLF処理がまだ完了していない可能性がある。そのため、このタイミングで現在の符号化対象Bピクチャを符号化すると、タイル境界にフィルタのかかっていないローカルデコード画像を参照してしまうことになる。そこで、S1107で、画像符号化部902は、入力順において後続するI又はPピクチャ(前回符号化したI又はPピクチャの次に撮影されたI又はPピクチャ)を先に符号化するように符号化順序を並べ替える。これにより、参照画像として使用されるピクチャに対するポストLF処理が完了した後にBピクチャの符号化を開始することが可能となる。なお、符号化順序の並べ替えを可能とするため、フレームメモリ905には、並べ替えによる処理遅延許容する十分な容量のバッファが備わっているものとする。

0093

上記の並び替えにより符号化順序が遅くなったBピクチャについて再びS1106の判定が行われる場合、前回符号化したI又はPピクチャは現在の符号化対象Bピクチャの参照画像として使用されない。そのため、処理はS1108に進む。この場合、参照画像として使用されるI又はPピクチャのポストLF処理は既に完了していると考えられる。そこで、S1108で、画像符号化部902は、Bピクチャの符号化を行う。

0094

次に、図12を参照して、図11のフローチャートに従う符号化動作の例について説明する。ここでは、Bピクチャが前後に撮影されたIピクチャ又はPピクチャを参照するケースについて説明する。図12には、符号化対象画像の入力順(撮像部909により取得され画像処理部901により現像されフレームメモリ905に入力された順序)、及び符号化順(ポストLF処理以外の画像符号化部902の符号化処理の順序)が示されている。また、ポストLF処理の実行順序も示されている。また、図12には、ピクチャタイプが示されると共に、各ピクチャの入力順がピクチャタイプの添え字として示されている。更に、Bピクチャについては参照先となるピクチャを矢印で関連付けしている。図12の例では、左右2分割のタイル分割を伴う符号化が行われるものとするが、タイル分割の構成はこれに限定されない。

0095

撮像装置900は、入力、符号化、及びポストLF処理のいずれの処理についても、例えば30Hzや60Hz等の所定のフレーム期間内に完了するようなハードウェア性能を有するものとする。

0096

図11のフローチャートに従ってI0ピクチャ及びP3ピクチャの符号化が完了した後、従来方式であればB1ピクチャの符号化が開始してしまう。しかしながら、本実施形態では、B1ピクチャの前にP6ピクチャが符号化される。換言すると、B1ピクチャを符号化する前に、I及びPピクチャのうち、B1ピクチャの符号化時に参照画像として使用される全ての画像(I0ピクチャ及びP3ピクチャ)と、その次に撮影された画像(P6ピクチャ)とが符号化される。従って、B1ピクチャが符号化されるタイミングでは、B1ピクチャにより参照されるP3ピクチャのポストLF処理が完了している。これにより、B1ピクチャを符号化する際に、タイル境界へのフィルタ処理が完了したI0ピクチャ及びP3ピクチャを参照することができるようになる。B2ピクチャ以降のBピクチャについても同様の効果を得ることができる。また、P6ピクチャ以降は全てのフレーム期間において符号化を行うことができるので、符号化に要する時間の増加を抑制することができる。

0097

以上説明したように、第3の実施形態によれば、撮像装置900は、符号化対象画像をタイル単位で符号化して復号する。また、Pピクチャ又はBピクチャに対応する符号化対象画像については、撮像装置900は、動き補償フレーム間予測を用いて符号化を行う。撮像装置900は、Bピクチャを符号化する前に、このBピクチャの符号化時に参照画像として使用される全てのI又はPピクチャと、その次に撮影されたI又はPピクチャとを符号化する。これにより、タイル単位で符号化される画像においてタイルの境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制することが可能となる。

0098

[第4の実施形態]
第3の実施形態では、符号化順の制御について説明した。第4の実施形態では、エントロピー符号化部1006が実行するエントロピー符号化の順序を制御する構成について説明する。第4の実施形態において、撮像装置900の基本的な構成は第3の実施形態と同様である(図9及び図10参照)。以下、主に第3の実施形態と異なる点について説明する。

0099

図13は、撮像装置900が実行するエントロピー符号化処理のフローチャートである。本フローチャートの処理は、図11のフローチャートに従う符号化処理と並行して実行される。また、本フローチャートの処理は、フレーム周期毎に起動するものとするが、起動タイミングは特に限定されない。例えば、1フレーム単位画像符号化処理終了タイミングや、ポストLF処理の終了タイミング等を割り込み通知によってCPU906が検知し、完了割り込みをトリガとして本フローチャートの処理を起動してもよい。

0100

S1301は、エントロピー符号化部1006は、まだエントロピー符号化を行っていない未処理の量子化データがフレームメモリ905に残っているか否かを判定する。未処理の量子化データがフレームメモリ905に残っている場合、処理はS1302に進む。未処理の量子化データがフレームメモリ905に残っていない場合、本フローチャートの処理は終了し、次のフレーム周期タイミングで再度起動される。

0101

S1302で、エントロピー符号化部1006は、処理待ちの最初にある量子化データ(現在の量子化データ)のピクチャタイプがIピクチャ又はPピクチャであるか否かを判定する。ピクチャタイプがIピクチャ又はPピクチャである場合、処理はS1303に進み、そうでない場合、処理はS1307に進む。

0102

S1303で、エントロピー符号化部1006は、既に参照枚数分のピクチャの量子化データをエントロピー符号化済みであるか否かを判定する。例えば、M=3構造と呼ばれるGOP構造の場合は、Bピクチャは前後1枚ずつの計2枚を参照するケースが一般的である。この場合、S1303で、エントロピー符号化部1006は、2ピクチャのI又はPピクチャのエントロピー符号化を完了しているかどうかをチェックする。この判定を行うために、エントロピー符号化部1006は、参照枚数が2であるという情報を保持すると共に、エントロピー符号化済みの参照ピクチャ数VeRefCntをカウントするカウント機構を持つ。そして、エントロピー符号化部1006は、カウンタ値VeRefCntが2となったか否かを判定する。参照枚数分のピクチャの量子化データをエントロピー符号化済みでない場合、処理はS1304に進み、参照枚数分のピクチャの量子化データをエントロピー符号化済みである場合、処理はS1306に進む。

0103

S1304で、エントロピー符号化部1006は、現在の量子化データをフレームメモリ905から読み出してエントリピー符号化を行い、ビットストリームとして出力する。

0104

S1305で、エントロピー符号化部1006は、カウンタ値VeRefCntをインクリメントする。その後、処理はS1301に戻る。

0105

S1306で、エントロピー符号化部1006は、後続のBピクチャを先にエントロピー符号化するために、現在の量子化データを、エントロピー符号化の順序を管理するキュー後ろに並べ替える。

0106

S1307で、エントロピー符号化部1006は、現在の量子化データ(この場合、Bピクチャに対応する)をエントロピー符号化し、ビットストリームとして出力する。ここで、S1307とS1304とは、処理対象となる量子化データのピクチャタイプが異なるだけで、同じ処理内容である。

0107

S1308で、エントロピー符号化部1006は、Bピクチャのエントロピー符号化が、2つのI又はPピクチャの間に連続するBピクチャの枚数分行われたか否かを判定する。ここでは、2つのI又はPピクチャの間に、連続して2つのBピクチャが入るデータ構造を想定している。連続する2つのBピクチャのエントロピー符号化が完了した場合、処理はS1309に進み、そうでない場合、処理はS1301に戻る。

0108

S1309で、エントロピー符号化部1006は、カウンタ値VeRefCntをデクリメントする。なぜなら、この場合、次のBピクチャが参照する2枚のピクチャのうち、前方にあるピクチャについてはエントロピー符号化が行われていないからである。

0109

次に、図14を参照して、図13のフローチャートに従うエントロピー符号化動作の例について説明する。図14には、図12と同様、符号化対象画像の入力順、符号化順、及びポストLF処理の実行順序が示されている。これらの順序は、図12と同じである。これに加えて、図14には、エントロピー符号化の順序が示されている。

0110

1つの画像の符号化(エントロピー符号化を除く)が完了すると、フレームメモリ905には、1ピクチャ分のローカルデコード画像の他に、量子化部1005が出力した量子化データが格納される。図13のフローチャートによれば、I0ピクチャ及びP3ピクチャの最初の2ピクチャが符号化されたタイミングではカウンタ値VeRefCntが2未満なので、I0ピクチャ及びP3ピクチャが連続してエントロピー符号化される。

0111

続いて、符号化順ではP6の符号化が完了するが、既に2ピクチャ分の参照ピクチャのエントロピー符号化が完了している。そのため、図13のS1306におけるエントロピー符号化の順序の並べ替えが行われ、P6ピクチャの量子化データのエントロピー符号化は後回しにされる。その結果、B1ピクチャ及びB2ピクチャについて、連続してエントロピー符号化が行われ、カウンタ値VeRefCntがデクリメントされ1になる。その後、P6ピクチャのエントロピー符号化が行われる。P9ピクチャ以降についても同様に順番の並べ替えが行われ、Bピクチャにより参照されないPピクチャは、そのBピクチャよりも後にエントロピー符号化される。

0112

このように、エントロピー符号化の順序を並べ替えてストリーム出力の順序を入れ替えることによって、3ピクチャ分の参照ピクチャを復号してバッファし、その後にBピクチャを復号して煩雑な表示順並び替えを行う必要が少なくなる。その結果、出画遅延を短縮し、フレームメモリ905上のバッファを削減することができる。

0113

以上説明したように、第4の実施形態によれば、撮像装置900は、Bピクチャの符号化時に参照画像として使用される全てのI又はPピクチャの次に撮影されたI又はPピクチャの前に、このBピクチャのエントロピー符号化を行う。これにより、出画遅延を短縮し、フレームメモリの必要量を削減することができる。

0114

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0115

100…撮像装置、105…動き予測部、106…直交変換部、107…量子化部、114…デブロッキングフィルタ部、116…参照フレームバッファ、117…タイル境界デブロッキングフィルタ部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ