図面 (/)

技術 画像処理システム及び画像復号装置

出願人 沖電気工業株式会社
発明者 迫水和仁中井敏久
出願日 2016年8月23日 (4年9ヶ月経過) 出願番号 2016-162408
公開日 2018年3月1日 (3年3ヶ月経過) 公開番号 2018-032921
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 FAXの帯域、冗長度の圧縮
主要キーワード 閾値設定値 所定中心 移行頻度 ストレージコスト ガウシアンフィルタ処理 注目領域検出 注目領域情報 固定設定
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

圧縮率の低下及び画像品質の低下を抑えて、効率良く情報量を削減することが可能な画像処理システム及び画像復号装置を提供する。

解決手段

入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、注目領域の画像内での位置を示す注目領域情報を生成する注目領域検出部と、画像内における注目領域を除く領域を背景領域とし、入力画像信号に基づく複数の画素値のうちで背景領域に対応した画素値の各々のダイナミックレンジ所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、注目領域情報、所定係数及び画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。

概要

背景

近年、監視カメラの普及は進み、さらなる高解像度化高フレームレート化多視点化が望まれている。しかし、高解像度化、高フレームレート化、多視点化は、動画像のデータ量の著しい増加を引き起こし、通信コストストレージコストの増加を招く。

この問題を緩和するため、動画像中から例えば「顔」が表示されている特定の領域をROI(Region of Interest)として検出し、このROIに対して多くのビット数割り当てて画像圧縮処理を施すようにした画像処理装置が提案されている(例えば、特許文献1参照)。

当該画像処理装置では、符号量と映像品質を制御するパラメータブロック毎に設定するという圧縮部の機能を利用して、ROI以外の領域、つまり背景領域の情報量をROIの情報量よりも削減するように、圧縮部に与えるパラメータを制御することにより、データ量を削減している。

しかしながら、圧縮部がハードウェアで構成されていると、このようなパラメータの制御機能を後から追加することができない場合がある。

そこで、圧縮部に依存せずに背景領域の情報量を削減する為に、背景領域に低域通過フィルタによるフィルタリング処理を施して高周波成分の情報を取り除くことで背景領域の情報量を削減するようにした画像符号化装置が提案されている(例えば、特許文献2参照)。この画像符号化装置では、低域通過フィルタによるフィルタリングにより、画像信号の情報量を削減しつつ、ブロック境界に発生するアーティファクトの発生を抑制している。

概要

圧縮率の低下及び画像品質の低下を抑えて、効率良く情報量を削減することが可能な画像処理システム及び画像復号装置を提供する。入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、注目領域の画像内での位置を示す注目領域情報を生成する注目領域検出部と、画像内における注目領域を除く領域を背景領域とし、入力画像信号に基づく複数の画素値のうちで背景領域に対応した画素値の各々のダイナミックレンジ所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、注目領域情報、所定係数及び画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。

目的

近年、監視カメラの普及は進み、さらなる高解像度化、高フレームレート化、多視点化が望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画素に対応した複数の画素値を含む入力画像信号圧縮して伝送する画像処理システムであって、前記入画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジ所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、前記注目領域情報、前記所定係数及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有することを特徴とする画像処理システム。

請求項2

前記注目領域情報を補正する注目領域補正部を有し、前記ダイナミックレンジ圧縮部は、前記注目領域補正部による補正後の前記注目領域情報に基づいて前記注目領域及び前記背景領域を特定し、前記ビットストリーム伝送部は、前記注目領域補正部による補正後の前記注目領域情報と、前記所定係数及び前記画像圧縮データとを含む前記ビットストリーム信号を出力することを特徴とする請求項1に記載の画像処理システム。

請求項3

前記注目領域補正部は、前記画像内において互いに隣接する複数の画素からなるブロック毎に、前記ブロックに属する前記画素のうちで少なくとも1つの画素が前記注目領域に属する場合にはそのブロックに属する全ての前記画素を前記注目領域に属するものに補正することを特徴とする請求項2に記載の画像処理システム。

請求項4

前記注目領域補正部は、前記画像内において互いに隣接する複数の画素からなるブロック毎に、前記ブロックに属する前記画素のうちの半数以上の画素が前記注目領域に属する場合にはそのブロックに属する全ての前記画素を前記注目領域に属するものに補正することを特徴とする請求項2に記載の画像処理システム。

請求項5

前記注目領域補正部は、前記画像内において互いに隣接する複数の画素からなるブロック毎に、前記ブロックに属する前記画素の全てが前記注目領域に属する場合にだけそのブロックに属する全ての前記画素を前記注目領域に属するものとすることを特徴とする請求項2に記載の画像処理システム。

請求項6

ダイナミックレンジを指定するダイナミックレンジ設定値を受け、前記ダイナミックレンジ設定値に基づき前記所定係数を算出する係数計算部を有することを特徴とする請求項1〜5のいずれか1に記載の画像処理システム。

請求項7

前記係数計算部は、前記入力画像信号に含まれる前記複数の画素値のダイナミックレンジをDt、前記ダイナミックレンジ設定値をDp、前記所定係数をDcとした場合、Dc=Dp/Dtなる数式にて前記所定係数を算出することを特徴とする請求項6に記載の画像処理システム。

請求項8

前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として前記符号化圧縮部に供給する圧縮対象選択部と、前記データ量抑圧画像信号を取り込んで保持し、保持した前記データ量抑圧画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、を有し、前記符号化圧縮部は、前記データ量抑圧画像信号を前記所定の画像符号化方式に従って圧縮することを特徴とする請求項1〜7のいずれか1に記載の画像処理システム。

請求項9

前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として前記符号化圧縮部に供給する圧縮対象選択部と、ローカル復号画像信号を取り込んで保持し、保持した前記ローカル復号画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、を有し、前記符号化圧縮部は、前記画像圧縮データを復号した信号を前記ローカル復号画像信号として出力する手段を含み、前記データ量抑圧画像信号を前記所定の画像符号化方式に従って圧縮することを特徴とする請求項1〜7のいずれか1に記載の画像処理システム。

請求項10

前記圧縮対象選択部は、前記画像内において互いに隣接する複数の画素からなるブロックの各々のうちで前記背景領域に分類されるブロックについて、前記低ダイナミックレンジ画像信号と前記予測画像信号との差が所定閾値よりも小さいか否かを判定し、前記差が前記所定閾値よりも小さいと判定されたブロックに対しては前記予測画像信号を選択する一方、前記差が前記所定閾値以上であると判定されたブロックに対しては前記低ダイナミックレンジ画像信号を選択することを特徴とする請求項8又は9に記載の画像処理システム。

請求項11

設定する閾値を示す閾値設定値を受け、前記閾値設定値及び前記所定係数に基づき前記所定閾値を算出する閾値決定部を含むことを特徴とする請求項10に記載の画像符号化部。

請求項12

前記閾値決定部は、前記閾値設定値をTb、前記所定閾値をT、前記所定係数をDcとした場合、T=Dc×Tbなる数式にて前記所定閾値を算出することを特徴とする請求項11に記載の画像処理システム。

請求項13

前記ダイナミックレンジ圧縮部は、前記複数の画素値のうちで前記背景領域に分類される画素の画素値に前記所定係数を乗算することにより前記低ダイナミックレンジ画像信号を生成することを特徴とする請求項1〜12のいずれか1に記載の画像処理システム。

請求項14

前記ダイナミックレンジ圧縮部は、前記背景領域に分類される画素の画素値をPb、ダイナミックレンジ圧縮後の画素値をPa、前記所定係数をDc、ダイナミックレンジ圧縮の中心値をCとした場合、Pa=(Pb−C)×Dc+Cなる数式にて前記ダイナミックレンジ圧縮後の画素値Paを算出することを特徴とする請求項1〜12のいずれか1に記載の画像処理システム。

請求項15

ダイナミックレンジの中心値を指定する中心値決定用データを受け、前記入力画像信号、前記中心値決定用データ又は前記注目領域情報に基づき前記中心値Cを決定する中心値決定部を含み、 前記ダイナミックレンジ圧縮部は、前記中心値Cを中心にダイナミックレンジの圧縮を行い、 前記ビットストリーム伝送部は、前記注目領域情報、前記所定係数及び前記画像圧縮データと共に前記中心値Cを含むビットストリーム信号を出力することを特徴とする請求項14に記載の画像処理システム。

請求項16

前記中心値決定部は、前記中心値決定用データによって指定された前記中心値をそのまま前記中心値Cとすることを特徴とする請求項15に記載の画像処理システム。

請求項17

前記中心値決定部は、前記入力画像信号における前記ブロック毎に当該ブロックに含まれる画素の各々に対応した画素値からなる画素値群代表値を前記中心値Cとすることを特徴とする請求項15に記載の画像処理システム。

請求項18

前記中心値決定部は、前記入力画像信号における前記ブロック毎に当該ブロックに含まれる画素各々のうちで前記背景領域に属する画素各々の画素値群の代表値を前記中心値Cとすることを特徴とする請求項15に記載の画像処理システム。

請求項19

前記中心値決定部は、前記入力画像信号における前記ブロック毎に当該ブロックに含まれる画素各々のうちで前記注目領域に属する画素各々の画素値群の代表値を前記中心値Cとすることを特徴とする請求項15に記載の画像処理システム。

請求項20

画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、及び前記所定係数を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号にて表される各画素値のうちで、前記注目領域情報によって前記背景領域に分類される画素に対応した画素値に対しては、前記所定係数の逆数を乗算することによってダイナミックレンジを伸長することにより前記画像信号を復元するダイナミックレンジ伸張部と、を有することを特徴とする画像復号装置。

請求項21

画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、前記所定中心値と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、及び前記所定係数を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号に含まれる複数の画素値に対してダイナミックレンジの伸長処理を施すことにより前記画像信号を復元するダイナミックレンジ伸張部と、を有し、前記ダイナミックレンジ伸張部は、前記伸長処理を施す前の画素値をQb、前記伸張処理後の画素値をQa、前記所定係数をDc、ダイナミックレンジの圧縮の中心値をVとした場合、Qa=(Qb−V)×(1/Dc)+Vなる数式にて前記伸張処理後の画素値Qaを算出することを特徴とする画像復号装置。

請求項22

画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定中心値を中心として所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、前記所定中心値と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、前記所定係数、及び前記所定中心値を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号に含まれる複数の画素値に対して前記所定中心値に基づくダイナミックレンジの伸長処理を施すことにより前記画像信号を復元するダイナミックレンジ伸張部と、を有し、前記ダイナミックレンジ伸張部は、前記伸長処理を施す前の画素値をQb、前記伸張処理後の画素値をQa、前記所定係数をDc、前記所定中心値をVとした場合、Qa=(Qb−V)×(1/Dc)+Vなる数式にて前記伸張処理後の画素値Qaを算出することを特徴とする画像復号装置。

請求項23

各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として出力する圧縮対象選択部と、前記データ量抑圧画像信号を取り込んで保持し、保持した前記データ量抑圧画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、前記データ量抑圧画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、前記注目領域情報、前記所定係数及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有することを特徴とする画像処理システム。

請求項24

各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として出力する圧縮対象選択部と、前記データ量抑圧画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成すると共に、前記画像圧縮データを復号したローカル復号画像信号を生成する符号化圧縮部と、前記ローカル復号画像信号を取り込んで保持し、保持した前記ローカル復号画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、前記注目領域情報及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有することを特徴とする画像処理システム。

請求項25

前記圧縮対象選択部は、前記画像内において互いに隣接する複数の画素からなるブロックの各々のうちで前記背景領域に分類されるブロックについて、前記低ダイナミックレンジ画像信号と前記予測画像信号との差が所定閾値よりも小さいか否かを判定し、前記差が前記所定閾値よりも小さいと判定されたブロックに対しては前記予測画像信号を選択する一方、前記差が前記所定閾値以上であると判定されたブロックに対しては前記低ダイナミックレンジ画像信号を選択することを特徴とする請求項23又は24に記載の画像処理システム。

技術分野

0001

本発明は、画像信号圧縮符号化する画像処理システム、及び圧縮符号化された画像信号を復号する画像復号装置に関する。

背景技術

0002

近年、監視カメラの普及は進み、さらなる高解像度化高フレームレート化多視点化が望まれている。しかし、高解像度化、高フレームレート化、多視点化は、動画像のデータ量の著しい増加を引き起こし、通信コストストレージコストの増加を招く。

0003

この問題を緩和するため、動画像中から例えば「顔」が表示されている特定の領域をROI(Region of Interest)として検出し、このROIに対して多くのビット数割り当てて画像圧縮処理を施すようにした画像処理装置が提案されている(例えば、特許文献1参照)。

0004

当該画像処理装置では、符号量と映像品質を制御するパラメータブロック毎に設定するという圧縮部の機能を利用して、ROI以外の領域、つまり背景領域の情報量をROIの情報量よりも削減するように、圧縮部に与えるパラメータを制御することにより、データ量を削減している。

0005

しかしながら、圧縮部がハードウェアで構成されていると、このようなパラメータの制御機能を後から追加することができない場合がある。

0006

そこで、圧縮部に依存せずに背景領域の情報量を削減する為に、背景領域に低域通過フィルタによるフィルタリング処理を施して高周波成分の情報を取り除くことで背景領域の情報量を削減するようにした画像符号化装置が提案されている(例えば、特許文献2参照)。この画像符号化装置では、低域通過フィルタによるフィルタリングにより、画像信号の情報量を削減しつつ、ブロック境界に発生するアーティファクトの発生を抑制している。

先行技術

0007

特開2009−49979号公報
特開平4−219089号公報

発明が解決しようとする課題

0008

ところで、上記したような低域通過フィルタによる高周波成分の削減は、画像全体を、例えばFFT(Fast Fourier Transform)処理等によるトランスフォームドメインの形態で、高周波成分の振幅を小さくすることによって情報量の削減を図る処理に相当する。

0009

一方、圧縮部で主に採用される画像符号化方式は、トランスフォームドメインの形態ではなく、除算による量子化乗算による逆量子化を組み合わせることによって画像信号の振幅を小さくすることで情報量を削減している。

0010

よって、低域通過フィルタ及び圧縮部の双方で同じ大きさまで画像信号の振幅を小さくする、つまり同程度まで情報量を低下させると、低域通過フィルタによって情報量を削減したもののほうが、背景領域での映像信号のPSNR(Peek Signal to Noise Ratio)が低くなる傾向がある。

0011

すなわち、圧縮部に依存せずに、上記した低域通過フィルタによって背景領域の情報量を削減するにあたり、圧縮部と低域通過フィルタとで同程度のビットレート圧縮を行うと、情報量の削減過程の違いから、背景領域のPSNRが悪化する傾向となる。

0012

この際、背景領域のPSNRを高くする為には、圧縮部及び低域通過フィルタ各々での圧縮ビットレート下げる、つまり情報量の削減量を減らす必要がある。

0013

一方、監視カメラで撮影された映像信号を処理対象とした場合には、背景領域でのアーティファクトが問題とはならないので、このような場合には、PSNRの向上よりも情報量を削減することが望まれる。

0014

よって、背景領域のPSNRとして所望のPSNRを想定して、低域通過フィルタで背景領域の情報量を削減しようとすると、圧縮率を高めることができないという問題が生じる。

0015

そこで、本発明は、圧縮率の低下及び画像品質の低下を抑えて、効率良く情報量を削減することが可能な画像処理システム及び画像復号装置を提供することを目的とする。

課題を解決するための手段

0016

本発明に係る画像処理システムは、各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジ所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、前記注目領域情報、前記所定係数及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。

0017

また、本発明に係る画像処理システムは、各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として出力する圧縮対象選択部と、前記データ量抑圧画像信号を取り込んで保持し、保持した前記データ量抑圧画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、前記データ量抑圧画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、前記注目領域情報、前記所定係数及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。

0018

また、本発明に係る画像処理システムは、各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として出力する圧縮対象選択部と、前記データ量抑圧画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成すると共に、前記画像圧縮データを復号したローカル復号画像信号を生成する符号化圧縮部と、前記ローカル復号画像信号を取り込んで保持し、保持した前記ローカル復号画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、前記注目領域情報及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。

0019

本発明に係る画像復号装置は、画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、及び前記所定係数を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号にて表される各画素値のうちで、前記注目領域情報によって前記背景領域に分類される画素に対応した画素値に対しては、前記所定係数の逆数を乗算することによってダイナミックレンジを伸長することにより前記画像信号を復元するダイナミックレンジ伸張部と、を有する。

0020

また、本発明に係る画像復号装置は、画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、前記所定中心値と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、及び前記所定係数を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号に含まれる複数の画素値に対してダイナミックレンジの伸長処理を施すことにより前記画像信号を復元するダイナミックレンジ伸張部と、を有し、前記ダイナミックレンジ伸張部は、前記伸長処理を施す前の画素値をQb、前記伸張処理後の画素値をQa、前記所定係数をDc、ダイナミックレンジの圧縮の中心値をVとした場合、 Qa=(Qb−V)×(1/Dc)+Vなる数式にて前記伸張処理後の画素値Qaを算出する。

0021

また、本発明に係る画像復号装置は、画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定中心値を中心として所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、前記所定中心値と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、前記所定係数、及び前記所定中心値を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号に含まれる複数の画素値に対して前記所定中心値に基づくダイナミックレンジの伸長処理を施すことにより前記画像信号を復元するダイナミックレンジ伸張部と、を有し、前記ダイナミックレンジ伸張部は、前記伸長処理を施す前の画素値をQb、前記伸張処理後の画素値をQa、前記所定係数をDc、前記所定中心値をVとした場合、Qa=(Qb−V)×(1/Dc)+Vなる数式にて前記伸張処理後の画素値Qaを算出する。

発明の効果

0022

本発明では、所定の画像符号化方式に従って画像信号の圧縮を行う圧縮部と共に、画像信号によって表現される画像中の特定の領域(ROI)を除く背景領域を対象とし、当該背景領域に対応した画素値各々のダイナミックレンジを圧縮するダイナミックレンジ圧縮部を設けることにより、情報量の削減を図るようにしている。これにより、復号後の画像品質の低下が抑えられ、且つ情報の削減量を増やすことが可能となる。よって、本発明によれば、画像品質の低下を抑えて、効率良く情報量を削減することが可能となる。

図面の簡単な説明

0023

画像処理システムP1及び画像復号部U2の第1の実施例の構成を示すブロック図である。
画像符号化部U1の動作を表す動作フロー図である。
正規化処理2による正規化動作の一例を説明する為の図である。
画像復号部U2の動作を表す動作フロー図である。
画像処理システムP1及び画像復号部U2の第2の実施例の構成を示すブロック図である。
図5に示す画像符号化部U1の動作を表す動作フロー図である。
図5に示す画像符号化部U1の動作を表す動作フロー図である。
画像処理システムP1及び画像復号部U2の第3の実施例の構成を示すブロック図である。
図8に示す画像符号化部U1の動作を表す動作フロー図である。
図8に示す画像符号化部U1の動作を表す動作フロー図である。
図8に示す画像復号部U2の動作を表す動作フロー図である。

0024

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

0025

図1は、本発明に係る画像処理システムP1及び画像復号部U2の構成を示すブロック図である。画像処理システムP1は、ROI(Region of Interest)検出部501、プレフィルタ部502、及び画像符号化部U1を含む。

0026

ROI検出部501は、画素毎の輝度レベルを表す画素値の系列を含む画像信号D19に基づき、画像フレーム内において、例えば顔検出アルゴリズムを適用することで「顔」等の特定のオブジェクトが表示される領域をROI、つまり注目領域として検出する。そして、ROI検出部501は、検出したROIの画像内での位置を表すROI情報D01を、画像符号化部U1及びプレフィルタ部502に供給する。

0027

プレフィルタ部502は、画像信号D19、ROI情報D01、及び圧縮後のダイナミックレンジ(以下、DRと略して称する)を示すDR設定値D20を受ける。プレフィルタ部502は、画像信号D19によって表される画素毎の輝度レベルを示す画素値の各々のうちで、ROI情報D01によって背景領域として分類される画素値に対して、画像の平滑化を行うことにより画像信号D02を生成する。例えば、プレフィルタ部502は、背景領域として分類される画素値にガウシアンフィルタ処理を施して畳み込むことで、高周波成分を抑圧した画像信号D02を生成する。プレフィルタ部502は、画像信号D02を画像符号化部U1に供給する。

0028

画像符号化部U1は、画像信号D02を、ROI情報D01及びDR設定値D20に基づいて圧縮し、ビットストリーム信号D12を出力する。

0029

画像符号化部U1は、ROI補正部103、DR係数計算部104、DRC(Dynamic Range Control)フィルタ部106、ビットストリーム伝送部112、及び符号化圧縮部511を有する。

0030

ROI補正部103は、ROI情報D01を補正し、ROI補正済情報D03をDRCフィルタ部106、及びビットストリーム伝送部112に供給する。

0031

DR係数計算部104は、ダイナミックレンジを指定するDR設定値D20に基づきDR係数D04を算出し、これをDRCフィルタ部106及びビットストリーム伝送部112に供給する。尚、DR係数D04によって示される値は1未満である。

0032

DRCフィルタ部106は、画像信号D02によって表される画素値の系列のうちで、ROI補正済情報D03によって背景領域に分類される画素に対応した画素値に対しては、DR係数D04を乗算することにより低DR画像信号D06を生成する。ここで、DR係数D04によって示される値は1未満である。よって、背景領域に分類される各画素に対応した画素値にDR係数D04を乗算することにより、当該背景領域に対応した画素値各々のダイナミックレンジが、DR係数D04に基づく圧縮率で圧縮される。一方、ROIに分類される各画素に対応した画素値の系列に対しては、DRCフィルタ部106は、その画素値の系列をそのまま低DR画像信号D06として出力する。

0033

DRCフィルタ部106は、かかる低DR画像信号D06を符号化圧縮部511に供給する。

0034

符号化圧縮部511は、低DR画像信号D06を、JPEG(Joint Photographic Experts Group)や、H.264/MPEG(Moving Picture Experts Group)−4 AVC(Advanced Video Coding)、或いはH.265/MPEG−HHEVC(High Efficiency Video Coding)などの画像符号化方式を用いて圧縮して画像圧縮データD11を生成し、これをビットストリーム伝送部112に供給する。尚、符号化圧縮部511は、DRCフィルタ部106から供給された低DR画像信号D06と、この低DR画像信号D06よりも1ピクチャ期間前に供給された低DR画像信号D06とが等しい場合には、スキップモードと称される特別なモードに移行する。スキップモードでは、符号化圧縮部511は、冗長差分情報の伝送を抑えるような形態で画像信号を符号化することで、情報量の削減を行う。

0035

ビットストリーム伝送部112は、ROI補正済情報D03、DR係数D04、及び画像圧縮データD11を多重化した信号をビットストリーム信号D12として生成し、これを外部に出力する。

0036

一方、かかるビットストリーム信号D12を受けて、このビットストリーム信号D12に対して画像復号処理を施す画像復号部U2は、ビットストリーム受信部113、復号部514、及び逆DRCフィルタ部118を含む。

0037

ビットストリーム受信部113は、ビットストリーム信号D12を受け、当該ビットストリーム信号D12中から画像圧縮データ、ROI情報及びDR係数を夫々抽出する。ビットストリーム受信部113は、抽出した画像圧縮データを画像圧縮データD13として復号部514に供給すると共に、抽出したDR係数をDR係数D16として逆DRCフィルタ部118に供給する。更に、ビットストリーム受信部113は、抽出したROI情報をROI情報D15として逆DRCフィルタ部118に供給すると共に、当該ROI情報D15を外部に出力する。

0038

復号部514は、画像圧縮データD13に対して、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−HHEVCなどの、符号化圧縮部511で採用されている画像符号化方式に対応した復号処理を施すことにより、その圧縮状態を伸長したデータ量抑圧画像信号D14を生成する。復号部514は、データ量抑圧画像信号D14を逆DRCフィルタ部118に供給する。

0039

逆DRCフィルタ部118は、データ量抑圧画像信号D14に含まれる画素値の系列のうちで、ROI補正済情報D15によって背景領域に分類される画素の画素値に対しては、DR係数D16の逆数を乗算することによりダイナミックレンジを伸張した復号画像信号D18を生成し、これを外部に出力する。

0040

尚、図1に示す構成では、ROI補正済情報D03及びDR係数D04を多重化して画像符号化部U1から画像復号部U2に伝送する構成としている。しかしながら、ROI情報D01及びDR設定値D20を、画像符号化部U1から画像復号部U2に伝送し、画像復号部U2側でROI補正部103及びDR係数計算部104と同様な処理を行うことで、ROI補正済情報D03及びDR係数D04を取得するようにしても良い。また、上記した説明では、ROI検出部501が、画像信号D19中から動的にROI情報D01を検出するようにしているが、当該ROI情報に関しては、これを例えば手動にて予め固定設定しておくなどの静的な手段によってROI情報を設定するようにしても良い。また、図1に示す構成では、プレフィルタ部502の出力である画像信号D02を画像符号化部U1に供給しているが、画像信号D19を直接、画像符号化部U1に供給するようにしても良い。

0041

以下に、図1に示す構成の動作について説明する。

0042

図2は、画像符号化部U1の動作を表す動作フロー図である。図2に示すように、画像符号化部U1では、先ず、ROI補正部103がROI情報D01に対して、以下のような正規化処理1〜3のいずれか1つの処理を施すことにより、ROI情報D01を補正したROI補正済情報D03を生成する(ステップS101)。

0043

[正規化処理1]
正規化処理1では、ROI補正部103は、ROI補正済情報D03に基づき、予め定められた大きさのブロック毎に、そのブロックに属する複数の画素のうちで少なくとも1画素がROIに含まれているか否かを判定し、含まれていると判定された場合に当該ブロックに属する全画素をROIに属する画素群とする。尚、1ブロックは、互いに隣接するn行×m列分のn・m個(n、mは2以上の整数)の画素からなる。

正規化処理2では、ROI補正部103は、ROI補正済情報D03に基づき、予め定められた大きさのブロック毎に、そのブロックに属する複数の画素のうちの半数以上がROIに含まれているか否かを判定し、含まれていると判定された場合に当該ブロックに属する全画素をROIに属する画素群とする。

正規化処理3では、ROI補正部103は、ROI補正済情報D03に基づき、予め定められた大きさのブロック毎に、そのブロックに属する全画素がROIに含まれているか否かを判定し、全画素がROIに含まれていると判定された場合に当該ブロックに属する全画素をROIに属する画素群とする。

0044

図3は、上記した正規化処理2による正規化動作の一例を説明する為の図である。図3では、1つのブロックのサイズを4画素(行方向)×4画素(列方向)とした、夫々が16個の画素を含むブロックBL1〜BL3を示している。尚、図3において斜線にて示される画素は、正規化前にROIに含まれていると判定される画素である。この際、ブロックBL1内にはROIに含まれる画素は存在していないので、当該ブロックBL1に属する全画素は背景領域に対応した画素として扱われる。また、図3に示すブロックBL2内にはROIに含まれる画素は6個であり、16個の半数の8個に満たない為、当該ブロックBL2に属する全画素も背景領域に対応した画素として扱われる。また、図3に示すブロックBL3内にはROIに含まれる画素は8個以上あるので、当該ブロックBL3に属する全画素はROIに対応した画素として扱われる。

0045

このように、ROI補正部103は、ROI情報D01を正規化することにより、ROIと背景領域の境界を、画像符号化方式が採用するブロックの境界と一致させるのである。尚、符号化圧縮部511で採用される画像符号化方式では、特定の大きさのブロック毎に予測又は変換を行うことで情報量を削減しているため、ROIと背景領域の境界も、画像符号化方式が採用するブロックの境界と一致していることが好ましい。また、ROI情報の補正をおこなわなくても本発明の効果が得られるので、ROI補正部103は、入力されたROI情報D01を、そのままROI補正済情報D03としてDRCフィルタ部106及びビットストリーム伝送部112に供給するようにしても良い。

0046

次に、DR係数計算部104が、DR設定値D20に基づきDR係数D04を算出する(ステップS102)。

0047

具体的には、例えば画像信号D19における画素値のダイナミックレンジがDtであり、且つDR設定値D20にて指定されたダイナミックレンジがDpである場合、DR係数計算部104は、以下の式に従ってDR係数D04としての係数Dcを算出する。

0048

Dc=Dp/Dt
この際、例えば画像信号D19における画素値のダイナミックレンジDtが256であり、圧縮後のダイナミックレンジDpが128であった場合、Dcは0.5である。

0049

なお、DR設定値D20としてDcが直接、画像符号化部U1に供給される場合には、DR係数計算部104は、DR設定値D20をそのままDR係数D04として、DRCフィルタ部106及びビットストリーム伝送部112に供給するようにしても良い。

0050

次に、DRCフィルタ部106が、画像信号D02に含まれる画素値の系列のうちで、ROI補正済情報D03によって背景領域に分類される画素に対応した画素値に対しては、DR係数D04を乗算することにより、ダイナミックレンジを圧縮した低DR画像D06を生成する(ステップS104)。

0051

具体的には、ダイナミックレンジの圧縮前の画素値をPb、ダイナミックレンジの圧縮後の画素値をPaとした場合、DRCフィルタ部106は、例えば以下の式に従って画素値をPbにDR係数Dcを乗算することによりPaを求める。

0052

Pa=Pb×Dc
つまり、DRCフィルタ部106は、背景領域に分類される画素に対応した画素値Pbに対しては、画素値Paを圧縮後の画素値として得る一方、ROIに分類される画素に対応した画素値に対しては、圧縮前の画素値Pbをそのまま圧縮後の画素値とする。そして、DRCフィルタ部106は、圧縮後の画素値(Pa又はPb)の系列を含む低DR画像信号D06を生成する。

0053

ところで、画素値が色差信号のように例えば「128」を中心に分布している場合もある。このような場合、DRCフィルタ部106は、所定の定数Cを用いた、以下の式に従ってダイナミックレンジの圧縮後の画素値Paを算出するようにしても良い。この際、定数Cを中心にしてダイナミックレンジの圧縮が為されることになる。

0054

Pa=(Pb−C)×Dc+C
次に、符号化圧縮部511が、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−HHEVC等の画像符号化方式を用いて、低DR画像信号D06を圧縮し、画像圧縮データD11を生成する(ステップS512)。

0055

そして、ビットストリーム伝送部113が、ROI補正済情報D03、DR係数D04、画像圧縮データD11などの情報を多重化したビットストリーム信号D12を生成し、これを外部出力する(ステップS113)。

0056

以下に、かかるビットストリーム信号D12を受けて、このビットストリーム信号D12に対して画像復号処理を施す画像復号部U2の動作について説明する。

0057

図4は、画像復号部U2の動作を表す動作フロー図である。図4に示すように、画像復号部U2では、先ず、ビットストリーム受信部113が、ビットストリーム信号D12を受信し、当該ビットストリーム信号D12中から画像圧縮データ、ROI情報及びDR係数を抽出し、夫々画像圧縮データD13、ROI情報D15及びDR係数D16として出力する(ステップS151)。

0058

次に、画像復号部U2では、復号部514が、画像圧縮データD13をH.264/MPEG−4 AVC等の画像符号化方式を用いて復号し、データ量抑圧画像信号D14を生成する(ステップS552)。

0059

次に、画像復号部U2では、逆DRCフィルタ部118が、データ量抑圧画像信号D14に含まれる画素値の系列中において、ROI情報D15で背景領域に分類される画素に対応した画素値に対して、DR係数D16の逆数を乗算することにより、ダイナミックレンジを伸長した復号画像信号D18を生成し、これを出力する(ステップS156)。

0060

具体的には、ダイナミックレンジの伸長前の画素値をQb、ダイナミックレンジの伸長後の画素値をQaとした場合、逆DRCフィルタ部118は、例えば以下の式に示すように、QbをDR係数Dcで除算することによりQaを求める。

0061

Qa=Qb×(1/Dc)
つまり、逆DRCフィルタ部118は、背景領域に分類される画素に対応した画素値に対してはQaを伸長後の画素値とする一方、ROIに分類される画素に対してはQbを伸長後の画素値とする。そして、逆DRCフィルタ部118は、伸長後の画素値(Qa、Qb)の系列を含む復号画像信号D18を出力する。

0062

なお、DRCフィルタ部106が定数Cを中心にダイナミックレンジを圧縮している場合には、逆DRCフィルタ118でも次式を使用して伸長する。

0063

Qa=(Qb−C)×(1/Dc)+C
以上のように、図1に示される画像処理システムP1は、各画素に対応した複数の画素値を含む入力画像信号(D19)を圧縮して伝送するものであり、以下の注目領域検出部、ダイナミックレンジ圧縮部、符号化圧縮部及びビットストリーム伝送部を含む。すなわち、注目領域検出部(103、501)は、入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、この注目領域の画像内での位置を示す注目領域情報(D01、D03)を生成する。ダイナミックレンジ圧縮部(104、106)は、画像内における注目領域を除く領域を背景領域とし、入力画像信号に基づく複数の画素値のうちで背景領域に対応した画素値の各々のダイナミックレンジを所定係数(D04)の分だけ圧縮した低ダイナミックレンジ画像信号(D06)を生成する。符号化圧縮部(511)は、この低ダイナミックレンジ画像信号を所定の画像符号化方式(例えばJPEG、MPEG等)に従って圧縮した画像圧縮データ(D11)を生成する。そして、ビットストリーム伝送部(112)は、上記した注目領域情報、所定係数及び画像圧縮データを含むビットストリーム信号を出力する。

0064

要するに、画像処理システムP1では、所定の画像符号化方式に従って画像信号の圧縮を行う符号化圧縮部と共に、画像信号によって表現される画像中のROIを除く背景領域に対応した画素値各々のダイナミックレンジを圧縮するダイナミックレンジ圧縮部を設けることにより、情報量の削減を図るのである。よって、背景領域の情報量を削減する為に、当該背景領域の全域に亘りトランスフォームドメインの形態で高周波成分の振幅を小さくするという、低域通過フィルタを用いた場合に比べて、復号後の画像品質の低下が抑えられ、且つ情報の削減量を増やすことが可能となる。すなわち、図1に示す画像処理システムP1では、所定の画像符号化方式に従って画像信号の圧縮を行う圧縮部(511)の外部に、ダイナミックレンジ圧縮部(103、104、106、501)を設けることにより、画像品質の低下を抑えて、効率良く情報量を削減することが可能となるのである。

0065

図5は、画像処理システムP1及び画像復号部U2の第2の実施例の構成を示すブロック図である。尚、図5において、画像復号部U2は図1に示すものと同一であるので、当該画像復号部U2の構成及び動作の説明は省略する。また、図5に示される画像処理システムP1では、閾値決定部208、バッファ部209及びUSP(Update Source Picture)フィルタ部210を新たに設け、且つ新たに閾値設定値D21の供給を受けるようにした点を除く他の構成は、図1に示すものと同一である。ただし、図5に示す構成では、DRCフィルタ部106は、低DR画像信号D06を符号化圧縮部511ではなくUSPフィルタ部210に供給する。そこで、以下に、閾値決定部208、バッファ部209及びUSPフィルタ部210を中心に、図5に示される構成について説明する。

0066

閾値決定部208は、閾値設定値D21及びDR係数D04に基づき閾値D08を算出し、これをUSPフィルタ部210に供給する。

0067

USPフィルタ部210は、ROI補正済情報D03及び閾値D08に基づき、バッファ部209から供給された予測画像信号D09、及び低DR画像信号D06のうちの一方を選択し、選択した方をデータ量抑圧画像信号D10として符号化圧縮部511及びバッファ部209に供給する。

0068

バッファ部209は、データ量抑圧画像信号D10を取り込んで保持しつつ、これを1ピクチャ期間後に予測画像信号D09としてUSPフィルタ部210に供給する。尚、符号化圧縮部511が、画像圧縮データD11に復号処理を施してその圧縮状態を解除したローカル復号画像信号を出力する機能を備えている場合には、バッファ部209は、データ量抑圧画像信号D10に代えてこのローカル復号画像信号を取り込んで保持するようにしても良い。よって、この際、バッファ部209は、この保持したローカル復号画像信号を予測画像信号D09としてUSPフィルタ部210に供給することになる。

0069

以下に、図5に示す構成の具体的な動作について説明する。

0070

図6及び図7は、図5に示す画像符号化部U1の動作を表す動作フロー図である。

0071

図6に示すように、画像符号化部U1では、先ず、ROI補正部103がROI情報D01に対して、正規化処理を施すことにより、ROI情報D01を補正したROI補正済情報D03を生成する(ステップS101)。

0072

次に、DR係数計算部104が、DR設定値D20に基づきDR係数D04を算出する(ステップS102)。

0073

次に、DRCフィルタ部106が、画像信号D02に含まれる画素値の系列内で、ROI補正済情報D03で背景領域に分類される画素に対応した画素値に、DR係数D04を乗算することにより、ダイナミックレンジを圧縮した低DR画像D06を生成する(ステップS104)。

0074

尚、これらステップS101、S102及びS104での具体的な動作については、前述した、図2に示すステップS101、S102及びS104で説明したものと同一であるので、その説明は省略する。

0075

次に、閾値決定部208が、外部供給された閾値設定値D21と、DR係数計算部104から供給されたDR係数D04に基づき、USPフィルタ部210で用いる閾値を算出し、その閾値を閾値D08としてUSPフィルタ部210に供給する(ステップS206)。尚、閾値D08は、低DR画像D06の画素値を、予測画像信号D09の画素値で上書きするか否かを判断するためのパラメータである。閾値D08は、低DR画像信号D06と予測画像信号D09との差を表す量に対する閾値となる。この際、低DR画像信号D06と予測画像信号D09との差は、例え入力画像信号が同一画像を表すものであったとしても、DR係数D04としてのDR係数Dcが小さいほど小さくなる。そのため、DR係数Dcに依存せずに低DR画像信号D06の画素値を、予測画像信号D09の画素値で上書きするか否かを判断したい場合、閾値D08は、DR係数Dcに追従させて、当該DR係数Dcが小さいほど小さくなることが望まれる。そこで、閾値D08としての閾値Tを、閾値設定値D21にて表される設定値Tbを用いて以下の式で求める。

0076

T=Dc×Tb
なお、閾値設定値D21をそのまま閾値Tとする構成も考えられる。この場合、閾値決定部208は、入力された閾値設定値D20をそのまま閾値D08として出力する。

0077

次に、バッファ部209が、データ量抑圧画像信号D10を取り込んで保持し、次のピクチャを符号化圧縮部511で圧縮するときに、保持した内容を予測画像信号D09としてUSPフィルタ部210に供給する(ステップS207)。尚、予測画像信号D09としては、バッファ部209に取り込まれた、直前のデータ量抑圧画像信号D10自体であっても良いし、或いは例えば動き補償予測処理を実施した際に生成されたものであっても良い。

0078

次に、USPフィルタ部210が、低DR画像信号D06にて表される各画素値が属する任意のサイズのブロックの各々のうちで、ROI補正済情報D03によって背景領域に分類されるブロックを対象とし、そのブロックでの低DR画像信号D06と予測画像信号D09との差の大きさを画像差SBとして求める(ステップS208)。尚、ここでのブロックとは、互いに隣接するn行×m列分のn・m個の画素からなるブロックだけではなく、1画素だけからなるブロックをも含む。また、1つのブロックを、ROI補正部103が使用するブロックと同じサイズのブロックとしても良い。更に、任意の大きさのブロックが、背景領域に分類されるか否かを判定するにあたり、ROI補正部103と同じように複数の基準がある。

0079

上記した画像差SBとしては、例えばSAD(Sum of Absolute Difference)、MAD(Mean Absolute Difference)、SSD(Sum of Squared Difference)、MSE(Mean Square Error)、MAX、或いはMINに代表される指標を用いる。尚、MAXとは、ブロック内で計算される画素値の差、つまり低DR画像信号D06と予測画像信号D09との差のうちで最も差が大きい値を、そのブロックの画像差SBとするものである。また、MINとは、ブロック内で計算される画素値の差のうちで最も差が小さい値を、そのブロックの画像差SBとするものである。尚、上述した指標は、直流成分と交流成分をそれぞれ同等に評価するが、予め低DR画像信号D06及び予測画像信号D09の各々において、ブロック毎にそのブロック内の画素値の平均値を差し引いたブロックを生成し、平均値を差し引いたブロック同士でSAD、MAD、SSD、MSE、MAX、MINを評価することで、交流成分での画像差SBを算出するようにしても良い。

0080

次に、USPフィルタ部210が、画像差SBが閾値D08よりも小さいか否かをブロック毎に判定する(ステップS209)。ステップS209において画像差SBが閾値D08よりも小さいと判定されたブロックに対して、USPフィルタ部210は、低DR画像信号D06及び予測画像信号D09のうちから予測画像信号D09を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(ステップS210)。

0081

一方、ステップS209において画像差SBが閾値D08以上であると判定されたブロックに対しては、USPフィルタ部210は、低DR画像信号D06及び予測画像信号D09のうちから低DR画像信号D06を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(ステップS211)。

0082

ステップS210又はS211の実行後、符号化圧縮部511が、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−HHEVC等の画像符号化方式を用いて、低DR画像信号D06を圧縮し、画像圧縮データD11を生成する(ステップS512)。

0083

そして、ビットストリーム伝送部113が、ROI補正済情報D03、DR係数D04、画像圧縮データD11などの情報を多重化したビットストリーム信号D12を生成し、これを外部出力する(ステップS113)。

0084

以上のように、図5に示される画像処理システムP1では、DRCフィルタ部106及び符号化圧縮部511間に、以下の圧縮対象選択部(閾値決定部208、USPフィルタ部210)及びバッファ部209を設けている。

0085

圧縮対象選択部は、DRCフィルタ部106から供給された低DR画像信号D06と、予測画像信号D09とのうちの一方を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する。この際、バッファ部209は、データ量抑圧画像信号D10を取り込んで保持し、保持したデータ量抑圧画像信号D10を1ピクチャ期間後に予測画像信号D09して圧縮対象選択部に供給する。

0086

具体的には、圧縮対象選択部は、先ず、ROI補正済情報D03によって表されるROIを除く背景領域内において、低DR画像信号D06と予測画像信号D09との画像の差(SB)を求める(S208)。ここで、当該画像差SBが所定の閾値(D04)より小さい場合には、圧縮対象選択部は、予測画像信号D09を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(S210)。

0087

尚、前述したように予測画像信号D09とは、1ピクチャ期間前に符号化圧縮部511において圧縮対象となった画像信号である。よって、この際、当該符号化圧縮部511には、2ピクチャに亘り同一画像を表すデータ量抑圧画像信号D10が供給されることになり、符号化圧縮部511はスキップモードへ移行する。スキップモードでは、符号化圧縮部511は、冗長な差分情報の伝送を抑えた形態でデータ量抑圧画像信号D10に対して符号化を行うので、情報量の削減が為される。ここで、閾値(D04)を設定する為に外部供給する閾値設定値D21を大きくするほど、閾値(D04)が大きくなり、符号化圧縮部511がスキップモードへ移行する頻度が高くなる。

0088

要するに、図5に示される画像処理システムP1では、圧縮対象選択部(208、210)及びバッファ(209)を設けることにより符号化圧縮部511でのスキップモードへの移行頻度を高め、これにより情報量の削減を図るのである。

0089

図8は、画像処理システムP1及び画像復号部U2の第3の実施例の構成を示すブロック図である。尚、図8に示される画像処理システムP1では、DRCフィルタ106に代えてDRCフィルタ306を採用し、ビットストリーム伝送部112に代えてビットストリーム伝送部312を採用すると共に、中心値決定用データD22の供給を受ける中心値決定部305を新たに設けた点を除く他の構成は、図5に示すものと同一である。

0090

よって、以下に、中心値決定部305、DRCフィルタ306、ビットストリーム伝送部312及びを中心に、その構成について説明する。

0091

中心値決定部305は、外部供給された中心値決定用データD22、又は、画像信号D19及びROI補正済情報D03に基づき、DRCフィルタ部306が画像信号のダイナミックレンジを圧縮する際の中心値を決定し、この中心値を表す中心値D05を、DRCフィルタ306及びビットストリーム伝送部312に供給する。

0092

DRCフィルタ部306は、画像信号D02にて表される画素値の系列のうちで、ROI補正済情報D03によって背景領域に分類される画素に対応した画素値に対しては、DR係数D04を乗算することにより、中心値D05の値を中心にしてダイナミックレンジを圧縮した低DR画像信号D06を生成する。ここで、DR係数D04によって示される値は1未満である。よって、背景領域に分類される各画素に対応した画素値に当該DR係数D04を乗算することにより、背景領域に対応した画素値各々のダイナミックレンジがDR係数D04に基づく圧縮率で圧縮される。一方、ROIに分類される各画素に対応した画素値の系列に対しては、DRCフィルタ部106は、その画素値の系列をそのまま低DR画像信号D06として出力する。DRCフィルタ部306は、かかる低DR画像信号D06をUSPフィルタ部210に供給する。

0093

ビットストリーム伝送部312は、ROI補正済情報D03、DR係数D04及び画像圧縮データD11と共に、中心値D05を多重化した信号をビットストリーム信号D12として生成し、これを外部に出力する。

0094

また、図8に示される画像復号部U2は、ビットストリーム受信部318、復号部514、及び逆DRCフィルタ部313を含む。

0095

ビットストリーム受信部318は、ビットストリーム信号D12を受け、当該ビットストリーム信号D12中から画像圧縮データ、ROI情報、DR係数及び中心値D05を夫々抽出する。ビットストリーム受信部318は、抽出した画像圧縮データを画像圧縮データD13として復号部514に供給する。また、ビットストリーム受信部113は、抽出したROI情報をROI情報D15として逆DRCフィルタ部313に供給すると共に、当該ROI情報D15を外部に出力する。更に、ビットストリーム受信部318は、抽出したDR係数をDR係数D16として逆DRCフィルタ部313に供給すると共に、抽出した中心値を中心値D17として逆DRCフィルタ部313に供給する。

0096

復号部514は、画像圧縮データD13に対して、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−HHEVCなどの、符号化圧縮部511で採用されている画像符号化方式に対応した復号処理を施すことにより、その圧縮状態を伸長したデータ量抑圧画像信号D14を生成する。復号部514は、データ量抑圧画像信号D14を逆DRCフィルタ部313に供給する。

0097

逆DRCフィルタ部313は、データ量抑圧画像信号D14に含まれる画素値の系列のうちで、ROI補正済情報D15によって背景領域に分類される画素値に対しては、中心値D17の値を中心としてDR係数D16の逆数を乗算することでダイナミックレンジを伸張した復号画像信号D18を生成し、これを外部に出力する。

0098

以下に、図8に示す構成の具体的な動作について説明する。

0099

図9及び図10は、図8に示す画像符号化部U1の動作を表す動作フロー図である。

0100

図9に示すように、画像符号化部U1では、先ず、ROI補正部103がROI情報D01に対して、正規化処理を施すことにより、ROI情報D01を補正したROI補正済情報D03を生成する(ステップS101)。

0101

次に、DR係数計算部104が、DR設定値D20に基づきDR係数D04を算出する(ステップS102)。

0102

尚、これらステップS101及びS102での具体的な動作については、前述した、図2又は図6に示すステップS101及びS102で説明したものと同一であるので、その説明は省略する。

0103

次に、中心値決定部305が、外部供給された中心値決定用データD22、又は、画像信号D19及びROI補正済情報D03に基づき、DRCフィルタ部306が画像信号のダイナミックレンジを圧縮する際の中心値を決定し、その中心値を表す中心値D05を得る(ステップS303)。つまり、中心値決定部305は、以下に示す中心値決定処理A1〜A4のうちの1つを実行することにより、ダイナミックレンジを圧縮する際の中心値を、任意のサイズのブロック毎に求める。尚、1ブロックのサイズとしては、1ピクチャ内の全画素としても良い。

0104

[中心値決定処理A1]
中心値決定処理A1では、中心値決定部305は、外部供給された中心値決定用データD22をそのまま中心値D05とする。例えば、画像を鑑賞する際に注目する場面や、その場面での時間帯等により、予め最も注視すべき「色」が決まっている場合には、その「色」を表す赤色成分緑色成分及び青色成分各々の値を中心値(赤色成分、緑色成分、青色成分)として表す中心値決定用データD22を、画像処理システムP1に供給する。これにより、中心値決定部305は、この注視すべき「色」を中心値(赤色成分、緑色成分、青色成分)として表す中心値決定用データD22をそのまま中心値D05として、DRCフィルタ部306及びビットストリーム伝送部312に供給する。

0105

中心値決定処理A2では、中心値決定部305は、画像信号D19の任意のサイズのブロック内に含まれる画素の各々に対応した画素値からなる画素値群代表値中心値D05とする。例えば、中心値決定部305は、ブロック毎に、そのブロック内での画素値群の平均値、中央値、又は最頻値を算出し、その算出結果を中心値として表す中心値D05を、DRCフィルタ部306及びビットストリーム伝送部312に供給する。

0106

中心値決定処理A3では、中心値決定部305は、ROI補正済情報D03に基づき、画像信号D19の各ブロック内に含まれる画素のうちで、背景領域に属する画素を抽出し、当該背景領域に属する画素の各々に対応した画素値からなる画素値群の代表値を中心値D05とする。例えば、中心値決定部305は、ブロック毎に、そのブロック内で背景領域に属する各画素に対応した画素値群の平均値、中央値、又は最頻値を算出し、その算出結果を中心値として表す中心値D05を、DRCフィルタ部306及びビットストリーム伝送部312に供給する。

0107

中心値決定処理A4では、中心値決定部305は、ROI補正済情報D03に基づき、画像信号D19の各ブロック内に含まれる画素のうちで、ROIに属する画素を抽出し、当該ROIに属する画素の各々に対応した画素値からなる画素値群の代表値を中心値D05とする。例えば、中心値決定部305は、ブロック毎に、そのブロック内でROIに属する画素に対応した画素値の平均値、中央値、又は最頻値を算出し、その算出結果を中心値として表す中心値D05を、DRCフィルタ部306及びビットストリーム伝送部312に供給する。

0108

このように、ROIに属する画素の画素値の代表値(平均値、中央値、又は最頻値)を、DRCフィルタ部306で画像信号D02のダイナミックレンジを圧縮する際の中心値とすることで、ROIの周辺において、本来はROIに含めるべきものを誤検出により背景領域とみなされてしまった場合にも、当該背景領域の品質劣化を抑えられる。

0109

上記したステップS303の実行後、DRCフィルタ部306は、画像信号D02にて表される画素値の系列中において、ROI補正済情報D03によって背景領域に分類される画素に対応した画素値に対してDR係数D04を乗算することで、中心値D05の値を中心としたダイナミックレンジの圧縮を行い、低DR画像信号D06を求める(ステップS304)。具体的には、ダイナミックレンジの圧縮前の画素値をPb、ダイナミックレンジの圧縮後の画素値をPa、中心値D05をCとした場合、DRCフィルタ部306は、例えば以下の式に従って、ダイナミックレンジの圧縮後の画素値Paを求める。

0110

Pa=(Pb−C)×Dc+C
Dc:DR係数
すなわち、DRCフィルタ部306は、中心値D05よりも大きい画素値に対してはその値を低下する一方、中心値D05以下の画素値に対してはその値を増加することにより、中心値D05を中心として画素値のダイナミックレンジを圧縮した画素値の系列からなる低DR画像信号D06を得るのである。一方、ROIに分類される各画素に対応した画素値の系列に対しては、DRCフィルタ部106は、その画素値の系列をそのまま低DR画像信号D06として出力する。

0111

ステップS304の実行後、図8に示す画像符号化部U1の閾値決定部208が、外部供給された閾値設定値D21と、DR係数計算部104から供給されたDR係数D04に基づき、USPフィルタ部210で用いる閾値を算出し、その閾値を閾値D08としてUSPフィルタ部210に供給する(ステップS206)。

0112

次に、バッファ部209が、データ量抑圧画像信号D10を取り込んで保持し、次のピクチャを符号化圧縮部511で圧縮するときに、保持した内容を予測画像信号D09としてUSPフィルタ部210に供給する(ステップS207)。

0113

次に、USPフィルタ部210が、低DR画像信号D06にて表される各画素値が属する任意のサイズのブロックの各々のうちで、ROI補正済情報D03によって背景領域に分類されるブロックを対象とし、そのブロックでの低DR画像信号D06と予測画像信号D09との差の大きさを画像差SBとして求める(ステップS208)。

0114

次に、USPフィルタ部210が、画像差SBが閾値D08よりも小さいか否かをブロック毎に判定する(ステップS209)。ステップS209において画像差SBが閾値D08よりも小さいと判定されたブロックに対して、USPフィルタ部210は、低DR画像信号D06及び予測画像信号D09のうちから予測画像信号D09を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(ステップS210)。

0115

一方、ステップS209において画像差SBが閾値D08以上であると判定されたブロックに対しては、USPフィルタ部210は、低DR画像信号D06及び予測画像信号D09のうちから低DR画像信号D06を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(ステップS211)。

0116

尚、図9及び図10に示されるステップS206〜S211各々での具体的な動作については、前述した、図6及び図7に示すステップS206〜S211において説明したものと同一であるので、その説明は省略する。

0117

ステップS210又はS211の実行後、符号化圧縮部511が、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−HHEVC等の画像符号化方式を用いて、低DR画像信号D06を圧縮し、画像圧縮データD11を生成する(ステップS512)。

0118

そして、ビットストリーム伝送部113が、中心値D05、ROI補正済情報D03、DR係数D04、画像圧縮データD11などの情報を多重化したビットストリーム信号D12を生成し、これを外部出力する(ステップS313)。

0119

以下に、かかるビットストリーム信号D12を受けて、このビットストリーム信号D12に対して画像復号処理を施す画像復号部U2での動作について説明する。

0120

図11は、図8に示す画像復号部U2の動作を表す動作フロー図である。図11に示すように、画像復号部U2では、先ず、ビットストリーム受信部318が、ビットストリーム信号D12を受信し、当該ビットストリーム信号D12中から、中心値、画像圧縮データ、ROI情報及びDR係数を抽出し、夫々を中心値17、画像圧縮データD13、ROI情報D15及びDR係数D16として出力する(ステップS351)。

0121

次に、復号部514が、画像圧縮データD13をH.264/MPEG−4 AVC等の画像符号化方式を用いて復号し、データ量抑圧画像信号D14を生成する(ステップS552)。

0122

次に、逆DRCフィルタ部118が、データ量抑圧画像信号D14に含まれる画素値の系列中において、ROI情報D15に基づき背景領域に分類される画素に対応した画素値に対して、中心値D17の値を中心にしてDR係数D16の逆数を乗算することにより、ダイナミックレンジを伸長した復号画像信号D18を生成する。

0123

具体的には、中心値D17の値をV、ダイナミックレンジの伸長前の画素値をQbとした場合、逆DRCフィルタ部313は、例えば以下の数式に従ってダイナミックレンジ伸長後の画素値をQaを求める。

0124

Qa=(Qb−V)×(1/Dc)+V
つまり、逆DRCフィルタ部313は、背景領域に分類される画素に対応した画素値に対してはQaを伸長後の画素値とする一方、ROIに分類される画素に対してはQbを伸長後の画素値とする。そして、逆DRCフィルタ部118は、伸長後の画素値(Qa、Qb)の系列を含む復号画像信号D18を出力する。

0125

以上のように、図8に示される画像処理システムP1には、DRCフィルタ部306においてダイナミックレンジの圧縮を行う際の中心値(D05)を設定する中心値決定部305が設けられている。尚、中心値とは、画質劣化を生じさせたくない色(赤色成分、緑色成分、青色成分)、つまり視覚上において重要となる色を表す画素値である。DRCフィルタ部306は、画像信号D02によって表される画素値が中心値よりも高い場合には、その画素値を低下させる一方、画像信号D02によって表される画素値が当該中心値D05以下である場合には、その画素値を増加させることにより、中心値(D05)を中心としたダイナミックレンジの圧縮を行う。これにより、中心値以外の画素値に対しては圧縮処理に伴う量子化誤差が生じるが、中心値を有する画素値に対しては圧縮処理に伴う量子化誤差が発生しない為、視覚上において重要となる色に対して画像品質の劣化を抑えることが可能となる。

0126

尚、図1図5及び図8では、画像符号化部U1と画像復号部U2とを常に組み合わせた構成を示しているが、画像符号化部U1単独であっても情報量の削減は同様に為される。また、図8に示される画像符号化部U1と図1に示される画像復号部U2とを組み合わせて採用しても、情報量の削減は同様に為される。

0127

また、図8に示す構成では、図5に示される圧縮対象選択部(閾値決定部208、バッファ部209、USPフィルタ部210)に、中心値決定部305が加わった構成となっているが、当該圧縮対象選択部を排除した構成を採用しても良い。

0128

また、図1図5及び図8に示す実施例では、背景領域に対してはダイナミックレンジの圧縮を行う一方、ROIに対してはこれを実施しないようにしているが、ROIに対しても背景領域とは異なる圧縮率でダイナミックレンジの圧縮処理を施すようにしても良い。

実施例

0129

また、上記した実施例ではDR係数D04を1未満としているが、図5に示す構成に関しては、DR係数D04を1.0とした場合でも、背景領域に対する情報量の削減が為される。尚、DR係数D04が1.0である場合、USPフィルタ部210に画像信号D02をそのまま入力する構成と等価となる。換言すると、図5に示す画像符号化部U1の構成からDRCフィルタ部106を省き、画像信号D02を直接、USPフィルタ部210に供給する構成を採用しても良いのである。

0130

103ROI補正部
104 DR係数計算部
106、306 DRCフィルタ部
208閾値決定部
209バッファ部
210 USPフィルタ部
305中心値決定部
501 ROI検出部
511圧縮部
P1画像符号化部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ