図面 (/)

技術 ノイズ除去装置、ノイズ除去方法及び画像符号化装置

出願人 三菱電機株式会社
発明者 坂手寛治
出願日 2014年9月16日 (4年9ヶ月経過) 出願番号 2014-187776
公開日 2016年4月25日 (3年1ヶ月経過) 公開番号 2016-063290
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 学習系列 分割ブロック毎 ノイズ除去処理後 ノイズ除去装置 ウィーナフィルタ 実行停止 分割ブロック 基準量
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年4月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非を決定して、画像の画質の低下を抑えることができるようにする。

解決手段

SATD算出部14により算出されたSATDに基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、その判定結果が実行すべき旨の判定であれば、ノイズ除去処理の実行指令ノイズ除去部16に出力する実行判定部15を設け、ノイズ除去部16が、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。

概要

背景

画像符号化装置は、テレビの画像データやビデオカメラなどで撮影された画像データを、通信路(例えば、インターネット衛星回線など)を介して送受信する際に、通信路の帯域幅に合わせて画像データを圧縮する機能を備えている。
また、それらの画像データを磁気ディスクなどの媒体に記録する際に、媒体の容量に合わせて画像データを圧縮する機能を備えている。

画像データを圧縮する際の方式として、例えば、MPEG−2やH.264などの国際標準方式が存在しており、例えば、インターネットでの画像配信デジタル放送デジタルビデオカメラなどの幅広い分野で利用されている。
MPEG−2やH.264などの方式では、画像における時間方向の相関性空間方向の相関性を利用することで、高い圧縮率を実現している。
例えば、時間方向の相関性を利用するものとしては、フレーム間予測を用いて、ピクチャ間で差分をとることによって、画像における時間方向の冗長性を削減する手法がある。
また、空間方向の相関性を利用するものとしては、近隣画素間で差分をとるイントラ予測直交変換を実施することで、空間方向の冗長性を削減する手法がある。

MPEG−2やH.264では、時間方向の冗長性を削減する手法や空間方向の冗長性を削減する手法を組み合わせることによって高い圧縮性能を実現しているが、2013年に誕生したHEVC(High Efficiency Video Coding)方式では、イントラ予測や動き補償予測などのアルゴリズムを従来よりも高度化することで更に高い圧縮性能を実現しており、画像のデータサイズを1/300以下に圧縮することが可能である。

したがって、画像における時間方向の相関性や空間方向の相関性が高い場合には、高い圧縮率を実現することができるが、時間方向や空間方向の相関性が低い画像が入力されることもある。
例えば、夜間や悪天候下での撮影では、カメラゲインアップして撮影することが多いが、このような撮影では、画像にランダムノイズ重畳するため、時間方向や空間方向の相関性が著しく低下することがある。
時間方向や空間方向の相関性が著しく低下している画像については、時間方向の相関性や空間方向の相関性を利用することができないため、圧縮性能が大幅に低下してしまって、画像の画質や圧縮率が低くなることがある。

そこで、画像符号化を実施する前に、帯域制限フィルタメディアンフィルタなどを用いて、入力された画像に重畳されているノイズを除去するノイズ除去処理を実施する方法を採用すれば、時間方向や空間方向の相関性の著しい低下を避けることができる。
また、カメラをゲインアップして撮影された画像が入力された場合、イントラ予測を強制的に選択する方法(フレーム間予測を選択しない方法)を採用すれば、ノイズ成分蓄積による画質劣化を防止することができる(例えば、特許文献1を参照)。
ただし、フレーム間予測の使用を制限することによる圧縮性能の低下や、ノイズに伴うイントラ予測性能の低下が避けられないため、良好な画質や圧縮率を得ることできないケースがある。
なお、以下の特許文献2には、画像の符号化に伴って発生する歪みを除去する技術が開示されているが、入力された画像に重畳されているノイズを除去するものではない。

概要

入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非を決定して、画像の画質の低下を抑えることができるようにする。SATD算出部14により算出されたSATDに基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、その判定結果が実行すべき旨の判定であれば、ノイズ除去処理の実行指令ノイズ除去部16に出力する実行判定部15を設け、ノイズ除去部16が、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。

目的

この発明は上記のような課題を解決するためになされたもので、入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非を決定して、画像の画質の低下を抑えることができるノイズ除去装置ノイズ除去方法及び画像符号化装置を得ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力された画像を構成する符号化対象ブロックである符号化ブロックと、前記符号化ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数絶対値和を算出する絶対値和算出手段と、前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段と、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記符号化ブロックに対する前記ノイズ除去処理を実行するノイズ除去手段とを備えたノイズ除去装置

請求項2

前記絶対値和算出手段は、予め、複数のブロックサイズが設定されるブロックサイズ設定部と、前記ブロックサイズ設定部により設定されているブロックサイズ毎に、前記符号化ブロックを当該ブロックサイズの分割ブロックに分割するブロック分割部と、前記ブロック分割部により分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、前記符号化ブロックにおける前記分割ブロックの個数分の前記絶対値和の総和を算出する総和算出部とから構成されており、前記実行判定手段は、前記ブロックサイズ設定部により設定されているブロックサイズ毎に前記総和算出部により算出された絶対値和の総和の間の比率をそれぞれ算出し、前記比率の全てが予め設定された閾値より小さい場合、前記ノイズ除去処理を実行すべき旨を示す判定結果を前記ノイズ除去手段に出力することを特徴とする請求項1記載のノイズ除去装置。

請求項3

前記絶対値和算出手段は、予め、複数のブロックサイズが設定されるブロックサイズ設定部と、前記ブロックサイズ設定部により設定されているブロックサイズ毎に、前記符号化ブロックを当該ブロックサイズの分割ブロックに分割するブロック分割部と、前記ブロック分割部により分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、前記符号化ブロックにおける前記分割ブロックの個数分の前記絶対値和の総和を算出する総和算出部とから構成されており、前記実行判定手段は、前記ブロックサイズ設定部により設定されているブロックサイズ毎に前記総和算出部により算出された絶対値和の総和の全てが予め設定された閾値より大きい場合、前記ノイズ除去処理を実行すべき旨を示す判定結果を前記ノイズ除去手段に出力することを特徴とする請求項1記載のノイズ除去装置。

請求項4

記入力された画像の変化量を監視し、前記変化量が予め設定された基準量より大きい場合、画像内容が大きく変化している旨を通知する画像内容変化通知手段を備え、前記ノイズ除去手段は、前記ノイズ除去処理の実行を開始した後、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべきでない旨を示す判定結果に変化しても、前記画像内容変化通知手段から画像内容が大きく変化している旨の通知を受けるまでの間は、前記ノイズ除去処理の実行を継続することを特徴とする請求項1から請求項3のうちのいずれか1項記載のノイズ除去装置。

請求項5

前記入力された画像が静止画像であるか否かを判定する静止画像判定手段を備え、前記ノイズ除去手段は、前記静止画像判定手段の判定結果が静止画像である旨を示していれば、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していても、前記ノイズ除去処理を実行しないことを特徴とする請求項1から請求項4のうちのいずれか1項記載のノイズ除去装置。

請求項6

前記符号化ブロックに対する予測処理で前記予測ブロックが生成される際に求められる動きベクトル分散値を算出する分散値算出手段を備え、前記ノイズ除去手段は、前記分散値算出手段により算出された分散値が予め設定された閾値より小さければ、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していても、前記ノイズ除去処理を実行しないことを特徴とする請求項1から請求項5のうちのいずれか1項記載のノイズ除去装置。

請求項7

絶対値和算出手段が、入力された画像を構成する符号化対象のブロックである符号化ブロックと、前記符号化ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、実行判定手段が、前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、ノイズ除去手段が、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記ノイズ除去処理を実行するノイズ除去方法

請求項8

入力された画像を構成する符号化対象のブロックである符号化ブロックに対する予測処理を実施して予測ブロックを生成する予測ブロック生成手段と、前記符号化ブロックと前記予測ブロック生成手段により生成された予測ブロックとの差分を圧縮して、前記差分の圧縮データを出力する圧縮手段と、前記圧縮手段から出力された圧縮データを可変長符号化する可変長符号化手段とを備えた画像符号化装置において、前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出する絶対値和算出手段と、前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段と、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記符号化ブロックに対するノイズ除去処理を実行し、ノイズ除去処理後の前記符号化ブロックを前記圧縮手段に出力するノイズ除去手段とを備えたことを特徴とする画像符号化装置。

請求項9

前記圧縮手段は、前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数を出力する直交変換部と、前記直交変換部から出力された直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして前記可変長符号化手段に出力する量子化部とから構成されており、前記直交変換部は、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示している場合、前記絶対値和算出手段により算出された直交変換係数の絶対値和が大きい程、前記差分を直交変換する際の変換ブロックとして、小さなサイズの変換ブロックを用いることを特徴とする請求項8記載の画像符号化装置。

請求項10

前記圧縮手段は、前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数を出力する直交変換部と、前記直交変換部から出力された直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして前記可変長符号化手段に出力する量子化部とから構成されており、前記量子化部は、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示している場合、前記絶対値和算出手段により算出された直交変換係数の絶対値和が大きい程、前記直交変換部から出力された直交変換係数を量子化する際に用いる量子化スケーリングリストの成分を大きくすることを特徴とする請求項8または請求項9記載の画像符号化装置。

技術分野

0001

この発明は、符号化対象ブロックである符号化ブロック重畳されているノイズを除去するノイズ除去装置及びノイズ除去方法と、ノイズ除去装置を実装している画像符号化装置とに関するものである。

背景技術

0002

画像符号化装置は、テレビの画像データやビデオカメラなどで撮影された画像データを、通信路(例えば、インターネット衛星回線など)を介して送受信する際に、通信路の帯域幅に合わせて画像データを圧縮する機能を備えている。
また、それらの画像データを磁気ディスクなどの媒体に記録する際に、媒体の容量に合わせて画像データを圧縮する機能を備えている。

0003

画像データを圧縮する際の方式として、例えば、MPEG−2やH.264などの国際標準方式が存在しており、例えば、インターネットでの画像配信デジタル放送デジタルビデオカメラなどの幅広い分野で利用されている。
MPEG−2やH.264などの方式では、画像における時間方向の相関性空間方向の相関性を利用することで、高い圧縮率を実現している。
例えば、時間方向の相関性を利用するものとしては、フレーム間予測を用いて、ピクチャ間で差分をとることによって、画像における時間方向の冗長性を削減する手法がある。
また、空間方向の相関性を利用するものとしては、近隣画素間で差分をとるイントラ予測直交変換を実施することで、空間方向の冗長性を削減する手法がある。

0004

MPEG−2やH.264では、時間方向の冗長性を削減する手法や空間方向の冗長性を削減する手法を組み合わせることによって高い圧縮性能を実現しているが、2013年に誕生したHEVC(High Efficiency Video Coding)方式では、イントラ予測や動き補償予測などのアルゴリズムを従来よりも高度化することで更に高い圧縮性能を実現しており、画像のデータサイズを1/300以下に圧縮することが可能である。

0005

したがって、画像における時間方向の相関性や空間方向の相関性が高い場合には、高い圧縮率を実現することができるが、時間方向や空間方向の相関性が低い画像が入力されることもある。
例えば、夜間や悪天候下での撮影では、カメラゲインアップして撮影することが多いが、このような撮影では、画像にランダムノイズが重畳するため、時間方向や空間方向の相関性が著しく低下することがある。
時間方向や空間方向の相関性が著しく低下している画像については、時間方向の相関性や空間方向の相関性を利用することができないため、圧縮性能が大幅に低下してしまって、画像の画質や圧縮率が低くなることがある。

0006

そこで、画像符号化を実施する前に、帯域制限フィルタメディアンフィルタなどを用いて、入力された画像に重畳されているノイズを除去するノイズ除去処理を実施する方法を採用すれば、時間方向や空間方向の相関性の著しい低下を避けることができる。
また、カメラをゲインアップして撮影された画像が入力された場合、イントラ予測を強制的に選択する方法(フレーム間予測を選択しない方法)を採用すれば、ノイズ成分蓄積による画質劣化を防止することができる(例えば、特許文献1を参照)。
ただし、フレーム間予測の使用を制限することによる圧縮性能の低下や、ノイズに伴うイントラ予測性能の低下が避けられないため、良好な画質や圧縮率を得ることできないケースがある。
なお、以下の特許文献2には、画像の符号化に伴って発生する歪みを除去する技術が開示されているが、入力された画像に重畳されているノイズを除去するものではない。

先行技術

0007

特開2012−227955号公報(段落番号[0010])
特開平7−255052号公報(段落番号[0016])

発明が解決しようとする課題

0008

従来の画像符号化装置は以上のように構成されているので、入力された画像に重畳されているノイズを除去するノイズ除去処理を実施すれば、時間方向や空間方向の相関性の著しい低下を避けることができる。しかし、ノイズ除去処理を実施することで、画像がぼけてしまうなどの副作用が生じてしまうことがあるが、適応的にノイズ除去処理の実施の是非を決定することができないため、ノイズ除去処理の実施によって却って画質が低下してしまうことがあるという課題があった。

0009

この発明は上記のような課題を解決するためになされたもので、入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非を決定して、画像の画質の低下を抑えることができるノイズ除去装置、ノイズ除去方法及び画像符号化装置を得ることを目的とする。

課題を解決するための手段

0010

この発明に係るノイズ除去装置は、入力された画像を構成する符号化対象のブロックである符号化ブロックと、その符号化ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、その差分の直交変換結果である直交変換係数絶対値和を算出する絶対値和算出手段と、絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段とを設け、ノイズ除去手段が、実行判定手段の判定結果がノイズ除去処理を実行すべき旨を示していれば、符号化ブロックに対するノイズ除去処理を実行するようにしたものである。

発明の効果

0011

この発明によれば、絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段を設け、ノイズ除去手段が、実行判定手段の判定結果がノイズ除去処理を実行すべき旨を示していれば、符号化ブロックに対するノイズ除去処理を実行するように構成したので、画像の画質の低下を抑えることができる効果がある。

図面の簡単な説明

0012

この発明の実施の形態1によるノイズ除去装置を実装している画像符号化装置を示す構成図である。
この発明の実施の形態1によるノイズ除去装置のSATD算出部を示す構成図である。
この発明の実施の形態1によるノイズ除去装置の処理内容(ノイズ除去方法)を示すフローチャートである。
符号化ブロックの分割ブロックの画像サイズを示す説明図である。
この発明の実施の形態2によるノイズ除去装置の処理内容(ノイズ除去方法)を示すフローチャートである。
この発明の実施の形態3によるノイズ除去装置を実装している画像符号化装置を示す構成図である。
この発明の実施の形態4によるノイズ除去装置を実装している画像符号化装置を示す構成図である。

実施例

0013

実施の形態1.
図1はこの発明の実施の形態1によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図2はこの発明の実施の形態1によるノイズ除去装置のSATD算出部14を示す構成図である。
図1及び図2において、符号化制御部1は1以上のピクチャを含む画像データが入力されると、1つのピクチャ毎に、符号化処理が実施される際の処理単位となる符号化ブロック(符号化対象のブロック)の最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部1は選択可能な1以上の符号化モード(予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラ符号化モード、予測ブロックのサイズなどが異なる1以上のインター符号化モード)の中から、符号化ブロックに適用する符号化モードを選択する処理を実施する。
選択手法の例としては、選択可能な1以上の符号化モードの中から、符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。

0014

また、符号化制御部1は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部1は直交変換部3が直交変換する際の変換ブロックサイズを決定して、その変換ブロックサイズを示す変換ブロック情報を直交変換部3及び逆直交変換部7に出力するとともに、量子化部4が直交変換係数を量子化する際に用いる量子化スケーリングリスト量子化マトリクス)を示す量子化パラメータを決定して、その量子化パラメータを量子化部4及び逆量子化部6に出力する処理を実施する。

0015

減算部2はフレームメモリ17より読み出した符号化ブロックから、切換スイッチ13より出力された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)を減算して、その減算結果である差分画像を示す予測差分信号を直交変換部3に出力する処理を実施する。
直交変換部3は符号化制御部1から出力された変換ブロック情報が示す変換ブロックサイズ単位に、減算部2から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)、DST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換などの直交変換処理)を実施して直交変換係数を算出する処理を実施する。

0016

量子化部4は符号化制御部1から出力された量子化パラメータが示す量子化スケーリングリストを参照して、直交変換部3から出力された直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして可変長符号化部5及び逆量子化部6に出力する処理を実施する。
なお、減算部2、直交変換部3及び量子化部4から圧縮手段が構成されている。

0017

可変長符号化部5は量子化部4から出力された圧縮データと、符号化制御部1により決定された符号化モード、イントラ予測パラメータ又はインター予測パラメータ、変換ブロック情報及び量子化パラメータと、インター予測部12から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して符号化データのビット列であるビットストリームを生成する処理を実施する。なお、可変長符号化部5は可変長符号化手段を構成している。

0018

逆量子化部6は符号化制御部1から出力された量子化パラメータが示す量子化スケーリングリストを参照して、量子化部4から出力された圧縮データ(量子化後の直交変換係数)を逆量子化し、直交変換部3から出力された直交変換係数に相当する直交変換係数を逆直交変換部7に出力する処理を実施する。
逆直交変換部7は符号化制御部1から出力された変換ブロック情報が示す変換ブロックサイズ単位に、逆量子化部6から出力された直交変換係数を逆直交変換することで、減算部2から出力された予測差分信号に相当する局所復号予測差分信号を求める処理を実施する。
加算部8は逆直交変換部7から出力された局所復号予測差分信号と、切換スイッチ13から出力された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)とを加算して、フレームメモリ17より読み出した符号化ブロックに相当する局所復号画像を算出する処理を実施する。

0019

ループフィルタ9は加算部8により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタデブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
フレームメモリ10はループフィルタ9から出力されたフィルタ処理後の局所復号画像を格納する記録媒体である。

0020

イントラ予測部11はフレームメモリ17より読み出した符号化ブロックに対して、加算部8により算出された局所復号画像を参照しながら、符号化制御部1により決定されたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
また、イントラ予測部11は各々のブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)の算出に用いるイントラ予測画像を生成する処理を実施する。SATDについては後述する。

0021

インター予測部12はフレームメモリ17より読み出した符号化ブロックとフレームメモリ10に格納されている1フレーム以上の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部1により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施してインター予測画像を生成する処理を実施する。
また、インター予測部12は各々のブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)の算出に用いるインター予測画像を生成する処理を実施する。
なお、イントラ予測部11及びインター予測部12から予測ブロック生成手段が構成されている。

0022

切換スイッチ13は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、イントラ予測部11により生成されたイントラ予測画像を減算部2及び加算部8に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、インター予測部12により生成されたインター予測画像を減算部2及び加算部8に出力する処理を実施する。

0023

SATD算出部14はブロックサイズ設定部14a、ブロック分割部14b及び総和算出部14cから構成されている。
SATD算出部14のブロックサイズ設定部14aは予め複数のブロックサイズの設定を受け付ける処理部である。この実施の形態1では、ブロックサイズとして、例えば、8×8画素、16×16画素、32×32画素、64×64画素の4種類が設定されているものとする。
ブロック分割部14bはブロックサイズ設定部14aにより設定されているブロックサイズ毎に、符号化制御部1から出力された符号化ブロックを当該ブロックサイズの分割ブロックに分割する処理を実施する。
総和算出部14cはブロック分割部14bにより分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)との差分を離散アダマール変換(直交変換)して、その離散アダマール変換の変換係数Diff(x,y)の絶対値和を算出し、その符号化ブロックにおける分割ブロックの個数分の絶対値和の総和をSATDとして算出する処理を実施する。なお、SATD算出部14は絶対値和算出手段を構成している。

0024

実行判定部15はSATD算出部14により算出されたSATDに基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、その判定結果が実行すべき旨の判定であれば、ノイズ除去処理の実行指令をノイズ除去部16に出力する処理を実施する。なお、実行判定部15は実行判定手段を構成している。
ノイズ除去部16は実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。なお、ノイズ除去部16はノイズ除去手段を構成している。
フレームメモリ17は実行判定部15の判定結果がノイズ除去処理を実行すべき旨を示していれば、ノイズ除去部16によりノイズ除去処理が実施された符号化ブロックを格納し、実行判定部15の判定結果がノイズ除去処理を実行すべきでない旨を示していれば、ノイズ除去部16によるノイズ除去処理が実施されていない符号化ブロックを格納する記録媒体である。
図1の例では、ノイズ除去部16がフレームメモリ17の前段に配置されているが、ノイズ除去部16がフレームメモリ17の後段に配置されていてもよい。

0025

図1の例では、画像符号化装置の構成要素である符号化制御部1、減算部2、直交変換部3、量子化部4、可変長符号化部5、逆量子化部6、逆直交変換部7、加算部8、ループフィルタ9、フレームメモリ10、イントラ予測部11、インター予測部12、切換スイッチ13、SATD算出部14、実行判定部15、ノイズ除去部16及びフレームメモリ17のそれぞれが専用のハードウェアで構成(フレームメモリ10,17以外の構成要素は、例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなどで構成)されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置をコンピュータで構成する場合、フレームメモリ10,17をコンピュータのメモリ上に構成するとともに、符号化制御部1、減算部2、直交変換部3、量子化部4、可変長符号化部5、逆量子化部6、逆直交変換部7、加算部8、ループフィルタ9、イントラ予測部11、インター予測部12、切換スイッチ13、SATD算出部14、実行判定部15及びノイズ除去部16の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図3はこの発明の実施の形態1によるノイズ除去装置の処理内容(ノイズ除去方法)を示すフローチャートである。

0026

次に動作について説明する。
図1の画像符号化装置は、ノイズ除去装置を実装していることが特徴であり、ノイズ除去装置以外の部分は、H.264やHEVCなどに規定されている一般的な画像符号化装置と同様である。
この実施の形態1では、特に扱う符号化方式を限定するものではないが、HEVCに準拠している画像符号化装置を例に説明する。

0027

1以上のピクチャを含む画像データが入力されると、その画像データが符号化制御部1に入力される。
HEVCでは、CTU(Coding Tree Unit)が基本の処理単位として規定されており、CTUのサイズとして、8×8画素、16×16画素、32×32画素、64×64画素の4種類が定義されている。
符号化制御部1は、入力された画像データに含まれている各ピクチャをCTU単位に分割し、分割したピクチャである符号化ブロックをイントラ予測部11、インター予測部12及びSATD算出部14に出力する。
この実施の形態1では、説明の便宜上、64×64画素の符号化ブロックをイントラ予測部11、インター予測部12及びSATD算出部14に出力するものとする。

0028

また、符号化制御部1は、選択可能な1以上の符号化モード(予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラ符号化モード、予測ブロックのサイズなどが異なる1以上のインター符号化モード)の中から、その符号化ブロックに適用する符号化モードを選択する。
選択手法の例としては、選択可能な1以上の符号化モードの中から、符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。

0029

符号化制御部1は、符号化ブロックの符号化モードとして、イントラ符号化モードを選択すると、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、そのイントラ予測パラメータをイントラ予測部11に出力する。
一方、符号化ブロックの符号化モードとして、インター符号化モードを選択すると、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定し、そのインター予測パラメータをインター予測部12に出力する。
なお、予測パラメータ決定処理自体はHEVCで規定されているため詳細な説明を省略する。

0030

また、符号化制御部1は、直交変換部3が直交変換する際の変換ブロックサイズを決定して、その変換ブロックサイズを示す変換ブロック情報を直交変換部3及び逆直交変換部7に出力するとともに、量子化部4が直交変換係数を量子化する際に用いる量子化スケーリングリスト(量子化マトリクス)を示す量子化パラメータを決定して、その量子化パラメータを量子化部4及び逆量子化部6に出力する。変換ブロックサイズ及び量子化パラメータの決定処理についても、HEVCで規定されているため詳細な説明を省略する。

0031

イントラ予測部11は、符号化制御部1から符号化ブロック及びイントラ予測パラメータを受けると、後段のSATD算出部14が、各々のブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)を算出できるようにするため、64×64画素の符号化ブロックを図4のように分割する。
イントラ予測部11は、64×64画素の符号化ブロックを図4のように分割すると、8×8画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、8×8画素の64個のイントラ予測画像をSATD算出部14に出力する。

0032

また、イントラ予測部11は、16×16画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、16×16画素の16個のイントラ予測画像をSATD算出部14に出力する。
また、イントラ予測部11は、32×32画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、32×32画素の4個のイントラ予測画像をSATD算出部14に出力する。
さらに、イントラ予測部11は、64×64画素の符号化ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、64×64画素の1個のイントラ予測画像をSATD算出部14に出力する。
この段階で、イントラ予測部11が生成しているイントラ予測画像は、SATD(SATD8、SATD16、SATD32、SATD64)の算出に用いる予測ブロックであって、後述する圧縮データの算出に用いるイントラ予測画像ではないため、圧縮データの算出に用いるイントラ予測画像よりも簡易な方法で生成するようにしてもよい。

0033

インター予測部12は、符号化制御部1から符号化ブロック及びインター予測パラメータを受けると、後段のSATD算出部14が、各々のブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)を算出できるようにするため、64×64画素の符号化ブロックを図4のように分割する。
インター予測部12は、64×64画素の符号化ブロックを図4のように分割すると、8×8画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、8×8画素の64個のインター予測画像をSATD算出部14に出力する。

0034

また、インター予測部12は、16×16画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、16×16画素の16個のインター予測画像をSATD算出部14に出力する。
また、インター予測部12は、32×32画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、32×32画素の4個のインター予測画像をSATD算出部14に出力する。
さらに、インター予測部12は、64×64画素の符号化ブロックに対するインター予測処理を実施してインター予測画像を生成し、64×64画素の1個のインター予測画像をSATD算出部14に出力する。
この段階で、インター予測部12が生成しているインター予測画像は、SATD(SATD8、SATD16、SATD32、SATD64)の算出に用いる予測ブロックであって、後述する圧縮データの算出に用いるインター予測画像ではないため、圧縮データの算出に用いるインター予測画像よりも簡易な方法で生成するようにしてもよい。

0035

この実施の形態1では、符号化制御部1により選択された符号化モードがイントラ符号化モードであって、符号化制御部1からイントラ予測パラメータを受けたときに、イントラ予測部11が、SATD(SATD8、SATD16、SATD32、SATD64)の算出に用いる各ブロックサイズでのイントラ予測画像を生成する例を示しているが、符号化制御部1により選択された符号化モードがインター符号化モードであっても、常に、イントラ予測部11が、各ブロックサイズでのイントラ予測画像を生成するようにしてもよい。
一方、符号化制御部1により選択された符号化モードがインター符号化モードであって、符号化制御部1からインター予測パラメータを受けたときに、インター予測部12が、SATD(SATD8、SATD16、SATD32、SATD64)を算出に用いる各ブロックサイズでのインター予測画像を生成する例を示しているが、符号化制御部1により選択された符号化モードがイントラ符号化モードであっても、常に、インター予測部12が、各ブロックサイズでのインター予測画像を生成するようにしてもよい。

0036

SATD算出部14のブロック分割部14bは、符号化制御部1から64×64画素の符号化ブロックを受けると、ブロックサイズ設定部14aにより設定されているブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)を算出するため、64×64画素の符号化ブロックを図4のように分割する。
SATD算出部14の総和算出部14cは、ブロック分割部14bが64×64画素の符号化ブロックを分割すると、その符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)との差分を離散アダマール変換し、下記の式(1)に示すように、その離散アダマール変換の変換係数Diff(x,y)の絶対値和を算出して、その符号化ブロックにおける分割ブロックの個数分の変換係数Diff(x,y)の絶対値和の総和をSATDとして算出する(図3のステップST1)。

0037

具体的には、まず、総和算出部14cは、符号化ブロックにおける8×8画素の分割ブロック毎に、当該分割ブロックと8×8画素の予測ブロック(イントラ予測部11又はインター予測部12から出力された64個の予測画像(イントラ予測画像、インター予測画像)のうち、当該分割ブロックと画像の位置が同じ予測画像)との差分を離散アダマール変換して、その離散アダマール変換の変換係数Diff(x,y)を求め、8×8画素のブロック内で、その変換係数Diff(x,y)の絶対値和を算出する。
総和算出部14cは、8×8画素の64個のブロックについて、変換係数Diff(x,y)の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をSATD8として算出する。

0038

次に、総和算出部14cは、符号化ブロックにおける16×16画素の分割ブロック毎に、当該分割ブロックと16×16画素の予測ブロック(イントラ予測部11又はインター予測部12から出力された16個の予測画像(イントラ予測画像、インター予測画像)のうち、当該分割ブロックと画像の位置が同じ予測画像)との差分を離散アダマール変換して、その離散アダマール変換の変換係数Diff(x,y)を求め、16×16画素のブロック内で、その変換係数Diff(x,y)の絶対値和を算出する。
総和算出部14cは、16×16画素の16個のブロックについて、変換係数Diff(x,y)の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をSATD16として算出する。

0039

次に、総和算出部14cは、符号化ブロックにおける32×32画素の分割ブロック毎に、当該分割ブロックと32×32画素の予測ブロック(イントラ予測部11又はインター予測部12から出力された4個の予測画像(イントラ予測画像、インター予測画像)のうち、当該分割ブロックと画像の位置が同じ予測画像)との差分を離散アダマール変換して、その離散アダマール変換の変換係数Diff(x,y)を求め、32×32画素のブロック内で、その変換係数Diff(x,y)の絶対値和を算出する。
総和算出部14cは、32×32画素の4個のブロックについて、変換係数Diff(x,y)の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をSATD32として算出する。

0040

次に、総和算出部14cは、64×64画素の符号化ブロックと64×64画素の予測ブロック(イントラ予測部11又はインター予測部12から出力された予測画像)との差分を離散アダマール変換して、その離散アダマール変換の変換係数Diff(x,y)を求め、64×64画素のブロック内で、その変換係数Diff(x,y)の絶対値和をSATD64として算出する。

0041

ここでは、SATD算出部14の総和算出部14cが、差分の直交変換として、離散アダマール変換を実施している例を示しているが、差分の直交変換は離散アダマール変換に限るものではなく、例えば、差分を離散コサイン変換するものであってもよいし、差分を離散サイン変換するものであってもよい。
なお、SATDの値には画像の空間方向の相関性が反映されるため、空間方向の相関が高いほどSATDの値が小さくなり、空間方向の相関が低いとSATDの値が大きくなる。
一般に、複数の符号化モードのうち、SATDの値が小さい符号化モードを選択すれば、高い圧縮性能が得られ易くなるので、符号化制御部1が符号化ブロックの符号化モードを決定する際、SATDを評価指標として用いることが可能である。

0042

自然画などの多くの画像では、ブロックサイズを細かく分割する程、ブロック内にテクスチャが残らなくなるため、ブロックサイズが小さくなる程、SATDの値が低下していく傾向がある。
一方、画像にランダムノイズが一様に重畳されている場合、画像の単位面積当りのノイズ存在確率は、ブロックサイズが異なっても変わらないため、ブロックサイズを小さくしてもSATDの値が大きく低下しない。即ち、ブロックサイズが異なっていても、SATDが近い値になる傾向がある。

0043

実行判定部15は、SATD算出部14が、各々のブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)を算出すると、下記の式(2)〜(4)に示すように、各SATDの間の比率R64/32,R32/16,R16/8を算出する(ステップST2)。

0044

実行判定部15は、各SATDの間の比率R64/32,R32/16,R16/8を算出すると、下記の式(5)に示すように、その比率R64/32と予め設定された閾値Th1を比較し、その比率R64/32が閾値Th1より大きければ(ステップST3:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する(ステップST6)。即ち、ノイズ除去処理を実行すべきでないと判定する。閾値Th1としては、例えば、1.25などの値が予め設定される。
R64/32≦Th1 (5)
実行判定部15は、その比率R64/32が閾値Th1以下であれば(ステップST3:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式(6)に示すように、その比率R32/16と予め設定された閾値Th2を比較する。
R32/16≦Th2 (6)
実行判定部15は、その比率R32/16が閾値Th2より大きければ(ステップST4:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する(ステップST6)。閾値Th2としては、例えば、1.25などの値が予め設定される。

0045

実行判定部15は、その比率R32/16が閾値Th2以下であれば(ステップST4:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式(7)に示すように、その比率R16/8と予め設定された閾値Th3を比較する。
R16/8≦Th3 (7)
実行判定部15は、その比率R16/8が閾値Th3より大きければ(ステップST5:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定し(ステップST6)、その比率R16/8が閾値Th3以下であれば(ステップST5:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていると判定する(ステップST7)。即ち、ノイズ除去処理を実行すべきであると判定する。閾値Th3としては、例えば、1.25などの値が予め設定される。
実行判定部15は、符号化に影響を与えるほどの過度のノイズが重畳されていると判定すると、ノイズ除去処理の実行指令をノイズ除去部16に出力する。

0046

ノイズ除去部16は、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行し、ノイズ除去処理後の符号化ブロックをフレームメモリ17に格納する(ステップST8)。
ここで、ノイズ除去処理としては、例えば、帯域制限フィルタやメディアンフィルタなどを用いて、符号化ブロックに重畳されているノイズを除去する方法が考えられる。このノイズ除去処理を実施することで、時間方向や空間方向の相関性の著しい低下を避けることができる。
ノイズ除去部16がノイズ除去処理を実施する際、常に同じフィルタを用いるようにしてもよいが、ノイズレベルの大きさに応じて、フィルタを代えるようにしてもよい。例えば、SATD算出部14により算出されたSATD8が予め設定された閾値(例えば、ブロックサイズが4×4画素でのSATD4(SATD4の算出方法はSATD8等の算出方法と同様であるため説明を省略する)を任意の整数除算した値が閾値として用いられるが、具体的には、1024などの値が閾値として用いられる)より大きければ、ノイズレベルが大きいと判断して、狭帯域のフィルタを用いる一方、SATD算出部14により算出されたSATD8が上記閾値以下であれば、符号化に影響を与えるものの、さほどノイズレベルが大きくないと判断して、比較的高帯域のフィルタを用いるようにしてもよい。
ここでは、SATD8と閾値を比較する例を示しているが、SATD8の代わりに、SATD16,SATD32又はSATD64と閾値を比較するようにしてもよい。

0047

ノイズ除去部16は、実行判定部15からノイズ除去処理の実行指令を受けなければ、符号化ブロックに重畳されているノイズの除去処理を実行せずに、その符号化ブロックをフレームメモリ17に格納する。
したがって、符号化に影響を与えるほどの過度のノイズが重畳されていない状況下では、ノイズ除去処理が実施されないので、ノイズ除去処理の実施に伴う画像のぼけなどの副作用の発生を避けることができる。

0048

イントラ予測部11は、ノイズ除去装置の処理が完了すると、符号化制御部1からイントラ予測パラメータを受けていれば、フレームメモリ17から符号化ブロックを読み出し、その符号化ブロックに対して、加算部8から出力された局所復号画像を参照しながら、そのイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成し、そのイントラ予測画像を切換スイッチ13に出力する。イントラ予測画像の生成処理自体は、HEVCで規定されているため詳細な説明を省略する。

0049

インター予測部12は、ノイズ除去装置の処理が完了すると、符号化制御部1からインター予測パラメータを受けていれば、フレームメモリ17から符号化ブロックを読み出し、その符号化ブロックとフレームメモリ10に格納されている1フレーム以上の局所復号画像を比較して動きベクトルを探索する。
インター予測部12は、動きベクトルを探索すると、その動きベクトルと符号化制御部1から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施してインター予測画像を生成し、そのインター予測画像を切換スイッチ13に出力する。また、その動きベクトルを可変長符号化部5に出力する。インター予測画像の生成処理自体は、HEVCで規定されているため詳細な説明を省略する。

0050

切換スイッチ13は、符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、イントラ予測部11により生成されたイントラ予測画像を減算部2及び加算部8に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、インター予測部12により生成されたインター予測画像を減算部2及び加算部8に出力する。

0051

減算部2は、ノイズ除去装置の処理が完了すると、フレームメモリ17から符号化ブロックを読み出し、その符号化ブロックから、切換スイッチ13より出力された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)を減算し、その減算結果である差分画像を示す予測差分信号を直交変換部3に出力する。
直交変換部3は、減算部2から予測差分信号を受けると、符号化制御部1から出力された変換ブロック情報が示す変換ブロックサイズ単位に、その予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)、DST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換などの直交変換処理)を実施して、その直交変換結果である直交変換係数を量子化部4に出力する。

0052

量子化部4は、直交変換部3から直交変換係数を受けると、符号化制御部1から出力された量子化パラメータが示す量子化スケーリングリストを参照して、その直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして可変長符号化部5及び逆量子化部6に出力する。
可変長符号化部5は、量子化部4から出力された圧縮データと、符号化制御部1により決定された符号化モード、イントラ予測パラメータ(または、インター予測パラメータ)、変換ブロック情報及び量子化パラメータと、インター予測部12から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、符号化データのビット列であるビットストリームを生成し、そのビットストリームを外部に出力する。

0053

逆量子化部6は、量子化部4から圧縮データ(量子化後の直交変換係数)を受けると、符号化制御部1から出力された量子化パラメータが示す量子化スケーリングリストを参照して、その圧縮データ(量子化後の直交変換係数)を逆量子化することで、直交変換部3から出力された直交変換係数に相当する直交変換係数を求め、その直交変換係数を逆直交変換部7に出力する。
逆直交変換部7は、逆量子化部6から直交変換係数を受けると、符号化制御部1から出力された変換ブロック情報が示す変換ブロックサイズ単位に、その直交変換係数を逆直交変換することで、減算部2から出力された予測差分信号に相当する局所復号予測差分信号を求め、その局所復号予測差分信号を加算部8に出力する。

0054

加算部8は、逆直交変換部7から局所復号予測差分信号を受けると、その局所復号予測差分信号と、切換スイッチ13より出力された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)とを加算することで、フレームメモリ17より読み出した符号化ブロックに相当する局所復号画像を求め、その局所復号画像をループフィルタ9及びイントラ予測部11に出力する。
ループフィルタ9は、加算部8から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像をフレームメモリ10に格納する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。

0055

以上で明らかなように、この実施の形態1によれば、ブロックサイズ設定部14aに設定されているブロックサイズ毎に、符号化制御部1から出力された符号化ブロックを当該ブロックサイズの分割ブロックに分割するブロック分割部14bと、ブロック分割部14bにより分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を離散アダマール変換して、その離散アダマール変換の変換係数Diff(x,y)の絶対値和を算出し、その符号化ブロックにおける分割ブロックの個数分の絶対値和の総和をSATDとして算出する総和算出部14cと、総和算出部14cにより算出されたSATDに基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、その判定結果が実行すべき旨の判定であれば、ノイズ除去処理の実行指令をノイズ除去部16に出力する実行判定部15とを設け、ノイズ除去部16が、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行するように構成したので、画像の画質の低下を抑えることができる効果を奏する。
即ち、入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非が決定されるため、画像の画質の低下を抑えることができる効果を奏する。

0056

実施の形態2.
上記実施の形態1では、実行判定部15が、各SATDの間の比率R64/32,R32/16,R16/8を算出し、各SATDの間の比率R64/32,R32/16,R16/8と、予め設定された閾値Th1,Th2,Th3とを比較して、符号化に影響を与えるほどの過度のノイズが重畳されているか否かを判定するものを示したが、SATD算出部14により算出された各々のブロックサイズでのSATD8、SATD16、SATD32、SATD64の大きさに基づいて、符号化に影響を与えるほどの過度のノイズが重畳されているか否かを判定するようにしてもよく、上記実施の形態1と同様の効果を奏することができる。
図5はこの発明の実施の形態2によるノイズ除去装置の処理内容(ノイズ除去方法)を示すフローチャートである。

0057

次に動作について説明する。
実行判定部15以外は、上記実施の形態1と同様であるため、ここでは、主に実行判定部15の処理内容を説明する。
SATD算出部14のブロック分割部14bは、フレームメモリ17から64×64画素の符号化ブロックを読み出すと、上記実施の形態1と同様に、ブロックサイズ設定部14aに設定されているブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)を算出するため、64×64画素の符号化ブロックを図4のように分割する。
SATD算出部14の総和算出部14cは、ブロック分割部14bが64×64画素の符号化ブロックを分割すると、上記実施の形態1と同様に、その符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を離散アダマール変換して、その離散アダマール変換の変換係数Diff(x,y)の絶対値和を算出し、上記の式(1)に示すように、その符号化ブロックにおける分割ブロックの個数分の変換係数Diff(x,y)の絶対値和の総和をSATDとして算出する(図5のステップST1)。
なお、画像にノイズが一様に重畳されている場合は、ブロックサイズを小さくしても、SATDの値が大きく低下しないという傾向がある。

0058

実行判定部15は、SATD算出部14が、各々のブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)を算出すると、下記の式(8)に示すように、ブロックサイズが64×64画素でのSATD64と予め設定された閾値Th4を比較し、そのSATD64が閾値Th4より小さければ(ステップST11:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する(ステップST6)。即ち、ノイズ除去処理を実行すべきでないと判定する。閾値Th4としては、例えば、1×64×64×256などの値が予め設定される。
SATD64≧Th4 (8)

0059

実行判定部15は、そのSATD64が閾値Th4以上であれば(ステップST11:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式(9)に示すように、ブロックサイズが32×32画素でのSATD32と予め設定された閾値Th5を比較する。
SATD32≧Th5 (9)
実行判定部15は、そのSATD32が閾値Th5より小さければ(ステップST12:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する(ステップST6)。閾値Th5としては、例えば、4×32×32×256などの値が予め設定される。

0060

実行判定部15は、そのSATD32が閾値Th5以上であれば(ステップST12:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式(10)に示すように、ブロックサイズが16×16画素でのSATD16と予め設定された閾値Th6を比較する。
SATD16≧Th6 (10)
実行判定部15は、そのSATD16が閾値Th6より小さければ(ステップST13:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する(ステップST6)。閾値Th6としては、例えば、16×16×16×256などの値が予め設定される。

0061

実行判定部15は、そのSATD16が閾値Th6以上であれば(ステップST13:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式(11)に示すように、ブロックサイズが8×8画素でのSATD8と予め設定された閾値Th7を比較する。
SATD8≧Th7 (11)
実行判定部15は、そのSATD8が閾値Th7より小さければ(ステップST14:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定し(ステップST6)、そのSATD8が閾値Th7以上であれば(ステップST14:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていると判定する(ステップST7)。即ち、ノイズ除去処理を実行すべきであると判定する。閾値Th7としては、例えば、64×8×8×256などの値が予め設定される。

0062

実行判定部15は、符号化に影響を与えるほどの過度のノイズが重畳されている判定すると、上記実施の形態1と同様に、ノイズ除去処理の実行指令をノイズ除去部16に出力する。
ノイズ除去部16は、実行判定部15からノイズ除去処理の実行指令を受けると、上記実施の形態1と同様に、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行し、ノイズ除去処理後の符号化ブロックをフレームメモリ17に格納する(ステップST8)。

0063

実施の形態3.
図6はこの発明の実施の形態3によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図6において、図1と同一符号は同一または相当部分を示すので説明を省略する。
画像内容変化通知部21は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された画像の変化量を監視し、その変化量が予め設定された基準量より大きい場合、画像内容が大きく変化している旨をノイズ除去部22に通知する処理を実施する。なお、画像内容変化通知部21は画像内容変化通知手段を構成している。
ノイズ除去部22は図1のノイズ除去部16と同様に、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
ただし、ノイズ除去部22はノイズ除去処理の実行を開始した後、実行判定部15の判定結果がノイズ除去処理を実行すべきでない旨の判定結果に変化しても、画像内容変化通知部21から画像内容が大きく変化している旨の通知を受けるまでの間はノイズ除去処理の実行を継続する。なお、ノイズ除去部22はノイズ除去手段を構成している。

0064

次に動作について説明する。
ノイズ除去部22は、図1のノイズ除去部16と同様に、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに対するノイズ除去処理を実行する。
一方、実行判定部15により符号化に影響を与えるほどの過度のノイズが重畳されていないと判定された場合(ノイズ除去処理を実行すべきでないと判定された場合)、符号化ブロックに対するノイズ除去処理を実行しない。
ノイズ除去部22が、実行判定部15の判定結果にしたがってノイズ除去処理の実行を開始すると、SATDの値が低下するため、実行判定部15の判定結果が、過度のノイズが重畳されていないとする判定に変化する。この判定結果を受けて、直ちにノイズ除去処理の実行を停止するようにすると、ノイズ除去処理の実行開始実行停止を繰り返すような発振状態に陥ることがある。

0065

そこで、この実施の形態3では、ノイズ除去処理の実行開始と実行停止の繰り返しを防ぐため、画像内容変化通知部21及びノイズ除去部22を実装している。
画像内容変化通知部21は、入力された画像の変化量を監視する。例えば、入力された画像の変化量として、入力された画像の最新フレームを構成している複数の画素と、前フレームを構成している複数の画素との差分絶対値和を求める。
画像内容変化通知部21は、フレーム毎に画像の変化量を求め、例えば、シーンチェンジなどが発生して、その画像の変化量が予め設定された基準量より大きくなると、画像内容が大きく変化している旨をノイズ除去部22に通知する。
ここでは、入力された画像の変化量として差分絶対値和を求める例を示しているが、符号化制御部1により同一のピクチャ内で、符号化モードとしてイントラ符号化モードが選択された符号化ブロックの数をカウントし、そのカウント値が予め設定された閾値以上であれば、画像内容が大きく変化していると判断するようにしてもよい。

0066

ノイズ除去部22は、実行判定部15からノイズ除去処理の実行指令を受けると、図1のノイズ除去部16と同様に、符号化ブロックに対するノイズ除去処理を実行する。
ノイズ除去部22は、符号化ブロックに対するノイズ除去処理の実行を開始すると、その後に、実行判定部15により符号化に影響を与えるほどの過度のノイズが重畳されていないと判定された場合でも、符号化ブロックに対するノイズ除去処理の実行を継続する。
ノイズ除去部22は、画像内容変化通知部21から画像内容が大きく変化している旨の通知を受けると、符号化ブロックに対するノイズ除去処理の実行を停止する。
これにより、ノイズ除去処理の実行開始と実行停止を繰り返すような発振状態の発生を防ぐことができる。

0067

実施の形態4.
図7はこの発明の実施の形態4によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図7において、図1と同一符号は同一または相当部分を示すので説明を省略する。
静止画像判定部23は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された画像が静止画像であるか否かを判定する処理を実施する。なお、静止画像判定部23は静止画像判定手段を構成している。
ノイズ除去部24は図1のノイズ除去部16又は図6のノイズ除去部22と同様に、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
ただし、ノイズ除去部24は、静止画像判定部23の判定結果が静止画像である旨を示していれば、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しない。なお、ノイズ除去部24はノイズ除去手段を構成している。

0068

次に動作について説明する。
上記実施の形態1,2では、実行判定部15からノイズ除去処理の実行指令を受けると、入力された画像が静止画像であっても、符号化ブロックに対するノイズ除去処理の実行を開始している。
しかし、入力された画像が静止画像である場合、仮にノイズが重畳されていても圧縮性能や画質が著しく低下することが少ない。このため、この実施の形態4では、入力された画像が静止画像である場合、ノイズ除去処理の実行に伴う画像ぼけなどの副作用の発生を防ぐことを優先し、ノイズ除去処理の実行を開始しないようにする。
具体的には、以下の通りである。

0069

静止画像判定部23は、入力された画像の変化量を監視する。例えば、入力された画像の変化量として、入力された画像の最新フレームを構成している複数の画素と、前フレームを構成している複数の画素との差分絶対値和を求める。
静止画像判定部23は、フレーム毎に画像の変化量を求め、その画像の変化量が予め設定された下限値より小さい場合、入力された画像が静止画像であると判定する。
ノイズ除去部24は、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに対するノイズ除去処理の実行を開始するが、静止画像判定部23の判定結果が静止画像である旨を示していれば、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しない。したがって、入力された画像が静止画像でない場合に限り、符号化ブロックに対するノイズ除去処理を実行する。

0070

実施の形態5.
上記実施の形態4では、入力された画像が静止画像である場合、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないものを示したが、ノイズ除去部24が、インター予測部12によりインター予測画像が生成される際に求められる動きベクトルを収集して、その動きベクトルの分散値を算出する分散値算出手段を構成し、その動きベクトルの分散値が予め設定された閾値より小さければ、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにしてもよい。

0071

具体的には、以下の通りである。
ノイズ除去部24は、インター予測部12によりインター予測画像が生成される際に求められる動きベクトルを収集して、その動きベクトルの分散値を算出する(例えば、nピクチャ分の動きベクトルの分散値を算出する)。
例えば、入力画像CG(Computer Graphic)の場合、非常に細やかなテクスチャが存在することがあるため、ノイズが重畳されていないにもかかわらず、最小のブロックサイズでもSATDの値が大きくなることがあるが、ピクチャ内で動きベクトルが一定方向に揃いやすい傾向がある。このため、動きベクトルの分散値を監視(ピクチャ内で動きベクトルが一定方向に揃っているか否かを監視)することで、入力された画像が、CG又はそれに類する画像であるか否かを判別することができる。
ノイズ除去部24は、動きベクトルの分散値を算出すると、その動きベクトルの分散値と予め設定された閾値を比較し、その動きベクトルの分散値が当該閾値より小さければ、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにする。

0072

このように、動きベクトルの分散値が閾値より小さい場合、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにすることで、ノイズの誤検出の影響を防ぐことができる。
即ち、入力画像がCG又はそれに類する画像である場合、ノイズが重畳されていないにもかかわらず、最小のブロックサイズでもSATDの値が大きくなることがある。このため、ノイズが重畳されていないにもかかわらず、実行判定部15が、過度のノイズが重畳されていると誤判定して、ノイズ除去処理の実行指令を出力することがある。この結果、ノイズ除去処理の実行に伴う画像ぼけなどの副作用が発生することがある。
しかし、この実施の形態5では、入力画像がCG又はそれに類する画像であるために、動きベクトルの分散値が閾値より小さくなると、ノイズ除去処理の実行を開始しないように構成しているので、ノイズの誤検出に伴うノイズ除去処理の実行を回避して、画像ぼけなどの副作用の発生を防ぐことができる。
なお、入力された画像がCG以外の画像である場合でも、動きベクトルが一定方向に揃うようなケースでは、仮にノイズが重畳されていても、圧縮性能や画質が低下することが少ないため、ノイズ除去処理の実行を回避しても特に問題はない。

0073

実施の形態6.
画像符号化装置では、一般的に、ブロックサイズによらずSATDが同程度の値となるような場合、減算部2から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、大きなサイズの変換ブロックを選択するようなアルゴリズムを採用している。
一方、ノイズが重畳されており、ブロックノイズが検知され易くなっている状態では、変換ブロックのサイズが小さい方が主観的な画質が良くなる傾向がある。

0074

そこで、この実施の形態6では、直交変換部3及び逆直交変換部7は、実行判定部15からノイズ除去処理の実行指令が出力されている場合、符号化制御部1の指示の下、SATD算出部14により算出されたSATD8が大きい程、減算部2から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、小さなサイズの変換ブロックを用いるようにする。これにより、主観的な画質が高めることができる効果が得られる。
ここでは、SATD8が大きい程、小さなサイズの変換ブロックを用いる例を示しているが、SATD16,SATD32又はSATD64の大きさを評価し、SATD16等が大きい程、小さなサイズの変換ブロックを用いるようにしてもよい。

0075

実施の形態7.
上記実施の形態6では、実行判定部15からノイズ除去処理の実行指令が出力されている場合、SATD算出部14により算出されたSATD8が大きい程、減算部2から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、小さなサイズの変換ブロックを用いるものを示したが、実行判定部15からノイズ除去処理の実行指令が出力されている場合、量子化部4が、符号化制御部1の指示の下、SATD算出部14により算出されたSATD8が大きい程、直交変換部3から出力された直交変換係数を量子化する際に用いる量子化スケーリングリスト(量子化マトリクス)の成分を大きくするようにしてもよい。このとき、逆量子化部6も同様に、量子化スケーリングリストの成分を大きくするようにする。

0076

ここで、直交変換部3が用いる変換ブロックのサイズが例えば32×32の場合、直交変換部3から出力される直交変換係数は、32×32の直交変換マトリクスの各成分であり、量子化スケーリングリストは、32×32個の成分を有している。
量子化部4による直交変換係数の量子化は、直交変換マトリクスの成分である直交変換係数を、量子化スケーリングリストの成分で除算するものであり、その除算結果が圧縮データ(量子化後の直交変換係数)となる。
この実施の形態7では、量子化部4及び逆量子化部6は、実行判定部15からノイズ除去処理の実行指令が出力されている場合、符号化制御部1の指示の下、SATD算出部14により算出されたSATD8が大きい程、量子化スケーリングリストの成分を大きくすることで、圧縮データ(量子化後の直交変換係数)が小さくなるようにしている。
これにより、ノイズ除去部24で、狭帯域の帯域制限フィルタを適用した場合と類似の効果を得ることができる。

0077

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

0078

1符号化制御部、2 減算部(圧縮手段)、3直交変換部(圧縮手段)、4量子化部(圧縮手段)、5可変長符号化部(可変長符号化手段)、6逆量子化部、7逆直交変換部、8加算部、9ループフィルタ、10フレームメモリ、11イントラ予測部(予測ブロック生成手段)、12インター予測部(予測ブロック生成手段)、13 切換スイッチ、14 SATD算出部(絶対値和算出手段)、14aブロックサイズ設定部、14bブロック分割部、14c 総和算出部、15実行判定部(実行判定手段)、16ノイズ除去部(ノイズ除去手段)、17 フレームメモリ、21画像内容変化通知部(画像内容変化通知手段)、22 ノイズ除去部(ノイズ除去手段)、23静止画像判定部(静止画像判定手段)、24 ノイズ除去部(ノイズ除去手段、分散値算出手段)。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ