図面 (/)

技術 画像処理装置、画像処理方法およびプログラム

出願人 キヤノン株式会社
発明者 大森広崇
出願日 2019年1月15日 (1年3ヶ月経過) 出願番号 2019-004360
公開日 2019年8月22日 (8ヶ月経過) 公開番号 2019-140674
状態 未査定
技術分野 カラーテレビジョン画像信号発生装置 画像処理 スタジオ装置
主要キーワード NRフィルタ ノイズレベル算出 平均値算出処理 可視成分 工業用カメラ 時間フィルタ処理 強度係数 差分算出処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

撮像装置において色被りを抑制するノイズ低減を可能にすることができる画像処理装置画像処理方法及びプログラムを提供する。

解決手段

監視カメラ画像処理部においてNR処理部303は、画像信号から、色彩値を算出する色彩値算出手段と、画像信号の平均値を算出する平均値算出手段と、平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する決定手段と、画像信号に対して、強度係数に応じたノイズ低減処理を行う処理手段と、を有する。

概要

背景

従来、デジタルカメラなどの撮像装置は、低照度時に撮像した情報量の少ない撮像信号デジタルゲインにより増幅することで、情報量の多い出力信号に変換する技術が知られている。しかしながら、撮像信号を増幅した場合、情報量が増えると同時に、撮像信号に含まれているランダムノイズも増幅されてしまう。特に、高輝度部と比較して、低輝度部に含まれるランダムノイズが多くなることが知られている。
これに対し、例えば特許文献1に開示されているような方法が知られている。特許文献1には、信号中に含まれるノイズ量推定し、その推定したノイズ量に応じてノイズ低減処理を実行する方法が開示されている。このように、信号中に含まれるノイズ量に応じてノイズ低減処理を実行することにより、高輝度部と低輝度部の間で異なる量のランダムノイズが含まれている場合でもノイズ低減処理を実行することが可能になる。

概要

撮像装置において色被りを抑制するノイズ低減を可能にすることができる画像処理装置画像処理方法及びプログラムを提供する。監視カメラ画像処理部においてNR処理部303は、画像信号から、色彩値を算出する色彩値算出手段と、画像信号の平均値を算出する平均値算出手段と、平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する決定手段と、画像信号に対して、強度係数に応じたノイズ低減処理を行う処理手段と、を有する。

目的

本発明は、色被りを抑制したノイズ低減処理を可能にすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像信号から、色彩値を算出する色彩値算出手段と、前記画像信号の平均値を算出する平均値算出手段と、前記平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する決定手段と、前記画像信号に対して、前記強度係数に応じた前記ノイズ低減処理を行う処理手段と、を有することを特徴とする画像処理装置

請求項2

前記平均値算出手段は、前記画像信号に含まれる複数の色成分ごとに平均値を算出することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記色彩値算出手段は、前記画像信号のノイズ低減処理が実行される前の信号の前記色彩値と、前記ノイズ低減処理が実行された後の信号の前記色彩値とを算出することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記決定手段は、前記ノイズ低減処理が実行される前と後の前記色彩値の変化量を算出し、前記色成分ごとの前記平均値の差分値を算出し、前記平均値の差分値と前記色彩値の変化量とに基づいて、前記強度係数を算出することを特徴とする請求項3に記載の画像処理装置。

請求項5

前記決定手段は、前記平均値の差分値と前記色彩値の変化量のそれぞれに対して、少なくとも二つの設定値との比較に基づくクリップ処理を行い、前記クリップ処理が行われた後の、前記平均値の差分値と前記色彩値の変化量とに基づいて、前記強度係数を算出することを特徴とする請求項4に記載の画像処理装置。

請求項6

前記決定手段は、前記平均値の差分値が大きいほど前記強度係数を大きく設定することを特徴とする請求項4または5に記載の画像処理装置。

請求項7

前記決定手段は、前記色彩値の変化量が小さいほど前記強度係数を大きく設定することを特徴とする請求項4から6のいずれか1項に記載の画像処理装置。

請求項8

前記決定手段は、前記平均値の差分値と前記色彩の変化量との割合に応じて前記強度係数を算出することを特徴とする請求項7に記載の画像処理装置。

請求項9

前記画像信号のノイズレベルを算出するノイズレベル算出手段を有し、前記評価値は、前記ノイズレベルを含むことを特徴とする請求項2から8のいずれか1項に記載の画像処理装置。

請求項10

前記決定手段は、前記ノイズ低減処理が実行される前と後の前記色彩値の変化量を算出し、前記色成分ごとの前記平均値の差分値を算出し、前記ノイズレベルと前記平均値の差分値と前記色彩値の変化量とに基づいて前記強度係数を算出することを特徴とする請求項9に記載の画像処理装置。

請求項11

前記決定手段は、ノイズレベルの値が大きいほど前記強度係数を大きく設定することを特徴とする請求項10に記載の画像処理装置。

請求項12

前記決定手段は、前記ノイズレベルと前記平均値の差分値と前記色彩の変化量との割合に応じて、前記強度係数を算出することを特徴とする請求項10に記載の画像処理装置。

請求項13

前記平均値と前記色彩値に基づいて前記画像信号を補正する補正手段とを有し、前記処理手段は、前記補正手段によって補正された画像信号に対して、前記ノイズ低減処理を行うことを特徴とする請求項2に記載の画像処理装置。

請求項14

前記決定手段は、前記色成分ごとの前記平均値の差分値を算出し、前記差分値が小さいほど前記強度係数を大きく設定することを特徴とする請求項13に記載の画像処理装置。

請求項15

前記決定手段は、前記ノイズ低減処理が実行される前の信号の前記色彩値と前記ノイズ低減処理が実行された後の信号の前記色彩値との変化量を算出し、前記変化量が大きいほど前記強度係数を大きく設定することを特徴とする請求項13または14に記載の画像処理装置。

請求項16

画像処理装置が実行する画像処理方法であって、画像信号から、色彩値を算出する工程と、前記画像信号の平均値を算出する工程と、前記平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する工程と、前記画像信号に対して、前記強度係数に応じた前記ノイズ低減処理を行う工程と、を有することを特徴とする画像処理方法。

請求項17

コンピュータを、請求項1から15のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、ノイズ低減等の画像処理技術に関する。

背景技術

0002

従来、デジタルカメラなどの撮像装置は、低照度時に撮像した情報量の少ない撮像信号デジタルゲインにより増幅することで、情報量の多い出力信号に変換する技術が知られている。しかしながら、撮像信号を増幅した場合、情報量が増えると同時に、撮像信号に含まれているランダムノイズも増幅されてしまう。特に、高輝度部と比較して、低輝度部に含まれるランダムノイズが多くなることが知られている。
これに対し、例えば特許文献1に開示されているような方法が知られている。特許文献1には、信号中に含まれるノイズ量推定し、その推定したノイズ量に応じてノイズ低減処理を実行する方法が開示されている。このように、信号中に含まれるノイズ量に応じてノイズ低減処理を実行することにより、高輝度部と低輝度部の間で異なる量のランダムノイズが含まれている場合でもノイズ低減処理を実行することが可能になる。

先行技術

0003

特開2004−72422号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1に開示されている、推定したノイズ量に応じてノイズ低減処理を実行する手法では、画像信号を構成する赤(R)信号,緑(G)信号,青(B)信号の分布にずれが生じた場合に、特定の色に偏ってしまう現象が生ずることがある。このような特定の色に偏る現象は"色被り"と呼ばれ、特に、低輝度部において色合いがおかしくなる現象が強調される。

0005

そこで、本発明は、色被りを抑制したノイズ低減処理を可能にすることを目的とする。

課題を解決するための手段

0006

本発明は、画像信号から、色彩値を算出する色彩値算出手段と、前記画像信号の平均値を算出する平均値算出手段と、前記平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する決定手段と、前記画像信号に対して、前記強度係数に応じた前記ノイズ低減処理を行う処理手段と、を有することを特徴とする。

発明の効果

0007

本発明によれば、色被りを抑制したノイズ低減が可能となる。

図面の簡単な説明

0008

撮像システム概要構成例を示す図である。
撮像装置の内部構成例を示す図である。
画像処理部の内部構成を示す図である。
一般的な技術の課題を説明するためのチャート例を示す図である。
一般的な技術の課題を説明するためのヒストグラムを示す図である。
一般的な技術の課題を説明するためのヒストグラムを示す図である。
第1実施形態のNR処理部の内部構成例を示す図である。
第1実施形態のNR処理のフローチャートである。
第1実施形態のNR強度決定部の内部構成例を示す図である。
第1実施形態のNR強度決定処理のフローチャートである。
第1実施形態のNR処理部の別の内部構成例を示す図である。
第1実施形態のNR処理部のさらに別の内部構成例を示す図である。
第2実施形態のNR処理部の内部構成例を示す図である。
第2実施形態のNR処理のフローチャートである。

実施例

0009

以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図1は、本実施形態における撮像システムの概略構成例を示した図である。
図1に示した撮像システムは、動画像を撮像および画像処理する装置としての監視カメラ101と、IPネットワーク網を介して相互に通信可能な状態で接続されるクライアント装置102とから構成されている。ここでは、監視カメラ101が本実施形態の画像処理装置の機能を備えている例を挙げて説明する。なお、クライアント装置102が本実施形態の画像処理装置の機能を備えていてもよい。監視カメラ101により撮影された動画は、クライアント装置102に送られて表示され、また必要に応じて記録等される。本実施形態では監視カメラ101を例に挙げたが、これには限定されず、例えばデジタルカメラやデジタルビデオカメラカメラ機能を備えたスマートフォンタブレット端末などの各種携帯端末工業用カメラ車載カメラ医療用カメラなどでもよい。

0010

図2は、図1に示した本実施形態の監視カメラ101の概略的な内部構成例を示すブロック図である。
撮像光学系201は、ズームレンズフォーカスレンズブレ補正レンズ絞りシャッタ等を有して構成され、被写体等の光像撮像素子部202の撮像面上に形成(結像)させる。撮像素子部202は、撮像面に入射した光を電気信号へと変換する撮像素子と、撮像素子の各画素に対応したカラーフィルタとを有して構成されたカラー撮像センサである。撮像素子部202は、カラーフィルタを透過して撮像面に入射した光を撮像素子により受光し、電気信号へ変換して出力する。なお、撮像素子部202は、全ての画素に対して、任意の露光時間を設定可能な撮像センサであるとする。本実施形態の監視カメラ101の場合、撮像素子部202では動画の撮像が行われ、撮像素子部202からは、動画の時間軸上で連続した各フレームの画像信号が出力される。

0011

CPU203は、本実施形態の監視カメラ101の各構成の全てに関わる処理を実行する。CPU203は、ROM(Read Only Memory)204やRAM(Random Access Memory)205に格納されたプログラム命令を順次、読み込み、解釈した結果に従って処理を実行する。撮像系制御部206は、CPU203から供給されるフォーカス制御指示、シャッタ制御指示、絞り制御指示などの各指示を基に、撮像光学系201のフォーカス合わせシャッタ開閉、絞り調整などの各制御を行う。制御部207は、クライアント装置102からの指示を基に、CPU203を介して各部の制御を行う。ROM204は、CPU203が実行するプログラムや各種設定値を格納している。RAM205は、ROM204に格納されたプログラムが展開され、また、各構成における処理途中のデータの一時的な記憶等を行う。

0012

A/D変換部208は、撮像素子部202による光電変換で得られたアナログ電気信号アナログ撮像信号)をデジタル信号値に変換する。A/D変換部208によるアナログデジタル変換により得られたデジタル信号値は、動画の各フレームの画像信号として画像処理部209に送られる。画像処理部209は、画像信号に対して画像処理を行う部分であり、その画像処理の詳細については後述する。エンコーダ部210は、画像処理部209による画像処理後の画像信号を用いて、例えばJPEGやH.264などの所定のファイルフォーマットへの変換処理、つまりエンコード処理を行う。このエンコーダ部210によるエンコード処理後の画像データは、クライアント装置102に送られる。

0013

<第1実施形態>
図3は、本実施形態の監視カメラ101が備えている画像処理部209の概略的な内部構成例を示すブロック図である。
画像入力部301には、前述のように撮像素子部202にて撮像され、A/D変換部208にてアナログデジタル変換された、動画の各フレームの画像信号が入力される。現像処理部302は、画像入力部301からの画像信号に対して、デモザイクホワイトバランスガンマシャープネスなどの処理を行う。NR(ノイズリダクション)処理部303は、現像処理部302による処理後の画像に、空間フィルタ処理あるいは時間フィルタ処理を施すことで、空間方向および時間方向に発生するランダムノイズを低減するNR処理を行う。本実施形態におけるNR処理部303の詳細な構成および動作については後述する。画像出力部304は、NR処理部303による処理後の画像信号を、図1のエンコーダ部210に出力する。なお、画像入力部301と画像出力部304は必須ではなく、A/D変換部208から出力された画像信号を現像処理部302に直接入力し、NR処理部303から出力された画像信号を直接エンコーダ部210に出力するように構成してもよい。

0014

以下、本実施形態に係る画像処理の詳細を述べる前に、一般的なNR処理の原理と課題について説明する。
先ず、NR処理の原理について説明する。
一般的なNR処理の一つに、着目画素とその近傍の複数の参照画素について画素値の比較を行い、相関性の高い画素を加算平均した値を、着目画素のノイズ低減処理後の画素値として出力する方法が知れている。このとき、参照画素を参照する範囲や、参照画素と着目画素の相関を算出する際に用いるパラメータを変更することで、NR処理の強度を制御することが可能になる。

0015

また、NR処理強度の決定方法の一例として、特開2004−72422号公報に開示されたNR処理強度の決定方法がある。この方法では、ノイズに影響を与える要因を取得し、センサ上のノイズレベルを推定し、その推定したノイズレベルに応じたNR処理強度に設定することで、高輝度部から低輝度部に対してNR処理の強度を適切に設定することができる。

0016

続いて、先行技術として知られている一般的なNR処理の課題について説明する。
夜間等の暗い環境下で撮影されたSN比が小さい画像では、画像の三原色であるR(赤)成分、G(緑)成分、B(青)成分について特定の色に偏ってしまう色被りの現象が生じることがある。例えば、図4に示すように、上から白の領域401、グレーの領域402、黒の領域403の順に3つの無彩色領域が並んだチャート400を撮影したとする。図4に示したチャート400を、例えば低照度環境高温環境で撮影した場合、デジタルゲインによって大きく増幅されるランダムノイズや温度上昇により発生する暗電流ノイズの影響を受けて、特定の色への偏り、つまり色被りが生ずる。例えば図5に示すように、R成分、G成分およびB成分の各成分間で平均値のずれ(つまり各色成分の各分布の偏り)が生ずることで、マゼンダ味を帯びた色被りが発生する。このような色被りは、特に、ランダムノイズが多く含まれる低輝度部に発生しやすい。なおノイズの多い低輝度部で平均値ずれが生じている場合において、特開2004−72422号公報に記載のNR処理強度決定方法を適用すると、低輝度部のようにランダムノイズが多く含まれると推定される領域にはNR処理強度が強く設定される。そのため、図5のNR処理実行前と比較して、図6に示すように、R成分、G成分およびB成分の各成分間の色の重なりが無くなって差が広がることで、マゼンダ味を帯びた色被りが更に強調された画像になってしまう。

0017

そこで、本実施形態では、後述するように、画像信号から得られるノイズレベルだけでなく、RGBの各色の成分ごとの平均値およびNR処理を含む画像処理の実行前後の色彩変化に基づいて、NR処理強度を決定する。これにより、本実施形態においては、各色の成分の分布に偏りが発生する場合であっても色被りを抑制したNR処理を実現可能としている。

0018

図7は、動画の画像信号にNR処理を施して出力する、本実施形態のNR処理部303の内部構成例を示すブロック図である。
本実施形態のNR処理部303は、入力信号取得部701、ノイズレベル算出部702、平均値算出部703、色彩値算出部704、NR強度決定部705、NR処理実行部706、出力信号保持部707を有して構成されている。

0019

入力信号取得部701は、動画を構成している、時間軸上で連続した各フレームの中 で、例えば或る時間のフレームを着目フレームとして、その着目フレームのR成分,G成分,B成分の三原色の画像信号(以下、RGB入力信号とする。)を取得する。

0020

ノイズレベル算出部702は、RGB入力信号から、RGBの成分ごとのノイズレベル(ノイズ量)を算出するようなノイズレベル算出処理を行う。RGBの成分ごとのノイズレベル算出処理の詳細は後述する。そして、ノイズレベル算出部702は、RGB成分ごとに算出したノイズレベルを表す信号を、NR強度決定部705に出力する。

0021

平均値算出部703は、RGB入力信号から、RGBの成分ごとの平均値を算出する処理を行う。RGB成分ごとの平均値算出処理の詳細は後述する。そして、平均値算出部703は、RGBの成分ごとに算出した平均値を表す信号をNR強度決定部705に出力する。

0022

色彩値算出部704は、RGB入力信号と後述のNR処理実行部706よるNR処理後の信号(以下、RGB出力信号とする。)とから、それぞれの信号の色彩値を算出する処理を行う。RGB入力信号とRGB出力信号とから色彩値を算出する処理の詳細は後述する。そして、色彩値算出部704は、RGB入力信号とRGB出力信号の色彩を表す信号を、NR強度決定部705に出力する。

0023

NR強度決定部705は、ノイズレベル算出部702にて算出されたRGBの成分ごとのノイズレベルと、平均値算出部703にて算出された成分ごとの平均値と、色彩値算出部704にて算出された色彩値を表す信号とを基に、NR処理の強度係数を決定する。強度係数の決定方法の詳細については後述する。そして、NR強度決定部705は、強度係数を表す信号をNR処理実行部706に出力する。

0024

NR処理実行部706は、NR強度決定部705で決定されたNR処理強度に基づき、入力信号取得部701にて取得されたRGB入力信号に対してNR処理を実行する。このNR処理実行後のRGB出力信号は、出力信号保持部707と図3の画像出力部304に送られる。

0025

出力信号保持部707は、NR処理実行部706にてNR処理が実行されたRGB出力信号を保持する。出力信号保持部707に保持されたRGB出力信号は、色彩値算出部704において色彩が算出される際に、前述したNR処理後のRGB出力信号として入力される。

0026

最後に、NR処理実行部706から出力されるRGB出力信号は、NR処理実行部706によるNR処理後の現フレームの画像信号として、図3の画像出力部304に送られる。

0027

図8は、図7に示したNR処理部303の各ブロックにおいて行われる処理の流れを示すフローチャートである。図8のフローチャートの説明では、ステップS801〜S807をそれぞれS801〜S807と略記する。なお、図7の構成と図8のフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェアにより実行される場合、図8のフローチャートの処理は、例えばROM等に記載されているプログラムをCPUが実行することにより実現される。これらのことは後述する他のフローチャートにおいても同様とする。

0028

図8のS801において、入力信号取得部701は、前述したRGB入力信号を取得する。以下の説明では、RGB入力信号のRGBの各成分をRIN(v,h),GIN(v,h),BIN(v,h)と表す。なお、(v,h)は画像内における水平方向(x軸方向)と垂直方向(y軸方向)の2次元座標位置を表している。ここで、本実施形態ではRGB入力信号に対する処理を記載するが、NR処理部303で処理を行う入力信号のデータに特に制限はなく、入力信号取得部701において自由に変換することも可能である。例えば、YUV信号やL*a*b*成分、可視・非可視成分に対して、後述するNR処理が実行されてもよい。

0029

次にS802において、ノイズレベル算出部702は、RGB入力信号RIN(v,h),GIN(v,h),BIN(v,h)から、RGBの各成分のノイズレベル(ノイズ量)を算出する。例えば、ノイズレベル算出部702は、画像中に含まれるノイズレベルを表す評価値として、式(1)、式(2)を用い、ノイズの分散を算出する。

0030

式(1)、式(2)は、R成分についてのノイズ分散σ2R(v,h)を求める式である。また式の記載は省略するが、ノイズレベル算出部702は、式(1)、式(2)のR成分をそれぞれG成分又はB成分に入れ替えた式により、G成分とB成分のノイズ分散σ2G(v,h),σ2B(v,h)にていても算出する。ここで、式(1)、式(2)のs1、s2の値を大きく設定することで、該当信号に含まれるノイズ分散を正確に算出することができる。

0031

なお、ノイズレベルの評価値としては、式(1)、式(2)の演算式による分散に限定されず、例えば、ノイズの標準偏差、撮像センサのノイズ特性等のような様々な評価値を用いてもよい。また、ノイズレベルの評価値は、分散と標準偏差、撮像センサのノイズ特性等の、少なくとも2つを組み合わせたものが用いられていてもよい。

0032

またS803において、平均値算出部703は、RGB入力信号から、RGBの成分ごとの平均値を評価値として算出する処理を行う。例えば、平均値算出部703は、前述の式(2)を用いることで、R成分の平均値を算出する。また式の記載は省略するが、平均値算出部703は、式(2)のR成分をそれぞれG成分又はB成分に入れ替えた式により、G成分とB成分の平均値につていても算出する。

0033

またS804において、色彩値算出部704は、RGB入力信号と、後述のNR処理後の信号が保持されている出力信号保持部707より読み出されたRGB出力信号とから、それぞれの信号における色彩を表す評価値として色彩値を算出する。出力信号保持部707より読み出されたRGB出力信号は、NR処理の対象とするフレームよりも前のフレームのNR処理後の信号であり、望ましくは直前のフレームのNR処理後の信号である。式の記載は省略するが、色彩値算出部704は、RGB入力信号の色彩値をa*IN(v,h),b*IN(v,h)として算出し、またRGB出力信号の色彩値をa*OUT(v,h),b*OUT(v,h)として算出する。なお、色彩を表す評価値としては、Lab空間のa*,b*の値に限定されず、例えば、YUV変換した際のUV成分XYZ表色系のx,y値、HSV色空間のH,S値を用いてもよい。

0034

次にS805において、NR強度決定部705は、前述のようにしてそれぞれ得られた評価値に基づいてNR処理の強度を決定する。すなわちNR強度決定部705は、ノイズレベル算出部702からのRGBの成分ごとのノイズレベルと、平均値算出部703からのRGB成分ごとの平均値と、色彩値算出部704からの色彩値とに基づいて、NR処理の強度を決定する。

0035

図9は、NR強度決定部705の構成の一例を示すブロック図である。
図9に示すように、NR強度決定部705は、色彩値変化量算出部901、平均値差分算出部902、クリップ処理部903、NR強度係数算出部904を有して構成される。

0036

色彩値変化量算出部901は、色彩値算出部704にて算出された色彩値を基に、色彩値の変化量を算出する。色彩値の変化量算出処理の詳細は後述する。そして、色彩値変化量算出部901は、色彩値の変化量を表す信号をクリップ処理部903に出力する。

0037

平均値差分算出部902は、図7の平均値算出部703にて算出されたRGB入力信号の平均値を用いて、平均値の差分値(以下、平均値差分とする。)を算出する。平均値差分算出処理の詳細は後述する。そして、平均値差分算出部902は、平均値差分を表す信号をクリップ処理部903に出力する。

0038

クリップ処理部903は、ノイズレベル算出部702から入力されたRGB入力信号のノイズ分散と、色彩値変化量算出部901から入力された色彩値の変化量と、平均値差分算出部902から入力された平均値差分とに対して、クリップ処理を行う。クリップ処理の詳細は後述する。クリップ処理部903は、クリップ処理後の信号をNR強度係数算出部904に出力する。

0039

NR強度係数算出部904は、クリップ処理部903によるクリップ処理後の信号に基づき、NR処理実行部706で実行されるNR処理の強度係数を算出する。NR強度係数算出処理の詳細は後述する。NR強度係数算出部904にて算出されたNR処理の強度係数は、図7のNR処理実行部706に出力される。

0040

図10は、図9に示したNR強度決定部705の各ブロックにおいて行われる処理の流れを示すフローチャートである。
図10のS1001において、色彩値変化量算出部901は、色彩値算出部704から入力されたRGB入力信号の色彩値a*IN(v,h),b*IN(v,h)とRGB出力信号の色彩値a*OUT(v,h),b*OUT(v,h)との間の変化量を算出する。すなわち、色彩値変化量算出部901はNR処理前後の色彩値の変化量を算出する。例えば、色彩値変化量算出部901は、式(3)を用いて、NR処理前後の色彩値の変化量Δa*b*(v,h)を算出する。そして、色彩値変化量算出部901により算出された色彩値の変化量Δa*b*(v,h)はクリップ処理部903に送られる。なお、NR処理の対象とするフレームと、出力信号保持部707より読み出されたフレームとの間で、被写体に変化が生じていると、NR処理の結果に関係なく、色彩値の変化量が大きくなる。そこで、フレーム間で領域ごとに動きベクトルを算出し、動きベクトルが大きく、被写体に変化が生じた可能性が高いと推定できる領域においては、色彩値の変化量Δa*b*(v,h)を0、あるいは、デフォルト値に固定する構成を追加してもよい。

0041

またS1002において、平均値差分算出部902は、平均値算出部703から入力されるRGB入力信号の平均値を用いて、平均値差分ΔAve(v,h)を算出する。例えば、平均値差分算出部902は、式(4)を用いて平均値差分ΔAve(v,h)を算出する。平均値差分算出部902により算出された平均値差分ΔAve(v,h)はクリップ処理部903に送られる。

0042

次にS1003において、クリップ処理部903は、RGB入力信号のノイズレベル(ノイズ分散σ2R(v,h),σ2G(v,h),σ2B(v,h))と色彩値の変化量Δa*b*(v,h)と平均値差分ΔAve(v,h)とに対しクリップ処理を行う。例えば、クリップ処理部903は、式(5)、式(6)、式(7)を用いて、それぞれの信号に対してクリップ処理を行う。

0043

ここで、式(5)は、R成分についてのノイズ分散σ2R(v,h)に対するクリップ処理を表す式である。式(5)において、σ2MAXはR成分のノイズ分散σ2R(v,h)に対する上限を定めるパラメータであり、σ2MINはR成分のノイズ分散σ2R(v,h)に対する下限を定めるパラメータである。また式の記載は省略するが、クリップ処理部903は、式(5)のR成分をそれぞれG成分又はB成分に入れ替えた式により、G成分とB成分のノイズ分散σ2G(v,h),σ2B(v,h)に対するクリップ処理も行う。

0044

式(6)は、色彩値の変化量Δa*b*(v,h)に対するクリップ処理を表す式である。式(6)において、Δa*b*(v,h)MAXは色彩値の変化量Δa*b*(v,h)に対する上限を定めるパラメータであり、Δa*b*(v,h)MINは色彩値の変化量Δa*b*(v,h)に対する下限を定めるパラメータである。

0045

式(7)は、平均値差分ΔAve(v,h)に対するクリップ処理を表す式である。式(7)において、ΔAveMAXは平均値差分ΔAve(v,h)に対する上限を定めるパラメータであり、ΔAveMINは平均値差分ΔAve(v,h)に対する下限を定めるパラメータである。

0046

次にS1004において、NR強度係数算出部904は、クリップ処理後のノイズ分散と色彩値の変化量と平均値差分とを基にNR処理の強度係数NRSTを算出する。例えばNR強度係数算出部904は、ノイズ分散σ2R(v,h),σ2G(v,h),σ2B(v,h)と変化量Δa*b*(v,h)と平均値差分ΔAve(v,h)とを用い、式(8)のように割合を計算することでNR処理の強度係数NRSTを算出する。

0047

なお式(8)は、R成分についてNR処理の強度係数NRSTを算出する式である。式の記載は省略するが、NR強度係数算出部904は、式(8)のR成分をそれぞれG成分又はB成分に入れ替えた式により、G成分とB成分についてのNR処理の強度係数についても算出する。式(8)のNRMAXは、NR強度NRST(v,h)の上限と下限との間のレンジを定めるパラメータである。式(8)のαはノイズ分散がNR強度係数に与える影響を制御するパラメータであり、同様に、βは色彩値の変化量がNR強度係数に与える影響を制御するパラメータ、γは平均値差分がNR強度係数に与える影響を制御するパラメータである。これらα、β、γのパラメータにより、ノイズ分散、色彩値の変化量、平均値差分が、NR強度係数に与える割合が制御される。本実施形態では、NRMAXのレンジを0−128までの範囲として定義するが、これに限るものではない。また、σ2MAX,σ2MIN,Δa*b*(v,h)MAX,Δa*b*(v,h)MIN,ΔAveMAX,ΔAveMINは、先の式(5)、式(6)、式(7)で用いられたパラメータと同様のものである。

0048

ここで、平均値差分の値は、その値が小さいほど無彩色に近い領域であることを表し、一方、その値が大きいほど有彩色であることを表すパラメータである。すなわち、式(8)で定義されたNR強度NRST(v,h)は、ノイズ量だけでなく、RGBの各成分の平均値差分を考慮して算出された値となる。したがって、NR強度NRST(v,h)を用いたNR処理を行った場合には、色被りの現象が目立つ無彩色領域に対してNR処理強度が制御され、その色被りの現象を抑制することができることになる。それに加え、本実施形態の場合、NR強度NRST(v,h)は、NR処理前後の色彩の変化量を考慮して算出された形となっている。したがって、NR強度NRST(v,h)を用いたNR処理を行った場合、有彩色領域も含め、図6に示したようなNR処理によって引き起こされる色被りが強調される現象を抑制することができることになる。

0049

なお、前述した上限、下限、α、β、γ、NR強度のレンジ等の各パラメータは、事前に定められた固定値に限らない。それら各パラメータは、例えばノイズ量に応じて変更された値、ユーザが動的に変更した値、センサ温度等に依存して変更した値、画像全体輝度変化に応じて変更した値、センサ等の経年劣化を考慮して変更した値等、様々な要因により変更されてもよい。例えば撮像センサの温度を検知し、その温度変化によってパラメータを変化させてもよい。温度変化によりパラメータを変化させる場合、一例として、温度が高いときにはパラメータの値を大きく設定し、逆に温度が低いときにはパラメータの値を小さく設定する。また、画像全体の輝度に分布によってパラメータを変化させてもよい。例えば低輝度側の分布が多い場合には、画像全体が、紫がかった画像になる虞がある。このため、低輝度側の分布が多い場合にはパラメータの値を大きく設定し、逆に、高輝度側に分布が多い場合にはパラメータの値を小さく設定する。また撮像センサの特性やOB(Optical Black)領域におけるノイズ分散によって、α、β、γの重みを変更してもよい。撮像センサの特性として、例えばGの成分が小さくなるような傾向がある場合にはαと比較してβ,γの値を相対的に大きくするような重みを設定する。また例えば、カメラダイナミックレンジがWDR(ワイドダイナミックレンジ)に設定されている場合には、パラメータを大きく設定してもよい。WDR設定の場合、例えば明暗差が大きなシーンほど、色滲みが顕著に発生することになる虞があるため、NR処理が強くかかるようにパラメータを大きく設定する。なお、夜景撮影がなされるような場合には、本実施形態に関連するパラメータの設定をゼロにし、従来通りのNR処理を行えるようにしてもよい。その他にも、画像に対し、例えば被写体として空に対応した領域設定を可能とし、晴天で青みがかかる領域や夕暮れで赤みがかかる領域については、それら青みや赤みの色を維持できるようにしてもよい。この場合、例えば学習処理により撮影時間帯等によって前述のα、β、γに対する重みを変更可能としてもよい。

0050

図8のフローチャートに説明を戻す。
S806において、NR処理実行部706は、NR強度決定部705にて前述のように決定されたNR処理強度に基づき、入力信号取得部701からのRGB入力信号に対してNR処理を実行する。例えば、NR処理実行部706に実装されているNR処理がイプシロンフィルタによるNR処理であるすると、NR処理実行部706では、式(9)、式(10)の演算で表されるNR処理が行われる。

0051

ここで、NR強度係数が大きな値で入力された場合、例えば式(9)のs1,s2の値を大きくすることや、式(10)の閾値εが大きくする設定が行われて、NR処理の効果を強くするような処理が実行される。式の記載は省略するが、NR処理実行部706は、式(9)のR成分をそれぞれG成分又はB成分に入れ替えた式により、G成分とB成分についてのNR処理についても実行する。なお、NR処理の実装例は、式(9)、式(10)の演算式による実装には限定されない。例えば、NR処理実行部706には、バイラテラル空間NRフィルタや、エッジ情報を参照したNRフィルタ、孤立点の除去を行うフィルタ処理、また時間方向のランダムノイズを低減する巡回NR処理フィルタが用いられてもよい。また、これらのフィルタの少なくとも2つの処理を組み合わせたものが用いられてもよい。

0052

次にステップS807において、出力信号保持部707は、NR処理実行部706にてNR処理が実行された後のRGB出力信号を保持する。
次にステップS808において、NR処理部303は、入力された現在のフレームの全ての画素についてS801〜807の処理を行ったか否かを判定する。そして、S808において未処理の画素があると判定した場合、NR処理部303の処理はS801に戻り、その未処理の画素についてS801〜807の処理が行われる。一方、S808において入力された現在のフレームの全ての画素についてS801〜807の処理が行われたと判定した場合、NR処理部303は、そのフレームについての図8のフローチャートを終了する。その後、NR処理部303では、次に入力されるフレームについての図8のフローチャートの処理を開始する。

0053

以上、説明したように、本実施形態においては、RGB入力信号から得られるノイズレベルだけでなく、RGBの各成分の平均値およびNR処理の実行前後の色彩変化を基に、NR処理強度を決定してNR処理を行うようにしている。これにより、本実実施形態によれば、低輝度部や温度上昇等により発生する色被りの現象を軽減しつつ、ノイズを好適に低減することが可能になる。すなわち、本実施形態によれば、例えば監視カメラにおいて、照度および温度変化等の撮影環境の変化等によって生じる色被りを効果的に抑制すると同時に、色再現性の高いノイズ低減処理が可能になる。さらに本実施形態の画像処理場合、照度や温度変化等の撮影環境の変化等で生ずる色被りだけでなく、例えば監視カメラ内部の各構成の経年劣化等、その他様々な要因により生ずる色被り等についても抑制可能となり、ノイズを好適に低減することが可能となる。

0054

なお、本実施形態においては、色彩値算出部704は、NR処理の対象とするフレームの画像信号と前のフレームのNR処理実行後の画像信号の色彩値を算出して、NR強度決定部705に送ったが、これに限られるものではない。
色彩値算出部704が、同一フレームにおけるNR処理実行前とNR処理実行後の画像信号の色彩値を算出し、NR強度決定部705の色彩値変化量算出部901が、これらの色彩値の変化量を算出する構成としてもよい。具体的には、図11に示すように、NR処理部303は、入力信号取得部1101、ノイズ量算出部1102、平均値算出部1103、色彩値算出部1106、NR強度決定部1107、NR処理実行部1108に加えて、仮NR強度決定部1104と仮NR処理実行部1105から構成される。

0055

仮NR強度決定部1104は、ノイズ量算出部1102にて算出されたノイズレベルと、平均値算出部1103にて算出された成分の平均値とに基づいて、仮のNR処理の強度係数NR'STを決定する。すなわち、式(8)において、色彩値の変化量に関する項を除外して、仮のNR処理の強度係数NR'STを決定する。仮NR処理実行部1105は、この仮のNR処理強度に基づいてNR処理を実行し、NR処理実行後の画像信号を色彩値算出部1106に出力する。そして、色彩値算出部1106は、仮NR処理実行部1105から算出されたNR処理実行後の画像信号と、同一フレームのNR処理実行前の画像信号の色彩値を算出し、その後は図8のS805以降と同様の処理を実行する。

0056

また、その他の構成として、同一フレームにおける色彩値の変化量に応じて、NR処理実行前後の画像信号を合成する構成としてもよい。具体的には、図12に示すように、入力信号取得部1201、ノイズ量算出部1202、平均値算出部1203、NR強度決定部1204、NR処理実行部1205、色彩値算出部1206に加えて、合成比率算出部1207と、合成処理部1208とから構成される。合成比率算出部1207は、色彩値算出部1206にて算出されたNR処理実行前後の色彩値および、ノイズレベル、平均値に基づいて、合成比率を算出する。より具体的には、式(8)と同様の形で、式(11)のようにして合成比率を算出する。

0057

なお式(11)は、R成分について合成比率を算出する式であり、式の記載は省略するが、G成分とB成分についての合成比率についても算出する。ここで、式(11)のBlendMAXは、合成比率Blend(v,h)の上限と下限との間のレンジを定めるパラメータであり、その他のパラメータは式(8)と同様である。本実施形態では、BlendMAXのレンジを0.0−1.0までの範囲として定義するが、これに限るものではない。

0058

そして、合成処理部1208は、合成比率算出部1207で算出された合成比率に基づき、式(12)のようにして、NR処理前の信号RIN(v,h)とNR処理後の信号R' OUT(v,h)を合成し、最終的な出力信号ROUT(v,h)を算出する。

0059

なお式(12)は、R成分について最終的な出力信号を算出する式であり、式の記載は省略するが、G成分とB成分についても算出する。ここで、式(11)の合成比率は、入力信号のRGB成分の平均値および、ノイズレベルに加えて、NR処理実行前後の彩度値の変化も考慮して算出される。したがって、式(12)で算出される最終的な出力信号は、色被りの現象を抑制とノイズ低減の効果が両立された合成信号が得られる。
前述の図11図12のように構成することで、同一フレームの画像信号のNR処理実行前後の色彩値の変化量を基に、NR処理の強度および効果を決定してNR処理を行うことが可能になる。

0060

<第2実施形態>
以下、第2実施形態について説明する。
第2実施形態の撮像システム、監視カメラ101の内部構成は、概ね前述の第1実施形態の構成と同様であるため、それらの図示と説明は省略する。
図11は、第2実施形態におけるNR処理部303の内部構成例を示すブロック図である。第2実施形態のNR処理部303は、入力信号取得部1301、平均値算出部1302、色彩値算出部1303、NR強度決定部1304、NR処理実行部1305、出力信号保持部1306に加え、補正値算出部1307及び補正処理部1308を有している。入力信号取得部1301は図7の入力信号取得部701と同様のものである。以下、平均値算出部1302は平均値算出部703と、色彩値算出部1303は色彩値算出部704と、NR処理実行部1305はNR処理実行部706と、出力信号保持部1306は出力信号保持部707と同様のものであるため、それらの詳細説明は省略する。

0061

ここで、前述した第1実施形態の場合、NR処理部303のNR処理実行部706では、図8のS806のように、RGB入力信号に対してNR処理を実行している。これに対し、第2実施形態のNR処理部303では、平均値算出部1302で算出される平均値と色彩値算出部1303で算出される色彩値とに基づいてRGB入力信号を補正し、その補正後のRGB入力信号に対してNR処理を実行する。

0062

また第1実施形態のNR強度決定部705では、図8のS805のように、RGB入力信号のノイズレベル、平均値、色彩値に基づいてNR強度を決定している。これに対し、第2実施形態のNR強度決定部1304では、平均値算出部1302による平均値と色彩値算出部1303による色彩値とに基づいて算出した補正値に応じたNR処理の強度を決定する。色彩値算出部1303により算出される色彩値は、第1実施形態で説明したように、RGB入力信号の色彩値a*IN(v,h),b*IN(v,h)と、NR処理後のRGB出力信号の色彩値a*OUT(v,h),b*OUT(v,h)とである。

0063

図14は、第2実施形態の図13に示したNR処理部303の各ブロックにて行われる処理の流れを示すフローチャートである。なお、図12と前述の図8において、S1401はS801と同じ処理であり、以下、S1402はS803と、S1403はS804と、S1408はS807と、S1409はS808と同じ処理であるので、それらの説明は省略する。以下、図14のフローチャートにおいて、図8とは異なる処理について説明する。

0064

S1404において、補正値算出部1307は、平均値算出部1302で前述同様に算出された平均値と、色彩値算出部1303で前述同様に算出された色彩値とに基づいて、補正値を生成する。例えば補正値算出部1307は、色彩値算出部704からのRGB入力信号の色彩値a*IN(v,h),b*IN(v,h)及びRGB出力信号の色彩値a*OUT(v,h),b*OUT(v,h)を用い、式(3)により変化量Δa*b*(v,h)を算出する。この変化量Δa*b*(v,h)は、第1実施形態で説明したように、NR処理の実行前後の色彩変化を表した値である。また、補正値算出部1307は、前述した式(4)により平均値差分ΔAve(v,h)を算出する。

0065

そして、補正値算出部1307は、それら色彩値の変化量Δa*b*(v,h)と平均値差分ΔAve(v,h)とを基に補正値を決定する。具体的には、補正値算出部1307では、平均値差分が小さく且つ色彩変化量の値が大きくなるほど、補正値を大きく設定する。またこのとき補正値は、RGBの各成分の平均値が等しい値に近づくような値に設定する。ここで、平均値差分の差が小さく且つ色彩変化量が大きい領域は、本来であれば無彩色領域であると考えられるが、NR処理により色被りが発生する可能性が高い領域である。したがって、補正値算出部1307は、S1404の処理により。そのような領域について、RGBの各成分の平均値に対して無彩色に近づくような補正値を算出する。

0066

次にS1405において、補正処理部1308は、RGB入力信号RIN(v,h),GIN(v,h),BIN(v,h)に対し、補正値算出部1307により算出された補正値に応じた補正処理を行う。そして、その補正処理後のRGB入力信号が、NR処理実行部1305に送られる。

0067

またS1406において、NR強度決定部1304は、補正値算出部1307により算出された補正値に応じてNR処理の強度を決定する。NR強度決定部1304における処理は、概ね前述の第1実施形態と同様の処理であるが、第1実施形態のようなノイズレベルは用いられず、補正値に応じてNR強度係数を決定する処理となされている。例えば、補正値が大きい場合、RGBの各成分にゲインがかけられてランダムノイズが増幅されていることが想定されるので、NR強度決定部1304は、補正値算出部1307で算出された補正値が大きくなるほどNR処理の強度を大きな値に設定する。

0068

次にS1407において、NR処理実行部1305は、S1405で補正された後のRGB入力信号に対し、S1406,S1405で決定されたNR強度に応じたNR処理を実行する。

0069

以上説明したように、第2実施形態においては、RGB入力信号から得られるRGBの各成分の平均値とNR処理の実行前後の色彩変化とに基づく補正値により、RGB入力信号を補正し、また、その補正値に応じてNR強度を決定する。そして、第2実施形態では、補正値による補正後のRGB入力信号に対して、補正値に応じて決定したNR強度に応じたNR処理を実行する。これにより、第2実施形態によれば、無彩色領域に発生する色被りの現象を軽減しつつ、ノイズを好適に低減することが可能になる。

0070

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

0071

101:監視カメラ、102:クライアント装置、303:NR処理部、701:入力信号取得部、702:ノイズレベル算出部、703:平均値算出部、704:色彩値算出部、705:NR強度決定部、706:NR処理実行部、707:出力信号保持部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 川口豊の「 車両」が 公開されました。( 2020/02/13)

    【課題】表示手段に表示される画像を運転者が確認しやすい車両を提供する。【解決手段】フロントガラスが設けられていない無窓化された車体3を備えている。この車体3に、運転の際における少なくとも前方視界に相当... 詳細

  • ジャパンモード株式会社の「 メイクアップ支援システム、及びメイクアップ支援方法」が 公開されました。( 2020/02/13)

    【課題】 ユーザ端末と接続した状態でメイクアップの施術に関するアドバイスを行い、施術すべきメイクアップに応じたメイクアップ支援システムを提供する。【解決手段】ユーザ端末5と専門員装置3とを接続した状... 詳細

  • 富士フイルム株式会社の「 撮像装置」が 公開されました。( 2020/02/13)

    【課題】位相差検出用画素の画素値の補正精度が高い撮像素子及び撮像装置を提供する。【解決手段】撮像素子には水平及び垂直方向に複数の位相差検出用画素と撮像用の複数の通常画素が配置される。位相差検出用画素は... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ