図面 (/)

技術 画像処装置および画像処理方法、並びにプログラム

出願人 キヤノン株式会社
発明者 平山真悟
出願日 2014年10月21日 (4年11ヶ月経過) 出願番号 2014-214585
公開日 2016年5月16日 (3年5ヶ月経過) 公開番号 2016-081427
状態 特許登録済
技術分野 画像処理 スタジオ装置
主要キーワード 頻度割合 赤外光除去フィルタ 最大入力値 GCゲイン値 AE処理 輝度ヒストグラムデータ 算出開始点 低照度環境
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

本発明は、低照度環境において適切な階調補正を行うことができる画像処理装置を提供する。

解決手段

画像処理装置は、撮影環境照度を検出する照度検出部107を備え、照度検出部107により検出された撮影環境の照度が低照度の場合、撮影環境の照度が低照度ではない場合よりも高輝度側のトーンカーブ生成用の制御点を算出するための高輝度側頻度割合を大きくするように制御する。

概要

背景

従来の監視カメラには、様々な環境下での視認性の高い画像の撮影が望まれているが、被写体に霧や霞が掛かっている場合、コントラストが低く、視認性に欠けた画像となってしまう。そこで、特許文献1では、画像の輝度ヒストグラムに応じて、輝度補正カーブにおける低階調部と高階調部を演算し、演算した輝度補正カーブの高階調部における低階調側端点と低階調部における高階調側の端点とを結んで得られる中間階調部分を演算する。それら演算した輝度補正カーブの低階調部分、中間階調部分及び高階調部分を用いて、画像の輝度レベル全階調範囲に亘って補正する方法が提案されている。

一方、霧や霞は濃度が常に一定ではなく、時間経過に伴って濃度が変化する可能性があるため、画像のコントラストの低下度合いも常に変化している。そこで、霧や霞が発生する撮影環境では、撮影した画像の輝度ヒストグラムに応じて、適応的にコントラストの強調度合いを変更し、画像の視認性を高める手段が有効である。

概要

本発明は、低照度環境において適切な階調補正を行うことができる画像処理装置を提供する。画像処理装置は、撮影環境の照度を検出する照度検出部107を備え、照度検出部107により検出された撮影環境の照度が低照度の場合、撮影環境の照度が低照度ではない場合よりも高輝度側のトーンカーブ生成用の制御点を算出するための高輝度側頻度割合を大きくするように制御する。

目的

従来の監視カメラには、様々な環境下での視認性の高い画像の撮影が望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力された画像から輝度ヒストグラムを検出するヒストグラム検出手段と、前記ヒストグラム検出手段により検出された輝度ヒストグラムにおける低輝度側からの割合が第1の値となる輝度高輝度側からの割合が第2の値となる輝度とに基づいてトーンカーブ生成用の制御点を算出する算出手段と、前記算出手段により算出された各制御点に基づいてトーンカーブを生成するトーンカーブ生成手段と、前記トーンカーブ生成手段により生成されたトーンカーブに基づいて画像処理を行う画像処理手段と、撮影環境照度が低照度か否かを判定する判定手段とを備え、前記算出手段は、前記判定手段により低照度と判定された場合、前記トーンカーブ生成用の制御点を算出する際に、前記判定手段により低照度と判定されなかった場合よりも前記第2の値を大きくすることを特徴とする画像処理装置

請求項2

前記算出手段は、前記判定手段により低照度と判定されたか否かに応じて、前記トーンカーブ生成用の制御点を算出する際に、前記第2の値を変更しないことを特徴とする請求項1に記載の画像処理装置。

請求項3

前記輝度ヒストグラムから点光源による成分を検出する点光源検出手段をさらに有し、前記算出手段は、前記点光源検出手段により点光源による成分が検出された場合、前記点光源検出手段により点光源による成分が検出されない場合よりも前記高輝度側からの割合の算出開始点となる輝度を低輝度側に変更することを特徴とした請求項1または2に記載の画像処理装置。

請求項4

前記算出手段は、前記点光源検出手段により点光源による成分が検出されたか否かに応じて、前記低輝度側からの割合の算出開始点となる輝度を変更しないことを特徴とする請求項3に記載の画像処理装置。

請求項5

前記画像処理手段は、前記トーンカーブ生成手段により生成されたトーンカーブに基づいて補正されたガンマカーブを用いて画像処理を行うことを特徴とする請求項1ないし4のいずれか1項に記載の画像処理装置。

請求項6

被写体を撮像する撮像手段を有し、前記ヒストグラム検出手段は、前記撮像手段により得られた画像から輝度ヒストグラムを検出することを特徴とする請求項1ないし5のいずれか1項に記載の画像処理装置。

請求項7

入力された画像から輝度ヒストグラムを検出するヒストグラム検出工程と、前記ヒストグラム検出工程で検出された輝度ヒストグラムにおける低輝度側からの割合が第1の値となる輝度と高輝度側からの割合が第2の値となる輝度とに基づいてトーンカーブ生成用の制御点を算出する算出工程と、前記算出工程で算出された各制御点に基づいてトーンカーブを生成するトーンカーブ生成工程と、前記トーンカーブ生成工程で生成されたトーンカーブに基づいて画像処理を行う画像処理工程と、撮影環境の照度が低照度か否かを判定する判定工程とを備え、前記算出工程は、前記判定工程で低照度と判定された場合、前記トーンカーブ生成用の制御点を算出する際に、前記判定工程で低照度と判定されなかった場合よりも前記第2の値を大きくすることを特徴とする画像処理方法

請求項8

請求項7に記載の画像処理方法を画像処理装置に実行させるためのコンピュータ読み取り可能なプログラム

技術分野

0001

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、撮影画像に対する霧や霞などの影響を抑えることが可能な画像処理装置および画像処理方法、並びにプログラムに関する。

背景技術

0002

従来の監視カメラには、様々な環境下での視認性の高い画像の撮影が望まれているが、被写体に霧や霞が掛かっている場合、コントラストが低く、視認性に欠けた画像となってしまう。そこで、特許文献1では、画像の輝度ヒストグラムに応じて、輝度補正カーブにおける低階調部と高階調部を演算し、演算した輝度補正カーブの高階調部における低階調側端点と低階調部における高階調側の端点とを結んで得られる中間階調部分を演算する。それら演算した輝度補正カーブの低階調部分、中間階調部分及び高階調部分を用いて、画像の輝度レベル全階調範囲に亘って補正する方法が提案されている。

0003

一方、霧や霞は濃度が常に一定ではなく、時間経過に伴って濃度が変化する可能性があるため、画像のコントラストの低下度合いも常に変化している。そこで、霧や霞が発生する撮影環境では、撮影した画像の輝度ヒストグラムに応じて、適応的にコントラストの強調度合いを変更し、画像の視認性を高める手段が有効である。

先行技術

0004

特開2006−98614号公報

発明が解決しようとする課題

0005

しかしながら、特許文献1に開示された技術では、撮影環境の照度変化に対する輝度ヒストグラムの変化に対応するものではない。撮影環境の照度が低照度になった場合、輝度ヒストグラムの山は低輝度側にシフトし、高輝度側にはノイズ成分が存在する傾向がある。その結果、高輝度側のコントラスト強調度合いは、ノイズ成分を含んだ輝度ヒストグラムから算出されるため、高輝度側のコントラスト強調が弱くなり、適切な階調補正ができない可能性がある。

0006

そこで、本発明は、低照度環境において適切な階調補正を行うことができる画像処理装置および画像処理方法、並びにプログラムを提供することを目的にする。

課題を解決するための手段

0007

上記目的を達成するために、本発明に係る画像処理装置は、入力された画像から輝度ヒストグラムを検出するヒストグラム検出手段と、前記ヒストグラム検出手段により検出された輝度ヒストグラムにおける低輝度側からの割合が第1の値となる輝度と高輝度側からの割合が第2の値となる輝度とに基づいてトーンカーブ生成用の制御点を算出する算出手段と、前記算出手段により算出された各制御点に基づいてトーンカーブを生成するトーンカーブ生成手段と、前記トーンカーブ生成手段により生成されたトーンカーブに基づいて画像処理を行う画像処理手段と、撮影環境の照度が低照度か否かを判定する判定手段とを備え、前記算出手段は、前記判定手段により低照度と判定された場合、前記トーンカーブ生成用の制御点を算出する際に、前記判定手段により低照度と判定されなかった場合よりも前記第2の値を大きくすることを特徴とする。

発明の効果

0008

本発明によれば、低照度環境において適切な階調補正を行うことができる。

図面の簡単な説明

0009

本発明の第1の実施形態に係る画像処理装置の概略構成を示すブロック図である。
本発明の第1の実施形態における階調補正処理の一例を示すフローチャートである。
(a)輝度ヒストグラムにおける高輝度側および低輝度側の各制御点と高輝度側および低輝度側の各頻度割合の一例を示す図、(b)輝度ヒストグラムにおける高輝度側および低輝度側の各制御点から生成されたトーンカーブの一例を示す図である。
(a)低照度の撮影環境で撮影された画像の輝度ヒストグラムの一例を示す図、(b)低照度の撮影環境で撮影された画像の輝度ヒストグラムにおける高輝度側および低輝度側の各制御点と高輝度側および低輝度側の各頻度割合の一例を示す図である。
本発明の第2の実施形態に係る画像処理装置の概略構成を示すブロック図である。
本発明の第2の実施形態における階調補正処理の一例を示すフローチャートである。
低照度で且つ点光源による影響がある撮影環境で撮影された画像の輝度ヒストグラムにおける高輝度側および低輝度側の各制御点と高輝度側および低輝度側の各頻度割合の一例を示す図である。

実施例

0010

以下、本発明の実施の形態を図面を参照して詳細に説明する。

0011

[第1の実施形態]
図1は、本発明の第1の実施形態に係る画像処理装置の概略構成を示すブロック図である。本発明の第1の実施形態に係る画像処理装置は、例えば、デジタルカメラネットワークカメラスマートフォンタブレット端末などを含む。なお、同図では、画像処理装置における階調補正に関係する構成要件以外の構成要素が省略されている。

0012

図1において、撮像部102は、不図示のレンズ群、IRCF(Infrared Ray Cut Filter:赤外光除去フィルタ)、撮像素子CDS回路AGCアンプ、およびA/D変換器を備える。

0013

撮像部102では、不図示の被写体を撮影すると、レンズ群およびIRCFを通過した光学像が、CCDセンサCMOSセンサなどから成る撮像素子上に結像される。撮像素子は、結像された光学像を光電変換して、アナログ画像信号として出力する。CDS(Correlated Double Sampling)回路は、撮像素子より入力した電気信号に対して相関二重サンプリング処理などを実施する。AGC(Automatic Gain Control)アンプは、CDS回路より入力された電気信号に対して増幅処理などを行う。A/D変換器は、AGCアンプにより増幅処理されたアナログ信号デジタル信号へと変換する。変換されたデジタル信号は、画像データ生成部101により色変換AE処理、WB処理、ガンマ補正などの画像処理が行われる。所定の画像処理が行われた画像データは、画像表示部108に表示される。

0014

画像データ生成部101は、撮像部102より入力された画像データに対してガンマ補正を行うガンマ補正部103と、ガンマ補正以外の画像信号処理を行う画像信号処理部104を備える。

0015

ヒストグラム検出部105は、画像信号処理部104より入力された画像データから輝度レベルの分布を示す輝度ヒストグラムを検出し、輝度ヒストグラムのデータをトーンカーブ生成部106に出力する一方、画像データを画像表示部108に出力する。

0016

トーンカーブ生成部106は、入力された輝度ヒストグラムデータからトーンカーブを算出し、算出したトーンカーブをガンマ補正部103に出力する。ガンマ補正部103は、入力されたトーンカーブをガンマカーブに反映させて、画像データに対するガンマ補正処理を行う。

0017

照度検出部107は、画像処理装置の撮影環境の照度を検出し、その照度の結果をトーンカーブ生成部106に出力する。なお、照度検出部107は、撮影環境の照度を検出する機能を有するものであれば、どのような構成や方法であってもよい。例えば、画像信号処理部104より出力された画像データの輝度レベルに基づいて撮影環境の照度を検出してもよいし、照度検出用の照度センサを備え、照度センサの出力に基づいて撮影環境の照度を検出してもよい。

0018

次に、図1の画像処理装置における階調補正処理について図2を参照して説明する。

0019

図2は、図1の画像処理装置における階調補正処理の一例を示すフローチャートである。なお、本処理は、図1に示す各部が協働して実行されるものである。

0020

図2において、ステップS201では、照度検出部107は、画像処理装置の撮影環境の照度を検出する。

0021

次に、ステップS202では、ヒストグラム検出部105は、画像データ生成部101より入力された画像データから輝度ヒストグラムを検出する。

0022

次に、ステップS203では、トーンカーブ生成部106は、ステップS201で検出された撮影環境の照度が低照度か否かを判定する。この照度の判定には、例えばAGCゲイン値を用い、AGCゲイン値が所定値以上になると低照度と判定してもよいし、照度検出部107が検出した照度レベルが所定値以下であると低照度と判定してもよいし、他の方法であってもよい。撮影環境の照度が低照度であると判定した場合には、ステップS207へ進む一方、撮影環境の照度が低照度でないと判定した場合には、ステップS204へ進む。

0023

ステップS204では、トーンカーブ生成部106は、ヒストグラム検出部105で検出された輝度ヒストグラムからトーンカーブ生成用の制御点を算出する。トーンカーブ生成用の制御点は、図3(a)に示すように、予め設定された頻度割合(高輝度側頻度割合、低輝度側頻度割合)に基づいて輝度ヒストグラムから算出される。さらに具体的には、ヒストグラム検出部105で検出された輝度ヒストグラムにおける低輝度側からの割合が第1の値となる輝度と高輝度側からの割合が第2の値となる輝度とに基づいてトーンカーブ生成用の制御点を算出する。例えば、頻度割合(第1の値と第2の値)が5%に設定されている場合、低輝度側、高輝度側のそれぞれで輝度ヒストグラムの割合の5%にあたる輝度を制御点とする。そして、トーンカーブ生成部106は、トーンカーブ生成用の制御点から次式(式1)により、図3(b)に示すようなトーンカーブを生成する(図2のステップS205)。

0024

Ix,Iy:トーンカーブ上のI点のx座標、y座標
Ax,Ay:トーンカーブ上のA点(低輝度側制御点)のx座標、y座標
Bx,By:トーンカーブ上のB点(高輝度側制御点)のx座標、y座標
Mx,My:トーンカーブ上のM点のx座標、y座標

0025

トーンカーブ上のx座標、y座標とは、それぞれ入力値出力値に対応しており、M点のx座標、y座標は、それぞれ最大入力値最大出力値に対応している。

0026

以上のように、式1は、任意の入力値Ixに対して、生成されたトーンカーブを適用すると、出力値Iyが得られることを示している。

0027

次に、ステップS206では、ガンマ補正部103は、ステップS205で生成されたトーンカーブをガンマカーブに反映し、次式(式2)によってコントラスト強調用のガンマカーブを算出する。

0028

0029

このように、ステップS206で算出されたコントラスト強調用のガンマカーブを使用することにより、霧や霞によって低下した画像のコントラストを強調し、当該画像の視認性を高めることが出来る。

0030

ステップS207では、トーンカーブ生成部106は、高輝度側のトーンカーブ生成用の制御点を算出するための高輝度側頻度割合を大きくする。撮影環境が低照度になった場合、図4(a)に示すように、輝度ヒストグラムの山は低輝度側にシフトし、高輝度側にはノイズ成分が存在する傾向がある。このような輝度ヒストグラムからトーンカーブ生成用の制御点を算出すると、低輝度側制御点は適切に算出できるが、高輝度側制御点はノイズ成分により適切な制御点が算出できない。

0031

そこで、撮影環境が低照度になった場合、撮影環境が低照度ではない場合よりも、高輝度側頻度割合を大きい値に設定する。例えば、撮影環境が低照度ではない場合に高輝度側のトーンカーブ生成用の制御点を算出するための高輝度側頻度割合が5%に設定されているとすると、撮影環境が低照度になった場合には高輝度側頻度割合を15%とする。このとき、低輝度側頻度割合は撮影環境が低照度と判定されたか否かに応じて変更しない。この結果、図4(b)に示すように、トーンカーブの高輝度側の制御点がノイズ成分の影響が少ない点に設定され、適切なトーンカーブの制御点を算出することが出来る。トーンカーブ生成用の制御点が算出された後は、上述したステップS204からステップS206と同様のため、それらの説明を省略する。

0032

上記実施形態によれば、撮影環境の照度が低照度の場合、撮影環境の照度が低照度ではない場合よりも高輝度側のトーンカーブ生成用の制御点を算出するための高輝度側頻度割合を大きくするように制御する。これにより、低照度時において輝度ヒストグラムの高輝度側のノイズ成分の影響を低減させるコントラストの強調ができ、画像の視認性をより適切に高めることが可能である。

0033

[第2の実施形態]
上記第1の実施形態では、撮影環境の照度が低照度の場合、輝度ヒストグラムの高輝度側にノイズ成分が存在する傾向があるため、撮影環境の照度が低照度ではない場合よりも高輝度側頻度割合を大きくする階調補正について説明した。一方、低照度環境の撮影では、輝度ヒストグラムの高輝度側にはノイズ成分だけでなく、街灯などの点光源による成分も存在する傾向にある。点光源による成分が存在する輝度ヒストグラムからトーンカーブ生成用の制御点を算出すると、低輝度側の制御点は適切に算出できるが、高輝度側の制御点は点光源による成分とノイズ成分により適切な制御点が算出できない。

0034

そこで、第2の実施形態では、撮影環境の照度が低照度のときに、輝度ヒストグラムに存在するノイズ成分と点光源による成分を考慮した階調補正について説明する。なお、上記第1の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第1の実施の形態と異なる点のみを説明する。

0035

図5は、本発明の第2の実施形態に係る画像処理装置の概略構成を示すブロック図である。なお、図示の画像処理装置は他の構成要素については省略されている。

0036

図5に示す画像処理装置は、上記第1の実施形態における図1の画像処理装置に対して、点光源検出部501のみが追加されている。点光源検出部501は、輝度ヒストグラムから点光源による成分を検出し、その結果をトーンカーブ生成部106に出力する。この点光源による成分の検出には、例えば、輝度ヒストグラム上の輝度値240以上の部分を点光源による成分としてもよい。なお、点光源検出部501は、点光源による成分を検出する機能を有するものであれば、どのような構成や方法であってもよい。

0037

図6は、本発明の第2の実施形態における階調補正処理の一例を示すフローチャートである。なお、本処理は、図5に示す各部が協働して実行されるものである。また、図2に示すフローチャートと同一のステップについては同一のステップ番号を付して、それらの説明を省略する。

0038

図6において、ステップS601では、点光源検出部501は、ヒストグラム検出部105で検出された輝度ヒストグラムから点光源による成分を検出する。

0039

次に、ステップS203では、トーンカーブ生成部106は、ステップS201で検出された撮影環境の照度が低照度か否かを判定する。撮影環境の照度が低照度であると判定した場合には、ステップS602へ進む一方、撮影環境の照度が低照度でないと判定した場合には、ステップS204へ進む。

0040

ステップS602では、トーンカーブ生成部106は、ステップS601で点光源による成分が検出されたと判定した場合には、ステップS603へ進む。一方、点光源による成分が検出されていなかった場合にはステップS207へ進む。

0041

ステップS603では、トーンカーブ生成部106は、高輝度側からの割合の算出開始点となる輝度を低輝度側にオフセットさせる。すなわち、高輝度側からの割合の算出に、点光源と想定した輝度値240以上の部分を含まないにようにする。例えば、点光源による成分を検出するために利用した輝度値240に対して、高輝度側からの割合に含む輝度を輝度値239以下にして、トーンカーブ生成用の制御点が算出される。すると、図7に示すように、高輝度側のトーンカーブ生成用の制御点が点光源とノイズ成分の影響が少ない点に設定され、適切なトーンカーブ生成用の制御点を算出することが出来る。

0042

上記第2の実施形態によれば、第1の実施形態に加え、輝度ヒストグラムに点光源による成分が含まれていると判定した場合、輝度ヒストグラムから点光源による成分が含まれる部分を除外すべく、高輝度側からの割合の算出開始点となる輝度を低輝度側に変更する。このとき、輝度ヒストグラムに点光源による成分が含まれているか否かに応じて低輝度側からの割合の算出開始点となる輝度は変更しない。これにより、点光源の影響を減らしたコントラスト強調ができ、画像の視認性をより適切に高めることが出来る。

0043

また、上記の2つの実施形態では、撮像機能を有する画像処理装置いわゆる撮像装置について説明したが、撮像機能を有していない画像処理装置であってもよい。撮像機能を有していない画像処理装置の場合、外部機器から入力された画像に対して上記の補正処理を行えばよい。なお、撮像機能を有する画像処理装置において、外部機器から入力された画像に対して上記の補正処理を行ってもよい。

0044

また、上記の2つの実施形態では、輝度ヒストグラムの検出前にガンマ補正を行う構成を説明したが、輝度ヒストグラムの検出後にガンマ補正を行う構成であってもよい。輝度ヒストグラムの検出前にガンマ補正を行う構成の場合、輝度ヒストグラムの検出を行った画像に対して、当該画像の輝度ヒストグラムに基づいて生成されたトーンカーブを反映させたガンマカーブは使用できない。そのため、生成されたトーンカーブを反映させたガンマカーブは、輝度ヒストグラムの検出を行った画像の次に入力される画像から使用される。それに対して、輝度ヒストグラムの検出後にガンマ補正を行う構成の場合、輝度ヒストグラムの検出を行った画像に対して、当該画像の輝度ヒストグラムに基づいて生成されたトーンカーブを反映させたガンマカーブは使用することができる。

0045

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0046

101画像データ生成部
102撮像部
103ガンマ補正部
104画像信号処理部
105ヒストグラム検出部
106トーンカーブ生成部
107照度検出部
108画像表示部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ