図面 (/)

技術 撮像装置、その制御方法及びプログラム

出願人 キヤノン株式会社
発明者 仲田崇倫
出願日 2010年6月24日 (11年5ヶ月経過) 出願番号 2010-144034
公開日 2012年1月12日 (9年10ヶ月経過) 公開番号 2012-010093
状態 未査定
技術分野 スタジオ装置
主要キーワード 巡回フィルタ 増幅処理後 フレーム間差分方式 AE処理 低照度領域 変化検知 背景差分方式 監視目的
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年1月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

照度においても、画面全体にわたって画像の変化を精度よく検知する。

解決手段

信号処理部107は、撮像素子102より出力された画像データに対して増幅処理を実行する。画像変化検知系108は、信号処理部107より出力された画像データの輝度差から画像の変化を検知する。ここで、画像変化検知系108のために分岐して供給される画像データに対して増幅処理を実行し、表示系106のために分岐して供給される画像データに対しては増幅処理を実行しない。

概要

背景

従来、監視目的で人の出入りを監視するため、或いは、被写体の動きを検知して撮影制御を変更する等のために画像変化検知技術が提案されている。画像変化検知技術は、主として、フレーム間差分方式背景差分方式とが知られている。フレーム間差分方式は、時間的に隣り合った二つの画像同士を比較し、輝度の差分をとる。その輝度の差分が一定値以上となった時に被写体に変化があったことを検知する方法である。一方で、背景差分方式は、予め背景を記憶しておき、その背景に対して一定値以上の輝度差が発生したときに、被写体に変化があったことを検知する方法である。両方式ともに、被写体の輝度差から被写体の変化を検知している。そのため、低照度においては、輝度差が小さくなっているために精度の良い検知が難しかった。このような課題を解決するための動き検知装置が例えば特許文献に開示されている。

特許文献1に開示される動き検知装置は、画面の変化を検知する輝度差と動き検出パラメータの比較で動きを判定しており、さらに自動露出又はゲインに応じて、画面変化の検出のための輝度差の閾値を制御するものである。

概要

低照度においても、画面全体にわたって画像の変化を精度よく検知する。信号処理部107は、撮像素子102より出力された画像データに対して増幅処理を実行する。画像変化検知系108は、信号処理部107より出力された画像データの輝度差から画像の変化を検知する。ここで、画像変化検知系108のために分岐して供給される画像データに対して増幅処理を実行し、表示系106のために分岐して供給される画像データに対しては増幅処理を実行しない。

目的

本発明の目的は、低照度においても、表示手段での被写体の確認を可能としながら、画面全体にわたって画像の変化を精度よく検知することにある

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像手段と、前記撮像手段より出力された画像データに対して増幅処理を実行する処理手段と、前記処理手段より出力された画像データの輝度差に基づいて画像の変化を検知する検知手段と、前記撮像手段より出力された画像データを前記検知手段と表示手段とに分岐して供給するための分岐手段とを有し、前記処理手段は、前記分岐手段により前記検知手段に分岐して供給される画像データに対して増幅処理を実行し、前記表示手段に分岐して供給される画像データに対しては増幅処理を実行しないことを特徴とする撮像装置

請求項2

前記処理手段は、画像データに対して増幅処理を実行した後、増幅処理後の画像データに対してノイズリダクションを実行することを特徴とする請求項1に記載の撮像装置。

請求項3

前記処理手段は、画像データに対して輝度差が強調されるようなガンマ補正を実行することを特徴とする請求項1又は2に記載の撮像装置。

請求項4

前記撮像手段より出力された画像データの輝度を算出する算出手段を更に有し、前記処理手段は、前記算出手段により算出された輝度が所定の輝度範囲である場合、画像データに対する増幅処理における増幅量として当該輝度に応じた増幅量を決定することを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。

請求項5

前記処理手段は、前記算出手段により算出された輝度が前記所定の輝度範囲より低い輝度である場合、画像データに対する増幅処理における増幅量として一定の増幅量を決定することを特徴とする請求項4に記載の撮像装置。

請求項6

前記処理手段は、前記算出手段により算出された輝度が前記所定の輝度範囲より高い輝度である場合、画像データに対して増幅処理を実行しないことを特徴とする請求項4又は5に記載の撮像装置。

請求項7

前記処理手段は、前記検知手段がフレーム間差分によって画像の変化を検知する場合には、巡回フィルタに所定の最大値を設定することを特徴とする請求項2に記載の撮像装置。

請求項8

前記ガンマ補正は、画面全体の平均輝度基準輝度とする所定の輝度範囲において出力に対する傾きが最大となるようなガンマ特性を有することを特徴とする請求項3に記載の撮像装置。

請求項9

撮像手段を有する撮像装置の制御方法であって、前記撮像手段より出力された画像データに対して増幅処理を実行する処理ステップと、前記処理ステップより出力された画像データの輝度差に基づいて画像の変化を検知する検知ステップとを含み、前記処理ステップは、前記検知のために分岐して供給される画像データに対して増幅処理を実行し、表示のために分岐して供給される画像データに対しては増幅処理を実行しないことを特徴とする撮像装置の制御方法。

請求項10

撮像手段を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、前記撮像手段より出力された画像データに対して増幅処理を実行する処理ステップと、前記処理ステップより出力された画像データの輝度差に基づいて画像の変化を検知する検知ステップとをコンピュータに実行させ、前記処理ステップは、前記検知のために分岐して供給される画像データに対して増幅処理を実行し、表示のために分岐して供給される画像データに対しては増幅処理を実行しないことを特徴とするプログラム。

技術分野

0001

本発明は、画像の変化を精度よく検知するための技術に関するものである。

背景技術

0002

従来、監視目的で人の出入りを監視するため、或いは、被写体の動きを検知して撮影制御を変更する等のために画像変化検知技術が提案されている。画像変化検知技術は、主として、フレーム間差分方式背景差分方式とが知られている。フレーム間差分方式は、時間的に隣り合った二つの画像同士を比較し、輝度の差分をとる。その輝度の差分が一定値以上となった時に被写体に変化があったことを検知する方法である。一方で、背景差分方式は、予め背景を記憶しておき、その背景に対して一定値以上の輝度差が発生したときに、被写体に変化があったことを検知する方法である。両方式ともに、被写体の輝度差から被写体の変化を検知している。そのため、低照度においては、輝度差が小さくなっているために精度の良い検知が難しかった。このような課題を解決するための動き検知装置が例えば特許文献に開示されている。

0003

特許文献1に開示される動き検知装置は、画面の変化を検知する輝度差と動き検出パラメータの比較で動きを判定しており、さらに自動露出又はゲインに応じて、画面変化の検出のための輝度差の閾値を制御するものである。

先行技術

0004

特許第4311457号公報

発明が解決しようとする課題

0005

しかしながら、特許文献1に開示される動き検知装置では、カメラ制御情報を使用しているため、自動露出の注目点等では検出精度はよいが、画面全体が最適になっていないため、周辺等では検出精度が落ちてしまう場合がある。一方、検出処理に影響されることなく低照度の被写体を表示手段で確認したい要望もある。

0006

そこで、本発明の目的は、低照度においても、表示手段での被写体の確認を可能としながら、画面全体にわたって画像の変化を精度よく検知することにある。

課題を解決するための手段

0007

本発明の撮像装置は、撮像手段と、前記撮像手段より出力された画像データに対して増幅処理を実行する処理手段と、前記処理手段より出力された画像データの輝度差に基づいて画像の変化を検知する検知手段と、前記撮像手段より出力された画像データを前記検知手段と表示手段とに分岐して供給するための分岐手段とを有し、前記処理手段は、前記分岐手段により前記検知手段に分岐して供給される画像データに対して増幅処理を実行し、前記表示手段に分岐して供給される画像データに対しては増幅処理を実行しないことを特徴とする。

発明の効果

0008

本発明によれば、低照度においても、画面全体にわたって画像の変化を精度よく検知することが可能となる。

図面の簡単な説明

0009

本発明の第1の実施形態に係る撮像装置の構成を示す図である。
本発明の第1の実施形態に係る撮像装置の処理を示すフローチャートである。
図2のステップS205において付加される増幅度と画面の輝度との関係をグラフで示した図である。
図2のステップS205の詳細を示すフローチャートである。
本発明の第2の実施形態に係る撮像装置の構成を示す図である。
本発明の第2の実施形態に係る撮像装置の処理を示すフローチャートである。
画像変化検知系に供給される画像データと表示系に供給される画像データとの間で設定されるNR処理の強さの最大値の違いを示す図である。
図6のステップS606の詳細を示すフローチャートである。
ガンマカーブ決定方法について説明するための図である。
図6のステップS607の詳細を示すフローチャートである。

実施例

0010

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

0011

図1は、本発明の第1の実施形態に係る撮像装置の構成を示す図である。図1に示すように、本実施形態に係る撮像装置は、レンズ101、撮像素子102、AFE103、画像輝度算出部104、画像処理部105、表示系106、信号処理部107及び画像変化検知部108により構成される。但し、信号処理部107は、画像変化検知系108に分岐して供給された画像データを増幅する信号増幅器107aを備える。

0012

被写体像は、数枚のレンズから構成されるレンズ101を通してCCD、CMOS等の撮像素子102に結像され、電気信号に変換されて出力される。撮像素子102から出力された電気信号は、相関二重サンプリング処理(CDS)、アナログゲインコントロール(AGC)、アナログデジタル変換器ADC)等からなるアナログフロントエンド(AFE)103により、種々の信号処理が施され、デジタル信号形式の画像データとして出力される。AFE103より出力された画像データは、画素毎の輝度を取得し、その平均値を算出する画像輝度算出部104に入力され、上記画像データの輝度が算出される。

0013

画像輝度算出部104より出力された画像データは、表示系106と画像変化検知系108とに分岐して供給される。なお、分岐して供給される画像データは、表示系106と画像変化検知系108との間で同一である。表示系106へ供給される画像データは、画像信号処理部105に入力される。画像信号処理部105は、デジタルシグナルプロセッサ(DSP)等から構成され、所定の画像処理を行う。画像信号処理部105において画像処理が施された画像データは、表示系106においてディスプレイ等に表示される。

0014

一方、画像変化検知系108へ供給される画像データは、信号処理部107へ入力され、信号増幅器107aによって増幅される。信号増幅器107aにより増幅された画像データは画像変化検知系108に入力され、ここで画像の変化が検知される。画像変化検知系108は、例えば輝度差によって被写体の変化を検知し、フレーム間差分方式又は背景差分方式、或いはその両方式に対応したものとする。

0015

図2は、本発明の第1の実施形態に係る撮像装置の処理を示すフローチャートである。以下、図2を用いて本実施形態に係る撮像装置の処理について説明する。

0016

ステップS201において、画像輝度算出部104は、レンズ101、撮像素子102、AFE103を介して、被写体像の画像データを取得する。ステップS202において、画像輝度算出部104は、取得した画像データの輝度を算出する。ここで算出される輝度は画面全体の平均輝度とする。ステップS203において、画像輝度算出部104は、取得した画像データを表示系106と画像変化検知系108とに分岐して供給する。

0017

本実施形態においては、表示系106に分岐して供給される画像データと画像変化検知系108に分岐して供給される画像データとの間で異なる画像処理が実行される。表示系106に分岐して供給される画像データについては、ステップS204において、画像処理部105は、色変換AE処理、WB処理、ガンマ処理信号増幅ノイズ低減輪郭強調等の画像処理を実行する。その結果、視覚的に適した画像データとなり、ディスプレイ等の表示系106へ出力される。

0018

一方、画像変化検知系108に分岐して供給される画像データについては、ステップS205において、信号増幅器107aが画像データの増幅処理を実行する。ここで、画像データの増幅度は、低照度において、表示系106に分岐して供給される画像データの増幅度よりも相当量大きな値となっているため、被写体の輝度差が十分に強調される。この増幅処理によって得られる画像データが視覚的に適している必要は特になく、本増幅処理は輝度差を広げる目的で行っている。従って、本実施形態によれば、低照度においても、画面全体にわたって画像の変化を精度よく検知することが可能となる。

0019

ここで、画像データの増幅方法の一例を、図3及び図4を用いて説明する。図3は、図2のステップS205において付加される増幅度と画面の輝度との関係をグラフで示した図である。図4は、図2のステップS205の詳細を示すフローチャートである。図3において、画面の輝度により、十分照度領域低照度領域ノイズ飽和領域の3つに分けられている。それぞれの境界は予め定められた所定の輝度値とする。ステップS401において、信号増幅器107aは、ステップS202で算出された輝度が十分照度領域に属するか否かを判定する。輝度が十分照度領域に属する場合、そもそも画像データに十分な輝度差がある。従って、処理はステップS402に移行し、画像データの増幅処理は実行されない。一方、輝度が十分照度領域に属しない場合、ステップS403において、信号増幅器107aは、輝度が低照度領域に属するか否かを判定する。輝度が低照度領域に属する場合、信号増幅器107aは、輝度に応じた画像データの増幅処理を実行する。一方、輝度が低照度領域に属しない場合、画像データの状態がノイズ飽和領域に属し、画像データ内の被写体像がノイズに埋もれてしまっている。そのため、これ以上増幅を行っても画像データの輝度差が大きくならない。従って、ステップS405において、信号処理部107は、ノイズ飽和領域直前の増幅度のまま一定とし、それ以上輝度が低くなっても増幅度は一定値とする。ステップS206において、画像変化検知系108は、輝度差を測定し、輝度差に変化があったところを画像変化として検知する。なお、画像変化検知方法は、フレーム間差分方式でも背景差分方式でも、又はそれ以外の方式であっても、輝度差によって画像の変化を検知するものであればかまわない。その後、撮像装置は、画像変化の検知結果に基づいて、表示系106での警告の表示や撮像装置の処理変更等の所定の処理を実行する。

0020

次に、本発明の第2の実施形態について説明する。本実施形態に係る撮像装置は、画像変化検知系に分岐して供給される画像データに対して増幅を行う第1の実施形態に加えて、ノイズリダクション(NR)処理及びガンマ補正処理を行うものである。第1の実施形態においては、画像変化検知系108に分岐して供給された画像データに対して増幅を行う処理まで説明したので、ここでは増幅処理までの説明は省略し、以降のNR処理及びガンマ補正処理について説明を行うものとする。

0021

図5は、本発明の第2の実施形態に係る撮像装置の構成を示す図である。図5に示すように、本実施形態に係る撮像装置は、レンズ101、撮像素子102、AFE103、画像輝度算出部104、画像処理部105、表示系106、信号処理部507、画像変化検知系108を備える。但し、信号処理部507は、画像変化検知系108に分岐して供給された画像データを増幅する信号増幅器107a、増幅された画像データに対して例えばローパスフィルタ等をかけることでNRを行うNR処理部507b、及び、画像データの入出力関係を表したガンマ補正を行うガンマ補正処理部507cから構成される。なお、図5の101〜106、107a、108は、図1の101〜106、107a、108と夫々同様の構成である。

0022

図6は、本実施形態に係る撮像装置の制御処理を示すフローチャートである。以下、図6を用いて本実施形態に係る撮像装置の処理について説明する。なお、図6のステップS201〜S205は、図2のS201〜S205と同様の処理である。

0023

ここでの前提として、信号増幅器107aで増幅された画像データはその増幅分だけノイズが増加する。従って、本実施形態においては、ステップS606において、NR処理部507bが増幅された画像データに対してNR処理を行ってノイズ成分抑圧することにより、ノイズによって引き起こされる画像変化の誤検知をなくすようにしている。その際、画像変化検知系108は表示系106に比べて画像の画質に制限がないため、図7に示すように、画像変化検知系108でのNR処理の強さの最大値を表示系106でのNR処理の強さの最大値より大きくして、画像変化検知系108側ではよりノイズを抑圧するようにしている。

0024

ここで、NR処理の一例として、NR処理が巡回フィルタ空間フィルタとによってなされている場合について図8を用いて説明する。図8は、図6のステップS606の詳細を示すフローチャートである。

0025

ステップS801において、NR処理部507bは、画像変化検知系108が、直前のフレーム現フレームとの比較であるフレーム間差分で画像変化を検知しているか否かを判定する。フレーム間差分により画像変化の検知が実行されている場合、ステップS802において、NR処理部507bは、巡回フィルタに所定の最大値を設ける。これにより、残像等の影響を少なくできる。一方、フレーム間差分により画像変化の検知が実行されていない場合、NR処理部507bは巡回フィルタに所定の最大値は設けない。

0026

ステップS803において、NR処理部507bは、表示系106に比べてNRの強さの最大値を上昇させて設定する。NR処理部507bによってNR処理された画像データはガンマ補正処理部507cに供給される。ステップS607において、ガンマ補正処理部507cは画像データの輝度差をより強調するためにガンマ補正処理を行う。ここで、ガンマ補正処理の一例として、ガンマカーブの決定方法について、図9及び図10を用いて説明する。

0027

ガンマカーブは、図9に示すように、信号増幅を行ったために上昇した黒レベルを抑えるべく、入力が低レベルのときは傾きをゆるく設定し、高レベルにおいても傾きをゆるく設定する。これにより、中間レベルにおいて輝度差を大きくすることができる。

0028

図10は、図6のステップS607の詳細を示すフローチャートである。ステップS1001において、ガンマ補正処理部507cは、画面全体の輝度の平均値を図9に示す基準輝度に設定する。この画面全体の輝度の平均値は、画像輝度算出部504で算出された輝度に対して信号増幅器107a及びNR処理部507bで施された処理分だけ変化した輝度の平均値であって、ガンマ補正処理部509に入力される直前の画像データの輝度の平均値とする。また、基準輝度を基準にして図9に示す正負に幅aの輝度範囲注目輝度部とする。ステップS1002において、ガンマ補正処理部507cは、この注目輝度部において傾きが急になるようにガンマカーブを設定する。ここで示したaは、任意に決められるものである。aの値を大きくすれば、出力に対する傾きが小さくなるために、広範な輝度範囲で変化検知可能になるが、輝度差が少なく検知できないものも出てくる。一方、aの値を小さくすれば、検知可能な輝度範囲は少なくなるが、注目輝度部においては検知精度の向上が期待できる。

0029

ステップS206において、画像変化検知系108は、輝度差を測定し、輝度差に変化があったところを画像変化として検知する。

0030

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

0031

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0032

104:画像輝度算出部、107:信号処理部、107a:信号増幅器、108:画像変化検知系、507b:NR処理部、507c:ガンマ補正処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ