図面 (/)

技術 画像処理装置、画像処理方法、電子機器、並びにプログラム

出願人 ソニーセミコンダクタソリューションズ株式会社
発明者 小野博明
出願日 2015年4月8日 (5年8ヶ月経過) 出願番号 2016-514852
公開日 2017年4月13日 (3年8ヶ月経過) 公開番号 WO2015-163145
状態 特許登録済
技術分野 イメージ分析 スタジオ装置
主要キーワード 寄与度算出 動き検出値 輝度変化パターン 下位行 短時間露光用 長時間露光用 静止シーン フリッカ光源
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年4月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

本技術は、フリッカなどの周期的なノイズの影響を低減させた動き検出を行うことができるようにする画像処理装置画像処理方法電子機器、並びにプログラムに関する。異なる露光条件撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部とを備える。周期的なノイズとは、例えば、フリッカである。強度比算出部は、異なる露光条件が設定された画素が混在する撮像素子撮像された1枚の画像から、強度比を算出する。本技術は、撮像装置に適用できる。

概要

背景

蛍光灯照明の下で、CMOS(Complementary Metal Oxides Semiconductor)撮像素子などXYアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、映像信号状の輝度ムラ色ムラが発生する。この現象フリッカと呼ばれる。これは、商用電源交流)に接続された蛍光灯が基本的に電源周波数の2倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。

フリッカの発生した画像には水平方向に延びる縞模様輝度変化パターン出現する。例えば動画を観察した場合、上下に流れる縞模様が観察されてしまう。このような画像を用いて、その画像内で動きがある領域を検出する場合、フリッカも動きのある領域として検出されてしまう可能性がある。このようなフリッカによる影響を低減した動き検出仕方として、特許文献1乃至3がある。

概要

本技術は、フリッカなどの周期的なノイズの影響を低減させた動き検出を行うことができるようにする画像処理装置画像処理方法電子機器、並びにプログラムに関する。異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部とを備える。周期的なノイズとは、例えば、フリッカである。強度比算出部は、異なる露光条件が設定された画素が混在する撮像素子で撮像された1枚の画像から、強度比を算出する。本技術は、撮像装置に適用できる。

目的

コンピュータ(CPU1101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1111に記録して提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

異なる露光条件撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部とを備える画像処理装置

請求項2

前記周期的なノイズとは、フリッカである請求項1に記載の画像処理装置。

請求項3

前記強度比算出部は、前記異なる露光条件が設定された画素が混在する撮像素子撮像された1枚の画像から、前記強度比を算出する請求項1に記載の画像処理装置。

請求項4

前記強度比算出部は、前記異なる露光条件でそれぞれ撮像された複数の画像から、前記強度比を算出する請求項1に記載の画像処理装置。

請求項5

前記寄与度算出部により算出された前記寄与度が所定の値以上である前記画像内の位置を、動きとして検出する請求項1に記載の画像処理装置。

請求項6

前記強度比は、前記異なる露光条件で撮影された画像内で算出対象とされている画素の画素値の比、または、算出対象とされている画素の周辺領域にある画素の画素値から算出される信号値の比である請求項1に記載の画像処理装置。

請求項7

第1の露光条件で撮影された第1の画像の前記周期的なノイズを基準とし、第2の露光条件で撮影された第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を、前記強度比算出部で算出された強度比を用いて算出する変換係数算出部をさらに備える請求項1に記載の画像処理装置。

請求項8

前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうち、最頻値の強度比を前記変換係数とする請求項7に記載の画像処理装置。

請求項9

前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうちの中央値を、前記変換係数とする請求項7に記載の画像処理装置。

請求項10

前記変換係数算出部は、前記強度比算出部で算出された前記強度比の加重平均値を、前記変換係数とする請求項7に記載の画像処理装置。

請求項11

前記変換係数算出部で算出された前記変換係数を用いて、前記第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換し、変換後の前記第2の画像と前記第1の画像との差を取ることで、前記画像内の動きを検出する請求項7に記載の画像処理装置。

請求項12

前記周期的なノイズの周期を、前記変換係数算出部で算出された前記変換係数の変化から求める周期検出部をさらに備える請求項7に記載の画像処理装置。

請求項13

前記周期検出部により検出された周期を用いて、前記変換係数算出部で算出された前記変換係数を更新する更新部をさらに備える請求項12に記載の画像処理装置。

請求項14

前記変換係数は、前記画像内の水平方向のライン毎に算出される請求項7に記載の画像処理装置。

請求項15

前記変換係数は、前記画像内の水平方向のライン内の画素毎に算出され、算出対象とされた画素を中心とした所定の範囲内の前記強度比が用いられて算出される請求項7に記載の画像処理装置。

請求項16

前記周期的なノイズの周期の整数倍に設定された第1の露光条件で撮影された第1の画像の前記周期的なノイズを基準とし、第2の露光条件で撮影された第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を算出する変換係数算出部をさらに備える請求項1に記載の画像処理装置。

請求項17

前記異なる露光条件で画像を撮像する撮像素子と積層構造とされている請求項1に記載の画像処理装置。

請求項18

異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出するステップを含む画像処理方法

請求項19

撮像素子で撮像される画像を処理する画像処理装置に、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出するステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム

請求項20

異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部とを備える画像処理部と、前記画像処理部から出力される信号に対して信号処理を行う信号処理部とを備える電子機器

技術分野

0001

本技術は、画像処理装置画像処理方法電子機器、並びにプログラムに関する。詳しくは、画像に発生するフリッカによる影響を低減した動き検出を行う画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。

背景技術

0002

蛍光灯照明の下で、CMOS(Complementary Metal Oxides Semiconductor)撮像素子などXYアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、映像信号状の輝度ムラ色ムラが発生する。この現象はフリッカと呼ばれる。これは、商用電源交流)に接続された蛍光灯が基本的に電源周波数の2倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。

0003

フリッカの発生した画像には水平方向に延びる縞模様輝度変化パターン出現する。例えば動画を観察した場合、上下に流れる縞模様が観察されてしまう。このような画像を用いて、その画像内で動きがある領域を検出する場合、フリッカも動きのある領域として検出されてしまう可能性がある。このようなフリッカによる影響を低減した動き検出の仕方として、特許文献1乃至3がある。

先行技術

0004

特開2009−169886号公報
特開2011−024035号公報
特開2008−109370号公報

発明が解決しようとする課題

0005

特許文献1では、フリッカ位相が等しい複数のフレームを利用することで、フリッカに対応した動き検出を行う手法が提案されている。しかしながら、特許文献1による方法では、過去のフレームを保持するため、最低でも3フレームのフレームメモリが必要となり、レイテンシも発生する可能性がある。また、フリッカ光源の空間的な変動に対応できない可能性がある。

0006

特許文献2では、フレームメモリを用いずに、動きを検出する方法が提案されている。しかしながら、特許文献2による方法では、フリッカ周期整数倍になるように露光を制御することで、フリッカ環境下に対応しているため、その分、露光の制約が発生してしまい、所望の露光での撮影ができない可能性がある。

0007

特許文献3では、画像を領域分割し、分割領域毎複数フレームを使用してフリッカ成分を含まない基準値を算出することで、フリッカ補正を行う方法が提案されている。しかしながら、特許文献3による方法では、フリッカの空間的な光源変動に対応する一方、フリッカ補正が目的のため動体検出には対応できず、また、フレームメモリが必要となり、レイテンシも発生する可能性がある。

0008

本技術は、このような状況に鑑みてなされたものであり、フリッカなどの周期的なノイズによる誤検出が発生しない動き検出を行えるようにすることができるようにするものである。

課題を解決するための手段

0009

本技術の一側面の画像処理装置は、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部とを備える。

0010

前記周期的なノイズとは、フリッカであるようにすることができる。

0011

前記強度比算出部は、前記異なる露光条件が設定された画素が混在する撮像素子で撮像された1枚の画像から、前記強度比を算出するようにすることができる。

0012

前記強度比算出部は、前記異なる露光条件でそれぞれ撮像された複数の画像から、前記強度比を算出するようにすることができる。

0013

前記寄与度算出部により算出された前記寄与度が所定の値以上である前記画像内の位置を、動きとして検出するようにすることができる。

0014

前記強度比は、前記異なる露光条件で撮影された画像内で算出対象とされている画素の画素値の比、または、算出対象とされている画素の周辺領域にある画素の画素値から算出される信号値の比であるようにすることができる。

0015

第1の露光条件で撮影された第1の画像の前記周期的なノイズを基準とし、第2の露光条件で撮影された第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を、前記強度比算出部で算出された強度比を用いて算出する変換係数算出部をさらに備えるようにすることができる。

0016

前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうち、最頻値の強度比を前記変換係数とするようにすることができる。

0017

前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうちの中央値を、前記変換係数とするようにすることができる。

0018

前記変換係数算出部は、前記強度比算出部で算出された前記強度比の加重平均値を、前記変換係数とするようにすることができる。

0019

前記変換係数算出部で算出された前記変換係数を用いて、前記第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換し、変換後の前記第2の画像と前記第1の画像との差を取ることで、前記画像内の動きを検出するようにすることができる。

0020

前記周期的なノイズの周期を、前記変換係数算出部で算出された前記変換係数の変化から求める周期検出部をさらに備えるようにすることができる。

0021

前記周期検出部により検出された周期を用いて、前記変換係数算出部で算出された前記変換係数を更新する更新部をさらに備えるようにすることができる。

0022

前記変換係数は、前記画像内の水平方向のライン毎に算出されるようにすることができる。

0023

前記変換係数は、前記画像内の水平方向のライン内の画素毎に算出され、算出対象とされた画素を中心とした所定の範囲内の前記強度比が用いられて算出されるようにすることができる。

0024

前記周期的なノイズの周期の整数倍に設定された第1の露光条件で撮影された第1の画像の前記周期的なノイズを基準とし、第2の露光条件で撮影された第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を算出する変換係数算出部をさらに備えるようにすることができる。

0025

前記異なる露光条件で画像を撮像する撮像素子と積層構造とされているようにすることができる。

0026

本技術の一側面の画像処理方法は、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出するステップを含む。

0027

本技術の一側面のプログラムは、撮像素子で撮像される画像を処理する画像処理装置に、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出するステップを含む処理を実行させる。

0028

本技術の一側面の電子機器は、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部とを備える画像処理部と、前記画像処理部から出力される信号に対して信号処理を行う信号処理部とを備える。

0029

本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比が算出され、算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度が算出される。

0030

本技術の一側面の電子機器は、前記画像処理装置を含む構成とされている。

発明の効果

0031

本技術の一側面によれば、フリッカなどの周期的なノイズによる誤検出が発生しない動き検出を行えるようにすることができる。

0032

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

図面の簡単な説明

0033

フリッカの発生原理補正について説明する図である。
フリッカの発生原理と補正について説明する図である。
本技術が適用される撮像装置の一実施の形態の構成を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間の画素の配置例を示す図である。
異なる露光時間について説明するための図である。
第1の実施の形態における画像処理部の構成について説明するための図である。
第1の実施の形態におけるフリッカの除去について説明するための図である。
フリッカの影響を低減した動き検出について説明するための図である。
第1の実施の形態における画像処理部の動作について説明するためのフローチャートである。
強度比の算出について説明するための図である。
強度比の分布について説明するための図である。
第2の実施の形態におけるフリッカの除去について説明するための図である。
第2の実施の形態における画像処理部の構成について説明するための図である。
第2の実施の形態における画像処理部の動作について説明するためのフローチャートである。
第3の実施の形態におけるフリッカ光源による影響について説明するための図である。
強度比の補正について説明するための図である。
第3の実施の形態における画像処理部の動作について説明するためのフローチャートである。
従来の動き検出に係わる処理部の構成を示す図である。
画像処理部の他の構成を示す図である。
撮像装置の他の構成を示す図である。
撮像装置の他の構成を示す図である。
撮像装置の他の構成を示す図である。
記録媒体について説明するための図である。

実施例

0034

以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は、以下の順序で行う。
1.フリッカ発生原理と補正原理について
2.撮像装置の構成
3.第1の実施の形態における画像処理部の構成について
4.第1の実施の形態における画像処理について
5.第2の実施の形態における画像処理部の構成について
6.第2の実施の形態における画像処理について
7.第3の実施の形態における画像処理について
8.効果
9.他の構成
10.記録媒体について

0035

<フリッカ発生原理と補正原理について>
以下に説明する画像処理装置によれば、フリッカの影響を受けずに、画像内の動きのある領域を検出できる。また、フリッカの影響を除去した画像を生成することができる。そこで、まず、図1以下を参照してフリッカ発生原理について説明する。図1のAは、カメラで画像撮影を行う環境下の照明輝度時間変化を表す。一般に商用電源は50Hz、あるいは60Hzの交流電源であるため、蛍光灯の光などの照明光は、100Hz、あるいは120Hzの周波数揺らぎやすい。

0036

なお、ここでは、フリッカを例に挙げて説明するが、フリッカのように、所定の周波数で発生するノイズなどに対しても、以下に説明する本技術を適用することはできる。

0037

図1のAに示したグラフは、横軸が時間t、縦軸が、各時間tにおける照明の輝度f(t)である。時間tの照明光輝度f(t)は、照明光輝度の平均値fDと、照明光輝度平均値からの変動fA(t)に分解すると、以下のように表記できる。
f(t)=fD+fA(t) ・・・(1)

0038

照明光輝度の平均値fDは時間tによらず一定の値であり、平均値からの変動fA(t)は照明の周波数に応じて、周期に変動する値となる。さらに、照明光の輝度をf(t)の周期をTとおくと以下の関係が成り立つ。

0039

0040

図1のBは、CMOSイメージセンサのように行ごとに撮像タイミングが異なる撮像素子の露光タイミングの模式図を表す。横軸が時間t、縦軸が撮像素子の行y、である。図に示す例は、一定間隔Sで、連続する画像フレームを撮影する場合の例であり、フレーム1と、フレーム2の2つの画像撮影時の露光タイミングを示している。各フレーム画像の撮影は、撮像素子の上位行から下位行に順次、露光が実行される。

0041

各フレーム画像の撮影時の露光タイミングは、撮像素子の行毎に異なるため、蓄積する照明光の影響も行毎に異なる。例えば、露光時間Eの撮像素子の所定の画素の露光終了時間をtとする。フリッカの影響がある条件下での、その画素が露光する間の照明光の総和を、FA(t,E)と置くと、FA(t,E)は以下のように記述できる。

0042

0043

フリッカのない理想的な条件下での、照明光の総和を、FD(t,E)とする。FD(t,E)は、フリッカの影響がないので、照明光輝度平均値からの変動fA(t)=0となり、以下のように記述できる。
FD(t,E)=fD×E ・・・(4)

0044

ここで「フリッカ成分」を、フリッカのない理想的な画像と、フリッカの影響を受けた画像との比と定義する。フリッカ成分は、画素が蓄積する間の照明光の総量の比に等しい。従って、露光時間Eの撮像素子における露光終了時間tの画素のフリッカ成分g(t,E)は以下の式(5)に示すように定式化できる。

0045

0046

図1のCは、横軸が、画像の各画素の露光終了タイミングt、縦軸が、フリッカ成分g(t,E)、これらの関係を模式的に表した図である。なお前述のとおり照明光は周期的に揺らぐためフリッカ成分も周期性をもっている。そのため一度、フリッカ成分g(t,E)を求めることが出来れば、基本的にはあらゆる露光終了タイミングtに対応するフリッカ成分g(t,E)も推定することが出来る。

0047

なお、図1のBに示すように露光終了タイミングは、撮像素子の行単位で変化する。従って、図1のCに示すように、フリッカ成分g(t,E)は、各行の露光終了タイミングTに応じて異なる値となる。

0048

図2のAは、フリッカの影響を受けた撮像素子の出力画像に発生するフリッカの影響の模式図である。行ごとに露光終了タイミングが異なるため、出力画像には行単位の明暗の縞模様が表れる。

0049

図2のBは、出力画像の各行のフリッカ成分のグラフg(t0,y,E)を表している。t0は、1行目の露光を終える時刻を表し、yは注目する行を表す。撮像装置(カメラ)のデータ処理部は、画像撮影時の露光時間Eと、各行yの露光終了タイミングtに基づいて、図1のCのグラフからtに対応するフリッカ成分g(t,E)を算出することができる。

0050

具体的には、所定の行の露光を終えてから、次の1つ下の行の露光を終えるまでの時間の単位を1[line]と定義する。このように定義した場合、g(t0,y,E)とg(t,E)は以下のように変換できる
gy(t,y,E)=gt(t+y,E) ・・・(6)

0051

撮像装置(カメラ)のデータ処理部は、画像撮影時の露光時間Eと、各行yの露光終了タイミングtに基づいて、図1のCのグラフからtに対応するフリッカ成分g(t,E)を算出することができる。例えば図2に示す第a行目の露光終了時間をtとすると、図1のCのグラフからtに対応するフリッカ成分g(t,E)を算出することができる。露光時間Eの撮像素子における露光終了時間tの画素のフリッカ成分g(t,E)がわかれば、撮像素子の各行のフリッカ成分g(y)を推定することが出来る。

0052

<撮像装置の構成>
本技術が適用される画像処理装置は、例えば広ダイナミックレンジ画像HDR画像)を生成するために、異なる露光時間に設定した複数の撮影画像を入力(生成)して、フリッカ成分を除去または低減した補正画像を生成して出力する。本技術が適用される画像処理装置は、例えば、異なる露光時間に設定した複数の撮影画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成して出力する。

0053

本技術が適用される画像処理装置では、異なる露光時間に設定された複数の画像を用いて、広ダイナミックレンジ画像を生成するとともに、動きがある領域を検出し、その情報を出力する処理を実行する。そのような画像処理装置について説明する。

0054

図3は、本技術が適用される画像処理装置の一実施の形態の構成を示す図である。ここでは、画像処理装置が含まれる撮像装置を例に挙げて説明する。

0055

図3に示した撮像装置100は、光学レンズ101、撮像素子102、画像処理部103、信号処理部104、制御部105を含む構成とされている。図3に示した撮像装置100は、光学レンズ101を介して入射される光は撮像部、例えばCMOSイメージセンサなどによって構成される撮像素子102に入射し、光電変換による画像データを出力する。出力画像データは画像処理部103に入力される。

0056

撮像素子102の出力画像は、各画素にRGBのいずれかの画素値が設定されたいわゆるモザイク画像である。画像処理部103は、上述したフリッカ補正処理、さらに、長時間露光画像短時間露光画像との合成処理に基づく広ダイナミックレンジHDR:High Dynamic Range)画像の生成処理などを行う。

0057

この画像処理部103の出力は、信号処理部104に入力される。信号処理部104は、例えばホワイトバランス(WB)調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像120を生成する。出力画像120は図示しない記憶部に格納される。あるいは表示部に出力される。また、画像処理部103からは、動き情報121も出力される。この動き情報121も、例えば、図示していない記憶部などに格納されるようにしても良い。

0058

制御部105は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

0059

このような構成を有する本技術を適用した撮像装置100は、例えば、監視カメラなどに適用できる。監視カメラに適用した場合、撮像された画像から、動いている領域を検出し、その部分を追尾するといったことができる。

0060

本技術によれば、フリッカ成分が載るような場所、例えば、建物出入り口であり、照明があるような場所を撮影し、人の出入りをチェックするような監視カメラに適用できる。照明があるような場所を撮影した場合、フリッカ成分が載った画像が撮像されることによる、フリッカ成分が動きとして検出されてしまう可能性がある。このような場合、誤検出が行われたことになる。

0061

以下に説明する本技術によれば、フリッカ成分が載ってしまうような撮影場所であっても、そのフリッカ成分を動きとして検出することなく、動きがある領域を検出することができる。

0062

次に、撮像素子102の露光制御構成例について図4を参照して説明する。撮像装置100では、1枚の撮影画像に含まれる画素単位で、長時間露光画素短時間露光画素を設定して、これらの画素間の合成処理(αブレンド)により、広ダイナミックレンジ画像を生成する。この露光時間制御は制御部105の制御によって行われる。

0063

図4は、撮像素子102の露光時間設定例を示す図である。図4に示すように、撮像素子の構成画素は、第1の露光条件(短時間露光)に設定された画素、第2の露光条件(長時間露光)に設定された画素の2つの種類の画素に区分される。

0064

図4において、斜線を付して記載した画素は、第1の露光条件で露光される画像であり、斜線を付さずに記載した画素は、第2の露光条件で露光される画素である。

0065

図4に示した画素配置は、1乃至8行、1乃至8列に配列されたR画素、G画素、B画素の配置である。図4に示したのは、イメージセンサの一部分であり、1乃至8行、1乃至8列に配列されたR画素、G画素、B画素以外の他の行、他の列に配列されたR画素、G画素、B画素についての構成も同様である。

0066

以下の説明において、例えば、画素200(m,n)との記載を行うが、mは行を表し、nは列を表すとする。また行とは、水平信号線(不図示)が配置される水平方向とし、列とは、垂直信号線(不図示)が配置される垂直方向とする。例えば、画素200(2,1)とは、2行目の1列目に位置する画素であることを表す。また、ここで、左上の画素を、画素200(1,1)とし、この画素200(1,1)を基準として、各画素の位置を表す。他の図面においても、同様の記載を行う。

0067

イメージセンサの水平方向(図4の左右方向であり、行方向)の構成を説明する。1行目には、第1の露光条件で露光されるR画素200(1,1)、R画素200(1,5)と、第2の露光条件で露光されるG画素200(1,2)、R画素200(1,3)、G画素200(1,4)、G画素200(1,6)、R画素200(1,7)、G画素200(1,8)が配置されている。

0068

2行目には、第1の露光条件で露光されるG画素200(2,1)、G画素200(2,3)、B画素200(2,4)、G画素200(2,5)、G画素200(2,7)、B画素200(2,8)と、第2の露光条件で露光されるB画素200(2,2)、B画素200(2,6)が配置されている。

0069

3行目は、第1の露光条件で露光されるR画素200(3,3)、R画素200(3,7)と、第2の露光条件で露光されるR画素200(3,1)、G画素200(3,2)、G画素200(3,4)、R画素200(3,5)、G画素200(3,7)、G画素200(3,8)が配置されている。

0070

4行目は、第1の露光条件で露光されるG画素200(4,1)、B画素200(4,2)、G画素200(4,3)、G画素200(4,5)、B画素200(4,6)、G画素200(4,7)と、第2の露光条件で露光されるB画素200(4,4)、B画素200(4,8)が配置されている。

0071

5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素が、それぞれ配置されている。

0072

以下の説明においては、図4に示した画素配置を例に挙げて説明するが、本技術は、図4に示した画素配置に適用が限定されるのでなく、他の画素配置に対しても適用することができる。他の画素配置の例として、図5乃至図12を参照して説明する。

0073

図5は、画素配置の他の例を示す図である。図5に示した画素配置のうちの1行目には、第1の露光条件で露光されるR画素210(1,1)、G画素210(1,2)、R画素210(1,3)、G画素210(1,4)、R画素210(1,5)、G画素210(1,6)、R画素210(1,7)、G画素210(1,8)が配置されている。

0074

この場合、1行目には、R画素とG画素が、交互に配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。

0075

2行目には、第1の露光条件で露光されるG画素210(2,1)、B画素210(2,2)、G画素210(2,3)、B画素210(2,4)、G画素210(2,5)、B画素210(2,6)、G画素210(2,7)、B画素210(2,8)が配置されている。

0076

この場合、2行目には、G画素とB画素が、交互に配置され、全ての画素が第1の露光条件(短時間露光)で露光される画素とされている。

0077

3行目には、第2の露光条件で露光されるR画素210(3,1)、G画素210(3,2)、R画素210(3,3)、G画素210(3,4)、R画素210(3,5)、G画素210(3,6)、R画素210(3,7)、G画素210(3,8)が配置されている。

0078

この場合、3行目には、R画素とG画素が、交互に配置され、全ての画素が、第2の露光条件(長時間露光)で露光される画素とされている。

0079

4行目には、第2の露光条件で露光されるG画素210(4,1)、B画素210(4,2)、G画素210(4,3)、B画素210(4,4)、G画素210(4,5)、B画素210(4,6)、G画素210(4,7)、B画素210(4,8)が配置されている。

0080

この場合、4行目には、G画素とB画素が、交互に配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。

0081

5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素が、それぞれ配置されている。

0082

このような画素配置に対しても、本技術を適用できる。

0083

図6は、画素配置の他の例を示す図である。図6に示した画素配置のうちの1行目には、第1の露光条件で露光されるR画素220(1,1)、G画素220(1,2)、R画素220(1,5)、G画素220(1,6)と、第2の露光条件で露光されるR画素220(1,3)、G画素220(1,4)、R画素220(1,7)、G画素220(1,8)が配置されている。

0084

この場合、1行目には、R画素とG画素が、交互に配置され、R画素とG画素のそれぞれは、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。

0085

2行目には、第1の露光条件で露光されるG画素220(2,1)、B画素220(2,2)、G画素220(2,5)、B画素220(2,6)と、第2の露光条件で露光されるG画素220(2,3)、B画素220(2,4)、G画素220(2,7)B画素220(2,8)が配置されている。

0086

この場合、2行目には、G画素とB画素が、交互に配置され、G画素とB画素のそれぞれは、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。

0087

3行目は、第2の露光条件で露光されるR画素220(3,1)、G画素220(3,2)から配置されている点が1行目と異なるが、1行目と同じくR画素とG画素は、交互に配置され、配置されているR画素とG画素のそれぞれは、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。

0088

4行目は、第2の露光条件で露光されるG画素220(4,1)、B画素220(4,2)から配置されている点が2行目と異なるが、2行目と同じく配置されているG画素とB画素は、交互に配置され、G画素とB画素のそれぞれは、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。

0089

5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素が、それぞれ配置されている。

0090

このような画素配置に対しても、本技術を適用できる。

0091

図7は、画素配置の他の例を示す図である。図7に示した画素配置は、縦×横の2×2の4画素が、それぞれ同一の色とされ、市松配列で第1の露光条件の画素と第2の露光条件の画素が配置されている。

0092

1行目と2行目に配置されている2×2の4画素のうち、R画素230(1,1)、R画素230(1,2)、R画素230(2,1)、R画素230(2,2)の4画素は、R(赤)画素であり、R画素230(1,1)とR画素230(2,2)は、第2の露光条件で露光される画素とされ、R画素230(1,2)とR画素230(2,1)は、第1の露光条件で露光される画素とされている。このような配置を有する赤色の4画素をR画素ブロックと記述する。

0093

このようなR画素ブロックに隣接し、1行目と2行目に配置されている2×2の4画素のうち、G画素230(1,3)、G画素230(1,4)、G画素230(2,3)、G画素230(2,4)の4画素は、G(緑)画素であり、G画素230(1,3)とG画素230(2,4)は、第2の露光条件で露光される画素とされ、G画素230(1,4)とG画素230(2,3)は、第1の露光条件で露光される画素とされている。このような配置を有する緑色の4画素をG画素ブロックと記述する。

0094

1行目と2行目には、R画素ブロックとG画素ブロックが交互に配置されている。

0095

3行目と4行目には、G画素230(3,1)、G画素230(3,2)、G画素230(4,1)、G画素230(4,2)で構成されるG画素ブロックが配置されている。

0096

G画素ブロックに隣接し、3行目と4行目に配置されている2×2の4画素のうち、B画素230(3,3)、B画素230(3,4)、B画素230(4,3)、B画素230(4,4)の4画素は、B(緑)画素であり、B画素230(3,3)とB画素230(4,4)は、第2の露光条件で露光される画素とされ、B画素230(3,4)とB画素230(4,3)は、第1の露光条件で露光される画素とされている。このような配置を有する青色の4画素をB画素ブロックと記述する。

0097

3行目と4行目は、G画素ブロックとB画素ブロックが交互に配置されている。

0098

5行目と6行目は、1行目と2行目と同じく、R画素ブロックとG画素ブロックが交互に配置されている。7行目と8行目は、3行目と4行目と同じく、G画素ブロックとB画素ブロックが交互に配置されている。

0099

このような画素配置に対しても、本技術を適用できる。

0100

図8は、画素配置の他の例を示す図である。図8に示した画素配置は、図7に示した画素配置と同じ色配置であるが、異なる露光条件を有する画素の配置が図7に示した画素配置と異なる。

0101

1行目と2行目に配置されている2×2の4画素のうち、R画素240(1,1)、R画素240(1,2)、R画素240(2,1)、R画素240(2,2)で構成されるR’画素ブロックの4画素は、R画素240(1,1)とR画素240(1,2)が、第1の露光条件で露光される画素とされ、R画素240(2,1)とR画素240(2,2)が、第2の露光条件で露光される画素とされている。

0102

このようなR’画素ブロックに隣接し、1行目と2行目に配置されている2×2の4画素のうち、G画素240(1,3)、G画素240(1,4)、G画素240(2,3)、G画素240(2,4)で構成されるG’画素ブロックの4画素は、G画素240(1,3)とG画素240(1,4)が、第1の露光条件で露光される画素とされ、G画素240(2,3)とG画素240(2,4)が、第2の露光条件で露光される画素とされている。

0103

3行目と4行目には、G画素240(3,1)、G画素240(3,2)、G画素240(4,1)、G画素240(4,2)で構成されるG’画素ブロックが配置されている。

0104

G’画素ブロックに隣接し、3行目と4行目に配置されている2×2の4画素のうち、B画素240(3,3)、B画素240(3,4)、B画素240(4,3)、B画素240(4,4)で構成されるB’画素ブロックの4画素は、B画素240(3,3)とB画素240(3,4)が、第1の露光条件で露光される画素とされ、B画素240(4,3)とB画素240(4,4)が、第2の露光条件で露光される画素とされている。

0105

5行目と6行目は、1行目と2行目と同じく、R’画素ブロックとG’画素ブロックが交互に配置されている。7行目と8行目は、3行目と4行目と同じく、G’画素ブロックとB’画素ブロックが交互に配置されている。

0106

図8に示した画素配置は、奇数行には第1の露光条件で露光する画素が配置され、偶数行には第2の露光条件で露光される画素が配置されている。

0107

このような画素配置に対しても、本技術を適用できる。

0108

図9は、画素配置の他の例を示す図である。図9に示した画素配置は、図7に示した画素配置と同じ色配置であるが、異なる露光条件を有する画素の配置が図7に示した画素配置と異なる。

0109

1行目と2行目に配置されている2×2の4画素のうち、R画素250(1,1)、R画素250(1,2)、R画素250(2,1)、R画素250(2,2)で構成されるR”画素ブロックの4画素は、R画素250(1,1)とR画素250(2,1)が、第1の露光条件で露光される画素とされ、R画素250(1,2)とR画素250(2,2)が、第2の露光条件で露光される画素とされている。

0110

このようなR”画素ブロックに隣接し、1行目と2行目に配置されている2×2の4画素のうち、G画素250(1,3)、G画素250(1,4)、G画素250(2,3)、G画素250(2,4)で構成されるG”画素ブロックの4画素は、G画素250(1,3)とG画素250(2,3)が、第1の露光条件で露光される画素とされ、G画素250(1,4)とG画素250(2,4)が、第2の露光条件で露光される画素とされている。

0111

3行目と4行目には、G画素250(3,1)、G画素250(3,2)、G画素250(4,1)、G画素250(4,2)で構成されるG”画素ブロックが配置されている。

0112

G”画素ブロックに隣接し、3行目と4行目に配置されている2×2の4画素のうち、B画素250(3,3)、B画素250(3,4)、B画素250(4,3)、B画素250(4,4)で構成されるB”画素ブロックの4画素は、B画素250(3,3)とB画素250(4,3)が、第1の露光条件で露光される画素とされ、B画素250(3,4)とB画素250(4,4)が、第2の露光条件で露光される画素とされている。

0113

5行目と6行目は、1行目と2行目と同じく、R”画素ブロックとG”画素ブロックが交互に配置されている。7行目と8行目は、3行目と4行目と同じく、G”画素ブロックとB”画素ブロックが交互に配置されている。

0114

図9に示した画素配置は、奇数列には第1の露光条件で露光する画素が配置され、偶数列には第2の露光条件で露光される画素が配置されている。

0115

このような画素配置に対しても、本技術を適用できる。

0116

図10は、画素配置の他の例を示す図である。図10に示した画素配置のうちの1行目には、第1の露光条件で露光されるR画素260(1,1)、G画素260(1,2)、B画素260(1,3)、G画素260(1,4)、R画素260(1,5)、G画素260(1,6)、B画素260(1,7)、G画素260(1,8)が配置されている。

0117

この場合、1行目には、R画素、G画素、B画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。

0118

2行目には、第2の露光条件で露光されるG画素260(2,1)、R画素260(2,2)、G画素260(2,3)、B画素260(2,4)、G画素260(2,5)、R画素260(2,6)、G画素260(2,7)、B画素260(2,8)が配置されている。

0119

この場合、2行目には、R画素、G画素、B画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。

0120

3行目には、第1の露光条件で露光されるG画素260(3,1)、B画素260(3,2)、R画素260(3,3)、G画素260(3,4)、G画素260(3,5)、B画素260(3,6)、R画素260(3,7)、G画素260(3,8)が配置されている。

0121

この場合、3行目には、R画素、G画素、B画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。

0122

4行目には、第2の露光条件で露光されるG画素260(4,1)、B画素260(4,2)、G画素260(4,3)、R画素260(4,4)、G画素260(4,5)、B画素260(4,6)、G画素260(4,7)、R画素260(4,8)が配置されている。

0123

この場合、4行目には、R画素、G画素、B画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。

0124

5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素が、それぞれ配置されている。

0125

このような画素配置に対しても、本技術を適用できる。

0126

図11は、画素配置の他の例を示す図である。図11に示した画素配置は、列方向に第1の露光条件で露光される画素と、第2の露光条件で露光される画素とが配列されているため、ここでは、列方向での配列に注目して説明する。

0127

図11に示した画素配置のうちの1列目には、第1の露光条件で露光されるR画素270(1,1)、G画素270(2,1)、R画素270(3,1)、G画素270(4,1)、R画素270(5,1)、G画素270(6,1)、R画素270(7,1)、G画素270(8,1)が配置されている。

0128

この場合、1列目には、R画素、G画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。

0129

2列目には、第1の露光条件で露光されるG画素270(1,2)、B画素270(2,2)、G画素270(3,2)、B画素270(4,2)、G画素270(5,2)、B画素270(6,2)、G画素270(7,2)、B画素270(8,2)が配置されている。

0130

この場合、2列目には、G画素、B画素が配置され、全ての画素が第1の露光条件(短時間露光)で露光される画素とされている。

0131

3列目には、第2の露光条件で露光されるR画素270(1,3)、G画素270(2,3)、R画素270(3,3)、G画素270(4,3)、R画素270(5,3)、G画素270(6,3)、R画素270(7,3)、G画素270(8,3)が配置されている。

0132

この場合、3列目には、R画素、G画素が配置され、全ての画素が、第2の露光条件(長時間露光)で露光される画素とされている。

0133

4列目には、第2の露光条件で露光されるG画素270(1,4)、B画素270(2,4)、G画素270(3,4)、B画素270(4,4)、G画素270(5,4)、B画素270(6,4)、G画素270(7,4)、B画素270(8,4)が配置されている。

0134

この場合、4列目には、G画素、B画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。

0135

5列目は、1列目と同じく、6列目は、2列目と同じく、7列目は、3列目と同じく、8列目は4列目と同じく、R画素、G画素、B画素が、それぞれ配置されている。

0136

このような画素配置に対しても、本技術を適用できる。

0137

図12は、画素配置の他の例を示す図である。図12に示した画素配置は、列方向に第1の露光条件で露光される画素と、第2の露光条件で露光される画素とが配列されているため、ここでは、列方向での配列に注目して説明する。

0138

図12に示した画素配置のうちの1列目には、第1の露光条件で露光されるR画素280(1,1)、G画素280(2,1)、B画素280(3,1)、G画素280(4,1)、R画素280(5,1)、G画素280(6,1)、B画素280(7,1)、G画素280(8,1)が配置されている。

0139

この場合、1列目には、R画素、G画素、B画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。

0140

2列目には、第2の露光条件で露光されるG画素280(1,2)、R画素280(2,2)、G画素280(3,2)、B画素280(4,2)、G画素280(5,2)、R画素280(6,2)、G画素280(7,2)、B画素280(8,2)が配置されている。

0141

この場合、2列目には、R画素、G画素、B画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。

0142

3列目には、第1の露光条件で露光されるB画素280(1,3)、G画素280(2,3)、R画素280(3,3)、G画素280(4,3)、B画素280(5,3)、G画素280(6,3)、R画素280(7,3)、G画素280(8,3)が配置されている。

0143

この場合、3列目には、R画素、G画素、B画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。

0144

4列目には、第2の露光条件で露光されるG画素280(1,4)、B画素280(2,4)、G画素280(3,4)、R画素280(4,4)、G画素280(5,4)、B画素280(6,4)、G画素280(7,4)、R画素280(8,4)が配置されている。

0145

この場合、4列目には、R画素、G画素、B画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。

0146

5列目は、1列目と同じく、6列目は、2列目と同じく、7列目は、3列目と同じく、8列目は4列目と同じく、R画素、G画素、B画素が、それぞれ配置されている。

0147

このような画素配置に対しても、本技術を適用できる。

0148

上記したように、本技術は、撮像装置に適用でき、撮像装置に含まれる撮像素子として、例えば、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサなどを含む撮像装置に適用できる。そして、R(赤)、G(緑)、B(青)の各色光を出力する3個の画素が配列されているイメージセンサに適用できる。さらに、図示はしないが、R(赤)、G(緑)、B(青)、W(白)の各色光を出力する4個の画素が配列されているイメージセンサにも適用できる。

0149

R(赤)、G(緑)、B(青)、W(白)の各色光を出力する4個の画素は、例えば、表示領域にマトリクス状に配置される。W画素は、全整色性である分光感度の画素として機能し、R画素、G画素、B画素は、それぞれの色に特性のある分光感度の画素として機能する。

0150

このようなRGB画素配置以外の、例えば、RGBW画素配置に対しても、本技術を適用できる。

0151

図4乃至図12を参照して説明した画素配置は、一例であり、説明していない画素配置に対しても本技術を適用することはできる。

0152

また、1枚の画像を撮像するとき、上記したように、短時間露光(第1の露光条件)と、長時間露光(第2の露光条件)を同時に撮影する場合を例に挙げて説明を続けるが、短時間露光用の画素と、長時間露光用の画素を分けずに、通常の画素で短時間露光の画像と長時間露光の画像を交互に撮影し、短時間露光時の画像と長時間露光時の画像を取得するようにした場合にも本技術を適用できる。

0153

また、上記した例では、短時間露光と長時間露光の2種類の露光時間で撮影を行う撮影装置を例に挙げて説明したが、3種類以上の露光時間の撮影画像が組み合わされる撮影装置に対しても本技術を適用することはできる。

0154

また上記した実施の形態においては、撮像素子の画素の分光感度をRGBまたはRGB+Wとする場合における例について説明したが、その分光感度がどうであるかは本技術を用いるうえでの制約とはならない。すなわち、RGBやRGB+W以外の分光感度を有する画素を用いるようにしてもよい。例えば、Y(イエロー)、C(シアン)、M(マゼンタ)等の補色系にGを加えた4行の組み合わせでもよい。

0155

以下の説明では、図4に示した画素配置を例に挙げて説明する。

0156

図13に各画素の露光時間の設定例を示す。第1の露光条件(短時間露光)に設定された画素は短時間の露光処理がなされる。第2の露光条件(長時間露光)に設定された画素は長時間の露光処理がなされる。なお、この画素単位の露光制御は、例えば図3に示す撮像装置100の制御部105が、制御信号を撮像素子102に出力することで行われる。

0157

<第1の実施の形態における画像処理部の構成について>
次に、画像処理部103(図3)の構成について説明する。以下の説明においては、画像処理部103のうち、主に動き情報121(図3)を検出する部分についての説明を加える。

0158

図14は、第1の実施の形態における画像処理部103の構成を示す図である。画像処理部103は、ライン選択部301、カメラ信号処理部302、強度比算出部303、動き寄与度算出部304、フリッカ変換係数算出部305、および動き検出部306を備える。

0159

ライン選択部301には、撮像素子102(図3)から出力された空間的に複数の露光が混在した1枚のRAW画像、例えば、図4に示した画素配置で撮影された画像が入力される。ライン選択部301には、図4に示した画素配置で撮影された長時間露光と短時間露光の画像が混ざった1枚の画像が入力されるようにしても良いし、異なるタイミングで撮影された長時間露光の画像と短時間露光の画像の2枚の画像が入力されるようにしても良い。

0160

また、ここでは、長時間露光と短時間露光を例にあげて説明しているが、さらに他の露光時間も設定し、複数の露光時間で撮影された複数枚のRAW画像が、ライン選択部301に入力されるように構成することも可能である。

0161

ライン選択部301では、入力されたRAW画像(以下、単に画像と記述する)に対し、1つのライン(行)または周辺を含む複数のラインを順次選択する。ここでは、1ラインが選択されるとして説明を続ける。なお本明細書においてラインとは、特に断りがない限り、水平方向のラインであり、垂直方向のラインでないとする。

0162

強度比算出部303は、ライン選択部301で選択されたラインの水平方向の各所において、強度比を算出する。強度比とは、二種類の露光、ここでは長時間露光と短時間露光のそれぞれの値を正規化した後の比であるとする。撮像画像の画素値をそのまま用いてもいいし、周辺領域を含めた画素値から算出される信号値を利用してもよい。ここでは、画素値が用いられるとして説明を続ける。次式(6)は、強度比算出の計算式を示している。

0163

0164

式(6)において、Fiは、処理対象としているライン内の所定の位置にある画素の強度比を表す。例えば、図15に示すような画像が処理対象とされているときを考える。図15の上側に示した図は、撮像された画像331を表し、動き領域332と静止領域333が存在する画像である。動き領域332は、動きがある被写体が撮影されている領域であり、例えば、人などが撮影されている領域である。静止領域333は、動きがない被写体が撮影されている領域であり、例えば、建物などが撮影されている領域である。

0165

また、式(6)は、露光条件が異なる画素が混在する撮影画像から強度比を算出する場合と、露光条件を変えて、複数枚撮影したときの撮像画像から強度比を算出する場合のどちらにも適用できる式である。後述する式(8)は、露光条件が異なる画素が混在する撮影画像から強度比を算出する場合の具体的な式である。

0166

式(6)により、露光条件が異なる画素が混在する撮影画像から強度比を算出する場合、同一の位置の画素において、異なる露光条件で撮影された画素値を揃えた後に、式(6)が用いられて強度比が算出される。よって、式(6)により、露光条件が異なる画素が混在する撮影画像から強度比を算出する場合、同一の位置の画素において、異なる露光条件で撮影された画素値を揃える(例えば、補間することにより揃える)という前処理が必要となる。このような前処理を含んだ式が、後述する式(8)である。

0167

一方、式(6)により、露光条件を変えて、複数枚撮影したときの撮像画像から強度比を算出する場合、同一の位置の画素において、異なる露光条件で撮影された画素値が揃っている状態なので、前処理を行わずに式(6)を適用して、強度比を算出することができる。

0168

図15に示した画像331の所定のラインL内において、順次、強度比F1,F2,F3,・・・,Fi,・・・,Fn−2,Fn−1,Fnが算出される。

0169

ViAは、露光A、ここでは、長時間露光の画素値を表し、ViBは、露光B、ここでは短時間露光の画素値を表す。ShutterAは、露光A(長時間露光)の露光時間を表し、ShutterBは、露光B(短時間露光)の露光時間を表す。Exposure Ratioは、露光Aと露光Bの露光比となる。

0170

式(6)においては、露光A,B(長時間露光、短時間露光)に対し、露光Aに露光比(Exposure Ratio)を乗算し、露光Bにあわせて正規化した後に比をとることで強度比が算出される。

0171

なお、この際、露光A,露光Bが双方とも飽和していない事を条件とする、露光Aまたは露光Bのどちらかが飽和していた場合は、その箇所の強度比は算出されない。

0172

動き寄与度算出部304は、強度比算出部303で算出された各所の強度比に対し、どれだけ動きが寄与しているかの度合いを示す指標を算出する。例えば、静止シーンで二種類の露光でフリッカの位相が一致していれば強度比は1になる。そうでない場合、動きやフリッカが存在していることになる。

0173

動き寄与度とは、各所の強度比が動き由来なのかフリッカ由来なのかを判断する指標である。すなわち、動き寄与度が大きい強度比は動き由来、動き寄与度が小さい強度比はフリッカ由来という事になる。例えば、動き寄与度が所定の値以上である場合、動き由来であるとし、後段の処理にて画像内の動きがある領域として処理される。

0174

フリッカ変換係数算出部305は、強度比算出部303で算出された各所の強度比と、動き寄与度算出部304で算出された各所強度比に対する動き寄与度を利用して、所定の露光のフリッカを基準の露光のフリッカに変換するフリッカ変換係数を算出する。

0175

具体的には、動き寄与度が小さい強度比から動き由来ではない強度比を算出しフリッカ変換係数とすることで、静止領域333におけるフリッカを、基準となる露光のフリッカに変換するための変換係数を算出する。ここでは、基準となる露光のフリッカは、長時間露光時に撮影されるフリッカであり、短時間露光時に撮影されたフリッカを長時間露光時に撮影されるフリッカに変換するための変換係数が算出される。

0176

動き検出部306は、フリッカ変換係数算出部305で算出されたフリッカ変換係数と各所の各露光の値を利用して、各所の動きを検出する。各所の一番細かい粒度画素位置毎である。具体的な動きの算出方法について、式(7)を参照して説明する。

0177

0178

露光A(Vx,yA)に露光比(Exposure Ratio)を乗算することで正規化した値と、露光B(Vx,yB)にフリッカ変換係数(Fx,y)を乗算した値との差分絶対値を算出し、その算出値動き検出値(Mx,y)とする。

0179

露光Bにフリッカ変換係数を乗算することで露光Bのフリッカが、露光Aのフリッカに変換される。そして、露光Aのフリッカに変換された露光Bの画像と、露光Aの画像との差異を算出することで、フリッカ成分は、除去され、フリッカの影響によらない動きが検出できる。

0180

なお、動き検出値の大きさは、背景領域の画素値と動き領域の画素値の差を示している。

0181

カメラ信号処理部302は、ライン選択部301で選択された複数の露光を含むRAW画像データと、動き検出部306で検出された動き情報(ライン)を利用して、デモザイク処理HDR合成処理等のカメラ信号処理を行い、全色揃ったHDR情報(ライン)を出力する。

0182

以上を、ライン選択部301でライン選択される毎に繰り返し行うことで、最終的にHDR画像と、それに対応する動き情報を同時に得ることができる。

0183

本実施の形態によれば、上記したように、フリッカの影響によらない動き検出ができる。露光Aと露光Bは、露光時間が異なるため、その露光時間の異なる間に動いた被写体があれば、その被写体の領域は、動きがあったとして検出される。フリッカは、露光時間が異なると、異なる位置、異なる大きさで撮像されるため、露光Aと露光Bの差分を算出するだけでは、フリッカも差分として検出され、動きとして検出されてしまう可能性がある。このことについて、図16を参照して説明する。

0184

図16は、例えば、所定の照明の下で、白板を撮影したときの画像を表す。画像331Aは、露光A(長時間露光)時に撮影された画像であり、画像331Bは、露光B(短時間露光)時に撮影された画像である。

0185

画像331Aと画像331Bには、フリッカ成分が撮影されているため、縞模様がある。本来は、白板を撮影した場合なので、縞模様は撮影されないが、フリッカが発生する条件下で撮影されると、そのフリッカが、縞模様となって撮影されてしまう。

0186

フリッカの発生原理については、図1、2を参照して説明したが、例えば、蛍光灯環境下において、交流50Hzの場合、照明は1秒間に100回点滅している。それに対し、CMOSイメージセンサ等の撮像素子102(図3)の出力は、行毎に露光のタイミングが異なるため、蓄積される照明光の影響も行毎に異なり、これが縞模様のフリッカとして画像に現れる。

0187

例えば、撮像素子102のフレームレートが60fpsの場合、照明周期(1/100秒)とフレームレート(1/60秒)の最小公倍数である1/20秒毎に撮像画像フリッカの位相は揃うことになる。

0188

画像331Aと画像331Bを比較するに、画像331Aのフリッカの縞模様は、画像331Bのフリッカの縞模様よりも、薄くなっている。また、縞の幅は、画像331Aの方が、画像331Bよりも広い。画像331Aは、長時間露光時に撮影された画像であるが、長時間露光の方が、短時間露光よりも、縞模様の濃さなどからいうと、フリッカの影響が少ないといえる。

0189

二種類の露光の情報を使う場合、図16の画像331A、画像331Bに示したように、それぞれの露光には異なるフリッカがのる。長時間露光(露光A)の場合、光源周期の積分範囲が広がるためフリッカ縞振幅は小さく、短時間露光(露光B)の場合、光源周期の積分範囲が狭くなるため、フリッカ縞の振幅は大きくなる傾向がある。

0190

画像331Aと画像331Bとの差異をとると、画像331Cとなる。画像331Cには、複数の縞が存在している。すなわち、単純に、画像331Aと画像331Bの差異をとると、フリッカ成分が差異として検出されてしまう。

0191

画像331Aと画像331Bは、この場合、露光時間が異なるだけで、同じ白板を撮影した画像であるため、フリッカによる影響がなければ、画像331Aと画像331Bの差異はなく、画像331Aと画像331Bの差異をとった画像には、縞模様などは存在しない。

0192

このように、長時間露光時の画像331Aと短時間露光時の画像331Bとの差異を、単に演算した場合、フリッカ成分が検出され、動き領域が正確に検出できない可能性がある。動き領域は、長時間露光と短時間露光の露光時間の差分の間に動きがあった領域である。この動き領域は、本来動き領域ではないフリッカとともに検出されてしまうことになる。

0193

図16の画像331Cとして示した画像は、長時間露光時の画像331Aと短時間露光時の画像331Bとの差異をとることで生成された動き検出の結果を表す画像であり、図中、白い部分が動きがあるとして検出された部分であるとする。

0194

画像331B’は、画像331Bのフリッカを、画像331Aと同じフリッカに変換した画像である。画像331B’は、上記したように、強度比算出部303、動き寄与度算出部304、フリッカ変換係数算出部305の各部の処理を経て、動き検出部306内で、変換が行われることで生成される画像である。

0195

すなわち画像331B’は、動きがある被写体に影響を受けないフリッカ変換係数が各所で求められ、それを利用して露光B(短時間露光)のフリッカを、露光A(長時間露光)のフリッカに変換した画像である。画像331B’は、短時間露光時に撮影された画像上に、長時間露光に撮影されるフリッカが重畳されたような画像となる。

0196

画像331Aと画像331B’の差異をとると、画像331C’が生成される。この場合、長時間露光で撮影された画像331Aと、長時間露光で撮影されたフリッカが載っている短時間露光で撮影された画像331B’との差異が演算されることになる。

0197

よって、画像331Aのフリッカと画像331B’のフリッカは、同一成分であるため、差異を演算した場合、差異としてフリッカ成分は検出されないことになる。よって、この場合、画像331C’として示したように、画像331Cと異なり、白い領域が存在していない画像、すなわち動きがある領域は検出されていない画像となる。

0198

この場合、白板を撮影した場合であるので、動く物体はなく、動き領域が検出されないのが正しい検出である。このように、短時間露光時に撮影された画像内のフリッカを、長時間露光時に撮影された画像内のフリッカに変換した後、差異を演算することで、フリッカに影響を受けない動き検出を行うことが可能となる。

0199

このように、短時間露光時に撮影された画像内のフリッカを、長時間露光時に撮影された画像内のフリッカに変換することを利用することで、フリッカ補正を行うことも可能である。

0200

長時間露光の露光時間を、フリッカの影響を受けない露光時間に設定することで、長時間露光時に撮影される画像をフリッカレスとすることができる。例えば、長時間露光の露光時間を、照明周期の倍数の露光長とすることで、フリッカレスの画像を得ることができる。本技術によれば、短時間露光時に撮影された画像内のフリッカを、長時間露光時に撮影された画像内のフリッカに変換することができるため、長時間露光時に撮影された画像がフリッカレスであれば、短時間露光時に撮影された画像もフリッカレスにすることができる。

0201

このようにして、フリッカレスの長時間露光時の画像と短時間露光時の画像を合成することで、HDR画像(広ダイナミックレンジ画像)を生成することも可能となる。

0202

<第1の実施の形態における画像処理について>
このような動き検出についてさらに説明を続ける。図17は、図14に示した画像処理部103の処理について説明するためのフローチャートである。

0203

ステップS101において、ライン選択部301は、処理対象とするラインを選択する。ステップS102において、ライン内の各所における強度比が算出される。

0204

上記したように、ライン選択部301に入力される画像は、長時間露光と短時間露光でそれぞれ撮影された2枚の画像か、長時間露光での撮影と短時間露光での撮影が混在した1枚の画像である。

0205

1枚の画像が入力される場合、その1枚の画像から、長時間露光で撮影された画像と短時間露光で撮影された画像がそれぞれ生成された後に、強度比算出部303の処理が行われるようにしても良いし、図18を参照して説明するように、所定のフィルタを用いることで、補間が行われることで強度比算出部303の処理が行われるようにしても良い。

0206

図18を参照して、図4に示した画素配置の撮像素子102で撮像された画像における各所の強度比の算出方法について説明する。図18のAは、図4に示した画素配置のうちの1乃至3行目を抽出した図であり、図18のCは、図4に示した画素配置のうちの2乃至4行目を抽出した図である。

0207

図18のAまたは図18のBに示したような複数の露光時間で撮像する画素が混在する画素配置の撮像素子102で撮影する場合、1つの画素で1つの露光を担当しているため、同じ画素位置の強度比を算出するためには、同じ画素位置に、2つの露光を揃える必要がある。

0208

次式(8)は、強度比の算出式である。式(8)は、式(6)のところで説明したように、異なる露光条件で撮影された画素が混在する撮影画像から、強度比を算出するときの式であり、同一の位置の露光条件を揃えるという前処理が含まれる式である。

0209

式(6)と式(8)との対応関係を先に記しておくと、以下のようになる。
式(6)におけるViA×ExpRatio=式(8)のLPF(GAi)
式(6)におけるViB=式(8)のLPF(GBi)

0210

0211

式(8)において、iは色Gの露光B(短時間露光)の位置、jは色Gの露光A(長時間露光)の位置を表している。すなわち、図18のA中、太枠で囲った画素の位置の強度比は、露光AのG画素の露光比倍のLPF(Low Pass Filter)と露光BのG画素のLPFの比で算出される。図18のA乃至Dは、注目画素を太枠にした場合の周辺領域を示しており、上段図18のA,図18のCは、色・露光パターンを示し、下段図18のB、図18のDは、式(8)の重みwi,Wjを示している。

0212

図18のAと図18のBは、中心画素が、画素Gの場合のパターンを示し、図18のCと図18のDは、中心画素が画素G以外(画素R、画素Bである場合)のパターンを示している。画素Gの色を採用するのは、画素Gは、サンプル数が多く、画素Rや画素Bと比べて感度(S/N)が良いからである。もちろん、画素GだけのLPFではなく、画素R、画素G、画素Bの全てを使ったLPFで強度比が算出されるように構成することも可能である。

0213

図17に示したフローチャートの説明に戻り、ステップS102において、強度比算出部303により、長時間露光時の画素値と短時間露光時の画素比との比率が、式(6)と式(8)に基づいて算出される。図15を参照して説明したように、強度比算出部303は、ラインの水平方向の各所において、式(6)と式(8)に基づいて、強度比Fiを算出する。

0214

算出された強度比の一例を、図15に示す。図15を再度参照するに、図15の下側に示したグラフは、縦方向が強度比を表し、横方向は、図15の上図に対応したライン内の画素位置を表す。図15の下側に示したグラフのように、動き領域332内の強度比と静止領域333内の強度比を比較した場合、動き領域332内の強度比は、静止領域333内の強度比に比べて大きく、そのばらつきも大きくなる傾向にある。

0215

静止領域333内の強度比は、図15に示した例では、少しのばらつきがあるが、このばらつきはノイズによるものが大きく、ノイズが無ければ、一定値となる。すなわち、静止領域333内では、同一位置における、長時間露光時の画素値と短時間露光時の画素値の比は、一定値となる。静止領域333内においては、ノイズを考慮しても、強度比は、所定の範囲内に収まる。

0216

動き領域332内では、同一位置における、長時間露光時の画素値と短時間露光時の画素値の比は、一定値とはならず、図15に示したようにばたつく。

0217

このようなことから、ライン内の全てが静止領域333であった場合、強度比は一定になり、ライン内に動き領域332があった場合、その領域内では、強度比は一定にならない。このような性質を利用して、各所の強度比の動き寄与度およびフリッカ変換係数が算出される。

0218

図17のフローチャートの説明に戻り、ステップS103において、動き寄与度算出部304により動き寄与度が算出される。動き寄与度は、上記したように、強度比算出部303で算出された各所の強度比に対し、どれだけ動きが寄与しているかの度合いを示す指標を算出する。例えば、静止シーンで二種類の露光でフリッカの位相が一致していれば強度比は1になる。そうでない場合、動きやフリッカが存在していることになる。

0219

動き寄与度とは、各所の強度比が動き由来なのかフリッカ由来なのかを判断する指標である。すなわち、動き寄与度が大きい強度比は動き由来、動き寄与度が小さい強度比はフリッカ由来という事になる。

0220

ステップS104において、フリッカ変換係数算出部305により、フリッカ変換係数が算出される。ここで、図19を参照して、フリッカ変換係数の算出について説明を加える。図19に示したグラフにおいて、縦軸は、強度比を表し、横軸は、水平方向における画素位置を表す。

0221

図19では、1ラインから、F1乃至F10の10個の強度比が算出された例を示している。なおここでは、10個の例を挙げて説明を続けるが、1ラインを構成する画素数と同じ個数の強度比が算出されるのが好ましい。

0222

処理時間や処理能力の低減のために、1ラインに存在する画素数よりも少ない画素数で強度比を求める構成とすることも可能である。例えば、所定の画素数を飛ばした位置毎に強度比が算出されるように構成することも可能である。

0223

強度比算出部303の説明で説明したように、これらの強度比は、動き領域332の強度比と静止領域333の強度比が混在している。図15に示したような動き領域332が画像幅よりある程度小さい場合は、静止領域333の強度比が支配的になると仮定できるため、統計的な処理で静止領域の強度比=フリッカ変換係数が算出できる。

0224

統計的な処理の手順について説明する。図18に示したように、強度比F1乃至F10が算出された場合、その強度比F1乃至F10が順次選択され、それぞれについて、次式(9)で表される評価式評価値が算出され、最も評価値の高い強度比Fiが、静止領域の強度比=フリッカ変換係数と設定される。

0225

0226

式(9)によると、各所毎に、各所を中心とした所定の範囲内の強度比が利用されて、フリッカ変換係数が算出される。式(9)の中身バリエーションを、式(10)、式(11)、および式(12)として、以下に示す。

0227

0228

式(10)によると、例えば、隣接する画素の強度比が、所定の閾値以内であれば、1とし、それ以外は0とする演算が行われる。式(10)において、a=Fi、b=Fjとし、強度比Fiと強度比Fjは、隣接する画素からの強度比である場合、強度比Fiと強度比Fjの差分絶対値が、閾値th以下である場合、換言すれば、静止領域333内の強度比であるため、ノイズによるばらつきしかないと判断できるような場合、その強度比の評価値として、1という値が設定される。

0229

一方で、動き領域332内の強度比の場合、強度比の差分絶対値は、所定の閾値th以内には収まらないため、そのような場合には、0という値が設定される。このような演算が行われることで、1ライン内で、最も出現頻度が高い強度比が導き出され、その強度比が、フリッカ変換係数に設定される。

0230

0231

式(11)においても式(10)と同様に、例えば、ライン内の隣接する画素からの強度比の差分絶対値が所定の閾値th以内であるか否かにより、場合分けが行われる。強度比の差分絶対値が所定の閾値th以内である場合、その閾値thから、強度比の差分絶対値を減算した値が、その強度比の評価値として設定される。

0232

一方で、強度比の差分絶対値が所定の閾値th以内ではない場合、評価として0という値が設定される。このような演算が行われることで、1ライン内における強度比の中央値が導き出され、その強度比が、フリッカ変換係数に設定される。

0233

0234

式(12)においては、例えば、ライン内の隣接する画素からの強度比の差分の2乗が、所定の閾値thの2乗に2を乗算した値で除算され、その値の指数関数が算出される。

0235

各強度比の動き寄与度は、各強度比と算出された静止領域333の強度比との乖離度で表すことができる。すなわち、乖離が大きければ、それだけ動き寄与度が大きい、ということになる。動き寄与度が大きい場合、動き領域である可能性が高いため、そのような領域からの強度比は、フリッカ変換係数には適していない。

0236

よって、動き領域からの強度比である可能性が高い強度比は、評価値に対する重みが小さくなり、動き領域以外(静止領域)からの強度比である可能性が高い強度比は、評価値に対する重みが重くなるように、式(12)に基づく演算が行われる。

0237

式(12)に基づく演算が行われることで、動き寄与度が大きい値は、重みを小とし、動き寄与度が小さい値は、重みを大とした複数の強度比からの加重平均値を求めることが可能となる。そして、その加重平均値をフリッカ変換係数に設定することができる。

0238

このような求め方のいずれかにより、フリッカ変換係数が求められる。なお、他の演算などで、フリッカ変換係数が求められるように構成しても良い。また、動き寄与度を用いて、動き寄与度が小さく、フリッカ由来の強度比であると判断できる強度比のみが、上記したいずれかの式に代入され、演算が行われるようにしても良い。

0239

図17のフローチャートの説明に戻る。ステップS105において、動き検出部306は、ライン内の所定の位置を、処理対象として選択する。ステップS106において、所定の位置の基準露光以外の露光を、フリッカ変換係数で基準露光相当に変換する。この処理は、図16を参照して説明した画像331Bを、画像331B’に変換する処理に該当する。

0240

ステップS107において、異なる露光間の差から、所定の位置の動き量が検出される。この処理は、図16を参照して説明した画像331Aと画像331B’の差分を算出する処理に該当する。ステップS108において、ライン内の全位置において、動き検出が算出済であるか否かが判断される。ステップS108において、ライン内でまだ処理していない画素があると判断された場合、ステップS105に処理が戻され、それ以降の処理が繰り返される。

0241

一方で、ステップS108において、ライン内の全ての画素を処理したと判断された場合、ステップS109に処理が進められる。ステップS109において、処理対象としている画像内の全てのラインから、動き検出が算出済であるか否かが判断される。

0242

ステップS109において、処理対処としている画像内で、処理していないラインがあると判断された場合、ステップS101に処理が戻され、処理されていないラインに対して、ステップS101以降の処理が繰り返される。

0243

一方で、ステップS109において、処理対象としている画像内の全てのラインを処理したと判断された場合、その画像に対する動き検出の処理は終了される。

0244

このように、第1の実施の形態によれば、フリッカのよる影響を除去した動き検出を行うことができる。よって、動き検出の精度を向上させることができる。

0245

このように、本技術によれば、ライン内においてフリッカ変換係数は一つであり、各ラインにおいて独立に処理が行われる。そのため、フリッカ光源の垂直方向の照明変動には対応が可能である。このことについては、第3の実施の形態として、さらに説明を加える。

0246

<第2の実施の形態における画像処理部の構成について>
第2の実施の形態について説明する。上記した第1の実施の形態は、1ライン内に、動き領域332と静止領域333が存在するときに有効である。しかしながら、所定のライン上の全ての画素が、動き領域332内に存在している場合や、飽和している場合など、異なる露光の画素値の強度比が算出できず、フリッカ変換が行えない可能性がある。

0247

第2の実施の形態は、このような所定のライン上の全ての画素が、動き領域332内に存在している場合や、飽和している場合などであっても、フリッカ変換が行える形態である。

0248

第2の実施の形態におけるフリッカ変換について、図20を参照して説明する。図20のAは、注目しているラインに画像幅の動き領域が存在しているシーンを示している。すなわち、画像331内の所定のラインL上の画素は、全て動き領域332内に存在している。このラインLを含む動き領域332の上および下には、静止領域333が存在している。

0249

このような画像331からフリッカ変換係数を算出した場合、図20のBに示したようになる。静止領域333から得られるフリッカ変換係数は、フリッカが存在するであろう領域で最大値となる波形を有する。ライン上の全ての画素が、動き領域332内にある領域では、フリッカ変換係数に誤差が生じる(動き成分がのる)ため、フリッカ変換係数のグラフは、なめらかな波形とはならない。

0250

これは、第1の実施の形態のような処理をしても、ライン内の全領域が動き領域で静止領域の強度比が全く取れないためである。

0251

ところで、フリッカには周期性がある。そこで、ライン内の全領域が動き領域で静止領域の強度比が全く取れないような場合でも、フリッカ変換係数の画像垂直方向の周期性を利用することで、フリッカ変換係数が更新される構成とし、画像幅の動き領域が存在するラインのフリッカ変換係数=静止領域の強度比を正確に求めるようにすることが可能な構成とする。

0252

すなわち、図20のCに示すように、静止領域333内から得られたフリッカ変換係数の周期と、ライン内の全領域が動き領域332にある領域内から得られたフリッカ変換係数の周期は、同一となる。そこで、図20のDに示すように、静止領域333内から得られたフリッカ変換係数の周期を、ライン内の全領域が動き領域332にある領域のフリッカ変換係数の周期として適用することで、ライン内の全領域が動き領域332にあるフリッカ変換係数を正確に算出する。

0253

このようなフリッカ変換係数が更新される構成としたときの画像処理部103の構成を、図21に示す。なお、第1の実施の形態における画像処理部103(図14)と同様の部分には、同様の符号を付し、その説明は省略する。

0254

図21に示した画像処理部103は、ライン選択部301、カメラ信号処理部302、強度比算出部303、動き寄与度算出部304、フリッカ変換係数算出部305、および動き検出部306を備える。この構成は、第1の実施の形態における画像処理部103と同じ構成である。第2の実施の形態における画像処理部103は、さらに、フリッカ変換係数更新部401とフリッカ周期検出部402を備える。

0255

画像処理部103は、フリッカ変換係数算出部305で算出されたライン毎のフリッカ変換係数を、フリッカ周期検出部402で検出されたフリッカ周期を利用して、フリッカ変換係数更新部401が更新する構成となっている。

0256

フリッカ周期検出部402は、フリッカ変換係数算出部305で算出されたライン毎のフリッカ変換係数から、フリッカ変換係数の周期=フリッカ周期を算出する。図20を参照して説明したように、フリッカは周期的に現れるため、フリッカ変換係数も所定の周期を有する。よって、フリッカ変換係数の変化を見ることで、図20のBに示したようなグラフを得ることができる。

0257

例えば、図20のBに示した例では、画像331の上側にある静止領域333から、1周期分のフリッカ変換係数が得られる。1周期分のフリッカ変換係数が得られた後、図20のBの中央部分のように、周期は維持されているが、フリッカ変換係数の値がばらついているような部分が存在するような場合、その部分に、得られている1周期分のフリッカ変換係数を適用して補正されるようにする。この補正を行うのが、フリッカ変換係数更新部401である。

0258

フリッカ変換係数更新部401は、フリッカ周期検出部402で算出されたフリッカ周期を利用して注目ラインと位相が同じラインを決定し、それらのフリッカ変換係数を利用して、注目ラインのフリッカ変換係数を更新する。

0259

<第2の実施の形態における画像処理について>
図21に示した画像処理部103の処理について、図22のフローチャートを参照して説明する。

0260

ステップS151乃至S154は、ライン選択部301、強度比算出部303、動き寄与度算出部304、およびフリッカ変換係数算出部305における処理であり、図17のフローチャートにおけるステップS101乃至S104の処理と同様に行われるため、その説明は省略する。

0261

ステップS155において、フリッカ周期検出部402により、フリッカ周期が求められる。例えば、フリッカ周期検出部402は、フリッカ変換係数算出部305により算出されたフリッカ変換係数を保持し、図20のBに示したようなグラフを作成し、周期を求める。

0262

ステップS156において、周期が求まったか否かが判断され、周期は求まっていないと判断された場合、ステップS151に処理が戻され、それ以降の処理が繰り返される。例えば、図20のBのグラフを再度参照するに、画像331内の上側の静止領域333から算出されたフリッカ変換係数により、1周期が求まったと判断された場合、ステップS156において、周期が求まったと判断される。

0263

ステップS156において、周期が求まったと判断された場合、ステップS157に処理が進められる。ステップS157において、フリッカ変換係数更新部401は、同位相のラインのフリッカ変換係数を利用してフリッカ変換係数を更新する。

0264

なお、画像内の全てのラインを処理し、フリッカ変換係数を算出し、図20のBに示したようなグラフが作成された後、ステップS157に処理が進められるようにしても良い。また、このようにした場合、図20のBに示したグラフが得られた場合、フリッカ変換係数がばらついている部分に対して更新が行われ、ばらついていない部分に関しては更新を行わないように構成することも可能である。

0265

また、図20のDに示したようなグラフが得られた場合、フリッカ変換係数を更新する必要がないため、ステップS157の処理を省略し、ステップS158に処理が進められるようにしても良い。この場合、基本的な動作は、第1の実施の形態と同じとなる。すなわち、第1の実施の形態は、図20のDに示したようなグラフが得られることを前提としているため、フリッカ変換係数を更新するという処理を省略することが可能となる。

0266

よって、第1の実施の形態と第2の実施の形態を組み合わせ、図20のBに示したようなグラフが得られたか否か、換言すれば、フリッカ変換係数が大幅にばたつく領域があるか否かが判断され、そのような領域があると判断されたときには、フリッカ変換係数が更新される処理が行われ、そのような領域はないと判断されたときには、フリッカ変換係数の更新を行わないという処理の流れとすることも可能である。

0267

図22のフローチャートの説明に戻り、ステップS157において、フリッカ変換係数の更新が行われると、その更新されたフリッカ変換係数は、後段の動き検出部306に出力される。動き検出部306が行うステップS158乃至S162の処理は、第1の実施の形態における動き検出部306(図14)と同様であり、図17のステップS105乃至S109と同様に行われるため、その説明は省略する。

0268

なお、ステップS162において、全ラインの動き検出は算出済ではないと判断された場合、ステップS151に処理が戻され、それ以降の処理が繰り返されるが、このとき、既にフリッカ変換係数の周期は求まっているため、ステップS155とステップS156の処理を省略する(フリッカ周期検出部402は処理を行わない)ように構成することも可能である。

0269

また、1画像内の全てのフリッカ変換係数が求められてから、ステップS157以降の処理が行われるようにした場合、ステップS162において、全ラインの動き検出を算出済ではないと判断された場合、ステップS158に処理が戻され、それ以降の処理が繰り返されるように構成することも可能である。

0270

このように、第2の実施の形態によれば、水平ラインが全て動き領域332に含まれているようなラインが含まれる画像331であっても、フリッカのよる影響を除去した動き検出を行うことができる。よって、動き検出の精度を向上させることができる。

0271

<第3の実施の形態における画像処理について>
第1の実施の形態おいては、ライン内においてフリッカ変換係数は1つであり、各ラインにおいて独立に処理が行われるため、フリッカ光源の垂直方向の照明変動にも対応が可能である。これは、例えば、図23に示すような状況下でも、本技術が適用できること意味する。

0272

図23のAは、フリッカ光源411があり、そのような状況下で撮影された画像431を示す。図23のAは、フリッカ光源の影響が一定の場合を示す。画像431は、例えば、図16の画像331Aなどと同じであり、フリッカ光源411による影響で、縞模様が映し出された画像となる。このように、フリッカ光源411が、1つである場合などであり、フリッカ光源による影響が一定である場合、画像431に規則的な縞模様が現れる。

0273

図23のBは、フリッカ光源421とフリッカレス光源422があり、そのような状況下で撮影された画像432を示す。図23のBは、フリッカ光源の影響が空間的に変動している場合を示す。図23のBに示したように、フリッカ光源421とフリッカレス光源422の両方から光が当てられているような被写体、例えば、白板を撮影した場合、白板の図中左側は、フリッカ光源421からの影響が強く、右側は、フリッカレス光源422からの影響が強い。

0274

換言すれば、画像432内の左側は、フリッカ光源421の影響が強く、右側は、フリッカ光源421の影響が弱い。すなわち、フリッカ光源421の影響が、一定ではなく、空間的に変動している。このような場合、図23のBに画像432として示したように、画像432には、均一な縞模様があらわれるのではなく、不均一な縞模様が現れ、例えば、図中左側は濃い縞模様であり、右側は薄い縞模様といった模様が現れる。

0275

このようなフリッカ光源の影響が空間的に変動している場合、第1の実施の形態のように、ライン内の静止領域の強度比は一定、という前提が成り立たなくなる。このようなフリッカ光源の影響が空間的に変動している場合でも対応できる第3の実施の形態について説明を続ける。

0276

第3の実施の形態においても、ライン内の強度比が算出される。図24のAは、図24のBに示した画像432のように、フリッカ光源の影響が空間的に変動している場合に撮影された画像から得られる所定のライン内の各所の強度比を示すグラフである。横軸が水平方向の画素位置を表し、縦軸が、強度比を表す。

0277

図24のAに示したように、フリッカ光源の影響が空間的に変動している場合、動き領域332の強度比と静止領域333の強度比が混在し、フリッカ光源の水平方向の変動により、静止領域333の強度比もそれにあわせて変化する。

0278

そのため、図23のAに示した強度比から、図23のBに示すような各所における静止領域の強度比=フリッカ変換係数が算出されるようにする。第1の実施の形態においては、ライン内の静止領域の強度比は一定であるとして説明したが、第3の実施の形態においては、各所毎に静止領域の強度比が算出される。

0279

具体的には、局所的な大きな変動は動きによるもの、大局的な変動は光源変動によるものという仮定のもとに算出が行われる。例えば、次式(13)に基づき、各所における静止領域の強度比の算出が行われる。

0280

0281

式(13)中、iは注目画素の位置を表し、jはi周辺の所定の範囲内の位置を表している。すなわち、位置iの静止領域333の強度比Fi’は、周辺の強度比Fjの加重平均で決定される。その時の重みWjは、式(13)に示した通り、f(Xi,Xj) とg(Fi,Fj) の積で決定される。

0282

f(Xi,Xj)は、位置iと位置jの距離で決定される関数で、距離が近いと大きく、距離が遠いと小さい値を出力する。g(Fi,Fj)は、強度比の値で決定される関数で、強度比の値の差が小さいと大きく、差が大きいと小さい値を出力する。

0283

式(13)から、各所の静止領域の強度比=フリッカ変換係数が算出でき、各強度比に対する動き寄与度は、各強度比と算出された静止領域の強度比=フリッカ変換係数との乖離度で表すことができる。

0284

以上から、フリッカ照明の空間的な変動があってもロバストに動き検出をすることが可能となる。

0285

第3の実施の形態における画像処理部103の構成は、第1の実施の形態における画像処理部103(図14)と同様の構成とすることができるため、ここではその説明を省略する。

0286

図25は、図14に示した画像処理部103が、第3の実施の形態における処理を実行するときの処理について説明するためのフローチャートである。

0287

ステップS201において、ライン選択部301により、処理対象とされるラインが選択され、ステップS202において、強度比算出部303により強度比が算出され、ステップS203において、動き寄与度算出部304において、動き寄与度が算出される。この処理は、図17のステップS101乃至S103と同様に行われる。

0288

ステップS104において、フリッカ変換係数算出部305は、ライン内の所定の位置をフリッカ変換係数を算出する位置として選択される。ステップS205において、フリッカ変換係数算出部305は、選択された所定の位置のフリッカ変換係数を、式(13)に基づき、周辺の強度比を用いて算出する。

0289

このようにして、フリッカ変換係数算出部305によりフリッカ係数が算出されると、ステップS206に処理が進められ、動き検出部306により動き検出に係わる処理が実行される。ステップS206乃至S209の処理は、図17に示したフローチャートのステップS106乃至S109の処理と同様に行われる。

0290

このように、第3の実施の形態によれば、フリッカ光源の影響が空間的に異なるような場合であっても、フリッカによる影響を除去した動き検出を行うことができる。よって、動き検出の精度を向上させることができる。

0291

上述した第1乃至第3の実施の形態は、それぞれ独立して実施されるように構成することも可能であるし、組み合わせて構成することも可能である。例えば、フリッカが、空間的に不均一であるか否かを判断し、均一であるときには、第1の実施の形態で説明した処理が実行されるようにし、不均一である場合には、第3の実施の形態で説明した処理が実行されるように構成することも可能である。

0292

<効果>
本技術によれば、フリッカ環境下であっても、フリッカの影響を受けない動き検出が可能となる。またその動き検出は、フリッカの空間的な変動にも対応したものとすることができる。

0293

また1枚の撮影画像から動き検出をすることが可能であるため、レイテンシが発生せず、また、フレームメモリが不要であるため、ハードウェア低コスト化を実現できる。例えば、従来の技術によると、フリッカの影響を除去するために、例えば、3フレーム分の画像データを蓄積し、その3フレーム分の画像データを用いて、フリッカの影響を推定し、除去することが提案されている。

0294

このような場合、3フレーム分の画像データを蓄積するためのフレームメモリが必要となるため、ハードウェアの低コスト化の妨げとなってしまう。また、3フレーム分の画像データを蓄積した後から処理が開始されるため、遅延が発生してしまう。

0295

しかしながら、本技術によれば、上記したように、ハードウェアの低コスト化を実現し、遅延が発生しないようにすることが可能となる。

0296

また、動きを検出する際、フリッカの周期に露光時間を合わせるといったような制約はなく、所望の露光時間を設定できる。

0297

例えば、フリッカは、周期があるため、露光時間をフリッカの周期の整数倍になるように制御することで、フリッカ成分がない画像を撮像することが考えられるが、この場合、露光時間がフリッカ周期の整数倍に限定されてしまう。しかしながら、本技術によれば、所望の露光時間を設定でき、かつフリッカの影響を低減した動き検出もできるようになる。

0298

上記したように、例えば、長時間露光の撮影をフリッカレスの状態となるように撮影することで、異なる露光時間のフリッカレスの画像が取得できる。フリッカレスの状態で撮影するために、例えば、露光時間をフリッカの周期の整数倍になるように制御して撮影することが考えられる。この場合、露光時間に制限が加わってしまうが、フリッカレスの異なる露光時間の画像から、HDR画像を取得できるようになる。

0299

また、異なる露光時間の画像から、HDR画像を取得し、動き検出もできるようにするための画像処理部の構成は、簡素化することができ、ハードウェアの低コスト化や、処理に係る能力の低減をはかることができる。

0300

参考のため、図26に従来の動き検出に係わる処理部の構成を示す。処理部は、フリッカ推定部463、フリッカ補正部464、フリッカ補正部465、動き検出部466を含む。フリッカ推定部463は、入力される露光Aの画像461と露光Bの画像462を用いて、フリッカ成分を推定する。

0301

その推定結果は、フリッカ補正部464とフリッカ補正部465に供給される。フリッカ補正部464には、露光Aの画像461も入力される。フリッカ補正部464は、露光Aの画像461に載っているフリッカを、フリッカ推定部463の推定結果を用いて除去し、フリッカレスの画像を生成する。

0302

同様に、フリッカ補正部465は、露光Bの画像462に載っているフリッカを、フリッカ推定部463の推定結果を用いて除去し、フリッカレスの画像を生成する。動き検出部466は、フリッカレスの2枚の画像を用いて、動き検出を行う。

0303

このような処理においては、フリッカ推定部463、フリッカ補正部464、フリッカ補正部465、動き検出部466が必要となる。

0304

しかしながら、本技術によれば、フリッカを推定し、フリッカを補正するのではないため、フリッカ推定部463や、フリッカ補正部464、フリッカ補正部465が必要ない。よって、本技術によれば、動き検出に係わる処理部の構成を簡素化することが可能となる。また、本技術によれば、複数の露光情報でHDR合成を行う場合、1枚の撮影画像から、HDR画像と動き情報を同時に取得可能な構成とすることができる。

0305

<他の構成>
上記したように、本技術によれば、動き情報121を出力できる。図14に示した画像処理部103を再度参照する。動き寄与度算出部304は、強度比算出部303で算出された各所の強度比に対し、どれだけ動きが寄与しているかの度合いを示す指標を算出する。動き寄与度とは、各所の強度比が動き由来なのかフリッカ由来なのかを判断する指標である。

0306

このように、動き寄与度算出部304から出力される動き寄与度により、強度比が動き由来であるのか否かが判断できるため、この動き寄与度を、動き情報121としても良い。このようにした場合、画像処理部103は、図27に示したような構成となる。

0307

図27に示した画像処理部103は、ライン選択部301、カメラ信号処理部302、強度比算出部303、動き寄与度算出部304を備える。図14に示した画像処理部103と、図27に示した画像処理部103を比較するに、図27に示した画像処理部103は、図14に示した画像処理部103から、フリッカ変換係数算出部305と動き検出部306を削除した構成とされている。

0308

このような構成の場合、動き寄与度算出部304から出力される動き寄与度が、動き情報121として後段の処理部に供給される。このような構成の場合、動き情報121の精度が少し落ちる可能性はあるが、動き情報121と出力画像120を出力する構成とすることができる。

0309

なお、動き寄与度算出部304からの動き寄与度を、動き情報121として出力するようにしても良いが、動き検出部306を備え、動き検出部306により、動き寄与度が大きい箇所を動きとして検出し、動き情報121を生成し、出力するような構成とすることも可能である。

0310

<撮影装置の他の構成>
図28乃至図30は、撮像装置100の他の構成を示す図である。図28乃至図30において、図3と同一の部分には、同一の符号を付し、その説明を省略する。

0311

図28図29において、動き情報算出部501は、動き情報121を算出する部分であり、図14に示した画像処理部103のライン選択部301、強度比算出部303、動き寄与度算出部304、フリッカ変換係数算出部305、および動き検出部306を含む構成とされている。

0312

または、図28図29において、動き情報算出部501は、図21に示した画像処理部103のライン選択部301、強度比算出部303、動き寄与度算出部304、フリッカ変換係数算出部305、動き検出部306、フリッカ変換係数更新部401、およびフリッカ周期検出部402を含む構成とされている。

0313

図28に示した撮像装置100は、撮像素子102、カメラ信号処理部302、および動き情報算出部501が、積層構造部511として構成されている。図28に示した構成においては、撮像素子102、カメラ信号処理部302、および動き情報算出部501が一体となった積層構造部511を有する構造とされている。

0314

図29に示した撮像装置100は、撮像素子102と動き情報算出部501が、積層構造部521として構成されている。図29に示した構成においては、撮像素子102と動き情報算出部501が一体となった積層構造部521を有する構造とされている。

0315

図30に示した撮像装置100は、動き情報算出部501が動き情報算出部501−1と動き情報算出部501−2に分割された構成とされ、撮像素子102と動き情報算出部501−1が積層構造部531として構成されている。図30に示した構成においては、撮像素子102と動き情報算出部501−1が一体となった積層構造部531を有する構造とされている。

0316

図30に示した撮像装置100のように、動き情報算出部501が動き情報算出部501−1と動き情報算出部501−2に分割され、一方を、撮像素子102と積層構造にし、他方を積層構造に含めない構成とした場合、図14に示した画像処理部103のライン選択部301、強度比算出部303、動き寄与度算出部304、フリッカ変換係数算出部305、および動き検出部306は、動き情報算出部501−1と動き情報算出部501−2のどちらかに含まれる。

0317

また、動き情報算出部501は、図21に示した画像処理部103のライン選択部301、強度比算出部303、動き寄与度算出部304、フリッカ変換係数算出部305、動き検出部306、フリッカ変換係数更新部401、およびフリッカ周期検出部402を含む構成とした場合、それらは、動き情報算出部501−1と動き情報算出部501−2のどちらかに含まれる。

0318

動き情報算出部501は、フレーム毎に動き情報121を出力するが、その動き情報は、カメラ信号処理部302で利用したり、制御部105で利用したりすることができる。例えば、動き情報121を、制御部105にフィードバックし、動被写体ブレないように撮像素子102の露光長を制御したり、カメラ信号処理部302で動き情報121を利用して、動き領域に対し、より効果的な画像処理、例えばデブラーやNR(Noise Reduction)を適応的に処理することが可能となる。

0319

このように、動き情報算出部501は、全てまたはその一部が、他の部分と積層構造とされる構造とすることが可能である。

0320

<記録媒体について>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用パーソナルコンピュータなどが含まれる。

0321

図31は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、CPU(Central Processing Unit)1101、ROM(Read Only Memory)1102、RAM(Random Access Memory)1103は、バス1104により相互に接続されている。バス1104には、さらに、入出力インタフェース1105が接続されている。入出力インタフェース1105には、入力部1106、出力部1107、記憶部1108、通信部1109、及びドライブ1110が接続されている。

0322

入力部1106は、キーボードマウスマイクロフォンなどよりなる。出力部1107は、ディスプレイスピーカなどよりなる。記憶部1108は、ハードディスク不揮発性のメモリなどよりなる。通信部1109は、ネットワークインタフェースなどよりなる。ドライブ1110は、磁気ディスク光ディスク光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1111を駆動する。

0323

以上のように構成されるコンピュータでは、CPU1101が、例えば、記憶部1108に記憶されているプログラムを、入出力インタフェース1105及びバス1104を介して、RAM1103にロードして実行することにより、上述した一連の処理が行われる。

0324

コンピュータ(CPU1101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1111に記録して提供することができる。また、プログラムは、ローカルエリアネットワークインターネットデジタル衛星放送といった、有線または無線伝送媒体を介して提供することができる。

0325

コンピュータでは、プログラムは、リムーバブルメディア1111をドライブ1110に装着することにより、入出力インタフェース1105を介して、記憶部1108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1109で受信し、記憶部1108にインストールすることができる。その他、プログラムは、ROM1102や記憶部1108に、あらかじめインストールしておくことができる。

0326

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

0327

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

0328

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

0329

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

0330

なお、本技術は以下のような構成も取ることができる。

0331

(1)
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、
前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と
を備える画像処理装置。
(2)
前記周期的なノイズとは、フリッカである
前記(1)に記載の画像処理装置。
(3)
前記強度比算出部は、前記異なる露光条件が設定された画素が混在する撮像素子で撮像された1枚の画像から、前記強度比を算出する
前記(1)または(2)に記載の画像処理装置。
(4)
前記強度比算出部は、前記異なる露光条件でそれぞれ撮像された複数の画像から、前記強度比を算出する
前記(1)または(2)に記載の画像処理装置。
(5)
前記寄与度算出部により算出された前記寄与度が所定の値以上である前記画像内の位置を、動きとして検出する
前記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)
前記強度比は、前記異なる露光条件で撮影された画像内で算出対象とされている画素の画素値の比、または、算出対象とされている画素の周辺領域にある画素の画素値から算出される信号値の比である
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
第1の露光条件で撮影された第1の画像の前記周期的なノイズを基準とし、第2の露光条件で撮影された第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を、前記強度比算出部で算出された強度比を用いて算出する変換係数算出部をさらに備える
前記(1)乃至(6)のいずれかに記載の画像処理装置。
(8)
前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうち、最頻値の強度比を前記変換係数とする
前記(7)に記載の画像処理装置。
(9)
前記変換係数算出部は、前記強度比算出部で算出された前記強度比のうちの中央値を、前記変換係数とする
前記(7)に記載の画像処理装置。
(10)
前記変換係数算出部は、前記強度比算出部で算出された前記強度比の加重平均値を、前記変換係数とする
前記(7)に記載の画像処理装置。
(11)
前記変換係数算出部で算出された前記変換係数を用いて、前記第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換し、変換後の前記第2の画像と前記第1の画像との差を取ることで、前記画像内の動きを検出する
前記(7)に記載の画像処理装置。
(12)
前記周期的なノイズの周期を、前記変換係数算出部で算出された前記変換係数の変化から求める周期検出部をさらに備える
前記(7)に記載の画像処理装置。
(13)
前記周期検出部により検出された周期を用いて、前記変換係数算出部で算出された前記変換係数を更新する更新部をさらに備える
前記(12)に記載の画像処理装置。
(14)
前記変換係数は、前記画像内の水平方向のライン毎に算出される
前記(7)に記載の画像処理装置。
(15)
前記変換係数は、前記画像内の水平方向のライン内の画素毎に算出され、算出対象とされた画素を中心とした所定の範囲内の前記強度比が用いられて算出される
前記(7)に記載の画像処理装置。
(16)
前記周期的なノイズの周期の整数倍に設定された第1の露光条件で撮影された第1の画像の前記周期的なノイズを基準とし、第2の露光条件で撮影された第2の画像の前記周期的なノイズを前記基準とされた前記周期的なノイズに変換するための変換係数を算出する変換係数算出部をさらに備える
前記(1)に記載の画像処理装置。
(17)
前記異なる露光条件で画像を撮像する撮像素子と積層構造とされている
前記(1)乃至(16)のいずれかに記載の画像処理装置。
(18)
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、
算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する
ステップを含む画像処理方法。
(19)
撮像素子で撮像される画像を処理する画像処理装置に、
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出し、
算出された前記強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
(20)
異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、
前記強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と
を備える画像処理部と、
前記画像処理部から出力される信号に対して信号処理を行う信号処理部と
を備える電子機器。

0332

100撮像装置, 101光学レンズ, 102撮像素子, 103画像処理部, 104信号処理部, 105 制御部, 301ライン選択部, 303強度比算出部, 304動き寄与度算出部, 305フリッカ変換係数算出部, 306動き検出部, 401 フリッカ変換係数更新部, 402フリッカ周期検出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 萬里科技股ふん有限公司の「 指輪撮影用ターンテーブル及びライトボックス」が 公開されました。( 2020/10/29)

    【課題】真空ポンプの吸着力により指輪を立たせて撮影を行うターンテーブル及びライトボックスを提供する。【解決手段】本発明の指輪20撮影用ターンテーブル100は、真空ポンプ110と、中空軸122を備えるモ... 詳細

  • 广州欧享科技有限公司の「 調節に便利な自撮り棒」が 公開されました。( 2020/10/29)

    【課題】本発明は調節に便利な自撮り棒を開示した。【解決手段】本体を含み、前記本体の外側をポリプロピレンスリーブで包んでおり、前記本体の頂端にはシャッターがスライド可能に設置され、前記シャッターの底端に... 詳細

  • 富士フイルム株式会社の「 撮像装置」が 公開されました。( 2020/10/29)

    【課題・解決手段】処理負荷をかけずに所望の合成画像を撮像段階で生成できる撮像装置を提供する。デジタルカメラ(1)に備えられたファインダ装置(10)は、ファインダ接眼部から観察される光学ファインダ像に情... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ