図面 (/)

技術 撮像処理装置および撮像処理方法

出願人 マクセル株式会社
発明者 大坪宏安石崎修
出願日 2018年2月8日 (1年5ヶ月経過) 出願番号 2018-021000
公開日 2018年7月5日 (1年0ヶ月経過) 公開番号 2018-107817
状態 特許登録済
技術分野 カラーテレビジョン画像信号発生装置
主要キーワード マトリックスブロック 輝度諧調 BC信号 受光成分 補正デバイス リミットレベル アンプ利得 作成ブロック
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年7月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

赤外カットフィルタに代えてDBPFを用いる場合に、可視光撮影時に生じる問題を解消することができる撮像処理装置および撮像処理方法を提供する。

解決手段

撮像センサ1は、カラーフィルタと、可視光帯域透過特性を有し、この可視光帯域の長波長側に隣接する第1の波長帯域遮断特性を有し、第1の波長帯域内の一部分である第2の波長帯域に透過特性を有するDBPH5を備える。信号処理部12は、撮像センサ1の可視光の各色の画素から出力される各色信号から赤外の画素から出力される赤外信号を減算する。この際に、各色信号が画素飽和レベルに達する場合に、各色信号から減算される赤外信号の値を下げるように補正する制御を行う。

概要

背景

従来から、昼夜連続で撮影を行う監視カメラ等の撮像処理装置においては、夜間時には赤外光を検出して撮影することが行われている。CCDセンサCMOSセンサといった撮像センサ受光部であるフォトダイオードは、1300nm程度の近赤外波長帯域まで受光可能であるため、これらの撮像センサを用いた撮像処理装置であれば、赤外帯域まで撮影することが原理的に可能である。

なお、人間の視感度が高い光の波長帯域は400nm〜700nmであることから、撮像センサにおいて近赤外光を検出すると、人間の目には映像が赤みを増し見えることになる。このため、昼間や屋内明るい場所での撮影時は、撮像センサの感度を人間の視感度に合わせるために、撮像センサの前に赤外帯域の光を遮断する赤外カットフィルタを設けて、波長が700nm以上の光を除去することが望ましい。一方、夜間や暗い場所での撮影時には、赤外カットフィルタを設けずに撮影を行う必要がある。

このような撮像処理装置としては、手動で赤外カットフィルタの取り付け・取り外しを行う撮像処理装置や、自動的に赤外カットフィルタを抜き差しする撮像処理装置が、従来から知られている。さらに、特許文献1には、上述した赤外カットフィルタの抜き差しを不要とした撮像処理装置が開示されている。

そこで、可視光帯域透過特性を有し、可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である第2の波長帯域に透過特性を有する光学フィルタが提案されている(たとえば、特許文献1参照)。このフィルタによれば、可視光帯域と、可視光帯域の長波長側、すなわち、赤外側で、可視光帯域から離れた第2の波長域との両方で光が透過可能となっている。たとえば、第2の波長帯域は、赤外照明の波長帯域と重なっており、可視光撮影と、赤外光照明を用いた夜間の赤外光撮影の両方を可能とする光学フィルタである。以下に、上述のように可視光帯域と、赤外側の第2の波長帯域との光を透過し、他の波長帯域の光を遮断する光学フィルタをDBPF(ダブルバンドパス・フィルタ)と称する。

概要

赤外カットフィルタに代えてDBPFを用いる場合に、可視光撮影時に生じる問題を解消することができる撮像処理装置および撮像処理方法を提供する。撮像センサ1は、カラーフィルタと、可視光帯域に透過特性を有し、この可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、第1の波長帯域内の一部分である第2の波長帯域に透過特性を有するDBPH5を備える。信号処理部12は、撮像センサ1の可視光の各色の画素から出力される各色信号から赤外の画素から出力される赤外信号を減算する。この際に、各色信号が画素飽和レベルに達する場合に、各色信号から減算される赤外信号の値を下げるように補正する制御を行う。

目的

本発明は、前記事情に鑑みてなされたものであり、赤外カットフィルタに代えてDBPFを用いる場合に、可視光撮影時に生じる問題を解消することができる撮像処理装置および撮像処理方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画素毎に受光素子が配置された撮像センサと、複数種類フィルタ領域所定配列で前記撮像センサの前記画素の配置に対応して配置され、かつ、各種類の前記フィルタ領域は、可視光帯域における波長に応じた透過特性が互いに異なるとともに、各種類の前記フィルタ領域は、互いに略同様に、前記可視光帯域より長波長側に、光を透過する赤外光透過波長帯域を備えるとともに、前記可視光帯域と前記赤外光透過波長帯域との間に、光を遮断する光遮断波長帯域を備え、可視光の少なくとも一部と赤外光の少なくとも一部との両方を透過するフィルタと、前記撮像センサ上に像を結ぶレンズを有する光学系と、前記撮像センサから出力される信号を処理して可視画像信号および赤外画像信号を出力可能信号処理デバイスとを備え、前記信号処理デバイスは、可視光成分赤外光成分とを含む前記信号から前記赤外光成分を除去して前記可視画像信号を出力する際に、前記信号が前記撮像センサの画素飽和レベルに達する場合に、当該信号から除去される前記赤外光成分の値を下げるように調整することを特徴とする撮像処理装置

請求項2

前記フィルタは、前記可視光の複数の色に対応するそれぞれの波長帯域の光を透過する領域および前記赤外光に対応する波長帯域の光を透過する領域が所定配列で前記撮像センサの各画素に配置されるカラーフィルタと、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である前記赤外光透過波長帯域としての第2の波長帯域に透過特性を有する光学フィルタとを有し、前記信号処理デバイスは、前記カラーフィルタの前記可視光の各色の前記領域が前記可視光帯域より長波長側の前記赤外光を透過するのに対して、前記可視光の各色の前記領域に対応する前記撮像センサの前記画素から出力される各信号に基づく各色信号から前記赤外光の前記領域に対応する前記撮像センサの前記画素から出力される信号に基づく赤外信号を減算し、かつ、前記減算に際して、前記色信号が画素飽和レベルに達する場合に、当該色信号から減算される前記赤外信号としての値を下げるように調整する制御を行うことを特徴とする請求項1に記載の撮像処理装置。

請求項3

前記信号処理デバイスは、前記赤外信号としての値を下げる補正として、前記赤外信号の前記値を前記色信号に基づいて決定される制限値より高くならないように制御することを特徴とする請求項2に記載の撮像処理装置。

請求項4

前記信号処理デバイスは、前記赤外信号の前記制限値を、ホワイトバランス処理で得られる各色の利得に基づいて、前記色信号毎に決定することを特徴とする請求項3に記載の撮像処理装置。

請求項5

前記信号処理デバイスは、前記色信号の前記画素飽和レベルから前記赤外信号の前記制限値を減算した値に対応する信号飽和ベルが各色で略同じになるように制御することを特徴とする請求項3または請求項4に記載の撮像処理装置。

請求項6

前記フィルタは、前記可視光の複数の色に対応するそれぞれの波長帯域の光を透過する領域および複数の色に対応するそれぞれの波長帯域を合わせた波長帯域の光を透過する領域が所定配列で前記撮像センサの各画素に配置されるカラーフィルタと、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である前記赤外光透過波長帯域としての第2の波長帯域に透過特性を有する光学フィルタとを有し、前記信号処理デバイスは、前記カラーフィルタの前記可視光の各色の前記領域が前記可視光帯域より長波長側の前記赤外光を透過するのに対して、前記領域に対応する前記撮像センサの前記画素から出力される各信号から、前記可視光帯域より長波長側の赤外光に基づく赤外信号を求めるとともに、各色信号から前記赤外信号を減算するに際して、複数の前記色に対応するそれぞれの波長帯域を合わせた波長帯域の光を透過する前記領域に対応する前記色信号が前記画素飽和レベルに達する場合に、前記色信号から減算される前記赤外信号としての値を下げるように調整する制御を行うことを特徴とする請求項1に記載の撮像処理装置。

請求項7

前記撮像センサに、前記信号処理デバイスが備えられ、前記撮像センサが、各画素から順次信号を出力する撮像センサ本体と、前記撮像センサ本体から出力される前記信号が入力される前記信号処理デバイスと備えることを特徴とする請求項1から請求項4のいずれか1項に記載の撮像処理装置。

請求項8

画素毎に受光素子が配置された撮像センサと、複数種類のフィルタ領域が所定配列で前記撮像センサの前記画素の配置に対応して配置され、かつ、各種類の前記フィルタ領域は、可視光帯域における波長に応じた透過特性が互いに異なるとともに、各種類の前記フィルタ領域は、互いに略同様に、前記可視光帯域より長波長側に、光を透過する赤外光透過波長帯域を備えるとともに、前記可視光帯域と前記赤外光透過波長帯域との間に,光を遮断する光遮断波長帯域を備えるフィルタと、前記撮像センサ上に像を結ぶレンズを有する光学系と、前記撮像センサから出力される信号を処理して可視画像信号および赤外画像信号を出力可能な信号処理デバイスとを備える撮像処理装置における撮像処理方法であって、前記信号処理デバイスは、可視光成分と赤外光成分とを含む前記信号から前記赤外光成分を除去して前記可視画像信号を出力する際に、前記信号が前記撮像センサの画素飽和レベルに達する場合に、当該信号から除去される前記赤外光成分の値を下げるように調整することを特徴とする撮像処理方法。

請求項9

前記フィルタは、前記可視光の複数の色に対応するそれぞれの波長帯域の光を透過する領域および前記赤外光に対応する波長帯域の光を透過する領域が所定配列で前記撮像センサの各画素に配置されるカラーフィルタと、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である前記赤外光透過波長帯域としての第2の波長帯域に透過特性を有する光学フィルタとを有し、前記信号処理デバイスは、前記カラーフィルタの前記可視光の各色の前記領域が前記可視光帯域より長波長側の前記赤外光を透過するのに対して、前記可視光の各色の前記領域に対応する前記撮像センサの前記画素から出力される各信号に基づく各色信号から前記赤外光の前記領域に対応する前記撮像センサの前記画素から出力される信号に基づく赤外信号を減算し、かつ、前記減算に際して、前記色信号が画素飽和レベルに達する場合に、当該色信号から減算される前記赤外信号としての値を下げるように調整する制御を行うことを特徴とする請求項8に記載の撮像処理方法。

請求項10

前記信号処理デバイスは、前記赤外信号としての値を下げる補正として、前記赤外信号の前記値を前記色信号に基づいて決定される制限値より高くならないように制御することを特徴とする請求項9に記載の撮像処理方法。

請求項11

前記信号処理デバイスは、前記赤外信号の前記制限値を、ホワイトバランス処理で得られる各色信号の利得に基づいて、前記色信号毎に設定することを特徴とする請求項10に記載の撮像処理方法。

請求項12

前記信号処理デバイスは、前記色信号の前記画素飽和レベルから前記赤外信号の前記制限値を減算した値に対応する信号飽和レベルが各色信号で略同じになるように制御することを特徴とする請求項10または請求項11に記載の撮像処理方法。

請求項13

前記フィルタは、前記可視光の複数の色に対応するそれぞれの波長帯域の光を透過する領域および複数の色に対応するそれぞれの波長帯域を合わせた波長帯域の光を透過する領域が所定配列で前記撮像センサの各画素に配置されるカラーフィルタと、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である前記赤外光透過波長帯域としての第2の波長帯域に透過特性を有する光学フィルタとを有し、前記信号処理デバイスは、前記カラーフィルタの前記可視光の各色の前記領域が前記可視光帯域より長波長側の前記赤外光を透過するのに対して、前記領域に対応する前記撮像センサの前記画素から出力される各信号から、前記可視光帯域より長波長側の赤外光に基づく赤外信号を求めるとともに、各色信号から前記赤外信号を減算するに際して、複数の前記色に対応するそれぞれの波長帯域を合わせた波長帯域の光を透過する前記領域に対応する前記色信号が前記画素飽和レベルに達する場合に、前記色信号から減算される前記赤外信号としての値を下げるように調整する制御を行うことを特徴とする請求項8に記載の撮像処理方法。

技術分野

0001

本発明は、可視光による撮影赤外光による撮影との両方を行う撮像処理装置および撮像処理方法に関する。

背景技術

0002

従来から、昼夜連続で撮影を行う監視カメラ等の撮像処理装置においては、夜間時には赤外光を検出して撮影することが行われている。CCDセンサCMOSセンサといった撮像センサ受光部であるフォトダイオードは、1300nm程度の近赤外波長帯域まで受光可能であるため、これらの撮像センサを用いた撮像処理装置であれば、赤外帯域まで撮影することが原理的に可能である。

0003

なお、人間の視感度が高い光の波長帯域は400nm〜700nmであることから、撮像センサにおいて近赤外光を検出すると、人間の目には映像が赤みを増し見えることになる。このため、昼間や屋内明るい場所での撮影時は、撮像センサの感度を人間の視感度に合わせるために、撮像センサの前に赤外帯域の光を遮断する赤外カットフィルタを設けて、波長が700nm以上の光を除去することが望ましい。一方、夜間や暗い場所での撮影時には、赤外カットフィルタを設けずに撮影を行う必要がある。

0004

このような撮像処理装置としては、手動で赤外カットフィルタの取り付け・取り外しを行う撮像処理装置や、自動的に赤外カットフィルタを抜き差しする撮像処理装置が、従来から知られている。さらに、特許文献1には、上述した赤外カットフィルタの抜き差しを不要とした撮像処理装置が開示されている。

0005

そこで、可視光帯域透過特性を有し、可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である第2の波長帯域に透過特性を有する光学フィルタが提案されている(たとえば、特許文献1参照)。このフィルタによれば、可視光帯域と、可視光帯域の長波長側、すなわち、赤外側で、可視光帯域から離れた第2の波長域との両方で光が透過可能となっている。たとえば、第2の波長帯域は、赤外照明の波長帯域と重なっており、可視光撮影と、赤外光照明を用いた夜間の赤外光撮影の両方を可能とする光学フィルタである。以下に、上述のように可視光帯域と、赤外側の第2の波長帯域との光を透過し、他の波長帯域の光を遮断する光学フィルタをDBPF(ダブルバンドパス・フィルタ)と称する。

先行技術

0006

特許第5009395号公報

発明が解決しようとする課題

0007

ところで、特許文献1のDBPFでは、赤外(近赤外)の波長帯域に含まれる第2の波長帯域の光(赤外波長帯域に含まれる比較的狭い波長帯域)が常時遮断されずに光が透過することになる。すなわち、可視光帯域より長波長側をカットする赤外カットフィルタを用いた場合と異なり、可視光帯域での撮影において、第2の波長帯域を透過した赤外光の影響を少なからず受けることになる。

0008

可視光帯域での撮影として、カラーの撮影を行う撮像センサには、カラーフィルタが用いられている。カラーフィルタは、撮像センサの各画素に対応して赤、緑、青の各色の領域が所定のパターンで配置されている。これら各色の領域は、基本的には、各色の波長帯域に光の透過率ピークを有し、他の色の波長帯域の光の透過を制限(遮断)する。

0009

しかし、可視光帯域より長波長側では、各色の領域および波長によって光透過率が異なるが、基本的に光を透過してしまう。したがって、赤外カットフィルタを用いれば、可視光帯域より長波長側の光がカットされるので問題ないが、上述のDBPFのように赤外側の第2の波長帯域で赤外光を透過すると、この赤外光がカラーフィルタを通過して撮像センサのフォトダイオード(受光素子)に至ってフォトダイオードにおける光電効果による電子発生量を多くしてしまう。

0010

ここで、可視光でのカラー撮影と、赤外光照明での撮影との両方を行う上では、たとえば、赤、緑、青の各色の領域が所定のパターンで配置されたカラーフィルタに、上述の第2の波長帯域に光透過率のピークを有するような赤外光用の領域(赤外領域)を設けることになる。すなわち、カラーフィルタの配列(パターン)は、赤R、緑G、青B、赤外IRの4つの領域からなる。この場合に赤外光用の領域は、可視光帯域の光を遮断し、第2の波長帯域の光を主に透過させるものであるから、カラーフィルタの赤外光用の領域を通過した光を受ける撮像センサから出力される赤外光の画像信号を利用して、赤、緑、青の各色の画像信号から赤外光成分を除去することが考えられる。

0011

しかし、この場合に、補正後のR信号、G信号、B信号には、誤差が生じる。たとえば、撮像センサの各画素からの信号でダイナミックレンジを越える部分があるような場合に、ハイライト部の輝度落ちるなどの不自然輝度レベルとなることや、ハイライト部での色付き、すなわち、ハイライト部が白とならずに青等の色が付いた状態となることが発生するなどの問題が生じる。

0012

本発明は、前記事情に鑑みてなされたものであり、赤外カットフィルタに代えてDBPFを用いる場合に、可視光撮影時に生じる問題を解消することができる撮像処理装置および撮像処理方法を提供することを目的とする。

課題を解決するための手段

0013

前記課題を解決するために、本発明の撮像処理装置は、画素毎に受光素子が配置された撮像センサと、
複数種類フィルタ領域所定配列で前記撮像センサの前記画素の配置に対応して配置され、かつ、各種類の前記フィルタ領域は、可視光帯域における波長に応じた透過特性が互いに異なるとともに、各種類の前記フィルタ領域は、互いに略同様に、前記可視光帯域より長波長側に、光を透過する赤外光透過波長帯域を備えるとともに、前記可視光帯域と前記赤外光透過波長帯域との間に、光を遮断する光遮断波長帯域を備え、可視光の少なくとも一部と赤外光の少なくとも一部との両方を透過するフィルタと、
前記撮像センサ上に像を結ぶレンズを有する光学系と、
前記撮像センサから出力される信号を処理して可視画像信号および赤外画像信号を出力可能信号処理デバイスとを備え、
前記信号処理デバイスは、可視光成分と赤外光成分とを含む前記信号から前記赤外光成分を除去して前記可視画像信号を出力する際に、前記信号が前記撮像センサの画素飽和レベルに達する場合に、当該信号から除去される前記赤外光成分の値を下げるように調整することを特徴とする。

0014

本発明の撮像処理方法は、画素毎に受光素子が配置された撮像センサと、
複数種類のフィルタ領域が所定配列で前記撮像センサの前記画素の配置に対応して配置され、かつ、各種類の前記フィルタ領域は、可視光帯域における波長に応じた透過特性が互いに異なるとともに、各種類の前記フィルタ領域は、互いに略同様に、前記可視光帯域より長波長側に、光を透過する赤外光透過波長帯域を備えるとともに、前記可視光帯域と前記赤外光透過波長帯域との間に,光を遮断する光遮断波長帯域を備えるフィルタと、
前記撮像センサ上に像を結ぶレンズを有する光学系と、
前記撮像センサから出力される信号を処理して可視画像信号および赤外画像信号を出力可能な信号処理デバイスとを備える撮像処理装置における撮像処理方法であって、
前記信号処理デバイスは、可視光成分と赤外光成分とを含む前記信号から前記赤外光成分を除去して前記可視画像信号を出力する際に、前記信号が前記撮像センサの画素飽和レベルに達する場合に、当該信号から除去される前記赤外光成分の値を下げるように調整することを特徴とする。

0015

これら撮像処理装置および撮像処理方法によれば、赤外光成分を含む各色信号がダイナミックレンジを越えて画素飽和レベルに達することにより、クリップされた状態で、未だダイナミックレンジを越えずにクリップされておらず、出力レベルが高くなる可能性がある赤外信号を各色信号から減算した場合に、各色信号がクリップされてから赤外信号の出力レベルが高くなることによって、各色信号の出力レベルが下がってしまう。

0016

これにより、ハイライト部の輝度が低下する場合に、色信号から減算される赤外信号の値を下げるように補正する制御を行うことによって、色信号が上述のようにクリップされる際に、赤外信号が高くなって、赤外信号が減算された後の色信号の輝度が下がってしまうのを防止できる。

0017

本発明の撮像処理装置は、 前記フィルタは、前記可視光の複数の色に対応するそれぞれの波長帯域の光を透過する領域および前記赤外光に対応する波長帯域の光を透過する領域が所定配列で前記撮像センサの各画素に配置されるカラーフィルタと、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である前記赤外光透過波長帯域としての第2の波長帯域に透過特性を有する光学フィルタとを有し、
前記信号処理デバイスは、前記カラーフィルタの前記可視光の各色の前記領域が前記可視光帯域より長波長側の前記赤外光を透過するのに対して、前記可視光の各色の前記領域に対応する前記撮像センサの前記画素から出力される各信号に基づく各色信号から前記赤外光の前記領域に対応する前記撮像センサの前記画素から出力される信号に基づく赤外信号を減算し、かつ、前記減算に際して、前記色信号が画素飽和レベルに達する場合に、当該色信号から減算される前記赤外信号としての値を下げるように調整する制御を行うことが好ましい。

0018

本発明の撮像処理方法は、 前記フィルタは、前記可視光の複数の色に対応するそれぞれの波長帯域の光を透過する領域および前記赤外光に対応する波長帯域の光を透過する領域が所定配列で前記撮像センサの各画素に配置されるカラーフィルタと、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である前記赤外光透過波長帯域としての第2の波長帯域に透過特性を有する光学フィルタとを有し、
前記信号処理デバイスは、前記カラーフィルタの前記可視光の各色の前記領域が前記可視光帯域より長波長側の前記赤外光を透過するのに対して、前記可視光の各色の前記領域に対応する前記撮像センサの前記画素から出力される各信号に基づく各色信号から前記赤外光の前記領域に対応する前記撮像センサの前記画素から出力される信号に基づく赤外信号を減算し、かつ、前記減算に際して、前記色信号が画素飽和レベルに達する場合に、当該色信号から減算される前記赤外信号としての値を下げるように調整する制御を行うことが好ましい。

0019

このような構成によれば、RGBの各色信号の出力レベルおよび赤外信号の出力レベルが高くなる際に、赤外光成分を含むRGBの各色信号の出力レベルが先にダイナミックレンジを越えてクリップされた状態で、略赤外光成分だけからなる赤外信号がダイナミックレンジを越えずにさらに高くなることにより、色信号から赤外信号を減算した場合に、クリップされなければ、RGBの各色信号の出力レベルがさらに高くなる状態なのに、RGBの各色信号の出力レベルが逆に低下し、白飛びするようなハイライト部の輝度が低下してしまうのを防止できる。

0020

本発明の撮像処理装置において、前記信号処理デバイスは、前記赤外信号としての値を下げる補正として、前記赤外信号の前記値を前記色信号に基づいて決定される制限値より高くならないように制御することが好ましい。

0021

本発明の撮像処理方法において、前記信号処理デバイスは、前記赤外信号としての値を下げる補正として、前記赤外信号の前記値を前記色信号に基づいて決定される制限値より高くならないように制御することが好ましい。

0022

以上のような構成によれば、色信号から減算される赤外信号の値を制限値で制限して、制限値でクリップされた状態とすることにより、各色信号が飽和レベルに達してクリップされた状態で、未だ飽和レベルを超えていない赤外信号の値が高くなっても、色信号から減算される値は、基本的に制限値となり、赤外信号を減算された色信号の出力レベルが低くなってしまうのを防止できる。

0023

本発明の撮像処理装置において、前記信号処理デバイスは、前記赤外信号の前記制限値を、ホワイトバランス処理で得られる各色信号の利得に基づいて、前記色信号毎に設定することが好ましい。

0024

本発明の撮像処理方法において、前記信号処理デバイスは、前記赤外信号の前記制限値を、ホワイトバランス処理で得られる各色の利得に基づいて、前記色信号毎に決定することが好ましい。

0025

以上のような構成によれば、各色信号、たとえば、RGBの各信号において、それぞれ適切な制限値で制限された赤外信号を減算することが可能になる。

0026

本発明の撮像処理装置において、前記信号処理デバイスは、前記色信号の前記画素飽和レベルから前記赤外信号の前記制限値を減算した値に対応する信号飽和ベルが各色信号で略同じになるように制御することが好ましい。

0027

本発明の撮像処理方法において、前記信号処理デバイスは、前記色信号の前記画素飽和レベルから前記赤外信号の前記制限値を減算した値に対応する信号飽和レベルが各色信号で略同じになるように制御することが好ましい。

0028

このような構成によれば、各色信号において、最も出力レベルが高くなった場合、すなわち、信号飽和レベルになった場合に、各色信号の出力レベルが略同じになることで、略白となり、ハイライト部に青などの色が付くことがなく、ハイライト部を白くすることにより、自然な色再現性を維持することができる。信号飽和レベルとは、可視光の各色信号が画素飽和レベルでクリップされた状態で、制限値で制限された赤外信号を減算した場合の値のレベルである。

0029

本発明の撮像処理装置において、前記フィルタは、前記可視光の複数の色に対応するそれぞれの波長帯域の光を透過する領域および複数の色に対応するそれぞれの波長帯域を合わせた波長帯域の光を透過する領域が所定配列で前記撮像センサの各画素に配置されるカラーフィルタと、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である前記赤外光透過波長帯域としての第2の波長帯域に透過特性を有する光学フィルタとを有し、
前記信号処理デバイスは、前記カラーフィルタの前記可視光の各色の前記領域が前記可視光帯域より長波長側の前記赤外光を透過するのに対して、前記領域に対応する前記撮像センサの前記画素から出力される各信号から、前記可視光帯域より長波長側の赤外光に基づく赤外信号を求めるとともに、各色信号から前記赤外信号を減算するに際して、複数の前記色に対応するそれぞれの波長帯域を合わせた波長帯域の光を透過する前記領域に対応する前記色信号が前記画素飽和レベルに達する場合に、前記色信号から減算される前記赤外信号としての値を下げるように調整する制御を行うことが好ましい。

0030

本発明の撮像処理方法において、前記フィルタは、前記可視光の複数の色に対応するそれぞれの波長帯域の光を透過する領域および複数の色に対応するそれぞれの波長帯域を合わせた波長帯域の光を透過する領域が所定配列で前記撮像センサの各画素に配置されるカラーフィルタと、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である前記赤外光透過波長帯域としての第2の波長帯域に透過特性を有する光学フィルタとを有し、
前記信号処理デバイスは、前記カラーフィルタの前記可視光の各色の前記領域が前記可視光帯域より長波長側の前記赤外光を透過するのに対して、前記領域に対応する前記撮像センサの前記画素から出力される各信号から、前記可視光帯域より長波長側の赤外光に基づく赤外信号を求めるとともに、各色信号から前記赤外信号を減算するに際して、複数の前記色に対応するそれぞれの波長帯域を合わせた波長帯域の光を透過する前記領域に対応する前記色信号が前記画素飽和レベルに達する場合に、前記色信号から減算される前記赤外信号としての値を下げるように調整する制御を行うことが好ましい。

0031

このような構成によれば、例えば、上述のカラーフィルタの赤外光の領域に代えて、RGBを合わせた光を透過するホワイト(W)、すなわち、可視光帯域の略全波長帯域を透過するクリア(C)な領域を用いるものとしてもよい。この場合には、例えば、計算により可視光帯域の光量を0として、赤外光の光量を求めることが可能である。

0032

この場合に、W(C)の信号レベルは、RGBを合わせたもの近いことから、画素飽和レベルに達し易くなる。この際に、RGBの信号レベルは、画素飽和レベルに達しないが、上述のように計算により赤外光を求めた場合に、赤外光の信号レベルが高くなり、RGBの各信号から赤外光の信号を除算した場合に、RGBの各信号の信号レベルが上がる状態なのに、下がる虞がある。そこで、Wの信号レベルが飽和に達した際に、赤外光の信号レベルを下げるように調整する制御を行うことで、色再現性を向上できる。
また、本発明の前記撮像処理装置においては、前記撮像センサに、前記信号処理デバイスが備えられ、
前記撮像センサが、各画素から順次信号を出力する撮像センサ本体と、前記撮像センサ本体から出力される前記信号が入力される前記信号処理デバイスと備えることが好ましいN。

発明の効果

0033

本発明によれば、可視画像信号と赤外画像信号を同時に出力できる撮像処理装置において、赤外光成分を含む可視画像から赤外光成分を取り除いて、高画質化を図ることができるとともに、画像信号が画素飽和レベルに達するような場合に、逆に輝度が低下するなどの問題の発生を防止できる。

図面の簡単な説明

0034

本発明の第1の実施の形態を示す 図であって、撮像センサを示す概略図である。
同、前記撮像センサのDBPFとカラーフィルタの透過率スペクトルを示すグラフである。
同、前記撮像センサのDBPFとカラーフィルタの透過率スペクトルと、赤外照明の発光スペクトルを示すグラフである。
同、前記撮像センサのDBPFとカラーフィルタの透過率スペクトルと、赤外照明の発光スペクトルを示すグラフである。
同、撮像センサのカラーフィルタの配列を説明するための図であって、(a)は赤外のフィルタ部がない従来の配列を示す図であり、(b)、(c)、(d)は赤外のフィルタ部を有する配列を示す図である。
同、前記撮像センサを有する撮像装置を示す概略図である。
同、前記撮像装置の信号処理部における信号処理を説明するためのブロック図である。
同、前記撮像装置の信号処理における内装処理を説明するための図である。
本発明の第2の実施の形態の撮像装置を示す概略図である。
本発明の第3の実施の形態の撮像センサのカラーフィルタの配列を説明するための図である。
同、前記撮像センサのDBPFとカラーフィルタの透過率スペクトルを示すグラフである。
同、撮像センサのカラーフィルタの配列を説明するための図である。
同、カラーフィルタの配列を説明するための図である。
同、カラーフィルタの配列を説明するための図である。
同、各カラーフィルタの特性を説明するための図である。
同、撮像装置における信号処理を説明するためのブロック図である。
本発明の第4の実施の形態のカラーフィルタの配列を説明するための図である。
同、前記撮像センサのDBPFとカラーフィルタの青Bの透過率スペクトルを示すグラフである。
同、前記撮像センサのDBPFとカラーフィルタの緑Gの透過率スペクトルを示すグラフである。
同、前記撮像センサのDBPFとカラーフィルタの赤Rの透過率スペクトルを示すグラフである。
同、前記撮像センサのDBPFとカラーフィルタのクリアCの透過率スペクトルを示すグラフである。
本発明の第5の実施の形態の撮像センサを示すブロック図である。
同、撮像センサを示す断面図である。
同、撮像センサの他の例を示す断面図である。
同、撮像センサによる2系統の画像信号の出力を説明するための図である。
本発明の第6の実施の形態の撮像装置を示すブロック図である。
同、撮像センサを示す概略図である。
同、赤外領域を有するカラーフィルタの配列パターンを説明するための図である。
同、前記撮像センサのDBPFとカラーフィルタの透過率スペクトルを示すグラフである。
同、ハイライト部で輝度が下がる理由を説明するためのR信号の図である。
同、ハイライト部で輝度が下がる理由を説明するためのG信号の図である。
同、ハイライト部で輝度が下がる理由を説明するためのB信号の図である。
同、ハイライト部で輝度が下がる理由を説明するためのIR信号の図である。
同、IR信号のRGBの各色信号に対応したクリップレベルを示す図である。
同、RGBの各色信号からクリップされたIR信号を減算することを説明するための図であって、(a)はR信号の場合を示し、(b)はG信号の場合を示し、(c)はB信号の場合を示す図である。
同、ホワイトバランス処理を説明するための図であって、(a)は、R−Y信号とB−Y信号の平面における白に設定される領域を示し、(b)は白に設定される輝度レベルの範囲を示す図である。
同、IR信号が減算された後のRGBの各信号のクリップの出力レベルを合わせる方法を説明するための図である、
同、前記撮像処理装置の信号処理部を示すブロック図である。
同、別例としての信号処理部を示すブロック図である。
本発明の第7の実施の形態のRGBCのカラーフィルタの飽和レベルを説明するための図である。
同、計算により求められるIR信号が実際のIR信号より信号レベルが高くなることを説明するための図である。
同、ハイライト部で輝度が下がる理由を説明するためのRGBC信号の図である。
同、分離デバイスを説明するためのブロック図である。
同、クリップレベル計算デバイスを説明するためのブロック図である。
同、RGBC信号のクリップレベルを説明するための図である。
同、IR信号のクリップレベルを説明するための図である。
同、RGBC信号のクリップレベルを説明するための図である。
同、分離デバイスを説明するためのブロック図である。
同、RGBCY信号のクリップ処理を説明するための図である。
本発明の第8の実施の形態のIR信号のクリップレベルを説明するための図である。
同、RGBCY信号のクリップ処理を説明するための図である。
同、分離デバイスを説明するためのブロック図である。
同、IR信号生成デバイスを説明するためのブロック図である。

実施例

0035

以下、図面を参照しながら、本発明の第1の実施の形態について説明する。
本実施の形態の撮像センサ(イメージセンサ)1は、例えば、図1に示すように、CCD(Charge Coupled Device)イメージセンサであるセンサ本体2と、センサ本体2の各画素に対応して赤(R)、緑(G)、青(B)、赤外(IR)の各領域(各色のフィルタ)を所定の配列で配置したカラーフィルタ3と、センサ本体2およびカラーフィルタ3上を覆うカバーガラス4と、カバーガラス4上に形成されたDBPF(ダブル・バンド・パス・フィルタ)5とを備える。

0036

センサ本体2は、CCDイメージセンであり、各画素に受光素子としてのフォトダイオードが配置されている。なお、センサ本体2は、CCDイメージセンサに代えてCMOS(Complementary Metal・Oxide Semiconductor)イメージセンサであってもよい。

0037

センサ本体2には、カラーフィルタ3が設けられている。カラーフィルタ3は、図5(a)に示す一般的なベイヤ配列で各画素に配列されるR,G,Bの3つのフィルタ部を有するカラーフィルタ3xに対して、IRのフィルタが加えられている。なお、ベイヤ配列のフィルタにおいては、基本のパターンは、4行(横の並び)×4列(縦の並び)の16個の各色のフィルタ部からなっており、例えば、各フィルタ部をFと行数と列数で表すと、1行目がF11,F12,F13,F14で、2行目がF21、F22,F23,F24で、3行目がF31,F32,F33,F34で、4行目がF41,F42,F43、F44である。

0038

ベイヤ配列では、F12,F14,F21,F23,F32,F34,F41,F43の8個のフィルタ部がGとされ、F11,F13,F31,F33の4個のフィルタ部がRとされ、F22,F24,F42,F44の4個のフィルタ部がBとされている。なお、Gのフィルタ部の数をR,Bのフィルタ部の数の2倍としているのは、人間の目が緑に対して高い感受性を有することに基づく。なお、感受性の低い方を高解像度としても人間の目では認識できない可能性があるが、感受性の高い方を高解像度とすれば人間の目で認識できる可能性が高く、より解像度の高い画像と認識される。このベイヤ配列においては、Gのフィルタが行方向(水平方向)および列方向(垂直方向)にそれぞれ一つ置きに配置されて市松模様状とされ、残りの部分にRのフィルタ部と、Bのフィルタ部が互いに隣接することなく配置されている。

0039

それに対して、本実施の形態のカラーフィルタ3としては、図5(b)に示すように、ベイヤ配列における8個のGのフィルタ部うちの4個をIRとすることにより、Rが4個、Gが4個、Bが4個、IRが4個となるカラーフィルタ3aが含まれる。すなわち、4行4列の基本配列において、R,G,B,IRの4種類のフィルタ部が、それぞれ4つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置され、各列にR,G,B,IRのフィルタ部がそれぞれ1つずつ配置され、1行置きにR,G,B,IRのフィルタ部のうちの2種類のフィルタ部がそれぞれ2つずつ配置されている。

0040

具体的には、F11,F13,F32,F34の4個のフィルタ部がRとされ、F12,F14,F31,F33の4個のフィルタ部がIRとされ、F21,F23,F42,F44の4個のフィルタ部がGとされ、F32,F34,F41,F42の4個のフィルタ部がBとされている。

0041

この場合にGのフィルタ部が減ることにより、人間の目からは解像度が悪くなったように見える虞があるが、IRを含む各色が均等に配置され、補完内挿)処理が容易になる。また、1、2行目と、3,4行目とで、各色の位置が横に一列ずれるように配置されている。言い換えれば、1、2行目と、3,4行目とで、色の配置が左右反転した配置となっている。

0042

このようにすることで、4×4の配置において、各列に各色が1つずつ配置され、1行置きに各色が2つずつ配置されるので、縦方向(垂直方向)より横方向(水平方向)の解像度が高くなり、IRのフィルタ部を設けることによる水平方向の解像度の低下を抑制できる。なお、カラーフィルタ3aには、図5(b)に示すカラーフィルタ3aのパターンを左右反転したもの、上下反転したもの、180回転させたものも含まれる。また、時計回りに90度回転したもの、270度回転したものを含めてもよい。ただし、90度および270度回転したものは、水平方向より垂直方向の解像度が高くなる。

0043

また、カラーフィルタ3では、図5(c)に示すカラーフィルタ3bのように、人間の感受性が高いGを減らさずに、上述のベイヤ配列のカラーフィルタ3xのパターンの4つのBのうちの2つをIRとしてもよい。
このカラーフィルタ3bは、4行4列の基本配列において、R,G,B,IRの4種類のフィルタ部のうちのGのフィルタ部が8つ、Rのフィルタ部が4つ、Bのフィルタ部およびIRのフィルタ部が2つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置されている。

0044

具体的には、カラーフィルタ3bでは、F12,F14,F21,F23,F32,F34,F41,F43の8個のフィルタ部がGとされ、F11,F13,F31,F33の4個のフィルタ部がRとされ、F22,F44の2個のフィルタ部がBとされ、F24,F42の2個のフィルタ部がIRとされている。この場合、ベイヤ配列よりBの解像度が劣るがG、Rは、ベイヤ配列と同様の解像度となる。なお、カラーフィルタ3bには、図5(c)に示すカラーフィルタ3bのパターンを左右反転したもの、上下反転したもの、180回転させたものも含まれる。また、時計回りに90度回転したもの、270度回転したものは、左右反転したもの、上下反転したものと同じパターンとなる。

0045

また、IRの解像度を上げるために、図5(d)に示すカラーフィルタ3cのようにGを減らさずに、上述のベイヤ配列のカラーフィルタ3xのパターンの4つのBのうちの2つをIRとし、4つのRのうちの2つをIRとしてもよい。すなわち、カラーフィルタ3cは、4行4列の基本配列において、R,G,B,IRの4種類のフィルタ部のうちのGのフィルタ部が8つ、IRのフィルタ部が4つ、Rのフィルタ部およびBのフィルタ部が2つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置されている。

0046

より具体的には、図5(d)に示すように、カラーフィルタ3cでは、F12,F14,F21,F23,F32,F34,F41,F43の8個のフィルタ部がGとされ、F11、F33の2個のフィルタ部がRとされ、F22、F44の2個のフィルタ部がBとされ、F13,F24,F31,F42の4個のフィルタ部がIRとされている。この場合には、RとBの解像度はベイヤ配列より低下するが、Gの解像度は維持され、IRの解像度を確保することができる。なお、カラーフィルタ3cには、図5(d)に示すカラーフィルタ3bのパターンを左右反転したもの、上下反転したもの、180回転させたものも含まれる。また、時計回りに90度回転したもの、270度回転したものは、左右反転したもの、上下反転したものと同じパターンとなる。

0047

カラーフィルタ3のRのフィルタ部、Gのフィルタ部およびBのフィルタ部は、それぞれ周知のフィルタを用いることができる。本実施の形態におけるRのフィルタ部、Gのフィルタ部およびBのフィルタ部の透過率スペクトルは、図2図3および図4のグラフに示すようになっている。図2図3および図4には、カラーフィルタ3の赤(R)、緑(G)、青(B)、赤外(IR)の各フィルタの透過率スペクトルが示されており、縦軸が透過率を示し、横軸が波長となっている。グラフにおける波長の範囲は、可視光帯域と近赤外帯域の一部を含むもので、例えば、300nm〜1100nmの波長範囲を示している。

0048

例えば、Rのフィルタ部は、グラフのR(二重線)に示すように、波長600nmで略最大の透過率となり、その長波長側は、1000nmを超えても透過率が略最大の状態が維持された状態となる。

0049

Gのフィルタ部は、グラフのG(間隔の広い破線)に示すように、波長が540nm程度の部分に透過率極大となるピークを有し、その長波長側の620nm程度の部分に、透過率極小となる部分がある。また、Gのフィルタ部は、透過率極小となる部分より長波長側が上昇傾向となり、850nm程度で透過率が略最大となる。それより長波長側では、1000nmを超えても透過率が略最大となった状態となっている。Bのフィルタ部は、グラフのB(間隔の狭い破線)に示すように、波長が460nm程度の部分に透過率が極大となるピークを有し、その長波長側の630nm程度の分部に、透過率が極小となる部分がある。また、それより長波長側が上昇傾向となり、860nm程度で透過率が略最大となり、それより長波長側では、1000nmを超えても透過率が略最大となった状態となっている。IRのフィルタ部は、780nm程度から短波長側の光を遮断し、1020nm程度から長波長側の光を遮断し、820nm〜920nm程度の部分が透過率が略最大となっている。

0050

R,G,B,IRの各フィルタ部の透過率スペクトルは、図2等に示すものに限られるものではないが、現在、一般的に使用されているカラーフィルタ3では、これに近い透過率スペクトルを示すと思われる。なお、透過率を示す横軸の1は、光を100%透過することを意味するものではなく、カラーフィルタ3において、例えば、最大の透過率を示すものである。

0051

カバーガラス4は、センサ本体2およびカラーフィルタ3を覆って保護するものである。
DBPF5は、ここでは、カバーガラス4に成膜された光学フィルタである。DBPF5は、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である第2の波長帯域に透過特性を有する光学フィルタである。

0052

すなわち、図2のグラフに示すように、DBPF5は、グラフでDBPF(実線)に示すように、DBPF(VR)で示す可視光帯域と、可視光帯域に対して長波長側の少し離れた位置のDBPF(IR)で示す赤外帯域(第2の波長帯域)の2つの帯域の透過率が高くなっている。また、可視光帯域の透過率の高い帯域としてのDBPF(VR)は、例えば、370nm〜700nm程度の波長帯域となっている。また、赤外側で透過率が高い第2の波長帯域としてのDBPF(IR)は、例えば、830nm〜970nm程度の帯域となっている。

0053

本実施の形態では、上述のカラーフィルタ3の各フィルタ部の透過率スペクトルと、DBPF5の透過率スペクトルの関係が以下のように規定されている。
すなわち、DBPF5の透過率スペクトルの赤外光を透過する第2の波長帯域となるDBPF(IR)は、Rのフィルタ部、Gのフィルタ部、Bのフィルタ部の全てが最大の透過率となって各フィルタ部で透過率が略同じとなる図2に示す波長帯域A内に含まれ、かつ、IRのフィルタ部の略最大の透過率で光を透過する波長帯域B内に含まれるようになっている。

0054

ここで、R,G,Bの各フィルタ部の透過率が略同じになる波長帯域Aとは、各フィルタ部の透過率の差が透過率で10%以下である部分とする。
なお、この波長帯域Aより短波長側では、透過率が略最大のRのフィルタ部に対して、G、Bのフィルタ部の透過率が低くなる。DBPF5では、このR,G,Bの各フィルタ部の透過率に差がある部分が、可視光帯域の透過率が高い部分であるDBPF(VR)と、赤外光帯域の第2の波長帯域の透過率の高い部分であるDBPF(IR)との間のDBPF5の光を略遮断する透過率が極小となる部分に対応する。すなわち、赤外側では、R,G,Bの各フィルタ部の透過率の差が大きくなる部分の光の透過がカットされ、それより長波長側で各フィルタ部の透過率が略最大となって透過率が略同じになる波長帯域Aで光を透過するようになっている。

0055

以上のことから、本実施の形態において、赤外光カットフィルタに代えて用いられるDBPF5では、可視光帯域だけではなく、赤外光側の第2の波長帯域にも光を透過する領域があるため、可視光によるカラー撮影に際して、第2の波長帯域を通過した光の影響を受けることになるが、上述のように第2の波長帯域がR,G,Bの各フィルタ部で透過率が異なる部分の光を透過せず、各フィルタ部の透過率が略最大となって略同じ透過率となる波長帯域の光だけを透過するようになっている。

0056

また、DBPF5の第2の波長低域においては、IRのフィルタ部で透過率が略最大となる部分の光を透過するようになっている。したがって、略同じ光が照射される極めて近接した4つの画素にR,G,B,IRのフィルタ部がそれぞれ設けられていると仮定した場合に、第2の波長帯域においては、Rのフィルタ部、Gのフィルタ部、Bのフィルタ部、IRのフィルタ部で略同様に光が通過することになり、赤外側の光としては、IRを含む各フィルタ部で略同じ光量の光が撮像センサ本体の上述の画素のフォトダイオードに至ることになる。すなわち、R,G,Bの各フィルタを透過する光のうちの赤外側の第2の波長帯域を通過する光の光量は、IRのフィルタ部を通過する光の光量と同様となる。上述のように仮定した場合に、基本的にR,G,Bの各フィルタを透過した光を受光したセンサ本体2からの上述のように仮定された画素の出力信号とIRのフィルタを通過した光を受光したセンサ本体2からの上述のように仮定された画素の出力信号との差分が、各R,G,Bのフィルタ部で通過した赤外側の光をカットしたR,G,Bそれぞれの可視光部分の出力信号となる。

0057

実際には、カラーフィルタ3(3a,3b,3c)の各パターンに示したように、センサ本体2の各画素にR,G,B,IRのいずれか1つのフィルタ部が配置されることになり、各画素に照射される各色の光のそれぞれの光量が異なるものとなる可能性が高いので、例えば、各画素において、周知の内挿法補間法)を用いて、各画素の各色の輝度を求め、この補間された各画素のR,G,Bの輝度と、同じく補間されたIRの輝度との差分をそれぞれR,G,Bの輝度とすることが可能である。なお、R,G,Bの各色の輝度から赤外光成分を除く画像処理方法は、これに限られるものではなく、最終的にR,G,Bの各輝度から第2の波長帯域を通過した光の影響をカットできる方法であれば、いずれの方法を用いてもよい。いずれの方法においても、DBPF5が、赤外側でR,G,Bのフィルタ部の透過率が10%より異なる部分、すなわち、透過率が所定割合より異なる部分をカットしているので、各画素において、赤外光の影響を除く処理が容易となる。

0058

また、この撮像センサ1の用途としては、カラー撮影と、赤外光撮影との両方が可能な撮像装置において、撮像センサとして用いることである。一般的には、通常の撮影をカラー撮影で行い、夜間に可視光の照明を用いることなく、人間には認識困難な赤外光の照明を用いて赤外撮影することが考えられる。例えば、各種監視カメラ等において、夜間照明を必要としないか、夜間照明されないことが好ましい場所での夜間撮影に際し、赤外光照明を用いた赤外光による夜間撮影を行うことが考えられる。また、野生動物の観察のための昼間の撮影と夜間の撮影などの用途にも用いることができる。

0059

赤外光撮影を夜間撮影として用いる場合には、赤外光であっても可視光と同様に、夜間は光量が不足するので、赤外光照明が必要となる。図3に示すDBPF5の透過率スペクトルは、R,G,B,IRの各フィルタ部の透過率スペクトルと、赤外光照明用の光、例えば、照明用赤外光LEDの発光スペクトルを考慮して決定されたものである。図3では、図2と同様の各色のフィルタ部の透過率スペクトルR,G,B,IRと、DBPF5の透過率スペクトルDBPFに加えて、LED照明の発光スペクトルIR−lightが図示されている。

0060

図3に示すDBPFの赤外光を透過する部分であるDBPF(IR)で示す第2の波長帯域は、図2に示すDBPFと同様に、Rのフィルタ部、Gのフィルタ部、Bのフィルタ部の全てが略最大の透過率となって各フィルタ部で透過率が略同じとなる図2に示す波長帯域A内に含まれ、かつ、IRのフィルタ部の最大の透過率で光を透過する波長帯域B内に含まれるようになっている。

0061

それに加えて、上述の波長帯域Aと波長帯域Bとの両方に含まれる赤外光照明の発光スペクトルのピークとなる波長帯域の略全体がDBPF(IR)の波長帯域に含まれるようになっている。なお、赤外光撮影を夜間の自然光ではなく、赤外光照明下で行う場合にDBPF(IR)で示す第2の波長帯域が赤外光照明の光学スペクトルピーク幅より広い必要はなく、赤外光照明のスペクトルが上述の波長帯域Aおよび波長帯域Bの両方に含まれる場合に、赤外光照明の発光スペクトルの例えば860程度を頂点とするピークのピーク幅と略同様のピーク幅で第2の波長帯域としてDBPF(IR)で示されるDBPF5の透過率のピーク部分を設けてもよい。

0062

すなわち、図3においては、IR−lightで示す赤外光照明の発光スペクトルにおけるピークが上述の波長帯域Aおよび波長帯域Bの短波長側にあり、DBPF(IR)で示すDBPFの第2の波長帯域が波長帯域Aおよび波長帯域Bの短波長側部分のIR−lightにおける発光スペクトルのピークと略重なるようになっている。

0063

また、図4に示すグラフも、図3に示すフラフと同様に、図2に示すグラフに赤外光照明の発光スペクトルを加えるとともに、DBPF5の透過率スペクトルの赤外側の透過率が高い部分であるDBPF(IR)で示す第2の波長帯域を上述の赤外光照明のIR−lightで示す発光スペクトルのピークに合わせたものである。

0064

図4においては、赤外光照明として、図3に示す場合よりも発光スペクトルのピークの波長が長いものを用いており、このピークは、上述の波長帯域Aおよび波長帯域Bに含まれるとともに、波長帯域Aおよび波長帯域Bの長波長側に存在する。それに対応してDBPF5のDBPF(IR)で示す第2の波長帯域が上述の波長帯域Aおよび波長帯域B内で赤外照明のIR−lightで示されるピークと略なるように設けられている。

0065

なお、DBPF5の第2の波長帯域は、図2図3図4のいずれに示すものであってもよく、第2の波長帯域が上述の波長帯域Aと波長帯域Bとの両方に含まれていればよい。また、夜間の赤外光撮影で用いられる赤外光照明の発光スペクトルのピークとなる波長帯域が決まっている場合に、その波長帯域を上述の波長帯域Aと波長帯域Bの両方に含まれるようにするとともに、赤外光照明の発光スペクトルのピークにDBPF5の第2の波長帯域を合わせることが好ましい。

0066

このような撮像センサにあっては、DBPF5の赤外側で光を透過する第2の波長帯域が、R,G,B,IRの各フィルタ部の赤外側で、各フィルタ部の透過率が略最大となって、各フィルタ部の透過率が略同じと波長帯域Aに含まれるとともに、IRのフィルタ部の透過率が略最大となる波長帯域Bに含まれる。言い換えれば、可視光帯域より長波長側で、R,G,Bの各フィルタの透過率がRのフィル部だけ略最大となって、G、Bのフィルタ部は透過率が略最大となっていないことにより、R,G,Bの各フィルタ部の透過率が略同じとならずに異なる部分の光は、DBPF5によりカットされる。

0067

すなわち、R,G,B,IRの各フィルタ部では、赤外側で第2の波長帯域の光が透過するようになっていることから各フィルタ部における赤外側の透過率が全て略同じとなり、第2の波長帯域となる光が同じ光量で照射されれば、R,G,B,IRの各フィルタ部における透過光量が同じになる。これにより、上述のようにR,G,Bの各フィルタ部に対応する画素からの出力信号に基づく色を補正し、カラー撮影時の色の第2の波長帯域を通過する赤外光による影響を抑制した画像を容易に得ることができる。

0068

また、第2の波長帯域を上述の波長帯域Aと波長帯域Bに含まれる赤外光照明の発光スペクトルのピークに対応させることにより、赤外光照明の光を効率的に用いられるとともに、第2の波長帯域の幅を狭めて、カラー撮影時に、第2の波長帯域を通過する赤外光の影響を小さくすることができる。

0069

図6は、本実施の形態の撮像センサ1を用いた撮像装置10を示すものである。撮像装置10は、撮影用のレンズ11と、DBPF5を備えた撮像センサ1と、撮像センサ1から出力される出力信号13を処理して、上述の内装処理や、カラー撮影時の第2の波長帯域を通過した赤外光の影響を除去する画像処理や、ガンマ補正や、ホワイトバランスや、RGBマトリックス補正等の画像処理を画像信号に施す信号処理部(信号処理デバイス)12とを備える。画像処理部からは可視カラー画像の出力信号14と、赤外光画像の出力信号15が出力可能になっている。

0070

レンズ11は、撮像装置10の撮像センサ1上に像を結ぶ光学系を構成するものである。レンズ11は、例えば、複数のレンズから構成されている。

0071

図7は、撮像装置10の信号処理部12における信号処理をブロック図で示したものである。R,G,B,IRの各画素の出力信号は、各内装処理ブロック21r、21g、21b、21irに送られる。各内装処理ブロック21r、21g、21b、21irでは、例えば、図8に示すように、上述のカラーフィルタ3bの場合に、内挿処理補間処理)により各フレーム毎の画像データにおいて、それぞれ、全ての画素が赤Rで表された画像データ20r、全ての画素が緑Gで表された画像データ20gと、全ての画素が青Bで表された画像データ20bと、全ての画素が赤外IRで表された画像データ20irとするようにR,G,B,IRの信号を変換する。なお、内挿処理方法は、周知の方法を用いることができる。

0072

次に、赤外光除去信号作成ブロック22r、22g、22b、22irにおいて、上述の第2の波長帯域から受光される赤外光の影響を除去するために、R,G,Bの各色の信号から減算する信号をIRの信号から生成する。この赤外光除去信号作成ブロック22r、22g、22bでR,G,B毎に作成された信号を、R,G,Bの各色の信号から減算する。この場合に、上述のように同じ画素では、基本的にR,G,Bの各信号からIRの信号を除去すればいいので、処理が容易になる。実際には、各画素のフィルタ部の特性等により各色の画素毎に感度が異なるので、R,G,Bの各画像毎にR,G,Bの各信号から減算する信号をIRの信号から作成する。

0073

次に、R,G,Bの各信号は、画像処理ブロック23において、行列式を用いてR,G,Bの各信号を変換して色を補正する周知のRGBマトリックス処理と、画像で白となる部分でR,G,Bの各信号の出力値が同じとなるようにする周知のホワイトバランス処理、ディスプレイ等への画像出力のための補正である周知のガンマ補正を行う。次いで、輝度マトリックスブロック24において、R,G,Bの各色の信号に係数乗算して輝度Yの信号を生成する。また、青Bの信号と、赤Rの信号から輝度Yの信号を除算することにより、R−YとB−Yの色差信号を算出し、Y、R−Y、B−Yの信号を出力する。
また、IRの信号は、基本的に白黒グラディエーションの画像として出力される。

0074

このような撮像装置10では、上述の撮像センサ1で説明したように、カラー画像から赤外光の影響を除去する画像処理を容易に行うことができ、色再現性に優れた可視のカラー画像を得られる。また、このような撮像装置の開発コストの低減を図ることができる。
上述のように、可視光撮影における画像処理により第2の波長帯域を通過した赤外光の影響をカットする際に、R,G,Bの各フィルタ部の互いに透過率が大きく異なる部分は、DBPFにより物理的にカットされていることになり、画像処理では、R,G,Bの各フィルタ部の赤外側で透過率が略最大となった部分のIR光をカットする処理を行えばいいことになる。この場合に、画像処理が容易になり、従来の赤外光カットフィルタを用いた場合と同様の色再現性を有するカラー画像データを得ることが可能となる。

0075

例えば、R,G,Bの各フィルタ部を通過してフォトダイオードに至る光は、可視光域の各フィルタ部を透過した可視光と、R,G,Bの各フィルタ部で同様となるとともに、IRのフィルタ部で同様となる第2の波長帯域を通過した赤外光となる。したがって、撮像センサ1のR,G,Bの内挿処理後の各出力信号から、例えば、各色のフィルタ部に基づく感度等の特性に合わせて補正した内挿処理後のIRの出力信号を減算することにより、赤外カットフィルタを用いた場合に近い色再現性を得ることができる。

0076

なお、光を透過する第2の波長帯域に、R,G,Bの各フィルタ部での透過率に透過率で10%より大きな差がある波長帯域が含まれると、実質的に各フィルタ部を通過した光からカットすべき赤外光の量を求めることが困難になり、赤外光カットフィルタを用いた場合と同様の色再現性を有する画像データを画像処理で得ることが困難である。

0077

次に、本発明の第2の実施の形態の撮像装置を説明する。
図9に示すように第2の実施の形態の撮像装置10aは、撮像センサ1にDBPF5を設けるのではなく、レンズ11にDPBFを設けたものである。
撮像装置10aは、DBPF5を備えた撮影用のレンズ11と、撮像センサ1と、撮像センサ1から出力される出力信号13を処理して、上述の内装処理や、カラー撮影時の第2の波長帯域を通過した赤外光の影響を除去する画像処理や、ガンマ補正や、ホワイトバランスや、RGBマトリックス補正等の画像処理を画像信号に施す信号処理部12とを備える。画像処理部からは可視のカラー画像の出力信号14と、赤外光画像の出力信号15が出力可能になっている。

0078

DBPF5とカラーフィルタ3は、第1の実施の形態のDBPF5とカラーフィルタ3と同様のものであり、カラーフィルタ3のR,G,B,IRの各フィルタ部の透過率と、DPBF5の第2の波長帯域DBPF(IR)の関係も第1の実施の形態と同様になっている。したがって、第1の実施の形態と異なり、レンズ11にDBPF5が設けられていても、第1の実施の形態の撮像装置10と同様の作用効果を奏することができる。なお、DBPF5は、撮像装置10aの光学系に設けられ、撮像センサ1に至る光に対して、可視光帯域(DBPF(VR))と、赤外側の第2の波長帯域(DBPF(IR))との光を透過させ、可視光帯域の短波長側と、第2の波長帯域の長波長側と、可視光帯域と第2の波長帯域との間の波長帯域とで光を遮断するようになっていればどこに設けられていてもよい。

0079

次に、本発明の第3の実施の形態の撮像センサおよび撮像装置を説明する。第3の実施の形態の撮像センサ1および撮像装置は、カラーフィルタ3の一部の構成と、RGBの各信号からのIR成分除去方法が異なるものとなっているが、その他の構成は第1の実施の形態と同様となっており、以下にカラーフィルタ3と、IR成分の除去方法について説明する。

0080

本実施の形態において、カラーフィルタ3e(RGBCの構成1)は、例えば、図10に示すように、上述のベイヤ配列のカラーフィルタ3xのパターンの4つのBのうちの2つをCとし、4つのRのうちの2つをCとし、8つのGのうちの4つをCとしている。すなわち、カラーフィルタ3eは、4行4列の基本配列において、R,G,B,Cの4種類のフィルタ部のうちのGのフィルタ部が4つ、Cのフィルタ部が8つ、Rのフィルタ部およびBのフィルタ部が2つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置されている。したがって、8つ配置されるCのフィルタ部は市松模様となるように配置される。ここで、Cとは、クリアなフィルタ部として素通しの状態を示すもので、基本的に可視光帯域から近赤外の波長帯域まで透過特性を有するものとなっており、ここでは、可視光帯域においてC=R+G+Bとしている。なお、クリアとなるCは、RGBの3色が透過することから白色光、すなわちホワイト(W)ということができ、C=W=R+G+Bとなる。したがって、Cは、可視光帯域の略全波長帯域の光量に対応することになる。

0081

ここで、図11のカラーフィルタ3eおよびDBPF5の透過率スペクトル(分光透過特性)を示すグラフに示すように、R、G、Bの各フィルタ部で可視光帯域の長波長側では透過特性があり、クリアなフィルタ部であるCのフィルタ部においても可視光帯域の長波長側で光が透過するようにうなっている。これに対してDBPF5を用いることにより、第1の実施の形態と同様に、可視光帯域より長波長側を透過する赤外を第2の波長帯域となるように制限することになり、R、G、B、Cのフィルタ部とDBPF5を通過する光量がR、G、B、Cの各フィルタ部でほぼ同じ(近似)になり、可視光帯域では、R、G、B、Cの各フィルタ部の波長に応じた透過特性が異なる。

0082

なお、第1および第2の実施の形態においても、可視光帯域より長波長側を透過する赤外を第2の波長帯域となるように制限することになり、R、G、B、IRのフィルタ部とDBPF5を通過する光量がR、G、B、IRの各フィルタ部でほぼ同じになり、可視光帯域では、R、G、B、IRの各フィルタ部の波長に応じた透過特性が異なる。

0083

これにより、第3の実施の形態においても、各画素のIR補正を精度良く行い、色再現性が高い可視画像の生成が可能になる。すなわち、第1の実施の形態のように可視光帯域の略全波長域に遮断特性を有し、可視光帯域より長波長側の赤外に透過特性を有する上述のIRのフィルタ部を備えなくても、Cのフィルタ部を備えることにより、IR信号を下記の式で計算できる。

0084

以下の説明で、C(W)、R、G、B、IRは、撮像センサ1からの出力信号のレベルを示すが、C(W)、R、G、Bは、可視光帯域のレベルを示し、赤外成分を含まないものとする。
ここで、カラーフィルタ3eをC=W≒R+G+Bと設計し、RGBの各信号から除去すべきIR信号をIR’とすると、
IR’=((R+IR)+(G+IR)+(B+IR)−(C+IR))/2=IR+(R+G+B−C)/2
IR’≒IRとなる。なお、IRは計測等により求められる実際の値を示し、IR’は、計算により求められる値を示す。 各フィルタより、IR’を減算することにより、IR補正ができる。
すなわち、
Rフィルタ(R+IR):
R’=(R+IR)−IR’=R−(R+G+B−C)/2
Gフィルタ(G+IR):
G’=(G+IR)−IR’=G−(R+G+B−C)/2
Bフィルタ(B+IR):
B’=(B+IR)−IR’=B−(R+G+B−C)/2
C(=W)フィルタ(W+IR):
W’=(C+IR)−IR’=C−(R+G+B−C)/2
となる。

0085

これにより、カラーフィルタ3において、IRのフィルタ部に代えてクリアなCのフィルタ部を用いてもDBPF5により各フィルタ部のIRの透過率を近似させることができ、上述のようにIR成分を求めて、これを各フィルタ部の信号から取り除くことで、色再現性を向上することができる。

0086

なお、このような計算は、上述のように内挿法により、例えば、各画素で、R+IR、G+IR、B+IR、C+IRを求め、各画素で上述の計算を行うことになる。なお、C=W≒R+G+Bと設計するものとしたが、必ずしも略正確にこの式に一致する必要はなく、近似していれば、誤差やその他の要によりずれがあってもよく、例えば、10%程度のずれがあってもよい。

0087

また、Cについては、R+G+Bとなることで、画素の受光量が多く飽和し易くなることから、Cのフィルタ部において、可視光帯域における受光量を下げたり、赤外の波長帯域と可視光帯域とを含む波長帯域に渡って受光量を下げたり、各画素における画素を構成する素子部において、受光量に対して蓄積される電荷を減少させたりしてもよい。その際には、それに応じて上述の式を変更する必要がある。

0088

なお、図12は、R、G、B、Cのカラーフィルタの別の配列を示すもので、2×2の配列において、R、G、B、Cが均等に1つずつ配置されたものである。
また、従来のR、G、Bのベイヤ配列の場合に、図13に示すように、2×2の配列中では、R,Bが1つずつ配置されるとともにGが2つ配置される。
また、この従来のCやIRを含まない配列のうちの1つのGをIRに変更したR、G、B、IRのカラーフィルタの2×2の配列は、図14に示すように、R、G、B、IRが1つずつ配置された配列となる。

0089

このようなカラーフィルタとして、図10に示すRGB—Cの構成1、図12に示すRGB—Cの構成2、図13に示す従来のRGB配列(ベイヤ配列)、図14に示すRGB—IR配列の一例では、図15に示すような特性の違いがある。なお、Cは、RGB等の色の情報を含まないが、光量として輝度の情報を含むものである。
したがって、RGB−C(構成1)センサは、Cの市松配置により、輝度解像度は高いが、RGBの画素がまばらであり、
かつ、非対称な配置になるため、解像度が低く、モアレが生じやすい。但し、色信号は、輝度信号に対して、求められる解像度は、1/2以下であり低いので、問題ない。また感度が高い。

0090

RGB−C(構成2)は、従来のRGBセンサと輝度解像度、色解像度は、同程度であり、感度はRGBセンサより高い。RGB−IRセンサは、可視光帯域に透過特性を持たないIRを設けていることで、RGBセンサより、感度が低く、輝度の解像度も低くなる。
すなわち、上述の第1の実施の形態および第2の実施の形態のIRを有するカラーフィルタより、Cを有するカラーフィルタの方が、解像度や感度で有利になる可能性が高い。

0091

図16は、図9の信号処理部12における信号処理をブロック図で示したものである。撮像センサ1として、上述のRGB−Cのカラーフィルタ3eを備えたRGB−Cセンサ1を備えるとともに、光学系を構成するレンズ11と、DBPF5を備えている。
RGB−Cセンサ1からR+IR、G+IR、B+IR、C+IRの信号が色分離、IR分離、IR補正を行う分離デバイス51に入力され、内挿処理とIR補正等により、各画素において、R、G、B、W、IRの各信号が求められて出力される。この処理は、上述の式を用いた演算に基づいて行われる。

0092

分離デバイス51から出力されるR、G、B、W、IR信号のうちのR,G、Bの各信号が色マトリクスデバイス52に送られ、周知のRGBマトリックス補正等が行われ、RGBの信号が出力される。また。分離デバイス51からのR、G、B、W、IR信号は、輝度生成デバイス53に送られ、設定された輝度を求める式に基づいて、各信号から輝度信号を生成する。

0093

色マトリクスデバイスから出力されたRGB信号は、ガンマ処理および色差生成デバイス54に入力されて、周知のガンマ処理が施されるとともに、色差信号として、例えば、B−YおよびR−Y信号が生成される。また、分離デバイス51およびRGB−Cセンサ1から出力された信号は、BPF(バンドパスフィルタ)55を介して、所定の波長帯域の信号として、ノイズ低減デバイス56でノイズを低減された後に、輝度生成デバイス53から出力される輝度信号とともにエンハンス処理デバイス57で増幅されて、ガンマ処理デバイス58でのガンマ処理を経て輝度・色差信号の輝度信号(Y信号)として出力される。
また、分離デバイス51から出力されるIR信号は、エンハンス処理デバイス59、ガンマ処理デバイス60を経てIR信号として出力される。なお、画像信号の処理においては、後述のクリップ処理が行われるようになっており、クリップ処理については後述する。

0094

次に、本発明の第4の実施の形態の撮像センサおよび撮像装置を説明する。第4の実施の形態は、カラーフィルタの各色を一般化したものであり、本発明のカラーフィルタがRGB−IRやRGB−Cに限定されるものでないことを示すものである。以下に、一般化した4色のフィルタ部を持つカラーフィルタを備えた撮像センサにおけるIR成分の除去方法を説明する。なお、4色(4種類)のフィルタ部は、基本的に可視光帯域における波長に応じた透過特性が異なり、かつ、上述のDBPFの第2の波長帯域が含まれる波長帯域に、可視光帯域より長波長側の他のフィルタ部との透過率の差が10%以下となる第3の波長帯域を備え、この第3の波長帯域に、DBPF5の第2の波長帯域が含まれるものとなっている。これにより、カラーフィルタとDPBF5とを用いた場合に、可視光帯域より赤外側の波長に応じた透過特性が各色のフィルタ部で近似することになる。

0095

さらに、4種類の画素のフィルタ配置において、カラーフィルタを下記の条件で、設計するとIRを分離できる。
フィルタ配置は、図17に示すように2×2の配置において、4類のフィルタ部A、B、C、Dが1つずつ備えられることが好ましい。
また、可視の波長帯においてなるべく下記の関係が成り立つようにA,B,C,Dの各フィルタ部を設計することが好ましい。
すなわち、可視光帯域において、
KaA+KbB+KcC+KdD≒0
とする。なお、A,B,C,Dは、各フィルタ部の可視光帯域の撮像センサ1からの出力信号のレベルを示すものである。

0096

可視光帯域より長波長側のIR領域は、IRの透過率が、A、B、C、Dの各フィルタ部の上述の第3の波長帯域で略一定となるものとする。なお、IRの透過率が、A、B、C、Dの各フィルタ部で、あるIR透過率の略整数倍になるものであってもよい。このように設計すると(ここでは、IRの透過率が上述のように一定とする)、
Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR)≒IR(Ka+Kb+Kc+Kd)
であるから、IR信号は、
IR’=(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)
により計算できる。
下記の計算により、A,B,C,Dの各画素に含まれるIR成分を補正できる。
A’=(A+IR)−(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)=A−(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)
B’=B+IR−(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)=B−(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)
C’=C+IR−(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)=C−(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)
D’=D+IR−(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)=D−(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)
ここで、誤差分は、
(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)である。この誤差分は、RGBマトリクスにおいて補正ができる。
実際、各フィルタ部についてのIR成分の透過率は、多少異なるため、下記のとおり、係数補正した信号で補正する。

0097

A’=A+IR*KIRa−KIRa(Ka(A+IR*KIRa)+Kb(B+IR*KIRb)+Kc(C+IR*KIRc)+Kd(D+IR*KIRd)) /(Ka*KIRa+Kb*KIRb+Kc*KIRc+Kd*KIRd)

0098

B’=B+IR*KIRb−KIRb(Ka(A+IR*KIRa)+Kb(B+IR*KIRb)+Kc(C+IR*KIRc)+Kd(D+IR*KIRd)) /(Ka*KIRa+Kb*KIRb+Kc*KIRc+Kd*KIRd)

0099

C’=C+IR*KIRc−KIRc(Ka(A+IR*KIRa)+Kb(B+IR*KIRb)+Kc(C+IR*KIRc)+Kd(D+IR*KIRd))/(Ka*KIRa+Kb*KIRb+Kc*KIRc+Kd*KIRd)

0100

D’=D+IR*KIRd−KIRd(Ka(A+IR*KIRa)+Kb(B+IR*KIRb)+Kc(C+IR*KIRc)+Kd(D+IR*KIRd)) /(Ka*KIRa+Kb*KIRb+Kc*KIRc+Kd*KIRd)

0101

なお、DBPFを使った時の各フィルタの分光透過特性は、図11に示すようになる。なお、フィルタ部の例としては、R+IR、G+IR、B+IR、C+IRとなる4種類のフィルタ部を使った例であるが、IRの部分が一定または互いに整数倍の関係となり、KaA+KbB+KcC+KdD≒0となるようにカラーフィルタが設計されていれば、各フィルタ部は、R+IR、G+IR、B+IR、C+IRに限られるものではない。

0102

図18に、Bのフィルタ部とDBPF5を合わせた分光透過を示し、図19に、Gのフィルタ部とDBPF5を合わせた分光透過を示し、図20に、Bのフィルタ部とDBPF5を合わせた分光透過を示し、図21に、C(W)のフィルタ部とDBPF5を合わせた分光透過を示す。

0103

各分光透過特性は、上述の各式に示すように、可視のR透過域、可視のG透過域、可視のB透過域、IR透過領域の4つの透過率を足し合わせたものになっている。このことから、4種類以上のフィルタの値から、各可視のR透過域、可視のG透過域、可視のB透過域、IR透過領域の信号値を計算できる。なお、分光透過特性は、上述の各あ、B、C、Dの各分校透過特性を示す式に基づいて決定され。これらのうちの二つのフィルタの分光透過特性の組み合わせから6通り決定される。

0104

次に、本発明の第5の実施の形態を説明する。
可視光帯域の信号と、それより長波長側の赤外の信号を出力する撮像センサ1をスマートフォン等に搭載する場合に、スマートフォン側では、撮像センサ1からの信号を処理する回路が、メイン演算処理装置として機能するSOC(System On Chip)上にある場合に、撮像センサから出力されるRGBの信号が上述のようにIR成分を含み、このIR成分を除去するような処理を必要とすると、SOCの設計変更を余儀なくされる可能性がある。また、スマートフォンにSOC以外に上述のIR補正を行う回路を設ける必要が生じる。これらの場合に、可視光と赤外の両方の画像信号を出力可能な撮像センサのスマートフォン等の機器への導入に際して、撮像センサ以外の部分でもコストの増加が生じてしまう。

0105

そこで、本実施の形態では、撮像センサ1からの可視光帯域から出力される画像信号を従来と同様の信号とする回路を撮像センサに組み込んだものである。図22に示すように、撮像センサ101は、上述の撮像センサ1と略同様の構成となる撮像部102と、IR補正・分離回路103を備えるものとなっており、IR補正・分離回路103からは、例えば、可視のRGB信号と、IR信号が出力される。なお、IR補正・分離回路103は、後述の信号レベルのクリップに係わる処理行う回路を含む。

0106

この場合に、RGB信号とIR信号を出力するため、撮像センサ101のピン数が増加するが、CSI−2などのシリアル出力規格で出力することにより、ピン数の増加を抑えることができる。ここで、可視のRGB信号は、RGBGのベイヤ配列の撮像センサのRAW信号出力、または、YUYV(YCb、YCr)信号として出力する。また、IR信号を単色の信号として出力することにより、スマートフォンやフューチャフォンのSOCを変更することなく、RGB−IRセンサ、RGB−Cセンサにより、可視と近赤外の同時撮像活用できる。

0107

撮像センサ101の構造は、例えば、図23に示すように積層型スタック構造となり、例えば、1枚の基板110上にIR補正・分離回路103を構成する集積回路チップを搭載するとともに、その上に重ねて、撮像部102を構成するチップが配置される。撮像部102の上にはカバーガラス111が配置されている。基板110の底面には、半田ボール115が配置されている。

0108

また、図24に示すように、撮像センサ101の構造は、2枚の基板110を上下に間隔をあけて上下に重ねて配置し、下の基板110上にIR補正・分離回路103のチップを配置し、上の基板110上に撮像部102のチップを配置し、その上にカバーグラス111を配置するようになっていてもよい。

0109

現在、積層のスタック構造で、小型のパッケージを実現することが可能である。すなわち、IR補正・分離回路103と撮像部102を上述のように上下に積層して、1パッケージのセンサとすることは可能である。この方法でも、1パッケージで、IR補正・分離回路を内蔵する撮像センサ101を実現することができる。このように、補正分離回路を内蔵しなくても、小型の可視/近赤外光の同時撮像が可能で、スマートフォンなどに活用できる小型のセンサを実現できる。スマートフォンでは、IRセンサにより虹彩認証などの生体認証、3Dキャプチャなどの機能をもち、かつ、可視の動画静止画の撮像を、1つのセンサで実現できる。

0110

すなわち、赤外センサを用いて、生体認証等を行う場合には、例えば、赤外センサをカメラと別に設置することが考えられるが、この場合に新たな赤外センサの追加により、コストアップスペース効率の悪化等が考えられるがこれらを抑制することができる。

0111

図25に、IR補正+内挿によるRGBのベイヤ配置と同様の信号出力の模式図を示す。水平垂直走査で、R、IR、R、IR、・・・/G、B、G、B、・・・と線順次で、R/IRとG/Bが出力され、この信号に対して、IR補正/IR分離を行い、また、IRの画素の位置は、近傍のG信号より内挿してG’信号を生成して、R、G’、R、G’、・・・/G、B、G、B、・・・と線順次で、可視のR/G’とG/B信号、および、分離したIR信号を出力する。可視のR/G’とG/B信号は、従来のRGBのベイヤ配列のセンサの出力形式と同じであるため、信号処理側では、従来と同じ信号処理回路で処理を行うことができる。また、IR信号は、そのまま、単色の信号であるため、信号処理部では、やはり、通常の白黒信号の処理で処理が可能である。

0112

以上の構成により、従来の信号処理回路で、処理回路の変更を最少にして、RGB−IRセンサの出力を処理することができ、また、スマートフォンなどで、スペースの増加なく、IR撮像による生体認証、3Dキャプチャなどの新規の機能を実装することが可能となる。

0113

また、以上は、RGB−IRセンサについて、説明したが、RGB−Cセンサを使う可視/近赤外同時撮像においても、IR補正分離の回路をセンサに内蔵して、従来のRGBのベイヤ配列のセンサの出力形式の可視信号と、IR信号を出力するように構成することにより、同様の効果を得ることができる。

0114

次に、本発明の第6の実施の形態を説明する。
図26に示すように、本実施の形態の撮像装置10は、撮影用の光学系であるレンズ11と、DBPF5を備えた撮像センサ1と、撮像センサ1から出力される出力信号13を処理して、上述の内装処理や、カラー撮影時の第2の波長帯域を通過した赤外光の影響を除去する画像処理や、ガンマ補正や、ホワイトバランスや、RGBマトリックス補正等の画像処理を画像信号に施す信号処理部(信号処理デバイス:減算制御デバイス)12とを備える。信号処理部12からは可視のカラー画像の出力信号14(可視画像信号)と、赤外光画像の出力信号15(赤外画像信号)が出力可能になっている。

0115

レンズ11は、撮像装置10の撮像センサ1上に像を結ぶ光学系を構成するものである。レンズ11は、たとえば、複数のレンズから構成されている。

0116

撮像センサ(イメージセンサ)1は、たとえば、図27に示すように、CCD(Charge Coupled Device)イメージセンサであるセンサ本体2と、センサ本体2の各画素に対応して赤(R)、緑(G)、青(B)、赤外(IR)の各領域(各色のフィルタ)を所定の配列で配置したカラーフィルタ3と、センサ本体2およびカラーフィルタ3上を覆うカバーガラス4と、カバーガラス4上に形成されたDBPF(ダブル・バンド・パス・フィルタ)5とを備える。

0117

センサ本体2は、CCDイメージセンであり、各画素に受光素子としてのフォトダイオードが配置されている。なお、センサ本体2は、CCDイメージセンサに代えてCMOS(Complementary Metal・Oxide Semiconductor)イメージセンサであってもよい。

0118

センサ本体2には、カラーフィルタ3が設けられている。ここで、赤R、緑G、青Bの各領域があるが赤外IRの領域がないベイヤー配列のカラーフィルタは、基本パターンとなる縦4×横4の16個の領域を有し、8個の領域がGの領域とされ、4個の領域がRとされ、4個の領域がBとされている。それに対して、本実施の形態のカラーフィルタ3としては、図28に示すように、ベイヤー配列における8個のGの領域のうちの4個をIRの領域とすることにより、Rが4個、Gが4個、Bが4個、IRが4個となっている。なお、IRの領域を含むカラーフィルタは、図28に示すカラーフィルタ3に限られるものではなく、様々な配列のカラーフィルタを用いることができる。また、RGBの各領域は、一般的なRGBのフィルタであるが、各色の波長範囲に透過率のピークを備えるとともに、近赤外の波長域に透過性を備えることから、図28において、赤の領域をR+IRとし、緑の領域をG+IRとし、青の領域をB+IRとした。

0119

本実施の形態におけるRの領域、Gの領域およびBの領域の透過率スペクトルは、図29のグラフに示すようになっている。すなわち、カラーフィルタ3の赤(R)、緑(G)、青(B)、赤外(IR)の各フィルタの透過率スペクトルが示されており、縦軸が透過率を示し、横軸が波長となっている。グラフにおける波長の範囲は、可視光帯域と近赤外帯域の一部を含むもので、たとえば、300nm〜1100nmの波長範囲を示している。

0120

たとえば、Rの領域は、グラフのR(二重線)に示すように、波長600nmで略最大の透過率となり、その長波長側は、1000nmを超えても透過率が略最大の状態が維持された状態となる。Gの領域は、グラフのG(間隔の広い破線)に示すように、波長が540nm程度の部分に透過率極大となるピークを有し、その長波長側の620nm程度の部分に、透過率極小となる部分がある。また、Gの領域は、透過率極小となる部分より長波長側が上昇傾向となり、850nm程度で透過率が略最大となる。それより長波長側では、1000nmを超えても透過率が略最大となった状態となっている。Bの領域は、グラフのB(間隔の狭い破線)に示すように、波長が460nm程度の部分に透過率が極大となるピークを有し、その長波長側の630nm程度の分部に、透過率が極小となる部分がある。また、それより長波長側が上昇傾向となり、860nm程度で透過率が略最大となり、それより長波長側では、1000nmを超えても透過率が略最大となった状態となっている。IRの領域は、780nm程度から短波長側の光を遮断し、1020nm程度から長波長側の光を遮断し、820nm〜920nm程度の部分が、透過率が略最大となっている。

0121

R,G,B,IRの各領域の透過率スペクトルは、図29に示すものに限られるものではないが、現在、一般的に使用されているカラーフィルタ3では、これに近い透過率スペクトルを示すと思われる。なお、透過率を示す縦軸の1は、光を100%透過することを意味するものではなく、カラーフィルタ3において、たとえば、最大の透過率を示すものである。

0122

カバーガラス4は、センサ本体2およびカラーフィルタ3を覆って保護するものである。
DBPF5は、ここでは、カバーガラス4に成膜された光学フィルタである。DBPF5は、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第1の波長帯域に遮断特性を有し、前記第1の波長帯域内の一部分である第2の波長帯域に透過特性を有する光学フィルタである。なお、DBPF5の配置位置は、カバーガラス4に限られるものではなく、撮像センサ1の他の場所に配置されてもよい。また、DBPF5の配置位置は、撮像センサ1に限られるものではなく、レンズ11を含み、撮像センサ1に像を結ばせる光学系に配置されてもよい。

0123

図29のグラフに示すように、DBPF5は、グラフでDBPF(実線)に示すように、DBPF(VR)で示す可視光帯域と、可視光帯域に対して長波長側の少し離れた位置のDBPF(IR)で示す赤外帯域(第2の波長帯域)の2つの帯域の透過率が高くなっている。また、可視光帯域の透過率の高い帯域としてのDBPF(VR)は、たとえば、370nm〜700nm程度の波長帯域となっている。また、赤外側で透過率が高い第2の波長帯域としてのDBPF(IR)は、たとえば、830nm〜970nm程度の帯域となっている。

0124

本実施の形態では、上述のカラーフィルタ3の各領域の透過率スペクトルと、DBPF5の透過率スペクトルの関係が以下のように規定されている。
すなわち、DBPF5の透過率スペクトルの赤外光を透過する第2の波長帯域となるDBPF(IR)は、Rの領域、Gの領域、Bの領域の全てが頬最大の透過率となって各領域で透過率が略同じとなる図29に示す波長帯域A内に含まれ、かつ、IRの領域の略最大の透過率で光を透過する波長帯域B内に含まれるようになっている。

0125

ここで、R,G,Bの各領域の透過率が略同じになる波長帯域Aとは、各領域の透過率の差が透過率で10%以下である部分とする。
なお、この波長帯域Aより短波長側(波長帯域C)では、透過率が略最大のRの領域に対して、G、Bの領域の透過率が低くなる。DBPF5では、このR,G,Bの各領域の透過率に差がある部分が、可視光帯域の透過率が高い部分であるDBPF(VR)と、赤外光帯域の第2の波長帯域の透過率の高い部分であるDBPF(IR)との間のDBPF5の光を略遮断する透過率が極小となる部分に対応する。すなわち、赤外側では、R,G,Bの各領域の透過率の差が大きくなる部分の光の透過がカットされ、それより長波長側で各領域の透過率が略最大となって透過率が略同じになる波長帯域Aで光を透過するようになっている。

0126

以上のことから、本実施の形態において、赤外光カットフィルタに代えて用いられるDBPF5では、可視光帯域だけではなく、赤外光側の第2の波長帯域にも光を透過する領域があるため、可視光によるカラー撮影に際して、第2の波長帯域を通過した光の影響を受けることになるが、上述のように第2の波長帯域がR,G,Bの各領域で透過率が異なる部分の光を透過せず、各領域の透過率が略最大となって略同じ透過率となる波長帯域の光だけを透過するようになっている。

0127

また、DBPF5の第2の波長低域においては、IRの領域で透過率が略最大となる部分の光を透過するようになっている。したがって、略同じ光が照射される極めて近接した4つの画素にR,G,B,IRの領域がそれぞれ設けられていると仮定した場合に、第2の波長帯域においては、Rの領域、Gの領域、Bの領域、IRの領域で略同様に光が通過することになり、赤外側の光としては、IRを含む各領域で略同じ光量の光が撮像センサ本体2の上述の画素のフォトダイオードに至ることになる。すなわち、R,G,Bの各フィルタを透過する光のうちの赤外側の第2の波長帯域を通過する光の光量は、IRの領域を通過する光の光量と同様となる。上述のように仮定した場合に、基本的にR,G,Bの各フィルタを透過した光を受光したセンサ本体2からの上述のように仮定された画素の出力信号とIRのフィルタを通過した光を受光したセンサ本体2からの上述のように仮定された画素の出力信号との差分が、各R,G,Bの領域で通過した赤外側の光をカットしたR,G,Bそれぞれの可視光部分の出力信号となる。

0128

実際には、カラーフィルタ3(3a,3b,3c)の各パターンに示したように、センサ本体2の画素毎にR,G,B,IRのいずれか1つの領域が配置されることになり、各画素に照射される各色の光のそれぞれの光量が異なるものとなる可能性が高いので、たとえば、各画素において、周知の内挿法(補間法)を用いて、各画素の各色の輝度を求め、この補間された各画素のR,G,Bの輝度と、同じく補間されたIRの輝度との差分をそれぞれR,G,Bの輝度とすることが可能である。なお、R,G,Bの各色の輝度から赤外光成分を除く画像処理方法は、これに限られるものではなく、最終的にR,G,Bの各輝度から第2の波長帯域を通過した光の影響をカットできる方法であれば、いずれの方法を用いてもよい。いずれの方法においても、DBPF5が、赤外側でR,G,Bの領域の透過率が10%より異なる部分、すなわち、透過率が所定割合より異なる部分をカットしているので、各画素において、赤外光の影響を除く処理が容易となる。

0129

また、この撮像センサ1の用途としては、カラー撮影と、赤外光撮影との両方が可能な撮像装置において、撮像センサとして用いることである。一般的には、通常の撮影をカラー撮影で行い、夜間に可視光の照明を用いることなく、人間には認識困難な赤外光の照明を用いて赤外撮影することが考えられる。たとえば、各種監視カメラ等において、夜間照明を必要としないか、夜間照明されないことが好ましい場所での夜間撮影に際し、赤外光照明を用いた赤外光による夜間撮影を行うことが考えられる。また、野生動物の観察のための昼間の撮影と夜間の撮影などの用途にも用いることができる。

0130

赤外光撮影を夜間撮影として用いる場合には、赤外光であっても可視光と同様に、夜間は光量が不足するので、赤外光照明が必要となる。図29に示すDBPF5の透過率スペクトルは、R,G,B,IRの各領域の透過率スペクトルと、赤外光照明用の光、たとえば、照明用赤外光LEDの発光スペクトルを考慮して決定する。

0131

このような撮像センサにあっては、DBPF5の赤外側で光を透過する第2の波長帯域が、R,G,B,IRの各領域の赤外側で、各領域の透過率が略最大となって、各領域の透過率が略同じとなる波長帯域Aに含まれるとともに、IRの領域の透過率が略最大となる波長帯域Bに含まれる。言い換えれば、可視光帯域より長波長側で、R,G,Bの各フィルタの透過率がRのフィル部だけ略最大となって、G、Bの領域は透過率が略最大となっていないことにより、R,G,Bの各領域の透過率が略同じとならずに異なる部分の光は、DBPF5によりカットされる。

0132

すなわち、R,G,B,IRの各領域では、赤外側で第2の波長帯域の光が透過するようになっていることから各領域における赤外側の透過率が全て略同じとなり、第2の波長帯域となる光が同じ光量で照射されれば、R,G,B,IRの各領域における透過光量が同じになる。これにより、上述のようにR,G,Bの各領域に対応する画素からの出力信号に基づく色を補正し、カラー撮影時の色の第2の波長帯域を通過する赤外光による影響を抑制した画像を容易に得ることができる。

0133

また、第2の波長帯域を上述の波長帯域Aと波長帯域Bに含まれる赤外光照明の発光スペクトルのピークに対応させることにより、赤外光照明の光を効率的に用いられるとともに、第2の波長帯域の幅を狭めて、カラー撮影時に、第2の波長帯域を通過する赤外光の影響を小さくすることができる。

0134

すなわち、DBPF5を使うことにより、撮像センサ1のRGBの各信号の値からそれぞれIRの信号の値を減算することにより高精度の補正が可能になる。ここで、信号処理部12を詳細に説明する前に撮像装置における撮像処理方法を説明する。
たとえば、撮像センサ1の各色の画素の受光成分は、以下に示すように、各色の成分にIRの成分を加えた状態となっている。

0135

R画素R+IR
G画素 G+IR
B画素 B+IR
IR画素IR

0136

そこで、以下に示すように、IRの画素を除くRGBの各画素の受光成分からIR成分を除くIR補正を行う。

0137

R信号 (R画素出力)—(IR画素出力)=(R+IR)−IR=R
G画素(R画素出力)—(IR画素出力)=(G+IR)−IR=G
B画素 (R画素出力)—(IR画素出力)=(B+IR)−IR=B
これにより、DBPF5を透過するとともにカラーフィルタを透過するIR成分をカラーフィルタのIR以外の各色の領域から除外することができる。

0138

但し、R画素、G画素、B画素は、それぞれ各光源に対する感度が異なることと、撮像センサ1の各画素にはダイナミックレンジがあり、ダイナミックレンジを超えた電荷は読み出せず、撮像センサからの出力はクリップされて頭打ちとなる。すなわち、入力される光がダイナミックレンジを越えると、出力される信号がクリップされて切り取られた状態となる。
この結果、下記のとおり、補正後のR信号、G信号、B信号には、誤差が生じ、不自然な輝度レベル(ハイライト部の輝度が落ちる)、ハイライトでの色付きなどの問題が生じる。

0139

図30図32は、ダイナミックレンジを越えた状態で、各色の成分からIRの成分を減算した場合の問題を説明するための図であり、図30がRの場合を示し、図31がGの場合を示し、図32がBの場合を示す。図30図32に示されるグラフは、縦軸が撮像センサ1の各色の画素からの信号の出力レベルを示し。横軸が撮像センサ1の1つの画素の出力レベルの時間経過を示すか、または、画素の列上の位置(例えば、Y軸上の各画素の位置)を示す。ここでは、たとえば、横軸をY軸上の画素の位置とする。したがって、グラフは、各色の各画素におけるY軸上の位置による信号の出力レベルの変化を示している。図33は、図30図32に示す各色に対して、IRの信号の出力レベルを示すもので、上述の各グラフのRGBの各画素の場合と同様にY軸上の各画素の位置の出力レベルを示している。

0140

図30図32のそれぞれに示す上側のグラフがY軸上の位置の違いに伴ってダイナミックレンジを越えた状態の信号の出力レベルを示している、すなわち、各画素の信号の出力レベルは、Y軸上の位置が右方向に変化するのに伴って上昇した後に下降し、IRを除くRGBでは、ダイナミックレンジを越えてクリップされた状態となっている。なお、撮像センサ1の各画素においては、画素飽和レベルまでしか電荷を読み取ることができず、画素飽和レベル以上は電荷を読み出せずに出力レベルがクリップされた状態となる。また、RGBの各画素の信号の出力レベルには、IRの信号の出力レベルが含まれているので、それぞれ、R+IR、G+IR、B+IRとなり、RGBの出力レベルはIRの信号の出力レベルよりそれぞれRGBのIRを含まない単独の出力レベル分だけ高くなっている。したがって、IRの画素ではダイナミックレンジを越えず、RGBではダイナミックレンジを越える状態が発生し易い

0141

図30図32において、画素飽和レベルを超えて点線で示されるグラフは、クリップされなかった場合の出力レベルを示すものである。図30図32に示す下側のグラフは、上側のIRを含む出力レベルからIRの出力レベルを減算した場合を示す。ここで、上に凸となった部分は、上述の点線で示されるクリップされなかった場合のRGBの各信号の出力レベルからIRの信号の出力レベルを減算した場合を示している。しかし、実際には、減算前のRGBの各信号は、クリップされた状態なので、ここから出力レベルが位置の違いに伴って山状となったIRの出力レベルを減算した場合が、上に凸となった下側のグラフから矢印で示すように下側に凹んだ状態の下側のグラフで示される状態となる。

0142

このように元々は、一列の各画素の中央部の出力レベルが高くなる山状の出力レベルのはずが、上述のように元の出力レベルがダイナミックレンジを越えてクリップされ、画素飽和レベルで水平となった出力レベルからダイナミックレンジを越えずに山状となっているIRの出力レベルを減算することによって、本来は、最も出力レベルが高い部分が逆に凹んだ状態となっている。

0143

画素飽和レベルを超えた場合に、各色の画素の画像信号の出力レベルは頭打ちとなるが、その時にIRは、未だ、画素飽和レベルより低く、他の色が画素飽和レベルを超えた後も輝度が高くなればなるほど、IRの出力レベルが高くなる。すなわち、輝度がさらに高くなってもRGBの各画素の信号の出力レベルは、クリップされて高くならないのに、これらから減算されるIRの出力信号は高くなる。したがって、RGBの各出力レベルからIRの出力レベルを減算した出力レベルは輝度が高くなると下がることになる。これにより、出力レベルが最も高いはずの部分で出力レベルが逆に落ちてしまうことになり、ハイライト部で輝度が落ちることになる。また、RGBの各出力レベルが全て画素飽和レベルを超えた部分は、白となるはずが、RGBそれぞれで下に凸となる際の出力レベルに差が生じ、ハイライト部が白とならずに色が付いた状態となってしまう。

0144

そこで、RGBの各画素の信号の出力レベルからIRの信号の出力レベルを減算する際に、RGBの各画素の信号の出力レベルがダイナミックレンジを越えることにより、画素飽和レベルでクリップされる場合に、減算するIRの出力レベルを下げてから減算する。すなわち、RGBの各出力レベルから減算されるIR信号の出力レベルの値においては、図33図34に示すように、RGBの各画素の信号の出力レベルから減算されるIRの信号の出力レベルは、ダイナミックレンジを越えずに、画素飽和レベルより下側であっても、出力レベルがクリップされるように、RGBの各信号(各成分)に対応して制限値を設定し、当該制限値以上となる出力レベルは、設定された制限値でクリップ(頭打ちとなるように制限)された状態とする。

0145

このようにRGB毎に設定された制限値でクリップされるIR信号をRGBの各信号から減算した場合に、図30〜32に示した場合と異なり、減算するIR信号が制限値でクリップされているので、図35(a)、(b)、(c)に示すように、輝度が高くなった際に逆にRGBの各信号の出力レベルが低くなるようなことなく、減算後の信号飽和レベルでクリップされた状態となる。この信号飽和レベルは、RGBの各信号の画素飽和レベルからIR信号のRGBに対応する各制限値を減算した値である。したがって、ハイライト部での輝度の低下といった現象が生じなくなる。なお、RGBの各信号のIR信号減算後に生じる信号飽和レベルは、RGBの各信号がダイナミックレンジを越えた場合に、画素飽和レベルからIR信号の制限値が減算されることから、画素飽和レベルより低いレベルとなる。また、IR信号減算後のRGBの各信号の信号飽和レベルは、後述のように色毎に異なる。
なお、図34に示すIR信号の出力レベルのクリップされる位置(IR信号の制限値)は、減算されるRGBの信号毎に異なるとともに状況により変化する。

0146

すなわち、各RGB信号の補正を行う時のIR信号の出力レベルの制限値(クリップレベル)は、RGBの各色に対応して、撮像センサ1の分光感度、光源の色温度、光源の種類により、適切なクリップレベルは変わる。このレベルは、計算により一律に求めるのは難しいが、各光源(色温度)に対してセンサより出力される各RGB信号の出力レベル、IR信号の出力レベルを測定することにより、決定できる。なお、撮像センサ1の分光感度は、撮像センサ1によって決まる。また、光源の種類によって、色温度がある程度決まることになる。したがって、色温度に基づいて、上述のIRの出力レベルがクリップされる各RGBの信号に対応したIR信号の値の制限値を求める必要がある。

0147

カメラでは、光源の色温度の変化により、各RGB信号のレベルが変わる。たとえば、
色温度が低い光源に対しては、R信号が増加し、B信号が減少する。また、色温度が高い光源に対しては、B信号が増加し、R信号が減少する。この結果、色温度が低い場合は、赤みがかった画像になり、色温度が高い場合は、青みがかった画像となる。このため、色の再現性が、光源の色温度変化により変わる。この色再現性を安定化するため、RGB信号のレベルを一定にするホワイトバランス処理(WB)が行われる。

0148

ホワイトバランス処理は、色信号より、光源の色温度を測定して、RGBの各色信号の利得を調整することにより行う。現在は、画像信号よりホワイトバランス検出を行い、検出した結果により、制御する方式が一般的である。たとえば、RGBのゲイン調整回路図38制御回路21に含まれる)と、ホワイトバランス検出回路26(図38に図示)とにより、フィードバック制御ループを構成して、ホワイトバランス検出回路26で、R−Y信号、B−Y信号、または、R、G、B信号を積分する。R−Y信号、B−Y信号を積分する場合は、これらの積分値が0となるように制御し、また、R、G、B信号を積分する場合は、各積分値が等しくなるように各RGB信号の利得を制御する。

0149

この時、各RGB信号の利得より、R信号、G信号、B信号のそれぞれの比を求めることができ、光源の色温度を決定する情報となる。この情報により、IR補正時のIR信号の各RGB信号に対する制限値(クリップレベル)を決定する。

0150

なお、映像信号コンポーネント方式は、三原色に対応したRGBを成分とするRGB方式と、RGBから輝度信号および色差信号に変換した輝度−色差を用いる色差方式とがある。色差方式には、Y、Cb、Crを用いる方式やY、Pb、Pr用いる方式などが知られている。Yは輝度であり、CbおよびPbは、(B(青)−Y(輝度))に係数を乗算したものであり、CrおよびPrは、(R(赤)−Y(輝度))に係数を乗算したものであり、CbおよびPbがB−Y信号であり、CrおよびPrがR−Y信号である。

0151

たとえば、Y、Cb、Crは、R、G、Bに対して以下の式で表される。
Y=0.299*R+0.587*G+0.114*B
Cb=0.564*(B−Y)=−0.169*R−0.331*G+0.500*B
Cr=0.713*(R−Y)=0.500*R−0.419*G−0.081*B
色差方式は、明るさを表す成分(輝度)と、二つの色信号と輝度信号の差分を表す成分(色差)とにRGB信号を再構成するもので、人間の目は色の解像度が劣化しても気づきにくいことから、たとえば、伝送時には色差の情報量を1/2に削減することで、RGBと比較すると2/3の処理量となる。

0152

以下、このクリップレベル(制限値)の設定方法を、例を用いて説明する。
まず、ホワイトバランス処理において、RGBの各信号の利得を求める処理を説明する。
ホワイトバランス検出は、白色と考える領域を設定するとともに、設定された白色の領域を検知して、この領域において行う。すなわち、白と考えられる領域の各画素の色差信号のB−Y信号とR−Y信号とをそれぞれ積分した場合に、これらの積分した値が0となるように、B−Y信号とR−Y信号の利得を調整する。または、RGBの各信号をそれぞれ積分した値が互いに等しくなるように各R、G、B信号の利得を調整する。

0153

ホワイトバランス検出における白と考えらえる領域の一例を図36(a)、(b)に示す。図36(a)に示すように、B−Y、R−Y平面上において、白となる点の色温度による移動軌跡の近傍に、白の検出エリアを設定する。また、図36(b)に示すように、輝度信号レベルに対して白の検出範囲(たとえば白レベルの70%以上105%未満)を設定する。色差方式において、色差信号が白の検出エリアにあり、かつ、輝度信号が白の検出範囲内にある時に、その画素が白の領域にあることになり、この領域内にある画素のR、G、Bの各信号または色差方式のB−Y信号およびR−Y信号を積分する。
または、R、G、Bの積分値が等しくなるように各R、G、B信号の利得を調整する。

0154

たとえば、R、G、Bの積分値が等しくなるように各R、G、B信号の利得を調整した際のR、G、B、の調整された各利得が色温度情報を示す情報になる。ホワイトバランス処理においては、このように調整されたRGBの各利得をそれぞれ対応するRGBの各信号に乗算することにより、ホワイトバランス処理後のRGBの各信号を得ることができる。
すなわち、ホワイトバランス後のRGBの各信号は、
(WB後のR信号)=(R信号の利得)×(WB前のR信号)
(WB後のG信号)=(G信号の利得)×(WB前のG信号)
(WB後のB信号)=(B信号の利得)×(WB前のB信号)
となる。

0155

次に、上述のようにホワイトバランス処理で調整されたRGBの各利得を用いて、R(R+IR)、G(G+IR)、B(B+IR)のそれぞれの信号から減算されるIR信号の値の補正値としての制限値を求める方法を説明する。なお、R(R+IR)、G(G+IR)、B(B+IR)の各信号から減算されるIR信号の制限値は、R(R+IR)、G(G+IR)、B(B+IR)の各色信号が画素飽和レベルを超える状態となって、画素飽和レベルでクリップされた場合に、各色信号からIR信号の値を減算する場合の上限となる値である。

0156

IR信号のRGBの各信号に対応する制限値(クリップレベル)は、画素の飽和レベルをLsat、ある色温度において、白色を撮像した時、IR信号に対してのR信号の比をKrとして、R信号におけるIR信号の制限値(クリップレベル)をLclip−Rとすると次式で表される。

0157

Lsat = Lclip−R + Kr*Lclip−R
Lclip−R=Lsat/(1+Kr)
同様に、IR信号に対してのG信号の比をKgとし、IR信号に対してのB信号の比をKbとするとともに、G信号におけるIR信号の制限値(クリップレベル)をLclip−Gとし、B信号におけるIR信号の制限値(クリップレベル)をLclip−Bとすると
Lclip−G = Lsat/(1+Kg)
Lclip−B = Lsat/(1+Kb)
となる。
今、白色を撮像した時、R信号に対してのG信号比率をKg/rとし、R信号に対してB信号の比率をKb/rとすると、上述のように、
(WB後のR信号)=(R信号の利得)×(WB前のR信号)
(WB後のG信号)=(G信号の利得)×(WB前のG信号)
(WB後のB信号)=(B信号の利得)×(WB前のB信号)
であり、よって、
(WB前のR信号)=(WB後のR信号)/(R信号の利得)
(WB前のG信号)=(WB後のG信号)/(G信号の利得)
(WB前のB信号)=(WB後のB信号)/(B信号の利得)
となる。

0158

また、WB後のR信号、G信号、B信号は、白色に対しては、等しくなる。したがって、
Kg/r = (R信号の利得)/(G信号の利得)
Kb/r = (R信号の利得)/(B信号の利得)
であり、また、
Kg = Kr × Kg/r
Kb = Kr × Kb/r
であるから、
Lclip−G = Lsat/(1+ Kr×Kg/r)
Lclip−B = Lsat/(1+ Kr×Kb/r)
となり、IR信号の赤のクリップレベルLclip−R、緑のクリップレベルLclip−G、青のクリップレベルLclip−Bを求めることができる。
また、Kb/rは、色温度を示すパラメータとして使用することができる。各色温度において、Kb/rに対するKrを測定して、メモリなどにあらかじめ記録しておくことにより、ホワイトバランス検出により得た利得と上述の式に基づいて、Kb/r、および、このKb/rに対するKrより、各色補正用のIR信号のクリップレベルが決定できる。

0159

また、上記のようにIR補正(IR信号のクリップレベルの算出)を行った場合、RGBの各信号のハイライトでの信号飽和レベル(画素飽和レベルに達してクリップされたRGBの各信号から補正後のIR信号(制限値:クリップレベル)を減算した際の各信号のレベル)が必ずしも同じにならない。これは、ハイライトの色付きの原因となり、画質を劣化させる要因になる。このため、ホワイトバランス後に、図37(a)、(b)、(c)に示すように、RGBのハイライト部分を同じレベル(RGBクリップレベル)でクリップするように補正する。このことにより、ハイライトでの色付き、輝度の諧調の不自然さはなくなる。

0160

図37において、縦軸は、RGB(R+IR,G+IR,B+IR)の各信号からIR信号を減算した際の出力レベルであり、横軸は、たとえば、撮像センサ1上のY軸方向の画素の位置または1画素の時間経過を示している。図37の各グラフにおいて、RGBそれぞれの信号が画素飽和レベルに達した状態で、光源の色温度が変わらず、上述のように求められたRGBそれぞれのクリップレベル(制限値)が一定の場合に、画素飽和レベルのRGBの各信号から制限値(クリップレベル)で制限された(クリップされた)IR信号を減算した場合に、RGBの各信号がそれぞれ画素飽和レベルが一定で、RGBにそれぞれ対応するIR信号の各制限値が一定なので、減算後のRGB信号は一定の状態すなわち、信号飽和レベルで一定の状態となる。しかし、図37に示すように、信号飽和レベルは、RGBで異なり、このままでは、ハイライト部で、RGBの信号の出力レベルが異なることにより、白とならない。そこで、信号飽和レベルが最も低いR信号の信号飽和レベルをRGBのそれぞれの信号で共通のRGBクリップレベル(R信号飽和レベル)として、RGB各信号の信号飽和レベルを共通のRGBクリップレベルに合わせる。

0161

すなわち、図37(a)に示すように、R信号に対応するクリップレベル(制限値)が設定されたIR信号をR信号から減算することにより、減算後のR信号に生じた信号飽和レベル(クリップレベル)を基準とする。IR信号を減算した後のRGBの各信号の信号飽和レベルは、R信号が最も低くなるので、上述のようにR信号を基準とし、IR信号を減算した後のG信号の信号飽和レベルとB信号の信号飽和レベルを図37(b)および図37(c)に示すように、R信号の信号飽和レベルと等しいRGBクリップレベルに合わせて下げることで、RGBの各信号のIR信号減算後の信号飽和レベルを合わせる。これにより、ハイライト部での各信号のハイレベルが同じになり、ハイライトの色付きを防ぐことができる。

0162

なお、以上説明した構成では、IR信号をクリップしてから、R信号、G信号、B信号より、減算する構成としているが、IR信号が上記のR信号、G信号、B信号が飽和するレベルに(上記のIR信号のクリップレベル)以上になった時に、IR信号を乗算器により利得を下げた後にR信号、G信号、B信号より減算するものとしてもよい。このように、減算量を抑制するように構成することによって、ハイライト部でのR信号、G信号、B信号の輝度諧調の不自然さを防止してもよい。また、RGB信号から輝度信号を生成して、RGB信号の信号飽和レベルが異なることにより色付きが起きる部分以上のレベルにおいて、R−Y信号、B−Y信号の利得を減少させ、色を消す処理により、色付きを防止しても良い。

0163

図38は、撮像装置10(図26に図示)の信号処理部12(図26に図示)における信号処理をブロック図で示したものである。撮像センサ1からのR,G,B,IRの各画素の出力信号(この信号処理では撮像センサ1からの入力信号)は、通常、RAW出力であれば、R、G、B、IRが線順次または点順次で出力されるため、たとえば、撮像センサ1からのRAW信号の入力部に各色信号の同時化回路(図示略)を設ける。

0164

この場合に、同時化回路において、内挿処理(補間処理)によりフレーム毎の画像データにおいて、それぞれ、全ての画素が赤Rで表された画像データ、全ての画素が緑Gで表された画像データ、全ての画素が青Bで表された画像データと、全ての画素が赤外IRで表された画像データとするようにR,G,B,IRの信号を変換する。言い換えれば全ての画素において、R、G、BおよびIRの信号が出力される状態とする。なお、内挿処理方法は、周知の方法を用いることができる。

0165

すなわち、信号処理部12は、図示しないR+IR,G+IR,B+IRおよびIRのセンサ出力それぞれのための同時化回路を備え、図38のR+IR,G+IR,B+IRおよびIRの各センサ出力は、同時化回路を経た後の信号である。
信号処理部12は、RGB信号から減算されるIR信号をRGB毎に決められるクリップレベル(制限値)でクリップするためのリミッタ20r、20g、20bと、各リミッタ20r,20g,20bから出力されるIR信号に補正値を乗算して補正するための乗算器22r、22g、22bと、乗算器22r、22g、22bから出力されるクリップされたIR信号をR+IR,G+IR,B+IRの各信号から減算する減算器23r、23g、23bと、ホワイトバランス用のRGBの各利得を、IR信号が減算されたRGBの各信号に乗算する乗算器24r、24g、24bと、IR信号が減算されるとともにホワイトバランスがとられたRGBの各信号における信号飽和レベルを合わせるためのリミッタ25r、25g、25bとが設けられている。

0166

また、信号処理部12は、リミッタ20r、20g、20bに、RGBの信号毎のIR信号のクリップレベル(制限値)を算出して出力する制御回路21を備える。また、制御回路21は、乗算器22r、22g、22bに補正値を出力し、乗算器24r、24g、24bにホワイトバランス用に算出されたRGBの各利得を出力し、リミッタ25r、25g、25bにRGBの各信号の信号飽和レベルを合わせるためのRGBクリップレベル(R信号飽和レベル)を出力する。また、信号処理部は、信号処理部12からのRGBの出力信号からホワイトバランス用の利得を求めるためのホワイトバランス検出回路26を備える。

0167

IRのセンサ出力としてのIR信号は、信号処理部12に設けられたR用リミッタ20r、G用リミッタ20g、B用リミッタ20bにそれぞれ送られ、上述のように色毎に設定されるIR信号用の制限値(クリップレベル)でクリップされる。
この際には、制御回路21で算出されるIR信号の上述の赤のクリップレベルLclip−R、緑のクリップレベルLclip−Gおよび青のクリップレベルLclip−Bがそれぞれ対応するR用リミッタ20r、G用リミッタ20g、B用リミッタ20bに出力され、それぞれのR用リミッタ20r、G用リミッタ20g、B用リミッタ20bのリミット値となる。これにより、IR信号は、各リミッタ20r、20g、20bにより、クリップレベル(制限値)を超える出力レベルは、クリップレベルでクリップされる。

0168

また、R用リミッタ20r、G用リミッタ20g、B用リミッタ20bから出力された各値は、RGBの各信号から減算されるIRの信号であるが、このIRの各信号に乗算器22r、22g、22bにより制御回路21から出力される補正値を乗算する。R画素、G画素、B画素に含まれるIR成分は、本構成では、ほぼ、IR画素と同じレベルであるが、R画素、G画素、B画素のそれぞれの開口差、または、センサ内部のアンプ利得バラツキなどにより、信号レベルに多少の誤差が生じる可能性がある。すなわち、リミッタ20r、20g、20bから出力された値は、たとえば、必要な値より少しだけ大きくな傾向があり、RGBの各信号に対応して乗算器22r、22g、22bにより補正値を乗算して補正するようになっている。

0169

減算器23r、23g、23bは、このようにクリップされるとともに補正されたRGBそれぞれに対応するIR信号をR+IR,G+IR,B+IRのそれぞれの信号から減算する。各乗算器24r、24g、24bは、各減算器23r、23g、23bから出力される信号に、ホワイトバランス処理で算出されるRGBの各利得を乗算してホワイトバランスをとる。各乗算器24r、24g、24bには、ホワイトバランス検出回路26で検出される各RGBの信号に基づいて制御回路21で算出されたRGBそれぞれの利得が入力される。また、各乗算器24r、24g、24bから出力されたRGBの各信号はクリップされたIR信号が減算されることで、クリップされた状態となる。

0170

すなわち、RGBの各信号が画素飽和レベルでクリップされた状態で、上述のように制限値で制限されたIR信号が減算されると、画素飽和レベルから制限値を減算した値である信号飽和レベルでクリップされる。これらRGBの各信号の信号飽和レベルが異なると、ハイライト部に色が付くことになるので、リミッタ25r、25g、25bは、RGBの各信号飽和プレベルを合わせるために、RGBの各信号で同じRGBクリップレベルとなるようにリミット値がセットされる。ここでは、R信号の信号飽和レベルをRGBクリップレベルをリミット値としてG信号およびB信号のクリップレベルを合わせるようになっている。

0171

上述のような信号処理を、R(R+IR)信号を例に取って説明する。撮像センサ1から出力されたR信号は、同時化回路により内挿されて撮像センサ1で画像として利用される全ての画素毎のR信号とされる。同様にG信号、B信号、IR信号も同時化回路で処理され、画像として利用される全ての画素毎のG信号、B信号、IR信号とされる。

0172

IR信号は、リミッタ20rに送られる。リミッタ20rには、制御回路21で上述のように算出されたR信号用のIR信号の制限値であるLclip−Rが出力され、これがリミッタ20rのリミット値となる。したがって、リミッタ20rを通過したIR信号は、制限値で頭打ちとなるようにクリップされる。すなわち、制限値を超えるIR信号の出力レベルは、制限値となる。

0173

このように制限値でクリップされるIR信号は、乗算器22rに送られ、制御回路21で算出される(または、記憶されている)補正値が乗算されて補正された後に減算器23rに送られる。減算器23rには、上述の同時化されたR信号が入力されるとともに、上述のように制限されるとともに補正されたIR信号が入力され、R信号からIR信号の値が減算される。次に、IR信号が減算されたR信号は、乗算器24rに送られる。乗算器24rには、R信号と、上述のホワイトバランス検出回路26と制御回路21により求められたR信号の利得が入力されR信号に利得が乗算される。

0174

乗算器24rからホワイトバランス処理が施されたR信号が出力される。このR信号は、リミッタ25rに入力される。リミッタ25rには、制御回路21から上述のRGBクリップレベルが送られ、これがリミット値とされ、RGBクリップレベルを超えるR信号は、クリップされる。但し、この信号処理部12では、RGBクリップレベルは、R信号飽和レベルと等しく、IR信号を減算されたR信号は、既に、R信号飽和レベルでクリップされた状態なので、R信号に関しては、リミッタ25rの処理は必ずしも必要ない。なお、G信号およびB信号は、リミッタ25g、25bで、R信号飽和レベルに等しい、RGBクリップレベルをリミット値として、RGBクリップレベルでクリップされる。

0175

同様にG信号、B信号が処理され、処理されたRGBの各信号が、図1に示すように、可視光のカラー画像の出力信号14として出力される。また、IR信号は、同時化回路を経た後に、赤外光画像の出力信号15として出力される。なお、赤外画像信号として出力されるIR信号は、上述の制限値で制限されることはない。

0176

図39に示すブロック図は、図38に示すブロック図の変形例である。図39に示すブロック図の図38に示すブロック図との違いは、図38のブロック図において、ホワイトバランス用の乗算器24r、24g、24bの後に、IR信号を減算した後の各RGB信号の信号飽和レベルを合わせるためのリミッタ25r、25g、25bが配置されていたのに対して、図39では、IR信号を減算した後の各RGB信号のクリップレベルを合わせるためのリミッタ25r、25g、25bの後に、ホワイトバランス用の乗算器24r、24g、24bが配置されている。

0177

これにより、図38では、ホワイトバランスを取った後のRGBの各信号において信号飽和レベルが合わせられるのに対して、図39では、RGBの各信号の信号飽和レベルを合わせた後にホワイトバランス処理を行うことになる。

0178

このような撮像処理システムおよび撮像処理方法によれば、DBPF5を用いることにより、赤外カットフィルタの使用、非使用を切り替えることなく、可視光でのカラー撮影と、赤外光での撮影を可能とするカメラ(撮像装置)において、上述のように、ハイライト部の輝度の低下と、ハイライト部が白ではなく、色が付いた状態となるのを防止できる。

0179

次に、第7の実施の形態について説明する。上述の第6の実施の形態では、RGB−IRのカラーフィルタを用いた場合におけるクリップレベル(制御値)を説明したが、本実施の形態では、RGB−Cのクリップレベルについて説明する。

0180

RFB−IRの撮像センサ1では、RGBの各信号にIR成分が含まれるのに対して、IRの信号は、IR成分のみとなるので、RGBの各信号が飽和してもIRの信号は飽和しない。ここで、RGBの信号が飽和した後も、レベルが高くなるIR成分を除くと、上述のようにRGBが飽和に達した後に、IR成分を除去することで、飽和レベル以下に下がるとともに、基本的にIRの光量が多くなるほど、RGBの飽和後の値が低くなってしまう。
それに対して、RGB−Cの撮像センサ1では、可視光帯域において、C=R+G+Bとなるので、RGBにレンジを合わせた場合に、図40に示すように、Cの画素が飽和レベルに達することになる。

0181

この場合に、Cの画素が飽和レベルに達した際に、可視光帯域では、C<R+G+Bとなる。これにより、上述のように計算により、IR’を求めた場合に、IR’=IR+(R+G+B−C)/2となることから、Cが飽和レベルに達すると、(R+G+B−C)が0より大きくなるので、図41に示すように、計算で求めたIR’>実際のIRとなる。

0182

このようにCが飽和レベルに達した際に、R、G、B、Cから計算で求めたIR’成分を除去すると、Cに関しては、飽和レベルで信号レベルが頭打ちとなっているのに、IR成分は、Cが飽和レベルに達した後も上昇可能であり、かつ、Cが飽和した後には、図41に示すように、IR’>IRとなるので、これを飽和したCから除去すると、図42に示すように、実際の光量のレベルが高くなると信号レベルが下がることになる。また、C以外のRGBの信号レベルもCが飽和した後にIR’>IRとなるので、Cほどではないが、実際の光量のレベルが高くなるにつれて、信号レベルが低下する虞がある。

0183

そこで、第7の実施の形態では、各信号が所定の値以上とならないようにクリップし、かつ、このRGBの各信号からIRの信号を分離するようになっている。
まず。R/G/B/W/IRの信号レベルを検出する。
次に、以下のようにR、G、B、Wでクリップレベルを求める。
(Wクリップレベル)=(W画素(C画素)の飽和レベルにより算出)
(Rクリップレベル)=(Wクリップレベル)(Rレベル+IRレベル)/(Wレベル+IRレベル)
(Gクリップレベル)=(Wクリップレベル)(Gレベル+IRレベル)/(Wレベル+IRレベル)
(Bクリップレベル)=(Wクリップレベル)(Bレベル+IRレベル)/(Wレベル+IRレベル)

0184

Wクリップのレベルは、Wの信号レベルを検出した際に、この信号レベルが頭打ちとなって、それ以上高くならない飽和レベルに基づいて算出される。RGBの各クリップレベルは、上述の式により算出され、Wレベルが飽和レベルに達することによりクリップレベルが算出される。

0185

このようなクリップ処理を行う場合に、上述の分離デバイス51は、図43に示すようなブロック図となる。色分離デバイス61で内挿法等により各画素のR、G、B、Wの信号レベルが分離されて、レベル検出・クリップレベル計算デバイス63と、クリップ処理デバイス62に送られる。レベル検出・クリップレベル計算デバイス63においては、上述の式と、検出されたR、G、B、Wのレベルに基づいて、R、G、B、Wの各クリップレベルが算出される。クリップレベル計算デバイス63で算出されたR、G、B、Wそれぞれのクリップレベルがクリップ処理デバイス62に送られ、クリップ処理デバイス62に入力されたR、G、B、Wの信号レベルがクリップレベルを超える場合にクリップする処理が行われる。このようなクリップ処理デバイス62から出力されたR、G、B、Wの信号レベルがIR補正・IR生成デバイス64に入力される。IR補正・IR生成デバイス64では、R、G、B、Wの各信号からIR信号が除去されるとともに、IR信号が生成される。
クリップレベル計算デバイス63は、図44に示すように、色分離デバイス61で分離されたR、G、B、Wの各信号レベルに基づいて、IRマトリクスデバイス66でIR信号レベルを求め、IR補正デバイス67にIR信号とIR成分を含むR、G、B、Wの各信号レベルを入力し、R、G、B、Wの各信号レベルからIR信号レベルを取り除くIR補正を行う。
レベル検出デバイス68に、IRマトリクスデバイス66からIRの信号レベルが入力され、IR補正デバイス67からIR成分を除去したR、G、B、Wの各信号レベルが入力される。

0186

レベル検出デバイス68で検出されたR、G、B、W、IRの各信号レベルがクリップレベル計算デバイス69に入力され、クリップレベル計算デバイス69では、上述のようにR、G、B、Wの各信号レベルのクリップレベルが算出される。
このように求められたR、G、B、Wの各クリップレベルに基づいて、クリップ処理デバイス62では、R、G、B、Wの各信号レベルがクリップレベルを超える場合に、図45に示すように、各信号レベルをクリップレベルで頭打ちとする。

0187

このようにクリップされるR、G、B、Wの各信号に基づいて、上述の第3の実施の形態と同様に、IR成分を求めるとともに、IR成分を含むR、G、B、W信号からIR成分を分離する。この際に、図46に示すように計算で求められるIR信号もWが飽和レベルとなる際のIRの信号レベルでクリップされて頭打ち状態となる。これにより、図47に示すようにR、G、B、Wの各信号レベルからIR成分を除去した後も、IR成分除去後のクリップレベルでクリップされた状態となる。

0188

この場合に、R、G、B、Wの各信号レベルから求められる輝度信号もクリップされた状態となってしまう。そこで、図48に示すように色分離、IR分離、IR補正を行う分離デバイス51の変形例を用いることにより、輝度レベルがクリップされるのを防止、Wの画素が飽和レベルに達した後も、輝度レベルに諧調を持たせることができる。

0189

この分離デバイス51の変形例は、図48に示すように、色分離デバイス61で内挿法等により各画素のR、G、B、Wの信号レベルが分離されて、レベル検出・クリップレベル計算・IR信号生成デバイス63と、クリップ処理デバイス62に送られる。レベル検出・クリップレベル計算デバイス63においては、上述の式と、検出されたR、G、B、Wのレベルに基づいて、R、G、B、Wの各クリップレベルが算出される。クリップレベル計算デバイス63で算出されたR、G、B、Wそれぞれのクリップレベルがクリップ処理デバイス62に送られ、クリップ処理デバイス62に入力されたR、G、B、Wの信号レベルがクリップレベルを超える場合にクリップする処理が行われる。このようなクリップ処理デバイス62から出力されたR、G、B、Wの信号レベルが第1のIR補正・IR生成デバイス64に入力される。第1のIR補正・IR生成デバイス64では、クリップされるR、G、B、Wの各信号からIR信号が除去されるとともに、IR信号が生成される。第1のIR補正・IR生成デバイス64で求められたRGBの信号は色信号、例えば、色差信号として利用される。
また、この変形例の第2のIR補正:IR生成デバイス65を有する。第2のIR補正・IR生成デバイス65には、色分離デバイス61からクリップされることがないR、G、B、W信号が入力され、IR生成およびIR補正が行われ、IR成分が除去されたRGB信号が出力される。ここで、RGB信号は、W信号に比べて飽和レベルに達しづらいものとなっており、頭打ちとなりづらい。輝度の算出にこのRGB信号を用いることにより、図49に示すように、輝度レベルがクリップされるのを防止し、輝度が高い状態でも、輝度に少しであるが諧調を持たせることができる。

0190

次に、第8の実施の形態を説明する。第8の実施の形態では、第7の実施の形態と同様にR、G、B、Wの各信号のクリップレベルを決めるようになっている。第8の実施の形態では、第7の実施の形態のように、R、G、Bの各信号のクリップレベルを決定することなく、IR信号とW信号のクリップレベル
を決定するようになっており、図50に示すように、リミット処理により制御値でクリップされるIR信号により、IR補正を行う。
Wのクリップレベルは、Wの飽和レベルに基づいて設定される。
(Wクリップレベル)=(W画素(C画素)の飽和レベルにより算出)
IRのクリップレベルは、以下の式に基づいて決定される。
(IRクリップレベル)=(Wクリップレベル)(IRレベル)/(Wレベル+IRレベル)
これにより、図50に示すように。飽和レベルに達するWの信号レベルからWの信号が略飽和した際に、上述のようにクリップされるIRの信号レベルを除去する場合に、Wの信号レベルが飽和レベルより低い信号レベルでクリップされることになる。

0191

RGBの各信号レベルからクリップされるIR信号を除去する補正を行う場合に、RGBの各信号レベルが使用条件の範囲内で飽和レベルに達しないものとすると、図51に示すように、RGBの各信号レベルは、IR信号を除去する場合に、IR信号がクリップレベルに達した後も、RGBの信号レベルが上昇することが可能なので、RGBの各信号は、クリップされずに上昇することが可能となっている。

0192

第8の実施の形態の図52に示す分離デバイス51では、色分離デバイス61で内挿法等により各画素のR、G、B、Wの信号レベルが分離されて、IR信号生成デバイス71と、IR補正デバイス64に分離されたR、G、B、Wの信号が出力される。IR信号生成デバイス71では、生成さるIR信号のクリップレベルが求められ、クリップレベルを超えるとクリップされるIR信号がIR補正デバイス64に出力される。IR補正デバイス64では、R、G、B、Wの各信号レベルからIR信号が除去される。

0193

図53に示すように、IR信号生成デバイス71では、色分離デバイス61からR、G、B、Wの各信号がIR補正デバイス72と、IRマトリックスデバイス73に送られ、IRマトリックスデバイス73で生成されたIR信号は、IR補正デバイス72とリミット処理デバイス74に出力され、IR補正デバイス72では、R、G、B、Wの各信号レベルからIR信号が除去されるIR補正が行われ、補正されたR、G、B、W信号とIR信号がレベル検出デバイス75に送られ、R、G、B、W信号とIR信号がリミットレベル計算デバイス76に送られ、IR信号のリミットレベル(クリップレベル)がリミット処理デバイス74に入力される。リミット処理デバイス74には、IRマトリックスデバイス73からIR信号レベルが入力しており、IR信号レベルがリミットレベルを超える場合に、リミットレベルにクリップされた状態となる。

0194

このような第8の実施の形態においては、第7の実施の形態と同様に、R、G、B、Wの信号レベルが上がる状況で逆に下がってしまうような事態を防止できるとともに、Wの信号レベルが飽和した状態でも、RGBの各信号レベルに諧調を持たせることができる。また、これにより輝度信号にもWの信号レベルが飽和する状況で、諧調を持たせることができる。
なお、輝度信号の生成式は、
Y=(Kr*R+Kg*G+Kb*B+Kw*W)+Kir*IR
とすることができる。
IRの比率を変えることにより、感度のコントロールができる。なお、夜間において、IR照明を行う場合、可視信号はなくなり全画素IR信号のみとなる。この場合は、IR補正をOFFして、全画素の信号から輝度信号を生成することにより、高解像度で高感度の輝度信号が生成できる。カメラにIR照明を内蔵した場合、これに連動して、信号処理を切り替える。
この場合のIR照明時の輝度生成式は、
Y=Kr*R+Kg*G+Kb*B+Kw*W (IR補正OFF)
となる。
なお、各画素では、可視光帯域の受光量よりDBPF5の第2の波長帯域と各フィルタを透過する赤外照明の光の受光量が多くなり、基本的に各画素では、赤外光の信号レベルを出力している状態となる。

0195

1撮像センサ
2 撮像センサ本体
3カラーフィルタ(フィルタ)
3a カラーフィルタ(フィルタ)
3b カラーフィルタ(フィルタ)
3c カラーフィルタ(フィルタ)
5 DBPF(光学フィルタ:フィルタ)
A 第3の波長帯域
B 第4の波長帯域
IR 第1の波長帯域
DBPF(IR) 第2の波長帯域
DBPF(VR) 可視光帯域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ