図面 (/)

この項目の情報は公開日時点(2016年11月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

カラーフィルタ種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を提供する。

解決手段

積層された複数の層の受光部を有する受光素子半導体基板上に配置された固体撮像素子200と、透過カラーフィルタと有色カラーフィルタとを含むカラーフィルタアレイと、固体撮像素子から取得した分光波長情報を処理する信号処理装置150と、分光波長情報から画像データを生成する画像処理装置151とを有する。固体撮像素子は、受光部の層数とカラーフィルタの種類数を積算した数だけ種類数を持つ分光波長情報を生成する。信号処理装置は、分光波長情報を用いて色成分信号を算出する。画像処理装置は、色成分信号に基づき、分光波長情報を補正する処理を行い、全ての分光波長情報から画像データを生成する。

概要

背景

デジタルスチルカメラは、レンズ系から入射された光線光電変換するために、固体撮像素子を内部に有している。固体撮像素子は信号処理装置に接続され、発生した電荷デジタル情報へと変換される。

一般的に光源や被写体は、分光分布分光反射率として多くの情報を保持している。しかし出力されるデジタル情報は、RGBとして波長ごとの強度情報を積算した、色信号と呼ばれる値である。このような積算処理の結果、情報量の圧縮が発生し、最終的に生成される画像には撮影対象の情報が十分に再現できていないといった問題が存在する。

例えば一般的な白色蛍光灯下白い物体撮影した場合と、自然昼光下で緑色の植物の葉を撮影した場合とで、両者の信号値を比較すると、RGBの色信号での表記上は一致することがある。すると撮影者肉眼で見た際に明らかに色合いが異なっていたとしても、カメラ内の処理上、表現される色は同様のものとなる。これは、分光分布等の撮影対象の保持する情報が異なっていても、RGBとしてそれぞれ積算した結果が一致し得ることから生じる問題である。

このような問題に対しては、従来ではRGBの3領域によって波長を分割していたところを、より多くの領域によって分割をするマルチバンド処理を行うことで改善がなされることが公知である。バンド数を増加させることで、詳細な色信号を得ることができ、撮影対象の波長域ごとの強度についての情報量が増加する。その結果、好適な画像処理がなされ、高精度の情報再現が可能となる。

マルチバンド処理によって画像処理を向上させる試みとして、例えば特許文献1が挙げられる。特許文献1に開示された発明によれば、3バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、前記通常画像生成用カラーフィルタを用いて得られた画素値補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、前記スペクトル推定部により得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、を含む撮像装置、としている。

このような構成を取ることで、画質劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることが可能となる、としている。

また分光波長情報の情報種類数を増加することで、マルチバンドを実現する技術が公知である。

特許文献2に記載の技術は、半導体基板の第1面上にマトリクス状に配置された複数の画素ブロックを有し、各画素ブロックは光を信号電荷に変換する光電変換素子をそれぞれ有する第1乃至第3画素を含み、前記第1画素は可視波長域中の第1波長域に対して可視波長域中の他の波長域よりも高い透過率を有する第1フィルタを備え、前記第2画素は前記第1波長域に対して補色となる第2波長域に対して可視光波長域中の他の波長域よりも高い透過率を有する第2フィルタを備え、前記第3画素は前記第1波長域および前記第2波長域を含む波長域の光を透過する第3フィルタを備えている、画素アレイと、前記複数の画素ブロックの前記第1乃至第3画素で光電変換された信号電荷を読み出す読み出し回路と、前記読み出し回路によって読み出された信号電荷に基づいて信号処理を行う信号処理回路と、を備えている固体撮像装置、としている。

このような構成を取ることで、低照度被写体に対してSNRが高く色再現性に優れた固体撮像装置を提供することができる、としている。

概要

カラーフィルタの種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を提供する。積層された複数の層の受光部を有する受光素子が半導体基板上に配置された固体撮像素子200と、透過カラーフィルタと有色カラーフィルタとを含むカラーフィルタアレイと、固体撮像素子から取得した分光波長情報を処理する信号処理装置150と、分光波長情報から画像データを生成する画像処理装置151とを有する。固体撮像素子は、受光部の層数とカラーフィルタの種類数を積算した数だけ種類数を持つ分光波長情報を生成する。信号処理装置は、分光波長情報を用いて色成分信号を算出する。画像処理装置は、色成分信号に基づき、分光波長情報を補正する処理を行い、全ての分光波長情報から画像データを生成する。

目的

このような構成を取ることで、低照度被写体に対してSNRが高く色再現性に優れた固体撮像装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

深さ方向に積層された複数の層の受光部を有する複数の受光素子半導体基板上に配置された固体撮像素子と、特定の波長域減衰させることのない透過カラーフィルタと有色カラーフィルタとを含むカラーフィルタから構成される、前記固体撮像素子の光の入射側に配置されたカラーフィルタアレイと、前記固体撮像素子から取得した分光波長情報を処理する信号処理装置と、前記分光波長情報から画像データを生成する画像処理装置と、を有し、前記受光素子は3層以上に前記受光部を積層し、前記受光部は、入射される光のうち前記受光部材料における光吸収係数波長依存性により各受光部の深さに対応した光をそれぞれ検出し、前記固体撮像素子は、前記受光部の層数とカラーフィルタの種類数を積算した数だけ種類数を持つ前記分光波長情報を生成し、前記信号処理装置は、前記分光波長情報を用いて色成分信号を算出し、前記画像処理装置は、前記色成分信号に基づき、前記分光波長情報を補正する処理を行い、全ての前記分光波長情報から前記画像データを生成することを特徴とする撮像装置

請求項2

前記色成分信号は、前記カラーフィルタアレイの一部であるユニットに対応する受光素子から生成された前記分光波長情報により算出され、前記ユニットは少なくとも2つ以上の、それぞれ異なる種類のカラーフィルタから構成されることを特徴とする請求項1に記載の撮像装置。

請求項3

前記カラーフィルタアレイは、前記有色カラーフィルタが前記透過カラーフィルタに隣接することを特徴とする請求項1又は請求項2に記載の撮像装置。

請求項4

前記透過カラーフィルタは白色であることを特徴とする請求項1乃至請求項3に記載の撮像装置。

請求項5

前記有色カラーフィルタは、赤色又は青色又は緑色のカラーフィルタの少なくともいずれか1つを含むことを特徴とする請求項1乃至請求項4に記載の撮像装置。

請求項6

前記複数の層の受光部の層数は3層であることを特徴とする請求項1乃至請求項5に記載の撮像装置。

技術分野

0001

本発明はフィルタアレイを備えた垂直色分離型の固体撮像素子を有する撮像装置に関する。

背景技術

0002

デジタルスチルカメラは、レンズ系から入射された光線光電変換するために、固体撮像素子を内部に有している。固体撮像素子は信号処理装置に接続され、発生した電荷デジタル情報へと変換される。

0003

一般的に光源や被写体は、分光分布分光反射率として多くの情報を保持している。しかし出力されるデジタル情報は、RGBとして波長ごとの強度情報を積算した、色信号と呼ばれる値である。このような積算処理の結果、情報量の圧縮が発生し、最終的に生成される画像には撮影対象の情報が十分に再現できていないといった問題が存在する。

0004

例えば一般的な白色蛍光灯下白い物体撮影した場合と、自然昼光下で緑色の植物の葉を撮影した場合とで、両者の信号値を比較すると、RGBの色信号での表記上は一致することがある。すると撮影者肉眼で見た際に明らかに色合いが異なっていたとしても、カメラ内の処理上、表現される色は同様のものとなる。これは、分光分布等の撮影対象の保持する情報が異なっていても、RGBとしてそれぞれ積算した結果が一致し得ることから生じる問題である。

0005

このような問題に対しては、従来ではRGBの3領域によって波長を分割していたところを、より多くの領域によって分割をするマルチバンド処理を行うことで改善がなされることが公知である。バンド数を増加させることで、詳細な色信号を得ることができ、撮影対象の波長域ごとの強度についての情報量が増加する。その結果、好適な画像処理がなされ、高精度の情報再現が可能となる。

0006

マルチバンド処理によって画像処理を向上させる試みとして、例えば特許文献1が挙げられる。特許文献1に開示された発明によれば、3バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、前記通常画像生成用カラーフィルタを用いて得られた画素値補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、前記スペクトル推定部により得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、を含む撮像装置、としている。

0007

このような構成を取ることで、画質劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることが可能となる、としている。

0008

また分光波長情報の情報種類数を増加することで、マルチバンドを実現する技術が公知である。

0009

特許文献2に記載の技術は、半導体基板の第1面上にマトリクス状に配置された複数の画素ブロックを有し、各画素ブロックは光を信号電荷に変換する光電変換素子をそれぞれ有する第1乃至第3画素を含み、前記第1画素は可視波長域中の第1波長域に対して可視波長域中の他の波長域よりも高い透過率を有する第1フィルタを備え、前記第2画素は前記第1波長域に対して補色となる第2波長域に対して可視光波長域中の他の波長域よりも高い透過率を有する第2フィルタを備え、前記第3画素は前記第1波長域および前記第2波長域を含む波長域の光を透過する第3フィルタを備えている、画素アレイと、前記複数の画素ブロックの前記第1乃至第3画素で光電変換された信号電荷を読み出す読み出し回路と、前記読み出し回路によって読み出された信号電荷に基づいて信号処理を行う信号処理回路と、を備えている固体撮像装置、としている。

0010

このような構成を取ることで、低照度被写体に対してSNRが高く色再現性に優れた固体撮像装置を提供することができる、としている。

先行技術

0011

特開2014−86862号公報
特開2014−187648号公報

発明が解決しようとする課題

0012

しかし特許文献1記載の技術は、補正情報生成用カラーフィルタに対応する画素が、通常画像の生成に寄与をしない欠陥画素と同様のものになっているという問題があった。これは通常画像の生成という点からは、カラーフィルタアレイに周期的に欠陥画素が存在する構造をとることと略同義である。ここで、カラーフィルタの存在する画素に行う画素補間処理と、欠陥画素に行う画素補間処理とでは、再現性の精度が異なる。カラーフィルタの存在する画素では元の色情報の一部が存在するため、欠陥画素に行う画素補間処理よりも再現性が高いのである。従って欠陥画素に補間を行う特許文献1の構成では、結果的に生成する画像に顕著な色が発生し、解像性も低下してしまう。

0013

またバンド数が多ければ多いほど、高精度な情報再現が可能となる。しかし、バンド数を増加させるためにカラーフィルタの種類数を増やしてしまうと、1画素の補完を行うために必要とする情報量が増加してしまう。また1種類のカラーフィルタの、カラーフィルタアレイに占める割合が減少してしまう。その結果、画素補間処理が複雑かつ精度の低いものとなり、顕著な偽色が発生し、解像性が低下してしまうという問題があった。つまり従来技術には、バンド数を増加させるためにカラーフィルタの種類数を増加させたいが、その結果画質が損なわれてしまうというジレンマが存在した。

0014

特許文献2記載の技術は、情報種類数を増加させているものの、ホワイトフィルタに対応する受光素子輝度のみしか計測することができない。従って、該受光素子の色信号は全て周囲の画素から生成された値にすぎないため、画素補間処理の精度が悪く、色再現性が不十分であった。また、垂直色分離型の撮像素子が2層構造であるため、1画素によってRGBの色信号を取得することができず、全ての受光素子に対して画素補間処理が必要となる。従って、偽色の発生や解像性の低下を抑えられなかった。また、情報再現性を向上させるために必要な、十分な情報種類数を得ることができないという問題があった。

0015

上記課題から本発明は、カラーフィルタの種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を提供することを目的とする。

課題を解決するための手段

0016

請求項1に示す発明は、深さ方向に積層された複数の層の受光部を有する複数の受光素子が半導体基板上に配置された固体撮像素子と、特定の波長域を減衰させることのない透過カラーフィルタと有色カラーフィルタとを含むカラーフィルタから構成される、前記固体撮像素子の光の入射側に配置されたカラーフィルタアレイと、前記固体撮像素子から取得した分光波長情報を処理する信号処理装置と、前記分光波長情報から画像データを生成する画像処理装置と、を有し、前記受光素子は3層以上に前記受光部を積層し、前記受光部は、入射される光のうち前記受光部材料における光吸収係数波長依存性により各受光部の深さに対応した光をそれぞれ検出し、前記固体撮像素子は、前記受光部の層数とカラーフィルタの種類数を積算した数だけ種類数を持つ前記分光波長情報を生成し、前記信号処理装置は、前記分光波長情報を用いて色成分信号を算出し、前記画像処理装置は、前記色成分信号に基づき、前記分光波長情報を補正する処理を行い、全ての前記分光波長情報から前記画像データを生成することを特徴とする撮像装置である。

0017

請求項2に示す発明は、前記色成分信号は、前記カラーフィルタアレイの一部であるユニットに対応する受光素子から生成された前記分光波長情報により算出され、前記ユニットは少なくとも2つ以上の、それぞれ異なる種類のカラーフィルタから構成されることを特徴とする請求項1に記載の撮像装置である。

0018

請求項3に示す発明は、前記カラーフィルタアレイは、前記有色カラーフィルタが前記透過カラーフィルタに隣接することを特徴とする請求項1又は請求項2に記載の撮像装置である。

0019

請求項4に示す発明は、前記透過カラーフィルタは白色であることを特徴とする請求項1乃至請求項3に記載の撮像装置である。

0020

請求項5に示す発明は、前記有色カラーフィルタは、赤色又は青色又は緑色のカラーフィルタの少なくともいずれか1つを含むことを特徴とする請求項1乃至請求項4に記載の撮像装置である。

0021

請求項6に示す発明は、前記複数の層の受光部の層数は3層であることを特徴とする請求項1乃至請求項5に記載の撮像装置である。

発明の効果

0022

本発明によれば、カラーフィルタの種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を得ることができる。

図面の簡単な説明

0023

本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。
図1に示した撮像装置に実装される撮像素子の単一画素単純化した断面図である。
垂直色分離型の撮像素子の分光感度を示した曲線図である。
垂直色分離型の撮像素子にカラーフィルタを設置した概念図である。
カラーフィルタの透過率を示した曲線図である。
実施例1におけるカラーフィルタアレイの配置図である。
実施例1におけるカラーフィルタアレイの基本単位の配置図である。
光を白色フィルタに通した際の撮像素子の分光感度を示した曲線図である。
光を赤色フィルタに通した際の撮像素子の分光感度を示した曲線図である。
光を緑色フィルタに通した際の撮像素子の分光感度を示した曲線図である。
光を青色フィルタに通した際の撮像素子の分光感度を示した曲線図である。
図8から図11までの分光感度を同時に示した曲線図である。
図12を分離、変換し、色成分信号を示した曲線図である。
実施例2におけるカラーフィルタアレイの配置図である。
実施例2におけるカラーフィルタアレイの基本単位の配置図である。

実施例

0024

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

0025

図1に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。本図に示す撮像装置100は、撮影光学系110と、撮像素子200と、読み出し制御部130と、信号処理部150と、画像処理部151と、カメラCPU170と、ユーザインターフェース(I/F)171と、記録媒体インターフェース(I/F)172と、画像表示部190と、を備えている。

0026

撮影光学系110は、フォーカスレンズ群ズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために1枚のレンズのみ記載している。

0027

撮像素子200は、撮影光学系110により集光された光線を受光して光電変換し、分光波長情報を生成する。本実施形態の撮像素子200としては、CMOSイメージセンサが用いられている。

0028

撮像素子200の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からRGBの各分光波長情報を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサについて、また分光波長情報について詳しくは後述する。

0029

撮像素子200の受光面側にはカラーフィルタアレイ300が取り付けられている。カラーフィルタアレイ300は白色、赤色、緑色、青色のカラーフィルタから構成され、各カラーフィルタは画素に対してそれぞれ1対1の対応を取る。

0030

また、カラーフィルタアレイ300の物体側には、UV−IRカットフィルタが取り付けられている。UV−IRカットフィルタは波長の可視領域外である、紫外線赤外線遮断する効果を有する。

0031

読み出し制御部130は、撮像素子200の駆動タイミングを決定するための信号を出力する。これにより画素毎の水平駆動並びに垂直駆動が制御され、各画素から分光波長情報が読み出される。

0032

本実施例の撮像素子200には、画素から読み出した分光波長情報を増幅するゲイン可変アンプゲイン値を補正するためのゲイン補正回路アナログ画像信号デジタル変換するA/Dコンバータが内蔵されている。

0033

撮像素子200内でA/D変換処理が行われることで、分光波長情報はデジタルデータとして出力される。

0034

撮像素子200から出力された分光波長情報のデジタルデータは、各種処理が施された後、Rawデータとして一旦不図示のメモリ部に記録される。メモリ部は、この他にも各種データのバッファとして機能する。

0035

信号処理部150は、撮像素子200から出力された分光波長情報のデジタルデータの一部を、色成分信号へと変換する。変換が行われるデータの選択については後述する。

0036

色成分信号は分光波長情報のデジタルデータと同様に、メモリ部に記録される。

0037

画像処理部151は、メモリ部から色成分信号を読み出し、補正情報を生成する。生成された補正情報は、メモリ部から読み出された分光波長情報のデジタルデータに適用され、各種画像処理が行われる。

0038

カメラCPU170は、撮像装置100全体の包括的な制御を行う。また、カメラCPU170は、読み出し制御部130の制御を行う。

0039

ユーザインターフェース(I/F)171は、例えば、レリーズタン電源ボタン、コマンドダイヤル十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラCPU170は所定の動作を行う指示を出す。

0040

記録媒体インターフェース(I/F)172は、不図示の記録媒体との間で画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

0041

画像表示部190は、画像処理部151で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。

0042

なお、上述したゲイン可変アンプ、ゲイン補正回路、A/Dコンバータを内蔵していない撮像素子200を採用する場合には、これらのデバイスを個別に搭載すればよい。

0043

図2は、撮像装置100に実装される撮像素子200の単一画素を単純化して示した断面図である。上述したように、本実施形態の撮像素子200はいわゆる垂直色分離型のイメージセンサであり、各画素には、深さ方向に3つのフォトダイオードが積層して形成されている。

0044

ある画素に光が入射すると、最上層に位置するフォトダイオード210では入射光中の青色(B)を中心とした成分が光電変換される。同様に、中間深さに位置するフォトダイオード230では入射光中の緑色(G)を中心とした成分が光電変換され、最下層に位置するフォトダイオード250では入射光中の赤色(R)を中心とした成分が光電変換される。これらの、垂直方向の色分離は撮像素子200の材料として用いるシリコン(Si)の特性を利用したものである。

0045

これら3つのフォトダイオードは、Si基板の内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、最上層に位置するフォトダイオード210は、約0.2〜0.5μmの間の深さに形成され、中間深さに位置するフォトダイオード230は、約0.5〜1.5μmの間の深さに形成され、最下層に位置するフォトダイオード250は、約1.5〜3.0μmの間の深さに形成される。

0046

図3は垂直色分離型の撮像素子200の分光感度を示した曲線図である。破線は最上層のフォトダイオード210の分光感度を表し、点線は中間深さのフォトダイオード230の分光感度を表し、実線は最下層のフォトダイオード250の分光感度を表している。

0047

垂直色分離型の撮像素子200は入射した光に対し、各色成分に対応するフォトダイオードで光電変換を行う。しかし、各フォトダイオードは特定の色成分に対応した波長のみを捉えるのではなく、幅広感度を有している。例えば最上層のフォトダイオード210は主にB成分を光電変換するが、G成分、R成分も混合された色信号を生成する。

0048

本発明の撮像装置100を用いて撮影をする場合において、垂直色分離型の撮像素子200から生成される分光波長情報について、図を参照しながら詳しく説明する。

0049

撮像装置100を用いて撮影をする場合、撮影者によりユーザインターフェース(I/F)171を介してレリーズ操作が行われると、撮影光学系110を介して被写体光が撮像素子200に入射して露光される。

0050

図4は垂直色分離型の撮像素子200にカラーフィルタアレイ300を設置した概念図である。撮像素子200の光の入射側にカラーフィルタアレイ300を設置することで、入射する光はカラーフィルタの透過率に従って通過する。通過した光は撮像素子200へ到達し、積層されたフォトダイオードの各層で検知される。つまり、特定の波長に対して、層数分の分光波長情報が得られる。これは各フォトダイオードが幅広い感度を有しているため、各層で必ず検知が行われることから可能となる。このような構成を取ることによって、垂直色分離型の撮像素子200の層数分とカラーフィルタの種類数の積算分だけ分光波長情報を取得することができる。

0051

なお、本実施例では垂直色分離型の撮像素子200の層数を3層とするが、本発明はこれに限られることはない。3層以上の層数を持つことで、1画素において最終出力に必要なRGBの3種の分光波長情報、もしくはRGBの分光波長情報を内包する3種以上の分光波長情報を取得することが可能であれば、本発明は適用可能である。また2層以下の撮像素子を使用した場合、分光波長情報について、RGBのいずれかの成分を主に持つ色成分を検知できない。その結果、画像処理部において全画素に対し、主な成分を取得できなかった色成分について補間を行う必要が発生する。これは、本発明の目的である高い情報再現性、良質な解像性に損失を与えるため、不適格となる。

0052

図5はカラーフィルタの透過率を示した曲線図である。カラーフィルタは、それぞれ透過率の波長依存性を有している。Wが付された曲線は白色フィルタの透過率を表し、Rが付された曲線は赤色フィルタの透過率を表し、Gが付された曲線は緑色フィルタの透過率を表し、Bが付された曲線は青色フィルタの透過率を表している。

0053

ここで、本実施例における白色フィルタとは、特定の波長域を減衰させるのではなく、波長域全域にわたって同等に光を減衰させる効果を持つ、透過カラーフィルタの一種である。また、赤色フィルタとは、波長700nm付近に透過率のピークを持ち、600nmより大きい波長域の光に対しピークの透過率に対して50%以上の透過率を持ち、その他の波長域では光を減衰させる効果を持つカラーフィルタである。また、緑色フィルタとは、波長525nm付近に透過率のピークを持ち、500nmから600nmの波長帯の光に対しピークの透過率に対して50%以上の透過率を持ち、その他の波長域では光を減衰させる効果を持つカラーフィルタである。また、青色フィルタとは、波長450nm付近に透過率のピークを持ち、500nmより小さい波長帯の光に対しピークの透過率に対して50%以上の透過率を持ち、その他の波長域では光を減衰させる効果を持つカラーフィルタである。
(実施例1)

0054

図6は実施例1におけるカラーフィルタアレイ300の配置図である。4つのカラーフィルタで1ユニットを構成し、その構成は左上に赤色フィルタ、右上に白色フィルタ、左下に緑色フィルタ、右下に青色フィルタとなっている。次に、4つ1組み合わせのフィルタの周囲を白色のカラーフィルタが取り囲んで配置される。図7は実施例1におけるカラーフィルタアレイ300の基本単位の配置図である。この基本単位を繰り返すことによって、実施例1のカラーフィルタアレイ300は配置される。

0055

このようなカラーフィルタアレイ300の配置では、白色、赤色、緑色、青色のカラーフィルタに対し、それぞれ3層分の分光波長情報を取得することが可能となる。また、白色のフィルタは特定の波長域を大きく減衰させることはない。従って白色フィルタと対応する画素には、カラーフィルタアレイ300の存在しない垂直色分離型の撮像素子に入射する光と、略同等の光が入射する。

0056

図8乃至図11は光をそれぞれ白色フィルタ、赤色フィルタ、緑色フィルタ、青色フィルタに通した際のフォトダイオードの分光感度を示した曲線図である。図12図8乃至図11までの分光感度を同時に示した曲線図である。ここで、図8乃至図11の入射光は、カラーフィルタアレイ300より撮影対象側に設置されたUV−IRフィルタを通すことで、赤外紫外領域の波長を遮断された後の光であるとする。

0057

図9を例に取り、説明をする。図9は光を赤色フィルタに通した際の、垂直色分離型の撮像素子200に積層された各フォトダイオードの分光感度を示した曲線図である。光を赤色フィルタに通すと図5に示されるように、赤色フィルタの透過率から短波長域が減衰される。よって、垂直色分離型の撮像素子200の、本来図8のような結果を示す分光感度は、図9のように抑制される。図9は、最下層のフォトダイオードが長波長域を主に受光することから、高い分光感度を得られること、及び最上層のフォトダイオードが短波長域を主に受光することから、低い分光感度を得られることを示している。このように、560〜680nm付近の波長に関して、最上層、中間深さ、最下層の3つのフォトダイオードによって3種類の分光波長情報を取得できる。図10図11も同様である。

0058

本実施例では、垂直色分離型の撮像素子200の層数が最上層、中間深さ、最下層の3種類であり、ユニットを構成するカラーフィルタの種類数が白色、赤色、緑色、青色の4種類である。従って、それらを積算した値である12種類の分光波長情報が得られる。

0059

この際、1つあたりの画素から得られる分光波長情報は3種類であるので、1ユニットから12種類の分光波長情報が得られる。上述したように、信号処理部150では一部の分光波長情報が色成分信号へと変換される。この一部の分光波長情報が、ユニットを形成するカラーフィルタに対応する画素から読み出された12種類の分光波長情報である。ユニットを構成しない白色カラーフィルタに対応する画素から得られる分光波長情報については、色成分信号への変換が行われない。

0060

撮像素子200によって得られた12種類の分光波長情報は、撮像素子200に内蔵されたA/Dコンバータによってデジタル変換が行われ、メモリ部に記録される。

0061

メモリ部に記録された分光波長情報は信号処理部150において最適化処理が用いられ、各データが特定の波長で強い反応を示し、かつ他のデータがそれぞれの反応の弱い波長を補うように分離される。図13図12で得られた12種類の分光波長情報を、12種類のピークを持たせて分離させることで変換した曲線図である。具体的手法としては、まずターゲットとして波長に対して等間隔な波形を作成する。本実施例では12種類のピークを持つターゲットを使用する。次に適当な行列式を分光波長情報に適用し、ターゲットとの誤差を減らす演算を繰り返すことで精度を向上させ、等間隔に分離を行う。

0062

このようにして分離された12種類の分光波長情報は、色成分信号としてメモリ部に保存される。

0063

ここで、本実施例ではターゲットとなる波長のピークの数を12種類としたが、本発明はこれに限られるものではない。また、ピークの数について、得られた分光波長情報よりも少ない数を設定すると、後述の画像処理部151において使用可能な色成分信号が減少し、補正処理の精度が低下する。一方得られた分光波長情報よりも多い数を設定すると、実データからの推測を行うこととなり、変換によるノイズの増加や分離精度信頼性低下につながる。従って、ピークの数は分光波長情報の数と同数を取ることが望ましい。

0064

メモリ部に保存された色成分信号は、画像処理部151において補正処理に使用される。つまり、画像処理部151によって色成分信号の評価が行われることで補正処理に必要な、シーン判別光源推定といった情報が算出される。このような処理は公知の技術であり、例えば特許文献1に開示されているように処理を行えばよい。算出された情報を元に、各画素から検出された分光波長情報のデジタルデータは、画像処理部151において色補正ノイズ除去といった各種処理が施される。

0065

色成分信号に基づいた補正処理が行われた後に、画像処理部151では色情報の補間が行われる。実施例1におけるカラーフィルタアレイ300には有色カラーフィルムが含まれるため、対応する画素は本来の被写体の色情報の一部のみを持つ。従って、周囲の画素から残りの色情報を補間する必要がある。このような画素補間処理は公知の技術であり、本実施例での説明は省略する。

0066

画像処理の行われた画像データはメモリ部に保存されるが、撮像装置100の設定によっては画像処理部151において画像処理が施された後、記録媒体インターフェース(I/F)172を介して不図示の記録媒体に保存される。

0067

上記実施例によれば、カラーフィルタの種類数を4種類と抑えながら、高精度な情報再現に十分な量である12種類の分光波長情報を生成することができる。その結果、好適な画像処理がなされ、高い情報再現性を実現し、解像性に優れる画像データが生成可能である。

0068

また特許文献1のように、補正情報生成用カラーフィルタを有したカラーフィルタアレイ300では、欠陥画素に対する補間と同様に、全ての色成分を周囲の画素から補間する必要がある。しかし上記実施例によれば、図6に表された補正処理に使用するためのユニットは、同時に通常画像作成にも使用される。これらの画素は本来被写体から画素に届く色情報の一部を表す色成分を有しているため、周囲からの補間を行う際には欠落した色成分を補うだけでよい。従って、従来に比べ高精度の補間を行うことができる。

0069

また、周囲からの画素補間処理に関して、一般的なベイヤー型配置の撮像素子ではこのような処理を行うことで、出力された情報に偽色が発生し、解像性が損なわれてしまう。

0070

しかし、実施例1において配置される全ての有色カラーフィルタは、最低2つの白色カラーフィルタと隣接をしている。有色フィルタに対応した画素の画素補間処理の際には、隣接した白色フィルタに対応した画素からの補間が行われる。ここで、垂直色分離型の撮像素子は1画素においてRGB全ての情報を取得することができる。つまり一般的なベイヤー型配置の撮像素子よりも、補間に必要な画素が少ない数で済み、また、より本来の被写体が持つ色情報から補間することが出来る。従って偽色の発生を抑えた、精度良い画素補間処理を行うことが可能である。
(実施例2)

0071

実施例2における発明は、特に白色蛍光下でホワイトバランス処理に好適な効果を示す、カラーフィルタアレイ300を備えた撮像装置である。

0072

白色蛍光灯は特定の波長領域にピークを持つスペクトルを持った光源である。一方で自然昼光下の緑色の植物の葉は、広い波長領域に対して滑らかにスペクトルが変化する。しかし、両者の信号値を比較したとき、RGBの色信号での表記上は一致することがあったため、肉眼で見た際に明らかに色合いが異なっていたとしても、カメラ内の処理上、表現される色は同様のものとなることがあった。

0073

そこで本実施例においては、緑色フィルタを特定波長領域のみ透過するように配置することで、蛍光灯と植物の緑色に対して異なる色成分信号を取得する。これによって、従来は一致したRGBの色信号のみを取得していたことに対して、シーンを見分けるための色成分信号を取得することが出来るため、結果に応じて適切なホワイトバランス処理を行うことが出来る。

0074

図14は実施例2におけるカラーフィルタアレイ300の配置図である。緑色のカラーフィルタを配置し、その周囲を白色フィルタが取り囲んで配置される。また、2つのカラーフィルタで1ユニットを構成し、その構成は白色フィルタ、緑色フィルタが各1つずつとなっている。図15が実施例2のカラーフィルタアレイ300の基本単位である。この基本単位を繰り返すことによって、実施例2のカラーフィルタアレイ300は配置される。

0075

以下、実施例2の効果を説明する。実施例2のカラーフィルタアレイ300の配置では、緑色のフィルタを置くことで、緑色、白色のフィルタに対し、それぞれ3層分の分光波長情報を取得することが可能となる。これらの波形は図8図10に表されており、得られる分光波長情報は計6種類となる。

0076

実施例2において配置される緑色フィルタは、周囲全てを白色フィルタに取り囲まれている。従って、隣接している白色フィルタが2つとなる実施例1と比較しても、より高精度の補間を行うことができる。

0077

また、緑色フィルタによって生成される分光波長情報によって、オートホワイトバランス処理の不得手とする、緑成分の判別に好適な作用を示す。

0078

なお、カラーフィルタアレイ300の配列は上記に限られるものではない。複数の種類のカラーフィルタから構成されるカラーフィルタアレイ300を使用することで、情報種類数を十分に取得することが可能であれば、どのような配列パターンにも本発明は適用可能である。

0079

以上で説明したように、本発明の撮像装置によれば、カラーフィルタの種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を提供することが可能となる。

0080

100撮像装置
110撮影光学系
130読み出し制御部
150信号処理部
151画像処理部
170カメラCPU
171ユーザインターフェース(I/F)
172記録媒体インターフェース(I/F)
190画像表示部
200撮像素子
210 最上層に位置するフォトダイオード
230 中間深さに位置するフォトダイオード
250最下層に位置するフォトダイオード
300 カラーフィルタアレイ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ