図面 (/)

この項目の情報は公開日時点(2018年10月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

光が不十分な環境で画像を生成するための方法、システム、およびコンピュータプログラム製品を提供する。

解決手段

本開示は、光が不十分な環境で画像を生成するための方法、システム、およびコンピュータプログラム製品に伸展するものであり、関連する構造、方法、および特徴が、開示および説明される。システムは、持続時間、強度、または両方によって光源を制御すること、ブランキング期間の間に、成分が制御される光源をパルス処理すること、最適な光を可能にするようにブランキング期間を最大化すること、および、色バランスを維持することを含む。

概要

背景

[0001]技術の進歩が、医療用のためのイメージング性能の進歩をもたらした。最も有益な進歩のいくつかを享受した1つの分野は、内視鏡外科的処置の分野であり、そのことは、内視鏡を編成する構成要素の進歩を理由とする。

概要

光が不十分な環境で画像を生成するための方法、システム、およびコンピュータプログラム製品を提供する。本開示は、光が不十分な環境で画像を生成するための方法、システム、およびコンピュータプログラム製品に伸展するものであり、関連する構造、方法、および特徴が、開示および説明される。システムは、持続時間、強度、または両方によって光源を制御すること、ブランキング期間の間に、成分が制御される光源をパルス処理すること、最適な光を可能にするようにブランキング期間を最大化すること、および、色バランスを維持することを含む。

目的

このことは、例えば、増幅器挙動の変動から生起し得る非理想特性補正する目的での基本アルゴリズムから、例えば、標準sRGB色空間ビデオデータを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

周囲光が不十分な環境(ambient light deficient environment)でのデジタルイメージングのためのシステムであって、電磁(electromagnetic)放射(radiation)を感知するための画素アレイを備えるイメージングセンサと、前記周囲光が不十分な環境にアクセスするための内視鏡(endoscope)と、前記内視鏡に取り付けられたハンドピースであって、前記内視鏡がハンドピースの操作により操縦される、ハンドピースと、プロセッサを備える制御ユニットであって、前記イメージングセンサと電気的に通信する制御ユニットと、電磁放射パルスを放出するように構成されたエミッタ(emitter)と、デジタルビデオストリームを生成するために前記エミッタおよび前記イメージングセンサを協調させるように構成されたコントローラとを備え、前記コントローラは、前記デジタルビデオストリームにおけるn個のフレーム繰り返しパターンによって前記イメージングセンサを制御し、前記nは2より大きく、前記繰り返しパターンは、異なるブランキング時間を伴う複数のフレームを備えるシステム。

技術分野

0001

関連出願の相互参照
本出願は、2012年7月26日出願の米国仮特許出願第61/676,289号、および、2013年3月15日出願の米国仮特許出願第61/790,487号の利益を主張するものであり、これらの米国仮特許出願はここに、以降で具体的に現れる部分を含めて、ただしそれらの部分に限定されずに、それらの米国仮特許出願の全体が本明細書に参照により組み込まれており、参照による組み込みは、上記の参照される出願の何らかの部分が本出願と矛盾する場合に、本出願が前記上記の参照される出願に代わることを例外とする。

背景技術

0002

[0001]技術の進歩が、医療用のためのイメージング性能の進歩をもたらした。最も有益な進歩のいくつかを享受した1つの分野は、内視鏡外科的処置の分野であり、そのことは、内視鏡を編成する構成要素の進歩を理由とする。

発明が解決しようとする課題

0003

本願発明の一実施例は、例えば、光が不十分な環境での連続的なビデオに関する。

課題を解決するための手段

0004

[0002]本開示は、一般的には電磁感知およびセンサに関する。本開示はさらに、低エネルギー電磁入力条件および低エネルギー電磁スループット条件に関する。本開示は、より詳細には、ただし必ずしも全体的ではないが、持続時間、強度、または両方によって光源を制御すること、ブランキング期間の間に、成分が制御される光源をパルス処理すること、最適な光を可能にするようにブランキング期間を最大化すること、および、色バランスを維持することを含み得る、光が不十分な環境で画像を生成するためのシステム、ならびに、関連する構造、方法、および特徴に関する。

0005

[0003]本開示の特徴および利点は、次に来る説明で論述されることになり、部分的には説明から明らかになり、または、過度実験なしに本開示を実施することにより了得され得る。本開示の特徴および利点は、添付される特許請求の範囲で特に指摘される機器および組み合わせによって、実現および獲得され得る。

0006

[0004]本開示の非限定的および非網羅的な実装形態が、以下の図を参照して説明され、類似の参照番号は、別段の指定がない限り様々な図の全体を通して類似の部分を指す。本開示の利点は、以下の説明および付随する図面に関して、より良く理解されることになろう。

図面の簡単な説明

0007

[0005]本開示の原理および教示によって作製される、光が不十分な環境で画像を生成する際に使用するために動作中の、対にされたセンサおよび電磁エミッタのシステムの実施形態の概略図である。
[0006]相補的なシステムハードウェアの概略図である。
[0007]本開示の原理および教示による、1つの画像フレーム構築するために使用されるセンサの動作サイクル例示図である。
[0007]本開示の原理および教示による、1つの画像フレームを構築するために使用されるセンサの動作サイクルの例示図である。
[0007]本開示の原理および教示による、1つの画像フレームを構築するために使用されるセンサの動作サイクルの例示図である。
[0007]本開示の原理および教示による、1つの画像フレームを構築するために使用されるセンサの動作サイクルの例示図である。
[0008]本開示の原理および教示による、電磁エミッタの実施形態の動作のグラフカル表現図である。
[0009]本開示の原理および教示による、露光制御を提供するために、放出される電磁パルスの持続時間および大きさを変動させることのグラフィカル表現図である。
[0010]本開示の原理および教示による、動作の間のイメージングシステムを論証する、図2A図4のセンサ、電磁エミッタの動作サイクル、および放出される電磁パルスを組み合わせる、本開示の実施形態のグラフィカル表現図である。
[0011]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光に対してビデオのフレームを記録するためのt(0)からt(1)までの時間の期間にわたる2つの別個のプロセスの概略図を例示する図である。
[0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。
[0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。
[0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。
[0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。
[0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。
[0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。
[0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。
[0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。
[0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。
[0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。
[0015]本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。
[0015]本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。
[0016]色補正のないものと比較される、典型的なBayerベースのセンサに対する色補正の信号対ノイズ比への影響力を例示する図である。
[0017]sRGB色域と比較される、3つの単色のレーザ色度を例示する図である。
[0018]本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。
[0018]図27Aは、本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。図27Bは、本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。
[0019]図28Aは、対応する色センサによってパルス処理される、および/または、そのセンサと同期される白色光放出の使用を例示する図である。図28Bは、対応する色センサによってパルス処理される、および/または、そのセンサと同期される白色光放出の使用を例示する図である。図28Cは、対応する色センサによってパルス処理される、および/または、そのセンサと同期される白色光放出の使用を例示する図である。
[0020]図29Aは、本開示の教示および原理による、3次元画像を生成するための複数の画素アレイを有する実装形態を例示する図である。図29Bは、本開示の教示および原理による、3次元画像を生成するための複数の画素アレイを有する実装形態を例示する図である。
[0021]図30Aは、複数の基板上に築造されるイメージングセンサの実装形態の斜視図を例示する図であり、画素アレイを形成する複数の画素列が第1の基板上に設けられ、複数の回路列が第2の基板上に設けられており、図は、画素の1つの列から、その列の、回路網の関連または対応する列への間の、電気的な接続および通信を示す。図30Bは、複数の基板上に築造されるイメージングセンサの実装形態の側面図を例示する図であり、画素アレイを形成する複数の画素列が第1の基板上に設けられ、複数の回路列が第2の基板上に設けられており、図は、画素の1つの列から、その列の、回路網の関連または対応する列への間の、電気的な接続および通信を示す。
[0022]図31Aは、3次元画像を生成するための複数の画素アレイを有するイメージングセンサの実装形態の斜視図を例示する図であり、複数の画素アレイおよびイメージセンサが複数の基板上に築造される。図31Bは、3次元画像を生成するための複数の画素アレイを有するイメージングセンサの実装形態の側面図を例示する図であり、複数の画素アレイおよびイメージセンサが複数の基板上に築造される。
[0023]様々な機械式フィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。
[0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。
[0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。
[0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。
[0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。

実施例

0008

[0024]本開示は、主として医療用途に適したものであり得る、デジタルイメージングのための方法、システム、およびコンピュータベース製品伸展する。本開示の以下の説明では、付随する図面が参照され、それらの図面は本明細書の一部を形成し、それらの図面には、本開示が実施され得る特定の実装形態が例示によって示される。他の実装形態が利用される場合があり、構造的変更が、本開示の範囲から逸脱することなく行われ得ることが理解される。

0009

[0025]例えば関節鏡検査および腹腔鏡検査で使用される従来の内視鏡は、イメージセンサが典型的にはハンドピースユニットの内部に配置されるように設計される。そのような構成では内視鏡ユニットは、最小限の損失および歪みを伴う、精密に結合された光学構成要素の複雑なセットを介して、センサに向けて、その内視鏡ユニットの長さに沿って入射光伝送しなければならない。内視鏡ユニットのコストは光学部品により支配され、その理由は、構成要素が高価であり、製造プロセスが労働集約的であるからである。さらに、このタイプの観察器械機械的に精巧であり、比較的軽度の衝撃が容易に、構成要素に損傷を与え、または、それらの構成要素の相対的な位置合わせを狂わせ、そのことにより、甚だしい光の減退を引き起こし、観察器械を使用できなくする場合がある。このことによって、画像品質を維持するために高頻度の高価な修理サイクルが必要になる。この問題点に対する1つの解決策は、イメージセンサを遠位端で内視鏡自体の内部に配置し、そのことにより、光学的な単純性堅牢性、および経済性に潜在的に取り組むことであり、そのことは、例えば携帯電話カメラの内部で、普遍的に実現されている。しかしながら、この取り組みに対する許容される解決策は決して些細なものではなく、その理由は、その取り組みがそれ自体の工学的課題のセットをもたらすからであり、それらの課題のうち決して小さくないものは、センサが、特にXおよびYの次元で、高度に限局される区域の内部で適合しなければならず、一方でZ次元ではより多くの自由度があることである。

0010

[0026]積極的な制約をセンサ区域にかけると、当然ながら、画素アレイの内部の画素が、より少なくなる、および/または、より小さくなる結果になる。画素総数を低下させることは、空間分解能に直接的に影響を及ぼし得るものであり、一方で画素区域を低減することは、利用可能な信号容量を低減し、そのことにより画素の感度を低減する場合があり、他に、画像品質が最大化されるように画素の数を、最小画素分解能を、ならびに、分解能が問題点にならないように、最大画素品質およびピッチを使用する画素の本来の数を最適化する場合があり、他に、各々の画素の信号対ノイズ比(SNR)を低下させる場合がある。信号容量を低下させることは、ダイナミックレンジ、すなわち、大きな範囲の光度を伴うシーンから有用な情報のすべてを同時にキャプチャするためのイメージングデバイスまたはカメラ能力を低減する。イメージングシステムのダイナミックレンジを、画素自体のものを超えて拡張するための様々な方法が存在する。しかしながらそれらの方法のすべては、(例えば、分解能またはフレームレートにおいて)何らかの種類の不利を有し得るものであり、それらの方法は、極端な事例では問題となる望ましくないアーチファクトをもたらす場合がある。感度を低減することは、より大きな光パワーが、シーンのより暗い部域を許容される信号レベルに至らせるために必要とされるという結果を招く。Fナンバーを低下させること(絞りを拡大すること)は、感度の損失を補償することが可能であるが、空間歪み、および、焦点深度の低減を犠牲にしてのことである。

0011

[0027]センサ業界ではCMOSイメージセンサが、内視鏡検査などの最新式のカメラ用途で従来のCCDイメージセンサに大規模に取って代わることになったが、そのことは、それらのCMOSイメージセンサの統合および運用がより容易であり、画像品質が優良または同等であり、汎用性がより大きくコストがより低いためである。典型的にはそれらのCMOSイメージセンサは、画像情報デジタルデータに変換するのに必要な回路網を含み得るものであり、その後に組み込まれる様々なレベルデジタル処理を有し得る。このことは、例えば、増幅器挙動の変動から生起し得る非理想特性を補正する目的での基本アルゴリズムから、例えば、標準sRGB色空間でビデオデータを提供する完全な画像信号処理(ISP:image signal processing)チェーンまでの範囲に及び得る(カメラ・オンチップ)。

0012

[0028]制御ユニットまたは第2の段階が、センサに対して遠く離れて設けられ、そのセンサからかなりの距離にあるならば、データをデジタル領域で送信することが望ましい場合があり、その理由は、そのことは、アナログデータストリームを送信することと比較される場合、干渉ノイズおよび信号劣化をほとんど受けるおそれがないからである。LVDS(低電圧差動信号伝送(low voltage differential signaling))、サブLVDS、SLVS(スケーラブル低電圧信号伝送)、または他の電気的なデジタル信号伝送標準などの、様々な電気的なデジタル信号伝送標準が使用され得ることが十分理解されよう。

0013

[0029]センサ上の空間を消費するパッドの数を低減するために、ならびに、センサ製造の複雑性およびコストを低減するために、電気導体の数を最小化することの強い所望が存在し得る。センサにアナログデジタル変換を追加することは有利であり得るが、変換回路により占有される区域を追加することは、デジタル信号への早期の変換に起因して、必要とされるアナログバッファリングパワーが有意に低減することを理由に相殺される。

0014

[0030]区域消費の点からは、CMOSイメージセンサ(CIS)技術で利用可能な典型的な特徴サイズを考え合わせると、いくつかの実装形態では、制御レジスタのセットおよび単純なコマンドインターフェースによって、画素アレイと同じチップ上で発生させられる内部的な論理信号のすべてを有することが好ましい場合がある。

0015

[0031]本開示のいくつかの実装形態は、高度に制御される照明環境での、低減された画素総数による高精細度イメージングを考慮に入れたものである、組み合わされたセンサおよびシステム設計の態様を含み得る。このことは、高いフレームキャプチャレート連関した制御される光源、および、特別に設計された対応する単色のセンサを使用する、単一の色波長の1フレームずつのパルス処理、および、単一の異なる色波長の間で各々のフレームを切り替える、または交番させることによって達成され得る。本明細書で使用される際には、単色のセンサは、フィルタリングされないイメージングセンサを指す。画素は色について不可知であるので、有効空間分解能は、従来の単一のセンサのカメラでの、それらの画素の色の(典型的にはBayerパターンでフィルタリングされる)対応物に対してよりかなり高い。それらの画素は、個々の画素の間で浪費される入射光子がはるかに少ないので、より高い量子効率も有し得る。さらに、Bayerベースの空間色変調は、付随する光学部品の変調伝達関数MTF)が、Bayerパターンに関連する色アーチファクトをぼかすために、単色変調と比較されて低下させられることを必要とする。このことは、色センサによって実現され得る実際の空間分解能に関して有害な影響力を有する。

0016

[0032]本開示は、イメージセンサが内視鏡の遠位端に内在する、内視鏡検査用途のためのシステム解決策に関わるものでもある。最小限区域のセンサベースのシステムを求めて尽力する中で、画素総数の低減を超えて開発され得る、他の設計態様が存在する。チップのデジタル部分の区域が最小化され得る。加えて、チップ(パッド)への接続の数もまた最小化され得る。本開示は、そのようなシステムの実現のためにこれらの目標を達成する新規の方法を説明する。このことは、いくつもの新規の特徴を伴うフルカスタムCMOSイメージセンサの設計を必然的に含む。

0017

[0033]本開示による原理の理解を促進する目的で、次に、図面に例示される実施形態が参照され、特定の文言が、それらの実施形態を説明するために使用される。しかし、それによって本開示の範囲の限定は意図されないことが理解されよう。関連性のある技術分野の当業者であり、本開示を所有する者が普通に想到することになる、本明細書で例示される発明の特徴の任意の改変およびさらなる修正、ならびに、本明細書で例示されるような本開示の原理の任意の追加的な用途は、主張される本開示の範囲内にあるとみなされることになる。

0018

[0034]光が不十分な環境で画像を生成するための構造、システム、および方法が、開示および説明される前に、本開示は、本明細書で開示される個別の構造、構成、プロセスステップ、および材料に限定されず、その理由は、そのような構造、構成、プロセスステップ、および材料はある程度は変動し得るからであることを理解されたい。本明細書で用いられる専門用語は、単に個別の実施形態を説明する目的で使用されるものであり、限定的であることは意図されず、その理由は、本開示の範囲は、添付される特許請求の範囲、およびその等価物のみにより限定されることになるからであることも理解されたい。

0019

[0035]本開示の主題を説明および主張する際に、以下の専門用語が、下記に記載される
定義によって使用されることになる。

0020

[0036]本明細書および添付される特許請求の範囲で使用される際には、単数形「a」、「an」、および「the」は、文脈で明確に別段に定めない限りは複数の指示物を含むことが留意されなければならない。

0021

[0037]本明細書で使用される際には、用語「備える」、「含む」、「内包する」、「特徴とする」、およびそれらの文法的等価物は、追加的な、列挙されない要素または方法ステップを排除しない、包含的な、またはオープンエンドの用語である。

0022

[0038]本明細書で使用される際には、語句「からなる」およびその文法的等価物は、請求項で指定されない、いかなる要素またはステップも排除する。

0023

[0039]本明細書で使用される際には、語句「から本質的になる」およびその文法的等価物は、請求項の範囲を、指定される材料またはステップに、ならびに、主張される本開示の基本的な、および新規の特性または複数の特性に材料的に影響を及ぼさない、それらの材料またはステップに限定する。

0024

[0040]本明細書で使用される際には、用語「近位の」は、原点に最も近い部分の概念を広く指すものとする。

0025

[0041]本明細書で使用される際には、用語「遠位の」は、一般的には近位の反対のものを、したがって、文脈に応じて、原点からより遠い部分、または最も遠い部分の概念を指すものとする。

0026

[0042]本明細書で使用される際には、色センサまたはマルチスペクトルセンサは、入来する電磁放射をその別々の成分にフィルタリングするように、上に色フィルタアレイ(CFA:color filter array)を有するように知られているセンサである。電磁スペクトル視覚範囲では、そのようなCFAは、光の緑色、赤色、および青色のスペクトル成分を分離するために、Bayerパターン、またはそれに関する修正を基に築造され得る。次に図1図5を参照して、光が不十分な環境で画像を生成するためのシステムおよび方法が次に説明される。図1は、光が不十分な環境で画像を生成する際に使用するために動作中の、対にされたセンサおよび電磁エミッタの概略図を例示する。そのような構成は、光が制御される、または周囲光が不十分な環境での増大される機能性を考慮に入れたものである。

0027

[0043]本明細書で使用される際には、用語「光」は、粒子および波長の両方であり、画素アレイにより検出可能である電磁放射を指し示すことが意図され、電磁放射の可視および不可視のスペクトルからの波長を含み得ることに留意されたい。用語「区分部分」は本明細書では、スペクトル全体より小さい電磁スペクトルの所定の範囲の波長を、または換言すれば、電磁スペクトルのある程度の部分を編成する波長を意味するために使用される。本明細書で使用される際には、エミッタは、放出される電磁スペクトルの部分に関して制御可能であり得る、または、その電磁スペクトルの成分、放出の強度、もしくは放出の持続時間、もしくは上記のもののすべての物理的現象に関して動作することが可能である光源である。エミッタは、任意のディザリングされる、拡散される、またはコリメートされる放出で光を放出することが可能であり、デジタル的に、または、アナログの方法もしくはシステムによって制御され得る。本明細書で使用される際には、電磁エミッタは、電磁エネルギーバーストの源であり、レーザ、LED、白熱光、または、デジタル的に制御され得る任意の光源などの光源を含む。

0028

[0044]イメージセンサの画素アレイは、電子的にエミッタと対にされ得るものであり、そのことによってそれらは、放出を受け取ることに対して、および、システムの内部で行われる調整に対しての両方で、動作の間に同期される。図1で確認され得るように、エミッタ100は、目的物110を照明するためにパルス処理され得るレーザの形式で電磁放射を放出するようにチューニングされ得る。エミッタ100は、画素アレイ122の動作および機能性に対応する間隔でパルス処理することが可能である。エミッタ100は、複数の電磁区分部分105で光をパルス処理することが可能であり、そのことによって画素アレイは、電磁エネルギーを受け取り、各々の特定の電磁区分部分105と(時間的に)符合するデータセットを生成する。例えば図1は、画素アレイ(白黒)122およびサポートする回路網を有する単色のセンサ120を有するシステムを例示し、その画素アレイ122は、任意の波長の電磁放射に対して高感度である。図に例示される光エミッタ100は、任意の所望の順番で、赤色電磁区分部分105a、青色電磁区分部分105b、および緑色電磁区分部分105cを放出することが可能であるレーザエミッタであり得る。デジタルまたはアナログベースのエミッタなどの他の光エミッタ100が、本開示の範囲から逸脱することなく図1で使用され得ることが十分理解されよう。

0029

[0045]動作の間、任意の個々のパルスに対して単色のセンサ120により生み出されるデータは、特定の色区分部分が割り当てられ得るものであり、割り当ては、エミッタ100からのパルス処理された色区分部分のタイミングに基づく。画素122が色専用でない場合でも、それらの画素は、エミッタに関する事前の情報に基づいて、任意の所与のデータセットに対して色が割り当てられ得る。

0030

[0046]1つの実施形態では、赤色、緑色、および青色の電磁パルスを表す3つのデータセットが、単一の画像フレームを形成するように組み合わされ得る。本開示が、任意の個別の色の組み合わせまたは任意の個別の電磁区分部分に限定されないこと、ならびに、シアンマゼンタ、および黄色、紫外線赤外線、前述のものの任意の組み合わせ、または任意の他の色の組み合わせなど、すべての可視および不可視の波長を含む、任意の色の組み合わせまたは任意の電磁区分部分が、本開示の範囲から逸脱することなく、赤色、緑色、および青色の代わりに使用され得ることが十分理解されよう。図では、イメージングされることになる目的物110は、赤色部分110a、緑色部分110b、および青色部分110cを内包する。図に例示されるように、電磁パルスからの反射される光は、パルス処理された色区分部分に対応する特定の色を有する目的物の部分に対するデータを内包するのみである。それらの別々の色(または色間隔)データセットは、次いで、130でデータセットを組み合わせることにより画像を再構築するために使用され得る。

0031

[0047]図2に例示されるように、本開示の実装形態は、下記でより詳細に論考されるように、例えば1つまたは複数のプロセッサおよびシステムメモリなどのコンピュータハードウェアを含む、専用または汎用コンピュータを、備え得る、または利用し得る。本開示の範囲内の実装形態は、コンピュータ実行可能命令および/またはデータ構造を搬送または記憶するための、物理的な、および他のコンピュータ可読媒体もまた含み得る。そのようなコンピュータ可読媒体は、汎用または専用コンピュータシステムによりアクセスされ得る任意の利用可能な媒体であり得る。コンピュータ実行可能命令を記憶するコンピュータ可読媒体は、コンピュータ記憶媒体デバイス)である。コンピュータ実行可能命令を搬送するコンピュータ可読媒体は、伝送媒体である。このように例として、および限定としてではなく、本開示の実装形態は、少なくとも2つの明瞭に異なる種類のコンピュータ可読媒体、すなわち、コンピュータ記憶媒体(デバイス)および伝送媒体を備え得る。

0032

[0048]コンピュータ記憶媒体(デバイス)は、コンピュータ実行可能命令またはデータ構造の形式で所望のプログラムコード手段を記憶するために使用され得る、および、汎用または専用コンピュータによりアクセスされ得る、RAM、ROM、EEPROMCD−ROMソリッドステートドライブ(「SSD」)(例えば、RAMに基づく)、フラッシュメモリ相変化メモリ(「PCM」)、他のタイプのメモリ、他の光学ディスク記憶装置磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、任意の他の媒体を含む。

0033

[0049]「ネットワーク」は、コンピュータシステムおよび/またはモジュールおよび/または他の電子デバイスの間での電子データの移送を可能にする、1つまたは複数のデータリンクとして定義される。実装形態では、センサおよびカメラ制御ユニットが、相互に通信するために、および、他の構成要素であって、それらが接続されるネットワークを介して接続される他の構成要素と通信するためにネットワーク化され得る。情報が、ネットワークまたは別の通信接続ハードワイヤードワイヤレス、または、ハードワイヤードもしくはワイヤレスの組み合わせのいずれか)を介して、コンピュータに伝達または提供されるとき、コンピュータは当然のことながら、接続を伝送媒体とみなす。伝送媒体は、コンピュータ実行可能命令またはデータ構造の形式で所望のプログラムコード手段を搬送するために使用され得る、および、汎用または専用コンピュータによりアクセスされ得る、ネットワークおよび/またはデータリンクを含み得る。上記のものの組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。

0034

[0050]さらに、様々なコンピュータシステム構成要素に達する際の、伝送媒体からコンピュータ記憶媒体(デバイス)に(またはその逆に)自動的に伝達され得る、コンピュータ実行可能命令またはデータ構造の形式でのプログラムコード手段。例えば、ネットワークまたはデータリンクを介して受信される、コンピュータ実行可能命令またはデータ構造は、ネットワークインターフェースモジュール(例えば「NIC」)の内部のRAMにバッファリングされ得るものであり、次いで、コンピュータシステムRAMに、および/または、コンピュータシステムでのより揮発性でないコンピュータ記憶媒体(デバイス)に最終的に伝達され得る。RAMは、ソリッドステートドライブ(FusionIOなどの、SSDまたはPCIxベースのリアルタイムメモリ階層型記憶装置)もまた含み得る。このように、コンピュータ記憶媒体(デバイス)が、伝送媒体をもまた(さらには、主として)利用するコンピュータシステム構成要素に含まれ得ることを理解されたい。

0035

[0051]コンピュータ実行可能命令は例えば、プロセッサで実行されたときに、汎用コンピュータ、専用コンピュータ、または専用処理デバイスに、ある決まった機能または機能の群を実施させる、命令およびデータを含む。コンピュータ実行可能命令は例えば、バイナリアセンブリ言語などの中間フォーマット命令、さらにはソースコードであり得る。主題は構造的特徴および/または方法論的行為に対しての具体的な文言で説明されているが、添付される特許請求の範囲において定義される主題は、説明された特徴または上記で説明された行為に必ずしも限定されないことを理解されたい。むしろ、説明された特徴および行為は、特許請求の範囲を実装する例の形式として開示されるものである。

0036

[0052]当業者であれば、パーソナルコンピュータデスクトップコンピュータラップトップコンピュータメッセージプロセッサ、制御ユニット、カメラ制御ユニット、ハンドヘルドデバイスハンドピースマルチプロセッサシステムマイクロプロセッサベースの、またはプログラマブル家電、ネットワークPC、ミニコンピュータメインフレームコンピュータ、携帯電話、PDA、タブレットページャルータ、スイッチ、様々な記憶デバイスなどを含む、多くのタイプのコンピュータシステム構成によってネットワークコンピューティング環境で本開示が実施され得ることを十分理解するであろう。上記で述べられたコンピューティングデバイスの任意のものが、ブリックアンドモルタルの場所により提供され得る、またはその場所の内部に設けられ得ることに留意されたい。本開示は分散型システム環境で実施される場合もあり、その環境では、ネットワークによって(ハードワイヤードデータリンク、ワイヤレスデータリンクによって、または、ハードワイヤードデータリンクおよびワイヤレスデータリンクの組み合わせによってのいずれかで)リンクされる、ローカルおよびリモートのコンピュータシステムが、両方ともタスクを実施する。分散型システム環境ではプログラムモジュールは、ローカルおよびリモートの両方のメモリ記憶デバイス内に設けられ得る。

0037

[0053]さらに、適切である場合には、本明細書で説明される機能は、ハードウェア、ソフトウェアファームウェアデジタル構成要素、またはアナログ構成要素のうちの、1つまたは複数で実施され得る。例えば、1つまたは複数の特定用途向け集積回路ASIC)またはフィールドプログラマブルゲートアレイFPGA:field programmable gate array)が、本明細書で説明されるシステムおよび処置の1つまたは複数を履行するようにプログラムされ得る。ある決まった用語が、個別のシステム構成要素を指すように、以下の説明および特許請求の範囲の全体を通して使用される。当業者であれば十分理解するであろうが、構成要素は異なる名前により呼ばれる場合がある。本文書は、名前では異なるが機能では異ならない構成要素の間で区別することを意図しない。

0038

[0054]図2は、例のコンピューティングデバイス150を例示するブロック図である。コンピューティングデバイス150は、本明細書で論考されるものなどの様々な処置を実施するために使用され得る。コンピューティングデバイス150は、サーバクライアント、または任意の他のコンピューティングエンティティとして機能し得る。コンピューティングデバイス150は、本明細書で論考されるような様々なモニタリング機能を実施することが可能であり、本明細書で説明されるアプリケーションプログラムなどの、1つまたは複数のアプリケーションプログラムを実行することが可能である。コンピューティングデバイス150は、デスクトップコンピュータ、ノートブックコンピュータサーバコンピュータハンドヘルドコンピュータ、カメラ制御ユニット、タブレットコンピュータなどのような、多種多様のコンピューティングデバイスの任意のものであり得る。

0039

[0055]コンピューティングデバイス150は、1つまたは複数のプロセッサ152、1つまたは複数のメモリデバイス154、1つまたは複数のインターフェース156、1つまたは複数の大容量記憶デバイス158、1つまたは複数の入出力(I/O:Input/Output)デバイス160、および、表示デバイス180を含み、それらのすべてはバス162に結合される。プロセッサ152は、メモリデバイス154および/または大容量記憶デバイス158に記憶される命令を実行する、1つまたは複数のプロセッサまたはコントローラを含む。プロセッサ152は、キャッシュメモリなどの様々なタイプのコンピュータ可読媒体もまた含み得る。

0040

[0056]メモリデバイス154は、揮発性メモリ(例えば、ランダムアクセスメモリ(RAM)164)および/または不揮発性メモリ(例えば、読出し専用メモリ(ROM:read−only memory)166)などの、様々なコンピュータ可読媒体を含む。メモリデバイス154は、フラッシュメモリなどの書き換え可能なROMもまた含み得る。

0041

[0057]大容量記憶デバイス158は、磁気テープ磁気ディスク光学ディスクソリッドステートメモリ(例えば、フラッシュメモリ)などのような、様々なコンピュータ可読媒体を含む。図2に示されるように、個別の大容量記憶デバイスはハードディスクドライブ174である。様々なドライブもまた、様々なコンピュータ可読媒体に関しての読み取りおよび/または書き込みを可能にするために、大容量記憶デバイス158に含まれ得る。大容量記憶デバイス158は、取外し式媒体176および/または非取外し式媒体を含む。

0042

[0058]I/Oデバイス160は、データおよび/または他の情報が、コンピューティングデバイス150に入力される、または、コンピューティングデバイス150から索出されることを可能にする様々なデバイスを含む。例のI/Oデバイス160は、デジタルイメージングデバイス電磁センサおよびエミッタ、カーソル制御デバイスキーボードキーパッドマイクロホンモニタまたは他の表示デバイス、スピーカプリンタネットワークインターフェースカードモデムレンズ、CCDまたは他の画像キャプチャデバイスなどを含む。

0043

[0059]表示デバイス180は、コンピューティングデバイス150の1人または複数のユーザに情報を表示することが可能な任意のタイプのデバイスを含む。表示デバイス180の例は、モニタ、表示端末ビデオ投影デバイスなどを含む。

0044

[0060]インターフェース106は、コンピューティングデバイス150が、他のシステム、デバイス、またはコンピューティング環境対話することを可能にする様々なインターフェースを含む。例のインターフェース156は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワークWAN)、ワイヤレスネットワーク、およびインターネットに対するインターフェースなどの、任意の数の異なるネットワークインターフェース170を含み得る。他のインターフェースは、ユーザインターフェース168および周辺デバイスインターフェース172を含む。インターフェース156は、1つまたは複数のユーザインターフェース要素168もまた含み得る。インターフェース156は、プリンタ、ポインティングデバイスマウストラックパッド等)、キーボードなどのためのインターフェースなどの、1つまたは複数の周辺インターフェースもまた含み得る。

0045

[0061]バス162によって、プロセッサ152、メモリデバイス154、インターフェース156、大容量記憶デバイス158、およびI/Oデバイス160が、互いに通信すること、および、バス162に結合される他のデバイスまたは構成要素と通信することが可能になる。バス162は、システムバスPCIバスIEEE1394バス、USBバスなどのような、いくつものタイプのバス構造の1つまたは複数を表す。

0046

[0062]例示の目的で、プログラムおよび他の実行可能なプログラム構成要素は、離散的なブロックとして本明細書では示されるが、そのようなプログラムおよび構成要素は、コンピューティングデバイス150の異なる記憶構成要素内に様々な時間に存し得るものであり、プロセッサ152により実行されることが理解される。あるいは、本明細書で説明されるシステムおよび処置は、ハードウェアで、または、ハードウェア、ソフトウェア、および/もしくはファームウェアの組み合わせで実装され得る。例えば、1つまたは複数の特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)が、本明細書で説明されるシステムおよび処置の1つまたは複数を履行するようにプログラムされ得る。

0047

[0063]図2Aは、ローリング読み出しモードで、またはセンサ読み出し200の間に使用されるセンサの動作サイクルを例示する。フレーム読み出しは、垂直線210で開始することが可能であり、垂直線210により表され得る。読み出し期間は、斜めの、または傾斜した線202により表される。センサは、1行ずつを基本として読み出され得るものであり、下方に傾斜した辺の上位はセンサ上位行212であり、下方に傾斜した辺の下位はセンサ下位行214である。最後の行読み出しと次の読み出しサイクルとの間の時間は、ブランキング時間216と呼ばれ得る。センサ画素行のいくつかが、遮光体(例えば、金属コーティング、または、別の材料タイプの任意の他の実質的に黒色の層)によって被覆され得ることに留意されたい。これらの被覆される画素行は、オプティカルブラック行218および220と呼ばれ得る。オプティカルブラック行218および220は、補正アルゴリズムに対する入力として使用され得る。図2Aに示されるように、これらのオプティカルブラック行218および220は、画素アレイの上位上に、または、画素アレイの下位に、または、画素アレイの上位および下位に設けられ得る。図2Bは、画素に対して露光され、そのことにより、画素により積分または蓄積される、電磁放射、例えば光の量を制御するプロセスを例示する。光子が電磁放射の素粒子であることが十分理解されよう。光子は、各々の画素により積分、吸収、または蓄積され、電荷または電流に変換される。電子シャッタまたはローリングシャッタ破線222により示される)が、画素をリセットすることにより積分時間を開始するために使用され得る。光はその後、次の読み出しフェーズまで積分することになる。電子シャッタ222の位置が、光の所与の量に対する画素飽和を制御するために、2つの読み出しサイクル202の間で移動させられ得る。この技法は、2つの異なるラインの間の一定の積分時間を考慮に入れたものであるが、上位から下位の行に移動するときに遅延をもたらすことに留意されたい。図2Cは、電子シャッタ222が除去されている事例を例示する。この構成では入来する光の積分は、読み出し202の間に開始することが可能であり、次の積分の開始を規定するものでもある次の読み出しサイクル202で終了することが可能である。図2Dは、電子シャッタ222を伴わないが、ブランキング時間216の間の、制御されパルス処理された光230を伴う構成を示す。このことによって、すべての行が、同じ光パルス230から発せられる同じ光に遭遇することが確実になる。換言すれば、各々の行は、その行の積分を暗い環境で開始することになり、そのことは、最大光パルス幅に対する読み出しフレーム(m)のオプティカルブラック後部行220でのことであり得るものであり、各々の行は次いで、光ストロボを受け取ることになり、その行の積分を暗い環境で終了することになり、そのことは、最大光パルス幅に対する次の引き続く読み出しフレーム(m+1)のオプティカルブラック前部行218でのことであり得る。図2Dの例では、光パルスから発生させられる画像は、フレーム(m)および(m+2)との何らの干渉もなく、フレーム(m+1)の読み出しの間に単に利用可能となる。1つのフレームのみで読み出され、近隣のフレームと干渉しない光パルスを有するための条件は、所与の光パルスに、ブランキング時間216の間に点弧させることであることに留意されたい。オプティカルブラック行218、220は光に対して感度がないので、フレーム(m)のオプティカルブラック後部行220の時間、および、フレーム(m+1)のオプティカルブラック前部行218の時間が、光パルス230の点弧時間最大範囲を決定するためにブランキング時間216に追加され得る。図2Aに例示されるように、センサは、各々のパルス処理される色(例えば、赤色、緑色、青色)に対するデータを受け取るために、多くの回数サイクル処理され得る。各々のサイクルはタイミング設定され得る。実施形態ではサイクルは、16.67msの間隔の範囲内で動作するようにタイミング設定され得る。別の実施形態ではサイクルは、8.3msの間隔の範囲内で動作するようにタイミング設定され得る。他のタイミング間隔が、本開示により企図され、本開示の範囲内にあることが意図されることが十分理解されよう。

0048

[0064]図3は、電磁エミッタの実施形態の動作をグラフィカルに例示する。エミッタは、センサのサイクルと符合するようにタイミング設定され得るものであり、そのことによって電磁放射は、センサ動作サイクルの範囲内で、および/または、センサ動作サイクルの一部分の間に放出される。図3は、302でのパルス1、304でのパルス2、および306でのパルス3を例示する。実施形態ではエミッタは、センサ動作サイクルの読み出し部分202の間にパルス処理することが可能である。実施形態ではエミッタは、センサ動作サイクルのブランキング部分216の間にパルス処理することが可能である。実施形態ではエミッタは、2つ以上のセンサ動作サイクルの部分の間である持続時間に対してパルス処理することが可能である。実施形態ではエミッタは、ブランキング部分216の間に、または、読み出し部分202のオプティカルブラック部分220の間にパルスを始めることが可能であり、読み出し部分202の間に、または、次の引き続くサイクルの読み出し部分202のオプティカルブラック部分218の間にパルスを終了することが可能である。上記のものの任意の組み合わせが、エミッタのパルスおよびセンサのサイクルが符合する限りにおいて、本開示の範囲内にあることが意図されることが理解されよう。

0049

[0065]図4は、露光を制御するために、放出される電磁パルス(例えば、402でのパルス1、404でのパルス2、および406でのパルス3)の持続時間および大きさを変動させることをグラフィカルに表す。固定の出力の大きさを有するエミッタは、必要とされる電磁エネルギーを画素アレイに提供するために、ある間隔の間、図2Dおよび図3に関して上記で言及されたサイクルのいずれかの間にパルス処理され得る。固定の出力の大きさを有するエミッタは、時間のより長い間隔でパルス処理され得るものであり、そのことにより、より多い電磁エネルギーを画素に提供し、またはエミッタは、時間のより短い間隔でパルス処理され得るものであり、そのことにより、より少ない電磁エネルギーを提供する。より長い間隔の時間が必要とされるか、それともより短い間隔の時間が必要とされるかは、動作条件によって決まる。

0050

[0066]エミッタが固定の出力の大きさをパルス処理する時間の間隔を調整することとは違い、放出の大きさ自体が、より多い電磁エネルギーを画素に提供するために増大される場合がある。同様に、パルスの大きさを減少することが、より少ない電磁エネルギーを画素に提供する。システムの実施形態は、所望されるならば、大きさおよび持続時間の両方を同時的に調整する能力を有し得ることに留意されたい。加えてセンサは、最適の画像品質に対して所望されるように、そのセンサの感度および持続時間を増大するように調整され得る。図4は、パルスの大きさおよび持続時間を変動させることを例示する。例示図では402でのパルス1は、404でのパルス2または406でのパルス3のいずれよりも、高い大きさまたは強度を有する。加えて402でのパルス1は、404でのパルス2または406でのパルス3より短い持続時間を有するが、そのことは、パルスにより提供される電磁エネルギーは、例示図に示されるパルスの下側の面積により例示されるという内容のものである。例示図では404でのパルス2は、402でのパルス1または406でのパルス3のいずれと比較されるときにも、比較的低い大きさまたは強度、およびより長い持続時間を有する。最後に、例示図では406でのパルス3は、402でのパルス1および404でのパルス2と比較されるときに、中間の大きさまたは強度、および持続時間を有する。

0051

[0067]図5は、本開示の原理および教示による、動作の間のイメージングシステムを論証するための、図2図4の動作サイクル、電磁エミッタ、および放出される電磁パルスを組み合わせる、本開示の実施形態のグラフィカル表現図である。図で確認され得るように、電磁エミッタは、主としてセンサのブランキング期間216の間に放出をパルス処理し、そのことによって画素は、充電され、センササイクルの読み出し部分202の間に読み取るための準備が整うことになる。(図3からの)パルスでの破線部分は、追加的な時間が、電磁エネルギーをパルス処理するために必要とされる、または所望される場合に、読み出しサイクル(センササイクル)200のオプティカルブラック部分220および218の間に電磁エネルギーを放出する潜在力または能力を例示するものである。

0052

[0068]次に図6図9Aを参照すると、図6は、フルスペクトル光および区分されたスペクトル光に対してビデオのフレームを記録するためのt(0)からt(1)までの時間の期間にわたる2つの別個のプロセスの概略図を例示する。色センサは、フルスペクトル光を受け取るために共通に使用される画素ごとに光のある決まった波長をフィルタリング除去するための色フィルタアレイ(CFA)を有することに留意されたい。CFAの例はBayerパターンである。色センサは、フルスペクトルの範囲内からの単一の色に対して高感度にされる画素をアレイの内部に備え得るので、低減された分解能の画像が結果として生じるものであり、その理由は、画素アレイが、フルスペクトルの範囲内の光の単一の色のみに専用の画素空間を有するからである。通常はそのような配置構成が、アレイ全体にわたって市松模様タイプのパターンで形成される。

0053

[0069]それとは違い、光の区分されたスペクトルが使用されるとき、センサは、すべての光エネルギーの大きさに対して高感度または高応答性であるようにされ得るものであり、その理由は、画素アレイは、その画素アレイが、各々のサイクル内で電磁エネルギーのフルスペクトルの所定の区分部分からの電磁エネルギーを感知していることを伝えられることになるからである。したがって、画像を形成するためにセンサは、光のフルスペクトルの範囲内からの複数の異なる区分部分とともにサイクル処理される必要があるだけであり、次いで、アレイの全域でのあらゆる画素に対して色値の所定の混合物を表示するように画像を再度組み立てる。したがって、より高い分解能の画像がさらに提供されるものであり、その理由は、色パルスの各々に対して同じ色感度画素中心の間で、Bayerセンサと比較される際に距離が低減されるからである。結果として、形成される有色の画像は、より高い変調伝達関数(MTF)を有する。各々の色区分部分フレームサイクルからの画像はより高い分解能を有するので、区分された光フレームフルカラーフレームに組み合わされるときに生み出される、結果として生じる画像もまた、より高い分解能を有する。換言すれば、アレイの内部のどのすべての画素も(色フィルタを伴うセンサでは、多くても2つの画素ごとである代わりに)、所与のパルスおよび所与のシーンに対してエネルギーの大きさを感知しているので、ほんの少しの時間をおくだけで、より高い分解能の画像が、取り入れられる必要がある、導出される(より正確でない)データがより少ない状態で各々のシーンに対して生み出される。

0054

[0070]例えば白色またはフルスペクトルの可視光は、赤色、緑色、および青色の光の組み合わせである。図6に示される実施形態では、区分されたスペクトルプロセス620およびフルスペクトルプロセス610の両方で、画像をキャプチャするための時間はt(0)からt(1)であることが確認され得る。フルスペクトルプロセス610では、白色光またはフルスペクトルの電磁エネルギーが612で放出される。614で、白色またはフルスペクトルの電磁エネルギーが感知される。616で、画像が処理および表示される。このように時間t(0)とt(1)との間で、画像が処理および表示されている。翻って、区分されたスペクトルプロセス620では、第1の区分部分が622で放出され、624で感知される。626で第2の区分部分が放出され、次いで628で感知される。630で第3の区分部分が放出され、632で感知される。634で、画像が処理および表示される。白色光サイクルより少なくとも2倍高速であるイメージセンササイクルを使用する任意のシステムが、本開示の範囲内にあることが意図されることが十分理解されよう。

0055

[0071]図6に例示される実施形態でグラフィカルに確認され得るように、時間t(0)とt(1)との間で、区分されたスペクトルシステム620に対するセンサは、フルスペクトルシステムの1つごとに対して3倍サイクル処理している。区分されたスペクトルシステム620では、3つのセンササイクルのうちの第1のものは緑色スペクトル622および624に対してのものであり、3つのうちの第2のものは赤色スペクトル626および628に対してのものであり、第3のものは青色スペクトル630および632に対してのものである。したがって、表示デバイス(LCDパネル)が1秒あたり50〜60フレームで動作する実施形態では、区分された光システムは、表示されるビデオの連続性および滑らかさを維持するために1秒あたり150〜180フレームで動作すべきである。

0056

[0072]他の実施形態では、異なるキャプチャおよび表示のフレームレートが存在し得る。さらに、平均キャプチャレート表示レートの任意の倍数であり得る。

0057

[0073]実施形態では、必ずしもすべての区分部分がシステムフレームレートの範囲内で等しく表されるとは限らないことが所望される場合がある。換言すれば、ユーザにより所望されるように、記録されたシーンの態様を強調する、および強調を抑えるためには、必ずしもすべての光源が同じ規則性によってパルス処理されなければならないとは限らない。電磁スペクトルの不可視および可視の区分部分が、システムの内部で、一体でパルス処理され、それらの区分部分のそれぞれのデータ値が、ユーザに対する表示のために所望されるようなビデオ出力にまとめられる場合があることも理解されたい。

0058

[0074]実施形態は、以下のようなパルスサイクルパターンを含み得る。

0059

緑色パルス、
赤色パルス、
青色パルス、
緑色パルス、
赤色パルス、
青色パルス、
赤外線(IR)パルス、
(繰り返し)
[0075]例で確認され得るように、IR区分部分は、他の区分部分パルスのレートとは異なるレートでパルス処理され得る。このことは、シーンのある決まった態様を強調するために行われ得るものであり、IRデータは単純に、所望の強調を行うためにビデオ出力内で他のデータが付加されている。第4の電磁区分部分を追加することは、必ずしも、シリアル化されたシステムに、フルスペクトル非シリアルシステムのレートの4倍で動作するように要求するものではなく、その理由は、あらゆる区分部分がパルスパターンで等しく表される必要はないからであることに留意されたい。実施形態で確認されるように、パルスパターンで、より少なく表される区分部分パルス(上記の例ではIR)を追加することで、変則的な区分部分サンプリング順応するために、センサのサイクル処理スピードが20%未満増大する結果になる。

0060

[0076]実施形態では、シーンの態様をハイライト表示するために使用される色素または材料に対して高感度である電磁区分部分が放出され得る。実施形態ではその電磁区分部分は、高い分解能を必要とすることなく、色素または材料の場所をハイライト表示するのに充分なものであり得る。そのような実施形態では、色素に高感度な電磁区分部分は、強調されるデータを含むために、システム内の他の区分部分よりはるかに少ない頻度でサイクル処理され得る。

0061

[0077]区分部分サイクルは、様々なイメージングおよびビデオの標準に順応する、または近付くように分割され得る。実施形態では区分部分サイクルは、以下のように、図7A図7D最良に例示されるように、赤色、緑色、青色のスペクトルでの電磁エネルギーのパルスを含み得る。図7Aでは、異なる光強度が、垂直の灰色の破線により示される稼働範囲内で光パルス幅または持続時間を変調することにより実現されている。図7Bでは、異なる光強度が、光パワー、または、レーザもしくはLEDエミッタであり得る電磁エミッタのパワーを変調することにより、ただしパルス幅または持続時間を一定に保つことにより実現されている。図7Cは、光パワーおよび光パルス幅の両方が変調されている、より大きな柔軟性につながる事例を示す。区分部分サイクルが使用することが可能であるのは、CMY、可視パルス源と混合される不可視パルス源を使用するIRおよび紫外線、ならびに、画像を生成するために、または、現在知られている、もしくはこれから開発されることになっている所望のビデオ標準に近付くために必要とされる任意の他の色空間である。システムは、所望の画像出力品質を提供するために、オンザフライで色空間の間で切り替えることが可能であり得ることも理解されたい。

0062

[0078](図7Dで確認されるような)色空間、緑色−青色−緑色−赤色を使用する実施形態では、その実施形態は、色差成分より頻繁に輝度成分をパルス処理することを望む場合があり、その理由は、ユーザは一般的に、光の色の差に対してより、光の大きさの差に対して高感度であるからである。この原理が、図7Dに例示されるような単色センサを使用して活用され得る。図7Dでは、最も多い輝度情報を内包する緑色が、輝度データを得るために(G−B−G−R−G−B−G−R…)体系でより頻繁に、またはより多い強度によってパルス処理され得る。そのような構成は、知覚不可能なデータを生み出し送信することなく、知覚的に、より多くの細部を有するビデオストリームを生み出すことになる。

0063

[0079]実施形態では、より弱い区分部分のパルスを複製することが、より弱いパルスに対して調整された出力を生成するために使用され得る。例えば青色レーザ光は、シリコンベースの画素の感度に対して弱いと考えられており、赤色または緑色の光と比較して生成するのが困難であり、したがって、光の弱さを補償するためにフレームサイクルの間に、より頻繁にパルス処理され得る。これらの追加的なパルスは、所望の補償効果を生成するために、シリアルに経時的に、または、同時にパルス処理する複数のレーザを使用することにより用意され得る。ブランキング期間(センサが画素アレイを読み出していない間の時間)の間にパルス処理することにより、センサは、同じ種類のレーザの間の差/不整合に対して感度がなく、単純に所望の出力に対して光を蓄積することに留意されたい。別の実施形態では、最大光パルス範囲はフレームごとに異なる場合がある。このことが図7Eに示されており、光パルスはフレームごとに異なる。センサは、2または3または4またはn個のフレームの繰り返しパターンによって異なるブランキング時間をプログラムすることが可能であるように築造され得る。図7Eでは4つの異なる光パルスが例示され、パルス1は、例えばパルス4の後に繰り返すことが可能であり、異なるブランキング時間を伴う4つのフレームのパターンを有し得る。この技法は、最も小さなブランキング時間上に最も強力な区分部分を配置するために使用され得るものであり、したがってこの技法によって、最も弱い区分部分が、読み出しスピードを増大する必要なく、次のフレームの1つの上に、より幅広いパルスを有することが可能になり得る。それでも再構築されるフレームは、それが多くのパルス処理されたフレームで構成される際には、フレームごとに規則的なパターンを有し得る。

0064

[0080]図8で確認され得るように、光の各々の区分されたスペクトルは異なるエネルギー値を有し得るので、センサおよび/または光エミッタは、エネルギー値の差を補償するように調整され得る。810で、以前のフレームからのヒストグラムから得られるデータが分析され得る。820でセンサが、下記で言及されるように調整され得る。加えて、830でエミッタが調整され得る。840では、画像が、センサから、調整されたサンプル時間から得られ得るものとなり、または、画像が、調整された(増大された、そうでなければ減少された)放出される光によって得られ得るものとなり、または、上記のことの組み合わせとなる。例えば赤色光スペクトルは、システムの内部でセンサにより青色光スペクトルより容易に検出されるので、センサは、青色区分部分がシリコンに関して有する低い量子効率のために、赤色区分部分サイクルの間はより高感度でなく、青色区分部分サイクルの間はより高感度であるように調整され得る(図9に最良に例示される)。同様にエミッタは、調整された区分部分(例えば、より高い、またはより低い強度および持続時間)を提供するように調整され得る。さらに調整は、センサおよびエミッタのレベルの両方で行われ得る。エミッタは、1つの特定の周波数で放出するようにもまた設計され得るものであり、または、個別の用途に対して所望される場合に、放出されている光のスペクトルを広げるために、特定の区分部分の複数の周波数を放出するように変更され得る。

0065

[0081]図10は、非共有4T画素の概略図を示す。TX信号が、蓄積された電荷をフォトダイオードPPD:photo diode)からフローティングディフュージョンFD:floating diffusion)に伝達するために使用される。リセット信号が、リセットバスに対してFDをリセットするために使用される。リセット信号およびTX信号が同じ時間に「オン」である場合、PPDは絶えずリセットされ(PPDで発生させられる各々のフォト電荷が、直接リセットバスで収集される)、PPDは常に空である。通常の画素アレイ実装形態は、1つの行の内部のすべての画素のリセット信号を取り付ける水平リセットライン、および、1つの行の内部のすべての画素のTX信号を取り付ける水平TXラインを含む。

0066

[0082]実施形態では、センサ感受性調整のタイミングが例示され、センサ感受性調整は、グローバルリセット機構(すなわち、一度にすべての画素アレイリセット信号を点弧する手段)、およびグローバルTX機構(すなわち、一度にすべての画素アレイTX信号を点弧する手段)を使用して実現され得る。このことが図11に示されている。この事例では、光パルスは持続時間および振幅では一定であるが、すべての画素で積分される光は、グローバルTXの「オン」から「オフ」への遷移とともに開始し、光パルスとともに終了する。したがって変調は、グローバルTXパルスの立ち下がりエッジを移動させることにより実現される。

0067

[0083]翻ってエミッタは、正しく露光された画像を生成するために、青色光より少ない強度で赤色光を放出することが可能である(図12に最良に例示される)。1210で、以前のフレームからのヒストグラムから得られるデータが分析され得る。1220で、エミッタが調整され得る。1230で画像が、調整された放出される光から得られ得る。加えて実施形態では、エミッタおよびセンサの両方が同時的に調整され得る。

0068

[0084]後の出力のために、区分されたスペクトルフレームをフルスペクトルフレームに再構築することは、いくつかの実施形態では、アレイ内の各々の画素に対して、感知される値を配合するほどに単純であり得る。加えて値の配合および混合は、単純平均であり得るものであり、または、所望の出力に対する値の所定のルックアップテーブル(LUT)にチューニングされ得る。区分された光スペクトルを使用するシステムの実施形態では、感知される値は、画像または2次のプロセッサにより、および、表示装置に出力される直前に、センサから遠く離れて後処理され得る、またはさらに精緻化され得る。

0069

[0085]図13は、単色ISPの1300での基本例を、および、ISPチェーンが、G−R−G−B光パルス処理体系の存在下でもたらされる未加工のセンサデータからsRGB画像シーケンスを発生させる目的でどのように組み立てられ得るかを例示する。

0070

[0086]第1の段階は、未加工のデータ領域で稼働することが最も適切であるセンサ技術において非理想特性があればそれをなくすために補正を行うこと(図13での1302、1304、および1306を確認されたい)に関わるものである(図21を確認されたい)。

0071

[0087]次の段階では、2つのフレーム(図13での1308および1310を確認されたい)がバッファリングされることになり、その理由は、各々の最終的なフレームは3つの未加工のフレームからデータを導出するからである。1314でのフレーム再構築は、現在のフレームおよび2つのバッファリングされたフレーム(1308および/または1310)からデータをサンプリングすることにより進行することになる。再構築プロセスによって、線形RGB色空間でのフルカラーフレームが結果として生じる。

0072

[0088]この例では、1318でのホワイトバランス係数、および1320での色補正行列(color correction matrix)が、1324での後に続くエッジエンハンスメントのための、1322でのYCbCr空間に変換することの前に適用される。1324でのエッジエンハンスメントの後、画像は、適用可能であるならば、1328でのスケーリングのために1326で線形RGBに戻るように転換される。

0073

[0089]最後に1330でのガンマ伝達関数が、データを1332でのsRGB領域に変えるために適用されることになる。

0074

[0090]図14は、色融合ハードウェアの実施形態例である。色融合ハードウェアは、1402でRGBGRGBGRGBGビデオデータストリームを中に入手し、それを、1405での並列RGBビデオデータストリームに変換する。入力側でのビット幅は、例えば1色あたり12ビットであり得る。その例に関する出力幅は、1画素あたり36ビットとなる。他の実施形態は、異なる初期ビット幅、および、出力幅に関してその数の3倍を有し得る。メモリ書き込み器ブロックは、1402で、その入力としてRGBGビデオストリームを入手し、1404で、各々のフレームをその妥当フレームメモリバッファに書き込む(メモリ書き込み器は、レーザ光源を動かす同じパルス発生器1410を駆動させる)。1404で例示されるように、メモリに書き込むことは、パターン、赤色、緑色1、青色、緑色2にしたがい、次いで再び赤色に対して引き返す。1406でメモリ読み取り器は、RGB画素を構築するために一度に3つのフレームを読み取る。各々の画素は、個々の色成分のビット幅の3倍である。読み取り器もまた、1410でのレーザパルス発生器を駆動させる。読み取り器は、赤色、緑色1、および青色のフレームが書き込まれるまで待機し、次いでそれらを並列で読み出すことを始め、一方で書き込み器は、緑色2を書き込み続け、赤色に引き返す。赤色が完了するとき、読み取り器は青色、緑色2、および赤色から読み取り始める。このパターンが無期限に続く。

0075

[0091]次に図15および図16を参照すると、図16に例示されるRG1BG2RG1BG2パターン再構築によって、実施形態では、120fps入力とともに60fps出力が可能になる。各々の連続するフレームは、以前のフレームからの赤色または青色のいずれかの成分を内包する。図16では、各々の色成分は8.3msで利用可能であり、結果として生じる再構築されるフレームは16.67msの期間を有する。一般的にこのパルス処理体系に関しては、再構築されるフレームは、図15に示されるように、入来する有色のフレームの期間の2倍の期間を有する。他の実施形態では、異なるパルス処理体系が用いられ得る。例えば実施形態は、各々の色成分またはフレームのタイミング(T1)、および、入来する色フレームの期間の2倍の期間(2×T1)を有する再構築されるフレームに基づくものであり得る。シーケンスの内部の異なるフレームは、異なるフレーム期間を有し得るものであり、平均キャプチャレートは、最終的なフレームレートの任意の倍数であり得る。

0076

[0092]図17図20は、区分された光システムとともに使用するための色補正の方法およびハードウェアの概略図を例示する。デジタルイメージングでは、ユーザの期待を満たすように出力を補正するために、または、イメージングされる目的物のある決まった態様をハイライト表示するために、画像データの内部の値を操作することは一般的なことである。きわめて一般的なことでは、このことは、1つのデータタイプを別のものより多く強調するようにチューニングおよび調整される衛星画像において行われる。きわめて頻繁には、衛星で取得されるデータでは、光源は制御されない、すなわち太陽が光源であるので、利用可能な電磁エネルギーのフルスペクトルが存在する。それとは違い、光が制御され、ユーザにより提供されもするイメージング条件が存在する。そのような状況では、画像データの較正は依然として望ましいものであり、その理由は、較正なしでは不適当な強調が、ある決まったデータに他のデータより多く与えられる場合があるからである。光がユーザにより制御されるシステムでは、ユーザに知られている、および、電磁スペクトルの一部分のみ、またはフル電磁スペクトルの複数の部分であり得る光の放出を提供することが有利である。較正は、ユーザの期待を満たし、システムの内部の障害チェックするために重要であることに変わりはない。較正の1つの方法は、センサからのデータと比較され得る、所与のイメージング条件に対する期待される値のテーブルであり得る。実施形態は、イメージングデバイスにより出力されるべきである、知られている値を有する色中性シーンを含み得るものであり、デバイスは、デバイスが色中性シーンをサンプリングするときにそれらの知られている値を満たすために調整され得る。

0077

[0093]使用中、およびスタートアップの際にシステムは、(図17に例示されるような)1710での色中性シーンを、1702での複数の電磁スペクトル区分部分の完全なサイクルを動かすことによりサンプリングすることが可能である。値のテーブル1708は、1704で、フレームに対するヒストグラムを生成するために形成され得る。フレームの値は、1706で、色中性シーンからの知られている、または期待される値と比較され得る。次いでイメージングデバイスは、1712で、所望の出力を満たすように調整され得る。図17に例示される実施形態ではシステムは、イメージングデバイスを色補正するように調整され得る画像信号プロセッサ(ISP:image signal processor)を備え得る。

0078

[0094]光の各々の区分されたスペクトルは異なるエネルギー値を有し得るので、センサおよび/または光エミッタは、エネルギー値の差を補償するように調整され得ることに留意されたい。例えば実施形態では、青色光スペクトルは、シリコンベースのイメージャに関して赤色光スペクトルより低い量子効率を有するので、センサの応答性が、次いで、赤色サイクルの間はより高応答性でなく、青色サイクルの間はより高応答性であるように調整され得る。翻ってエミッタは、正しく露光された画像を生成するために、青色光の量子効率は赤色光より低いので、より高い強度で青色光を放出することが可能である。

0079

[0095]光源放出がシステムにより提供され制御可能である、図18に例示される実施形態では、それらの光放出の調整が、1800で画像を色補正するために行われ得る。調整は、大きさ、持続時間(すなわち、オン時間)、またはスペクトル区分部分の内部の範囲など、放出される光の任意の側面に対して行われ得る。加えてエミッタおよびセンサの両方は、図19に示されるようにいくつかの実施形態では同時的に調整され得る。

0080

[0096]出力される画像ストリームまたはビデオの内部のノイズおよびアーチファクトの量を低減するために、小部分に分けられた調整が、図20で確認され得るようにシステムの内部のセンサまたはエミッタに対して行われ得る。図20に例示されるのは、エミッタ2006およびセンサ2008の両方が調整され得るシステム2000であるが、エミッタまたはセンサのいずれかが、使用の間に、または使用の一部分に対して調整されるイメージングデバイスもまた企図され、本開示の範囲内にある。使用の1つの部分の間にエミッタのみを調整し、使用の別の部分の間にセンサのみを調整することが有利である場合があり、一方ではさらにそれでも、使用の一部分の間に同時的に両方を調整することが有利である場合がある。上記の実施形態のいずれにおいても、改善された画像品質が、システムがフレームサイクルの間に行うことが可能である全体的な調整を制限することにより得られる場合がある。換言すれば実施形態は、エミッタが、フレームの間の任意の時間にそのエミッタの動作範囲の小部分で調整され得るだけであるように制限され得る。同様にセンサは、そのセンサが、フレームの間の任意の時間にそのセンサの動作範囲の小部分で調整され得るだけであるように制限され得る。さらにエミッタおよびセンサの両方が、それらが、実施形態では、フレームの間の任意の時間にそれらのそれぞれの動作範囲の小部分で、一体で調整され得るだけであるように制限され得る。

0081

[0097]例示的な実施形態では、システムの内部の構成要素の小部分の調整が、例えば、以前のフレームの露光を補正するために構成要素の動作範囲の約0.1dBで実施され得る。0.1dBは単に例であり、他の実施形態では、構成要素の許される調整は、それらの構成要素のそれぞれの動作範囲の任意の部分であり得ることに留意されたい。システムの構成要素は、一般的には構成要素により出力されるビットの数(分解能)により左右される、強度または持続時間の調整により変化し得る。構成要素分解能は、典型的には約10〜24ビットの範囲の間であり得るが、この範囲に限定されるべきではなく、その理由は、その分解能は、現在利用可能である構成要素に加えてこれから開発されることになっている構成要素に対する分解能を含むことが意図されるからである。例えば第1のフレームの後で、シーンが、観察されるときに度を越して青色であると決定され、次いでエミッタが、約0.1dBなどの、上記で論考されたような小部分の調整により、システムの青色サイクルの間に青色光のパルスの大きさまたは持続時間を減少するように調整され得る。

0082

[0098]この例示的な実施形態では、10パーセントを超えるものが必要とされた可能性があるが、システムは、1システムサイクルあたりで動作範囲の0.1dBの調整にとどめている。したがって次のシステムサイクルの間に、青色光は次いで、必要とされるならば再び調整され得る。サイクルの間の小部分に分けられた調整は、出力されるイメージングされたものの減衰効果を有し得るものであり、エミッタおよびセンサをそれらの動作極値で動作させるときに、ノイズおよびアーチファクトを低減することになる。調整の構成要素の動作範囲の任意の小部分の量が、制限要因として使用され得ることが決定され得るものであり、または、システムのある決まった実施形態は、構成要素であって、それらの構成要素の動作範囲全体にわたって調整され得る構成要素を備え得ることが決定され得る。

0083

[0099]加えて、任意のイメージセンサのオプティカルブラック区域が、画像補正およびノイズ低減助力となるように使用され得る。実施形態では、オプティカルブラック区域から読み取られる値が、画像データ処理で使用されることになる基準点確立するために、センサのアクティブ画素部域の値と比較され得る。図21は、色パルス処理されるシステムで用いられ得るセンサ補正プロセスの種類を示す。CMOSイメージセンサは典型的には、特に低い光で、画像品質に関して有害な影響を有する複数の非理想特性を有する。これらの中で主なものは、固定パターンノイズ(fixed pattern noise)およびラインノイズである。固定パターンノイズは、感知要素オフセットのばらつきである。典型的にはFPNの大部分は、数ある発生源の中でも、フォトダイオードごとの暗電流ランダムな変動から起こる画素ごとのばらつきである。このことは、観視者には非常に不自然見える。さらに目に余るのが、画素の個別の列に関連する読み出しチェーンでのオフセットから結果として生じる列FPNである。このことによって、画像の内部で垂直の筋が知覚される結果になる。

0084

[00100]照明を総合的に制御することは、暗いデータのフレーム全体が、周期的に取得され、画素および列のオフセットを補正するために使用され得るという利点を有する。例示される例では、単一のフレームバッファが、例えば単純な指数平滑法を使用して、光のない全体のフレームの移動平均を行うために使用され得る。この暗い平均フレームが、規則的な動作の間にあらゆる照明されるフレームから減算されることになる。

0085

[00101]ラインノイズは、各々の行の内部の画素のオフセットの確率論的な一時性の変動である。そのラインノイズは一時性であるので、補正は、各々のラインおよび各々のフレームに対して改めて計算されなければならない。この目的で通常は、アレイ内の各々の行の内部に多くの光学的ブラインド(OB:optically blind)画素が存在し、それらの画素は、光に高感度な画素をサンプリングする前にラインオフセット算定するために最初にサンプリングされなければならない。ラインオフセットはその後、ラインノイズ補正プロセスの間に単純に減算される。

0086

[00102]図21での例では、データを適正な順序にすること、アナログ領域電圧オフセットをモニタおよび制御すること(ブラッククランプ)、ならびに、個々の欠陥のある画素を識別/補正することに関わるものである他の補正が存在する。

0087

[00103]図22および図23は、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する。実施形態では露光入力は、経時的に異なるレベルで入力され得るものであり、より大きなダイナミックレンジを生成するように結び付くことが可能である。図22で確認され得るように、イメージングシステムは、2202で、第1のサイクルの間に第1の強度でサイクル処理され得るものであり、次いで2204で、第2のサイクルの間に第2の強度で後に続いてサイクル処理され得るものであり、次いで2206で、それらの第1および第2のサイクルを単一のフレームに組み合わせることにより、そのようにして、そのより大きなダイナミックレンジが実現され得る。より大きなダイナミックレンジは、イメージングデバイスが使用されるのが、制限された空間環境であることを理由として、特に望ましい場合がある。光源により提供される光を除いて、光が不十分な、または暗い、制限された空間環境では、および、光源が光エミッタに近い場合、露光は距離と指数関係を有する。例えば、イメージングデバイスの光源および光学開口部に近い目的物は露光過度にされる傾向があり、一方で、より遠くに離れた目的物は、存在する周囲光が(いずれにしても)わずかであるので、極端に露光不足にされる傾向がある。

0088

[00104]図23で確認され得るように、複数の区分部分での電磁エネルギーの放出を有するシステムのサイクルが、2300で電磁スペクトルの区分部分によってシリアルにサイクル処理され得る。例えば、エミッタが、別個の赤色区分部分、別個の青色区分部分、および別個の緑色区分部分でレーザを放出する実施形態では、組み合わされることになっている2つのサイクルデータセットは、以下の形式であり得る:
2302での強度1での赤色、
2304での強度2での赤色、
2302での強度1での青色、
2304での強度2での青色、
2302での強度1での緑色、
2304での強度2での緑色。

0089

[00105]あるいはシステムは、以下の形式でサイクル処理され得る:
2302での強度1での赤色、
2302での強度1での青色、
2302での強度1での緑色、
2304での強度2での赤色、
2304での強度2での青色、
2304での強度2での緑色。

0090

[00106]そのような実施形態では、第1の画像が、強度1の値から導出され得るものであり、第2の画像が、強度2の値から導出され、次いで2310で、それらの成分の部分ではなく完全な形の画像データセットとして組み合わされ、または処理され得る。

0091

[00107]任意の数の放出区分部分が任意の順序で使用され得ることが、本開示の範囲内にあるように企図される。図23で確認されるように、「n」が、任意の数の電磁区分部分を指し示すための変数として使用され、「m」が、「n」の区分部分に対する強度の任意のレベルを指し示すために使用される。そのようなシステムは、以下の形式でサイクル処理され得る:
2306での強度mでのn、
強度m+1でのn+1、
強度m+2でのn+2、
2308での強度m+jでのn+i。

0092

[00108]したがって、シリアル化されたサイクルの任意のパターンが、所望の画像補正を生成するために使用され得るものであり、「i」および「j」は、イメージングシステムの動作範囲内の追加的な値である。

0093

[00109]デジタルカラーカメラは、色再現忠実度を最大化する目的で、画像処理段階を組み込む。このことは、色補正行列(CCM)として知られている3×3行列によって達成される。

0094

0095

[00110]CCM内の項は、sRGB標準色空間に対する最良の全体的な整合を提供するように、(例えば、Macbethチャートからの)基準色のセットを使用してチューニングされる。対角項a、e、およびiが、実際上はホワイトバランスゲインである。典型的には、ホワイトバランスは別々に適用され、水平行の和は1であるように制約されるが、正常な状態では、正味ゲインはCCM自体により適用されない。非対角項は、実際上は、入力チャネル内の色クロストークを扱う。したがってBayerセンサは、色フィルタアレイがチャネルの間で多くの応答重複を有するので、3チップカメラより高い非対角のものを有する。

0096

[00111]非対角項の大きさに依存的である、色補正に対する信号対ノイズ比ペナルティが存在する。sRGB成分と完璧に整合したチャネルを伴う仮想的なセンサは、単位行列CCMを有することになる。

0097

0098

[00112]この事例に対する、(読み取りノイズを無視する)1画素あたり10,000e−の完璧な白色フォト信号に対する、緑色チャネルで評価される信号対ノイズ比は次式となる。

0099

0100

[00113]このことからいかなる形で外れても、SNRを悪化させる。例えば、BayerCMOSセンサに対して異常とはならない値を有する以下のCCMを取り上げる。

0101

0102

[00114]この事例では、緑色SNRは次式となる。

0103

0104

[00115]図24は、チューニングされたCCMと対比しての、単位行列を使用する事例に対する、典型的なBayerセンサCCMに対するD65照明を使用する完全なSNRシミュレーションの結果を示す。輝度成分に対して評価されたSNRは、色補正の結果として約6dBだけ、より劣っている。

0105

[00116]本開示で説明されるシステムは、3つの離散的な波長で単色の照明を使用し、したがって、それ自体には色クロストークは存在しない。図25での×印は、三角形により指示されるsRGB色域と比較される、レーザダイオード源によって利用可能である3つの波長(465、532、および639nm)の位置を指示する。

0106

[00117]この事例でのCCMに関する非対角項は、Bayerセンサと比較されると大幅に低減され、そのことは、有意なSNRの利点をもたらす。

0107

[00118]図26は、イメージセンサの画素アレイの画素構成により提供されるような、増大されたダイナミックレンジを有するイメージングシステムを例示する。図で確認され得るように、近接する画素2602および2604は、異なる感度でセットされ得るものであり、そのことによって各々のサイクルは、相互に対して、より高感度である、およびより高感度でない画素により生成されるデータを含む。複数の感度がアレイの単一のサイクル内で記録され得るので、ダイナミックレンジは、他の実施形態の時間依存のシリアルの性質とは対照的に、並列に記録される場合に増大され得る。

0108

[00119]実施形態では、アレイは画素の行を備え得るものであり、それらの画素は、それらの感度に基づいて行に配置され得る。実施形態では、異なる感度の画素は、行または列の内部で、その最も近い近隣の画素に対して、それらの感度に基づいて、アレイの全体を通して市松模様を形成するように互い違いになり得る。上記のことは、任意の画素回路共有配置構成によって、または、任意のスタンドアローン画素回路配置構成で達成され得る。

0109

[00120]広ダイナミックレンジは、複数のグローバルTXを有することにより実現され得るものであり、各々のTXは、画素の異なるセットに関してのみ点弧する。例えばグローバルモードでは、グローバルTX1信号は画素のセット1を点弧しており、グローバルTX2信号は画素のセット2を点弧しており、…、グローバルTXn信号は画素のセットnを点弧している。

0110

[00121]図11に基づいて、図27Aは、画素アレイ内の2つの異なる画素感度(二重画素感度)に対するタイミング例を示す。この事例では、グローバルTX1信号はアレイの画素の半分を点弧し、グローバルTX2は画素の他方の半分を点弧する。グローバルTX1およびグローバルTX2は異なる「オン」から「オフ」へのエッジ位置を有するので、積分される光はTX1画素とTX2画素との間で異なる。図27Bは、二重画素感度に対するタイミングの異なる実施形態を示す。この事例では、光パルスは2回変調される(パルスの持続時間および/または振幅)。TX1画素はP1パルスを積分し、TX2画素はP1+P2パルスを積分する。グローバルTX信号を分離することは、多くの方途で行われ得る。以下は例である:
・各々の行からTXラインを分化させる、および、
・各々が画素の異なるセットをアドレス指定する、行ごとの複数のTXラインを送出する。
1つの実装形態では、広ダイナミックレンジビデオを提供する手段が説明され、その手段は、本開示で説明された色パルス処理システムを活用する。このことの基本は、複数のフレーバー(flavor)の画素、すなわち、同じフレームの内部で異なる持続時間の間、入射光を積分することが可能である、同じ単色アレイの内部で異なってチューニングされ得る画素を有することである。そのようなセンサのアレイ内の画素配置構成の例は、全体を通して、2つの無関係に可変の積分時間を伴う、一様な市松模様となる。そのような事例に関しては、同じフレームの内部で赤色および青色の両方の情報を提供することが可能である。実際には、このことを同じ時間に、緑色フレームに対してダイナミックレンジを拡張するように行うことが、そのことが最も必要とされる場合には可能であり、その理由は、2つの積分時間は1フレームずつを基本として調整され得るからである。利点は、色モーションアーチファクトは、すべてのデータが2つのフレームから導出される場合に、3つと対比して、より重要ではない問題点であることである。当然ながら、赤色および青色のデータに対する空間分解能の、後に続く損失が存在するが、そのことは、緑色と比較されると、画像品質に対する重大性はより小さいものであり、その理由は、輝度成分は緑色データにより支配されるからである。

0111

[00122]単色広ダイナミックレンジ(WDR)アレイの固有特質は、長い積分時間を有する画素が、短い積分時間画素により認知される光のスーパーセットを積分しなければならないことである。緑色フレームでの規則的な広ダイナミックレンジ動作に関しては、そのことが望ましい。赤色および青色のフレームに関しては、そのことは、パルス処理が、例えば、長い露光の開始から青色光を提供し、短い露光画素がオンにされる時点で赤色に切り替える(両方の画素タイプが、同じ時間に伝達されるそれらの電荷を有する)ように、露光期間と連関して制御されなければならないことを意味する。

0112

[00123]色融合段階では、2つのフレーバーの画素が2つのバッファ内に分離される。次いで空の画素が、例えば線形補間を使用して充填される。この時点で、一方のバッファは青色データの完全な画像を内包し、他方は赤色+青色である。青色バッファは、純粋な赤色データを与えるために第2のバッファから減算され得る。

0113

[00124]図28A〜図28Cは、対応する色センサによってパルス処理される、および/または、そのセンサと同期される、または、そのセンサによって一定に保持される白色光放出の使用を例示する。図28Aで確認され得るように、白色光エミッタは、制御される光環境で、制御される光源を提供するように、対応するセンサのブランキング期間の間に光のビームを放出するように構成され得る。光源は、図28Aで確認されるように、一定の大きさでビームを放出し、パルスの持続時間を変動させることが可能であり、または、図28Bに例示されるように、正しく露光されるデータを実現するために、大きさを変動させることによってパルスを一定に保持することが可能である。図28Cに例示されるのは、センサにより制御される、およびセンサと同期される、変動する電流によって変調され得る一定の光源のグラフィカル表現図である。

0114

[00125]実施形態では、白色光またはマルチスペクトル光は、(図28A〜図28Cに最良に例示される)システムの内部で使用するためのデータを提供するために、所望されるならば、パルスとして放出され得る。電磁スペクトルの区分部分と組み合わせた白色光放出は、シーンの内部のある決まった態様を強調する、および強調を抑えるために有用であり得る。そのような実施形態は、以下のパルス処理パターンを使用することが可能である。

0115

緑色パルス、
赤色パルス、
青色パルス、
緑色パルス、
赤色パルス、
青色パルス、
白色光(マルチスペクトル)パルス、
(繰り返し)
[00126]白色光サイクルより少なくとも2倍高速であるイメージセンササイクルを使用する任意のシステムは、本開示の範囲内にあることが意図される。電磁スペクトルの区分部分の任意の組み合わせが、それが、フル電磁スペクトルの可視スペクトルからのものであろうと、またはそのフル電磁スペクトルの不可視スペクトルからのものであろうと、本明細書で企図されることが十分理解されよう。

0116

[00127]図29Aおよび図29Bは、それぞれ、本開示の教示および原理による、3次元画像を生成するための複数の画素アレイを有する、モノリシックセンサ2900の実装形態の斜視図および側面図を例示する。そのような実装形態は、2つの画素アレイ2902および2904が使用の間にオフセット処理され得る、3次元画像キャプチャのために望ましい場合がある。別の実装形態では、第1の画素アレイ2902および第2の画素アレイ2904は、電磁放射の所定の範囲の波長を受け取ることに専用であり得るものであり、第1の画素アレイは、第2の画素アレイとは異なる範囲の波長の電磁放射に専用である。

0117

[00128]図30Aおよび図30Bは、それぞれ、複数の基板上に築造されるイメージングセンサ3000の実装形態の斜視図および側面図を例示する。例示されるように、画素アレイを形成する複数の画素列3004が第1の基板3002上に設けられ、複数の回路列3008が第2の基板3006上に設けられる。さらに図に例示されるのが、画素の1つの列から、その列の、回路網の関連または対応する列への間の、電気的な接続および通信である。1つの実装形態では、イメージセンサであって、その画素アレイおよびサポートする回路網が単一のモノリシック基板/チップ上にある状態で、別の方法で製造され得るイメージセンサは、画素アレイが、サポートする回路網のすべてまたは大半から分離される場合がある。本開示は、3次元積層技術を使用して一体で積層されることになる、少なくとも2つの基板/チップを使用することが可能である。2つの基板/チップのうちの第1のもの3002は、画像CMOSプロセスを使用して処理され得る。第1の基板/チップ3002は、排他的に画素アレイで、または、限定された回路網により包囲される画素アレイで構成され得る。第2の、または後に続く基板/チップ3006は、任意のプロセスを使用して処理され得るものであり、画像CMOSプロセスからのものである必要はない。第2の基板/チップ3006は、基板/チップ上の非常に限定された空間もしくは区域内に様々な、およびいくらかの機能を集積するための高密度デジタルプロセス、または、例えば精密なアナログ機能を集積するための混合モードもしくはアナログプロセス、または、ワイヤレス性能を実装するためのRFプロセス、または、MEMS(微小電気機械システム(Micro−Electro−Mechanical System))デバイスを集積するためのMEMSであり得るが、それらに限定されない。画像CMOS基板/チップ3002は、任意の3次元技法を使用して、第2の、または後に続く基板/チップ3006とともに積層され得る。第2の基板/チップ3006は、周辺回路として(モノリシック基板/チップ上で実装されるならば)第1の画像CMOSチップ3002内で別の方法で実装されたであろう、したがって、全体的なシステム区域を増大したであろう回路網の大部分または大半をサポートし、一方で、画素アレイサイズを一定に、および、可能な限り最大限の程度まで最適化された状態に保つことが可能である。2つの基板/チップの間の電気的な接続は、ワイヤボンドバンプ、および/またはTSVシリコン貫通電極)であり得る、相互接続3003および3005によって行われ得る。

0118

[00129]図31Aおよび図31Bは、それぞれ、3次元画像を生成するための複数の画素アレイを有するイメージングセンサ3100の実装形態の斜視図および側面図を例示する。3次元イメージセンサは、複数の基板上に築造され得るものであり、複数の画素アレイおよび他の関連する回路網を備え得るものであり、第1の画素アレイを形成する複数の画素列3104a、および、第2の画素アレイを形成する複数の画素列3104bが、それぞれ、それぞれの基板3102aおよび3102b上に設けられ、複数の回路列3108aおよび3108bが別々の基板3106上に設けられる。さらに例示されるのが、画素の列から、回路網の関連または対応する列への間の、電気的な接続および通信である。

0119

[00130]本開示の教示および原理は、本開示の範囲から逸脱することなく、再使用可能デバイスプラットフォーム、限定使用デバイスプラットフォーム、再利用可能(re−posable)使用デバイスプラットフォーム、または、単回使用/使い捨てデバイスプラットフォームで使用され得ることが十分理解されよう。再使用可能デバイスプラットフォームではエンドユーザは、デバイスの洗浄および滅菌に対して責任を負うことが十分理解されよう。限定使用デバイスプラットフォームではデバイスは、動作不能になる前に、ある程度の指定された量の回数の間使用され得る。典型的な新しいデバイスは無菌状態配送され、追加的な使用では、エンドユーザに、追加的な使用の前に洗浄および滅菌することを求める。再利用可能使用デバイスプラットフォームではサードパーティが、新しいユニットより低いコストでの追加的な使用のために、デバイス、すなわち単回使用デバイスを再処理することが可能である(例えば、洗浄、パッケージング、および滅菌する)。単回使用/使い捨てデバイスプラットフォームではデバイスは、無菌状態で手術室に提供され、処分される前に1回だけ使用される。

0120

[00131]エミッタの実施形態は、パルス処理された色の光を生み出すために、機械式のシャッタおよびフィルタの使用を用いることが可能である。図32に例示されるような、白色光源、ならびに、機械式の色フィルタおよびシャッタのシステム3200を使用する、パルス処理された色の光を生成するための代わりの方法。回転円板は、半透明の色フィルタ窓のパターン、および、シャッタリングのための不透明なセクションを内包し得る。不透明なセクションは、光の通り抜けを許さないことになり、センサ読み出しが行われ得る暗状態の期間を生み出すことになる。白色光源は、任意の技術、すなわち、レーザ、LED、キセノンハロゲンメタルハライド、または他のものに基づくものであり得る。白色光は、有色の光パルスの所望のパターンの一連の色フィルタ3207、3209、および3211を通して投影され得る。1つの実施形態のパターンは、赤色フィルタ3207、緑色フィルタ3209、青色フィルタ3211、緑色フィルタ3209であり得る。フィルタおよびシャッタのシステム3200は、センサとシンクロしているように、必要とされる周波数で転回する回転円板上に配置構成され得るものであり、そのことによって、機械式の色フィルタ3207、3209、および3211、ならびにシャッタ3205のシステムの、アーチ形の長さおよび回転のレートを知ることが、対応する単色のイメージセンサの動作のためのタイミング情報をもたらすことになる。

0121

[00132]図33に例示されるが、実施形態は、半透明の色フィルタ3307、3309、および3311のみのパターンをフィルタ回転円板3300上に備え得る。本構成では、異なるシャッタが使用され得る。シャッタは、機械式であり得るものであり、サイズが変動することにより「パルス」持続時間を動的に調整することが可能である。代わりにシャッタは、電子式であり得るものであり、センサ設計に組み込まれ得る。フィルタ回転円板3300を転回させるモータは、センサと通信する、または、センサと連関して制御される必要があることになり、そのことによって、機械式の色フィルタ3307、3309、および3311のシステムの、アーチ形の長さおよび回転のレートを知ることが、対応する単色のイメージセンサの動作のためのタイミング情報をもたらすことになる。制御システムは、フルカラー画像がISP内で適正に再構築され得るように、センサによりキャプチャされる各々のフレームに対する適正な色フィルタを知る必要があることになる。RGBGの色パターンが示されるが、他の色および/またはパターンが、有利であるならば使用され得る。色セクションの相対的なサイズは、等しいように示されるが、有利であるならば調整され得る。フィルタの機械式の構造は、回転して動く円として示されるが、直線移動を伴う矩形、または、異なる移動パターンを伴う異なる形状であり得る。

0122

[00133]例示される図34として、色の光をパルス処理するための実施形態は、赤色、緑色、青色、または白色のLEDのための電子回路およびヒートシンクを保持する、機械式の回転円板または筒体からなるものであり得る。LEDは、本特許での他の実施形態と無矛盾の光パルス処理のタイミングを考慮に入れるように、筒体または回転円板の転回または湾曲のレートに関係付けられることになる距離で隔置されることになる。回転円板または筒体は、電気モータ、および、電気モータに回転円板または筒体を取り付ける機械式のブラケットを使用して転回されることになる。モータは、本特許で説明されるような適正なタイミングのための制御アルゴリズムを内包することになる、マイクロコントローラ、FPGA、DSP、または他のプログラマブルデバイスを使用して制御されることになる。1つの側部上に、光ファイバに光学的に結合されることになる機械式の開口部が、本特許で説明される方法による観察器械の端部にファイバを移送するために存在することになる。この結合は、光ファイバケーブルを通ることを許される光の量を制御するために開放および閉塞することが可能である機械式の絞りもまた有し得る。これは機械式のシャッタのデバイスとなるが、あるいは、CMOSまたはCCDタイプのセンサ内に設計される電子シャッタを使用することが可能である。このデバイスは、生成の際に制御および較正するのは困難であろうが、別の方途で、本発明者らのシステム内にパルス処理された光を入れることは可能である。

0123

[00134]図35に例示されるのは、パルス処理された電磁放射を提供するための線形のフィルタおよびシャッタの機構を備えるエミッタの実施形態である。

0124

[00135]図36に例示されるのは、パルス処理された電磁放射を提供するためのプリズムのフィルタおよびシャッタの機構を備えるエミッタの実施形態である。

0125

[00136]加えて本開示の教示および原理は、赤外線(IR)、紫外線(UV)、およびX線などの、可視および不可視のスペクトルを含む、電磁エネルギーの一切の波長を含み得る。

0126

[00137]本明細書で開示される様々な特徴が、当技術分野において有意な利点および前進をもたらすことが十分理解されよう。以下の特許請求の範囲は、それらの特徴のいくつかについて例示的である。

0127

[00138]本開示の前述の詳細な説明では、本開示の様々な特徴が、本開示を簡素化する目的で、単一の実施形態内に一体で群化されている。開示のこの方法は、請求される本開示が、各々の請求項で明示的に列挙されるよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ発明の態様は、単一の前述の開示された実施形態のすべての特徴より少ないものである。

0128

[00139]上記の説明された配置構成は、本開示の原理の適用について単に例示する性質のものであることを理解されたい。数多くの修正および代替的な配置構成が、本開示の趣旨および範囲から逸脱することなく当業者により考案され得るものであり、添付される特許請求の範囲は、そのような修正および配置構成に及ぶことが意図される。

0129

[00140]このように本開示は、特殊性および細部に関して、図面に示され上記で説明されたが、サイズ、材料、形状、形式、動作の機能および様式、組み立て、ならびに使用においての変形を含む、ただしそれらに限定されない数多くの修正が、本明細書で論述された原理および概念から逸脱することなく行われ得ることが、当業者には明らかになろう。

0130

[00141]さらに、適切である場合には、本明細書で説明される機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、またはアナログ構成要素のうちの、1つまたは複数で実施され得る。例えば、1つまたは複数の特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)が、本明細書で説明されるシステムおよび処置の1つまたは複数を履行するようにプログラムされ得る。ある決まった用語が、個別のシステム構成要素を指すように、以下の説明および特許請求の範囲の全体を通して使用される。当業者であれば十分理解するであろうが、構成要素は異なる名前により呼ばれる場合がある。本文書は、名前では異なるが機能では異ならない構成要素の間で区別することを意図しない。

0131

[00142]前述の説明は、例示および説明の目的で提示されたものである。網羅的であること、または、開示された精密な形式に本開示を限定することは意図されない。多くの修正および変形が、上記の教示に鑑みて可能である。さらに、上述の代わりの実装形態のいずれかまたはすべてが、本開示の追加的な混成型の実装形態を形成するために所望される任意の組み合わせで使用され得ることに留意されたい。

0132

[00143]さらに、本開示の特定の実装形態が説明および例示されたが、本開示は、そのように説明および例示された部分の特定の形式または配置構成に限定されるべきではない。本開示の範囲は、本明細書に添付される特許請求の範囲、ここで、および異なる出願で具申される任意の将来の特許請求の範囲、ならびに、それらの等価物により定義されるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ