図面 (/)

この項目の情報は公開日時点(2020年6月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

イメージセンサ撮像された複数のレンズの各々に対応する個別の画像のデータをレンズの数と同じ数の複数カメラ並列動作しているかのように並列かつ同時に読み出し高速性および実時間性を向上させることが可能な複眼撮像装置を提供する。

解決手段

この複眼撮像装置100は、複数のレンズ31aを含むレンズアレイ31と、レンズアレイ31のレンズ31aごとに結像された画像Iを撮像するイメージセンサ2と、レンズ31aごとに結像された画像Iのデータを個別に記憶する複数のメモリ50とを備える。そして、複数のメモリ50に記憶されたレンズ31aごとに結像された画像Iのデータが、並行かつ同時に読み出されるように構成されている。

概要

背景

従来、レンズアレイと、レンズアレイのレンズ毎の画像を撮像するイメージセンサとを備える複眼撮像装置が知られている(たとえば、特許文献1参照)。

上記特許文献1には、レンズアレイと、レンズアレイのレンズ毎の画像を撮像する受光素子アレイとを備える画像入力装置(複眼撮像装置)が開示されている。この複眼撮像装置では、レンズアレイの複数のレンズの各々によって結像された画像が、単一の受光素子アレイによって撮像される。これにより、単一の受光素子アレイを用いて、あたかも複数のカメラが存在するようなマルチカメラ疑似的に構成することが可能になる。

概要

イメージセンサに撮像された複数のレンズの各々に対応する個別の画像のデータをレンズの数と同じ数の複数カメラ並列動作しているかのように並列かつ同時に読み出し高速性および実時間性を向上させることが可能な複眼撮像装置を提供する。この複眼撮像装置100は、複数のレンズ31aを含むレンズアレイ31と、レンズアレイ31のレンズ31aごとに結像された画像Iを撮像するイメージセンサ2と、レンズ31aごとに結像された画像Iのデータを個別に記憶する複数のメモリ50とを備える。そして、複数のメモリ50に記憶されたレンズ31aごとに結像された画像Iのデータが、並行かつ同時に読み出されるように構成されている。

目的

この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、高速性および実時間性を向上させることが可能な複眼撮像装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数のレンズを含むレンズアレイと、前記レンズアレイの前記レンズごとに結像された画像を撮像するイメージセンサと、前記レンズごとに結像された前記画像のデータを個別に記憶する複数のメモリとを備え、前記複数のメモリに記憶された前記レンズごとに結像された前記画像のデータが、並行かつ同時に読み出されるように構成されている、複眼撮像装置

請求項2

複数の前記メモリの各々は、書き込み用および読み出し用のうちの一方として使用される第1メモリと、書き込み用および読み出し用のうちの他方として使用される第2メモリとを含み、前記書き込み用としての前記第1メモリまたは前記第2メモリに対して、前記イメージセンサの前記レンズごとに撮像された前記画像に対応する位置の書き込みアドレスを生成する書き込みアドレス生成部と、前記読み出し用としての前記第1メモリまたは前記第2メモリに対して、前記複数のメモリに共通のタイミングで、記憶されている前記画像のデータを読み出す読み出しアドレスを生成する読み出しアドレス生成部とをさらに備える、請求項1に記載の複眼撮像装置。

請求項3

前記第1メモリおよび前記第2メモリは、読み出し用および書き込み用に切り替え切替信号に基づいて、書き込み用または読み出し用に切り替えられるように構成されている、請求項2に記載の複眼撮像装置。

請求項4

前記イメージセンサに対する前記レンズの光軸位置ずれに起因して生じる前記レンズごとに結像される前記画像の空間的な位置ずれのずれ量に基づいて、前記イメージセンサにおける前記画像のデータの読み出しの領域を補正するように構成されている、請求項1〜3のいずれか1項に記載の複眼撮像装置。

請求項5

前記レンズごとに結像された前記画像に対応する前記イメージセンサの領域を読み出しの有効期間とする有効期間信号を生成する有効期間信号生成部をさらに備え、前記有効期間信号生成部は、前記レンズごとに結像される前記画像の空間的な位置ずれのずれ量に基づいて、前記有効期間信号を補正するように構成されている、請求項4に記載の複眼撮像装置。

技術分野

0001

この発明は、複眼撮像装置に関する。

背景技術

0002

従来、レンズアレイと、レンズアレイのレンズ毎の画像を撮像するイメージセンサとを備える複眼撮像装置が知られている(たとえば、特許文献1参照)。

0003

上記特許文献1には、レンズアレイと、レンズアレイのレンズ毎の画像を撮像する受光素子アレイとを備える画像入力装置(複眼撮像装置)が開示されている。この複眼撮像装置では、レンズアレイの複数のレンズの各々によって結像された画像が、単一の受光素子アレイによって撮像される。これにより、単一の受光素子アレイを用いて、あたかも複数のカメラが存在するようなマルチカメラ疑似的に構成することが可能になる。

先行技術

0004

特許4492533号公報

発明が解決しようとする課題

0005

ここで、上記特許文献1には明確には記載されていないが、単一の受光素子アレイによって、複数のレンズにより各々結像される複数の画像を撮像した場合、単一の受光素子アレイからの出力信号が、後段計算処理用の計算機に出力される。つまり、撮像された複数のレンズにより各々結像される複数の画像(複数の個眼画像)が1枚の画像内に複数のレンズの空間配置に対応して集約された状態(複眼画像)で、単一の受光素子アレイからの出力信号が、計算処理用の計算機の画像メモリ(単一の画像メモリ)に記憶される。また、計算処理用の計算機において、単一の画像メモリに出力(記憶)された出力信号が複数のレンズの各々に対応する個別の画像のデータにソフトウェア上で分割される。すなわち、従来の複眼撮像装置では、複眼画像に含まれる個々の個眼画像のデータを対象に画像処理を実施するための前処理として、複眼画像のデータを個々の個眼画像のデータに分割する処理を前提としていた。このため、計算機のメモリに複眼画像のデータを一旦記憶して、さらにソフトウェアによって個々の個眼画像のデータに分割するための計算機処理を前提としていた。その結果、高速性や実時間性の点で劣るという問題点がある。

0006

この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、高速性および実時間性を向上させることが可能な複眼撮像装置を提供することである。

課題を解決するための手段

0007

上記目的を達成するため、この発明の一の局面による複眼撮像装置は、複数のレンズを含むレンズアレイと、レンズアレイのレンズごとに結像された画像を撮像するイメージセンサと、レンズごとに結像された画像のデータを個別に記憶する複数のメモリとを備え、複数のメモリに記憶されたレンズごとに結像された画像のデータが、並行かつ同時に読み出されるように構成されている。

0008

この発明の一の局面による複眼撮像装置では、上記のように、レンズごとに結像された画像のデータを個別に記憶する複数のメモリを備え、複数のメモリに記憶されたレンズごとに結像された画像のデータが、並行かつ同時に読み出されるように構成されている。これにより、個々のレンズごとに結像された画像のデータ(個眼画像のデータ)が、レンズの数と同じ数の複数カメラ並列動作しているかのように、並行かつ同時に読み出されるので、計算機のメモリに記憶する以前に、或いは計算機のメモリに記憶することなく、ハードウェアによる演算回路によって個眼画像データに対する演算処理を実施できるようになる。その結果、高速性および実時間性を向上させることができる。また、複眼画像のデータ(複数の画像が1枚の画像内に複数のレンズの空間配置に対応して集約された状態)として時系列にデータが読み出される場合と異なり、個眼画像のデータの分離処理が不要になるので、個々の個眼画像のデータに対して演算処理等のデータ処理を直接施せるようになる。また、個眼画像に対する演算処理を高速に行うことができるので、イメージセンサの画素数が比較的多い場合でも、1フレームの時間内において、1フレーム分の画像のデータを読み出すことができる。また、複眼撮像装置自体の高速性および実時間性が向上するので、比較的高速に動いている被写体の撮像を行うことができるとともに、比較的高速に動く機体などに複眼撮像装置自体を配置して、被写体の撮像を行うことができる。

0009

上記一の局面による複眼撮像装置において、好ましくは、複数のメモリの各々は、書き込み用および読み出し用のうちの一方として使用される第1メモリと、書き込み用および読み出し用のうちの他方として使用される第2メモリとを含み、書き込み用としての第1メモリまたは第2メモリに対して、イメージセンサのレンズごとに撮像された画像に対応する位置の書き込みアドレスを生成する書き込みアドレス生成部と、読み出し用としての第1メモリまたは第2メモリに対して、複数のメモリに共通のタイミングで、記憶されている画像のデータを読み出す読み出しアドレスを生成する読み出しアドレス生成部とをさらに備える。このように構成すれば、第1メモリと第2メモリとのうちの一方に画像のデータを書き込みながら、第1メモリと第2メモリとのうちの他方から以前に書き込まれた画像のデータを読み出すことができるので、画像のデータの書き込みが終了してから画像のデータの読み出しを行う場合と比べて、画像のデータをさらに高速に読み出すことができる。

0010

この場合、好ましくは、第1メモリおよび第2メモリは、読み出し用および書き込み用に切り替え切替信号に基づいて、書き込み用または読み出し用に切り替えられるように構成されている。このように構成すれば、第1メモリおよび第2メモリを読み出し用および書き込み用に切り替えることができるので、第1メモリ(第2メモリ)に対する書き込みと、第1メモリ(第2メモリ)に対する読み出しとを連続して行うことができる。

0011

上記一の局面による複眼撮像装置において、好ましくは、イメージセンサに対するレンズの光軸位置ずれに起因して生じるレンズごとに結像される画像の空間的な位置ずれのずれ量に基づいて、イメージセンサにおける画像のデータの読み出しの領域を補正するように構成されている。このように構成すれば、イメージセンサに対するレンズの光軸の位置ずれに起因して、イメージセンサ上に結像する画像の位置がずれた場合でも、適切に、イメージセンサから画像のデータの読み出しを行うことができる。

0012

この場合、好ましくは、レンズごとに結像された画像に対応するイメージセンサの領域を読み出しの有効期間とする有効期間信号を生成する有効期間信号生成部をさらに備え、有効期間信号生成部は、レンズごとに結像される画像の空間的な位置ずれのずれ量に基づいて、有効期間信号を補正するように構成されている。このように構成すれば、補正された有効期間信号に基づいて、容易に、イメージセンサから画像のデータの読み出しを行うことができる。

発明の効果

0013

本発明によれば、上記のように、複数のレンズの各々に対応する個別の画像のデータの分離処理が不要になり、複数のレンズの各々に対応する個別の画像のデータを並列かつ同時に読み出すことができる。その結果、複眼撮像装置の高速性および実時間性を向上させることができる。

図面の簡単な説明

0014

第1(第2)実施形態による複眼撮像装置を示した斜視図である。
第1(第2)実施形態による複眼撮像装置を示した分解斜視図である。
第1実施形態による複眼撮像装置のイメージセンサの読み出しのタイミングを説明するための図である。
第1実施形態による複眼撮像装置のイメージセンサの個眼領域(像)の読み出しのタイミングを説明するための図である。
第1実施形態による複眼撮像装置のメモリ制御機構部を説明するための図である。
第1実施形態による複眼撮像装置の書き込みアドレス生成部を説明するための図である。
第1実施形態による複眼撮像装置の読み出しアドレス生成部を説明するための図である。
個眼メモリ(複数のメモリの各々)の読み出しのタイミングを説明するための図である。
第1実施形態による複眼撮像装置の切替信号を説明するための図である。
第1実施形態による複眼撮像装置の画像のデータの処理を説明するための模式図である。
第2実施形態による複眼撮像装置の有効期間信号生成部を説明するための図である。

実施例

0015

以下、本発明を具体化した実施形態を図面に基づいて説明する。

0016

[第1実施形態]
(複眼撮像装置の構成)
図1図10を参照して、第1実施形態による複眼撮像装置100の構成について説明する。以下の説明では、Z方向を光軸方向とする。なお、光軸方向とは、後述するレンズ31aの光軸が延びる方向である。

0017

図1および図2に示すように、複眼撮像装置100は、単一のイメージセンサ2に対して、複数のレンズ31a(複数の個眼)の各々による複数の像(複数の個眼像)を一度に結像させる装置である。これにより、複眼撮像装置100は、単一のイメージセンサ2により、複数のレンズ31aの各々による複数の画像I(図10参照)を一度に撮像可能に構成されている。また、複眼撮像装置100は、互いに同じ視点の複数の画像Iを一度に撮像可能に構成されている。たとえば、複眼撮像装置100は、互いに分光特性が異なる互いに同じ視点の複数の画像Iを一度に撮像可能である。これにより、被写体の分光特性に関する様々な情報を一度の撮像により取得可能である。

0018

複眼撮像装置100は、複眼光学系1と、イメージセンサ2とを備えている。複眼光学系1は、フィルタ部10と、絞り部20と、レンズ部30と、隔壁部40とを備えている。フィルタ部10と、絞り部20と、レンズ部30と、隔壁部40と、イメージセンサ2とは、光軸方向(Z方向)の一方側(Z1方向側)から他方側(Z2方向側)に向かって、この順に配置されている。絞り部20の配置は、必ずしもフィルタ部10とレンズ部30の間に配置されるとは限らず、光学性能妥当な配置であれば良い。フィルタ部10は、レンズ部20に対してイメージセンサ2側とは反対側に配置される方が、光路長を変化させないことと、取り替え容易性からも、物体側(被写体側)に配置されることが好ましい。フィルタ部10は、所定の性質を有する光を選択的に透過するために設けられている。絞り部20(絞り開口部20a)は、フィルタ部10を通過した光の光量調整収差補正焦点深度調整などの結像性能向上のために設けられている。レンズ部30は、絞り部20を通過した光を結像させるために設けられている。隔壁部40は、レンズ部30を通過した光をイメージセンサ2に導き、かつ隣接する個眼像がイメージセンサ上で互いに干渉することを防止するために設けられている。イメージセンサ2は、隔壁部40を通過した光により画像Iを撮像するために設けられている。

0019

フィルタ部10は、レンズアレイ31の複数(16個)のレンズ31aに対応するように、複数(16個)のフィルタ11aを含んでいる。フィルタ11aは、偏光用のフィルタ、分光用のフィルタ(バンドパスフィルタハイパスフィルタローパスフィルタ)、減光用のフィルタ(ND(Neutral Density)フィルタ)などの光学フィルタである。

0020

絞り部20は、板状に設けられている。絞り部20は、光軸方向(Z方向)から見て、略矩形形状を有している。また、絞り部20は、レンズ部30のレンズアレイ31の複数(16個)のレンズ31aに対応するように、複数(16個)の絞り開口部20aを含んでいる。絞り開口部20aは、円形状を有しており、絞り部20を光軸方向に貫通する貫通孔により構成されている。

0021

レンズ部30は、レンズアレイ31と、レンズ保持部32と、レンズ押さえ部材33および34とを含んでいる。レンズアレイ31は、複数(16個)のレンズ31aを含んでいる。複数のレンズ31aは、4行×4列の行列状に配列されている。複数のレンズ31aの各々は、イメージセンサ2に個別に光を結像させるように設けられている。複数のレンズ31aの各々は、複眼を構成する1つ1つの目である個眼として機能する。

0022

隔壁部40は、隣接する個眼像(個々のレンズ31aによって結像された像)が相互に干渉するのを防ぐために、レンズアレイ31のレンズ31a毎の光の光路区画するように設けられている。これにより、レンズアレイ31のレンズ31a毎の光が互いに干渉することを抑制することができるので、レンズアレイ31のレンズ31a毎の画像Iを精度良く取得可能である。隔壁部40は、略直方体状に設けられている。隔壁部40は、光軸方向(Z方向)から見て、略矩形形状を有している。また、隔壁部40は、レンズアレイ31の複数(16個)のレンズ31aに対応するように、複数(16個)の区画部40aを含んでいる。

0023

イメージセンサ2は、CMOS(Complementrary Metal Oxide Semiconductor)イメージセンサ、CCD(Charge Coupled Device)イメージセンサなどの半導体イメージセンサである。イメージセンサ2は、レンズアレイ31のレンズ31aごとに結像された画像を撮像するように構成されている。イメージセンサ2は、プリント基板2aに設けられている。

0024

たとえば、図3に示すように、イメージセンサ2の有効画素領域には、4n行×4m列の画素が配置されている。また、図4に示すように、イメージセンサ2は、複数(たとえば、16個)のレンズ31aに対応するように、複数(たとえば、16個)の領域S(個眼領域)を含むように構成されている。具体的には、イメージセンサ2の有効画素領域には、4行×4列の行列状に配置された、16個のレンズ31a(レンズ#0〜レンズ#15)に対応する領域Sが設けられている。なお、「#」は、番号を意味する。

0025

ここで、第1実施形態では、図5に示すように、複眼撮像装置100は、レンズ31aごとに結像された画像I(個眼画像)のデータを個別に記憶する複数のメモリ50(個眼メモリ)を備えている。複数のメモリ50は、複数(たとえば、16個)のレンズ31aに対応するように、複数(たとえば、16個)設けられている。そして、複数のメモリ50に記憶されたレンズ31aごとに結像された画像Iのデータが、並行かつ同時に読み出されるように構成されている。なお、図5では、1つのメモリ50と、このメモリ50を制御するメモリ制御機構部101とが示されている。つまり、複眼撮像装置100には、図5に示されるメモリ50およびメモリ制御機構部101が、複数のレンズ31aと同じ数(16個)設けられている。以下、具体的に説明する。

0026

図5に示すように、複数のメモリ50の各々は、書き込み用および読み出し用のうちの一方として使用されるメモリ50aと、書き込み用および読み出し用のうちの他方として使用されるメモリ50bとを含む。なお、メモリ50aとメモリ50bとは、同様の構成を有しており、書き込み用および読み出し用の両方に使用される。また、メモリ50aおよびメモリ50bは、それぞれ、特許請求の範囲の「第1メモリ」および「第2メモリ」の一例である。

0027

また、複眼撮像装置100には、図6に示すように、書き込みアドレス生成部60が設けられている。書き込みアドレス生成部60は、書き込み用としてのメモリ50aまたはメモリ50bに対して、イメージセンサ2のレンズ31aごとに撮像された画像Iに対応する位置の書き込みアドレスを生成するように構成されている。具体的には、書き込みアドレス生成部60には、複数(たとえば、16個)の書き込みアドレスカウンタ61(#0〜#15)が設けられている。複数の書き込みアドレスカウンタ61は、複数の領域Sに対応するように設けられている。そして、書き込みアドレスカウンタ61には、後述する個眼領域水平有効期間信号と、個眼領域垂直有効期間信号と、イメージセンサ画素クロックとが入力されるように構成されている。

0028

また、複眼撮像装置100には、図7に示すように、読み出しアドレス生成部70が設けられている。読み出しアドレス生成部70は、読み出し用としてのメモリ50aまたはメモリ50bに対して、複数のメモリ50に共通のタイミングで、記憶されている画像Iのデータを読み出す読み出しアドレスを生成するように構成されている。具体的には、読み出しアドレス生成部70には、読み出しアドレスカウンタ71が設けられている。読み出しアドレスカウンタ71は、複数のメモリ50に対して共通に(1つのみ)設けられている。そして、読み出しアドレスカウンタ71には、個眼メモリ読み出し水平有効期間信号(図8参照)と、個眼メモリ読み出し垂直有効期間信号(図8参照)と、個眼メモリ読み出し画素クロックとが入力されるように構成されている。

0029

また、第1実施形態では、図5に示すように、メモリ50aおよびメモリ50bは、読み出し用および書き込み用に切り替える切替信号に基づいて、書き込み用または読み出し用に切り替えられるように構成されている。図9に示すように、切替信号は、論理が1(Hレベル)の状態と、論理が0(Lレベル)の状態とを交互に繰り返すように構成されている。また、切替信号は、垂直同期信号立ち上がりとともに論理が反転するように構成されている。つまり、垂直同期信号が立ち上がる際に、論理が1となり、垂直同期信号が次に立ち上がる際に、論理が0となるように構成されている。

0030

そして、図5に示すように、切替信号は、メモリ50aに入力されるとともに、論理反転部51を介して、論理が反転された切替信号がメモリ50bに入力される。そして、切替信号の論理が1である場合に、メモリ50a(メモリ50b)は、読み出し用とされ、切替信号の論理が0である場合に、メモリ50a(メモリ50b)は、書き込み用とされる。メモリ50aとメモリ50bとには、それぞれ、論理が反転された切替信号が入力されるので、メモリ50aが読み出し用および書き込み用の一方とされ、メモリ50bが読み出し用および書き込み用の他方とされる。

0031

また、図5に示すように、メモリ50aに対応するように、バッファ52aとセレクタ53aとが設けられている。イメージセンサ2からの画像Iのデータは、バッファ52aを介してメモリ50aに入力される。また、読み出しアドレスおよび書き込みアドレスが、セレクタ53aに入力される。また、セレクタ53aからの出力(アドレス)が、メモリ50aに入力される。同様に、メモリ50bに対応するように、バッファ52bとセレクタ53bとが設けられている。

0032

また、バッファ52aには、切替信号が入力され、バッファ52bには、論理反転部51により論理が反転された切替信号が入力される。そして、バッファ52aに入力される切替信号の論理が1の場合、バッファ52aは、有効となり、イメージセンサ2からの画像Iのデータが、バッファ52aを介してメモリ50aに入力される。同様に、バッファ52bに入力される切替信号の論理が1の場合、バッファ52bは、有効となり、イメージセンサ2からの画像Iのデータが、バッファ52bを介してメモリ50bに入力される。

0033

また、バッファ52aに入力される切替信号の論理が0の場合、バッファ52aは、無効とされる。これにより、バッファ52aを介した画像Iのデータのメモリ50aへの入力が禁止される。同様に、バッファ52bに入力される切替信号の論理が0の場合、バッファ52bは、無効とされる。これにより、バッファ52bを介した画像Iのデータのメモリ50bへの入力が禁止される。

0034

また、セレクタ53aには、読み出しアドレスおよび書き込みアドレスの一方が入力され、入力された読み出しアドレスおよび書き込みアドレスの一方がメモリ50aに出力される。セレクタ53aに読み出しアドレスが入力された場合、メモリ50aに読み出しアドレスが入力され、入力された読み出しアドレスに対応するメモリ50aのアドレスに記憶されたデータが読み出される。また、セレクタ53aに書き込みアドレスが入力された場合、書き込みアドレスがメモリ50aに入力され、入力された書き込みアドレスに対応するメモリ50aのアドレスに画像Iのデータが書き込まれる。また、セレクタ53aに対して切替信号A(論理1)またはB(論理0)が入力されることにより、セレクタ53aに読み出しアドレスまたは書き込みアドレスが入力される。なお、セレクタ53bの構成(動作)も、セレクタ53aの構成と同様である。

0035

また、複眼撮像装置100には、個眼メモリ読み出し水平有効期間信号と、個眼メモリ読み出し垂直有効期間信号との論理積を出力する論理積回路54aが設けられている。論理積回路54aは、個眼メモリ読み出し水平有効期間信号の論理が1の場合でかつ、個眼メモリ読み出し垂直有効期間信号の論理が1の場合に、論理が1の信号を出力する。

0036

また、複眼撮像装置100には、個眼領域水平有効期間信号と、個眼領域垂直有効期間信号との論理積を出力する論理積回路54bが設けられている。論理積回路54bは、個眼領域水平有効期間信号の論理が1の場合でかつ、個眼領域垂直有効期間信号の論理が1の場合に、論理が1の信号を出力する。

0037

また、複眼撮像装置100には、論理積回路54aと論理積回路54bとの出力の論理和を出力する論理和回路55が設けられている。論理和回路55は、論理積回路54aの出力の論理と、論理積回路54bの出力の論理とのうちの少なくとも一方が1である場合に、論理が1の信号を出力する。そして、論理和回路55から論理が1の信号がメモリ50aおよびメモリ50bに入力された場合(チップセレクトされた場合)、メモリ50aまたはメモリ50bに画像Iのデータを書き込むこと、または、メモリ50aまたはメモリ50bから画像Iのデータを読み出すことが可能になる。

0038

また、複眼撮像装置100には、メモリ50aおよびメモリ50bに共通のセレクタ56が設けられている。セレクタ56には、切替信号と、メモリ50aからの画像Iのデータと、メモリ50bからの画像Iのデータとが入力される。なお、切替信号Aが入力されることにより、メモリ50aから画像Iのデータが入力され、切替信号Bが入力されることにより、メモリ50bから画像Iのデータが入力される。そして、セレクタ56から画像Iのデータ(個眼メモリからの読み出しデータ)が出力される。

0039

なお、上記のメモリ50a、メモリ50b、論理反転部51、バッファ52a、バッファ52b、セレクタ53a、セレクタ53b、論理積回路54a、論理積回路54b、論理和回路55、および、セレクタ56は、ハードウェアによって構成されている。

0040

(複眼撮像装置の制御動作
次に、複眼撮像装置100の制御動作について説明する。

0041

まず、図10に示すように、複眼撮像装置100によって被写体(図10のA)が撮像される。複眼撮像装置100には、16個のレンズ31a(個眼レンズ)が設けられているので、イメージセンサ2の撮像面には、16個の被写体(A)の画像Iが撮像される。

0042

次に、図4を参照して、イメージセンサ2からの画像Iのデータの読み出しについて説明する。複眼撮像装置100では、水平同期信号、垂直同期信号、水平有効期間信号、および、垂直有効期間信号が生成される。水平同期信号とは、走査線の移動のタイミングを計る信号である。垂直同期信号とは、画面書き換えの開始のタイミングを計る信号である。また、水平有効期間信号とは、イメージセンサ2おいて、有効画素の水平方向の一方端から他方端まで走査されている期間に論理が1となる信号である。また、垂直有効期間信号とは、イメージセンサ2おいて、有効画素の垂直方向の一方端から他方端まで走査されている期間に論理が1となる信号である。なお、図4において、各々の領域S(個眼領域)において、角部のアドレス(x,y)が記載されている。たとえば、#0の領域Sの左上の角部のアドレスは、(0,0)であり、右下の角部のアドレスは、(m−1,n−1)である。また、mおよびnは、自然数である。

0043

そして、ラスタスキャンによって、イメージセンサ2から画像Iのデータが読み出される。たとえば、まず、イメージセンサ2上の、0行目の4m個の画素((0,0)、(1,0)、(2,0)〜(4m−1,0))からデータが読み出される。その後、1行目の4m個の画素((0,1)、(1,1)、(2,1)〜(4m−1,1))からデータが読み出される。その後、3行目以降が読み出される。最後に、4n−1行目の4m個の画素((0,4n−1)、(1,4n−1)、(2,4n−1)〜(4m−1,4n−1))からデータが読み出される。なお、上記のデータの読み出しの説明においては、各行の読み出しの間に挿入される無効なデータ、および、最終画素と次のフレームの先頭画素との読み出しの間に挿入される無効なデータは、無視されている。

0044

また、複眼撮像装置100では、個眼領域水平有効期間信号と、個眼領域垂直有効期間信号とが生成される。個眼領域水平有効期間信号は、個眼領域#0・4・8・12水平有効期間信号と、個眼領域#1・5・9・13水平有効期間信号と、個眼領域#2・6・10・14水平有効期間信号と、個眼領域#3・7・11・15水平有効期間信号とを含む。たとえば、個眼領域#0・4・8・12水平有効期間信号は、#0のレンズ31a、#4のレンズ31a、#8のレンズ31a、および、#12のレンズ31aに対応する領域Sが走査される際に論理が1になる信号である。また、個眼領域#0・4・8・12水平有効期間信号は、m個の水平方向に配置された画素からの画像Iのデータが読み出されている間、論理が1になる信号である。他の個眼領域#1・5・9・13水平有効期間信号、個眼領域#2・6・10・14水平有効期間信号、および、個眼領域#3・7・11・15水平有効期間信号も同様に、各番号のレンズ31aに対応する領域Sが走査される際に論理が1になる信号である。

0045

また、個眼領域垂直有効期間信号は、個眼領域#0・1・2・3垂直有効期間信号と、個眼領域#4・5・6・7垂直有効期間信号と、個眼領域#8・9・10・11垂直有効期間信号と、個眼領域#12・13・14・15垂直有効期間信号とを含む。たとえば、個眼領域#0・1・2・3垂直有効期間信号は、#0のレンズ31a、#1のレンズ31a、#2のレンズ31a、および、#3のレンズ31aに対応する領域Sが走査される際に論理が1になる信号である。また、個眼領域#0・1・2・3垂直有効期間信号は、n個の垂直方向(行)に配置された画素からの画像Iのデータが読み出されている間、論理が1になる信号である。他の個眼領域#4・5・6・7垂直有効期間信号、個眼領域#8・9・10・11垂直有効期間信号、個眼領域#12・13・14・15垂直有効期間信号も同様に、各番号のレンズ31aに対応する領域Sが走査される際に論理が1になる信号である。

0046

そして、図10に示すように、個々のレンズ31aごとに結像された画像Iのデータ(個眼画像のデータ)が、レンズ31aの数と同じ数の複数カメラが並列動作しているかのように、並行かつ同時に読み出されて、各々、メモリ50に書き込まれる。つまり、ハードウェアによって、イメージセンサ2に撮像された画像(複眼画像データ)が複数の画像Iに分離する処理が行われる。また、ハードウェアによる処理の分担範囲が拡大されるので、複眼撮像装置100の高速性および実時間性を向上させることが可能になる。また、個々の画像Iのデータが分割(分離)されているので、複眼画像のデータを伝送する場合と比べて、データ量を削減することが可能になる。

0047

次に、イメージセンサ2からの画像Iのデータの書き込みについて具体的に説明する。

0048

図6に示すように、書き込みアドレス生成部60に、たとえば、論理が1である個眼領域#0・4・8・12水平有効期間信号と、論理が1である個眼領域#0・1・2・3垂直有効期間信号とが入力されたとする。この場合、#0〜#15のうち、#0の書き込みアドレスカウンタ61にのみ、論理が1である個眼領域#0・4・8・12水平有効期間信号と、論理が1である個眼領域#0・1・2・3垂直有効期間信号とが入力される。他の書き込みアドレスカウンタ61には、論理が共に0か、論理の一方が1であり他方が0である信号が入力される。これにより、#0の書き込みアドレスカウンタ61から、書き込みアドレス#0の信号(書き込みアドレス)が出力される。この場合、書き込みアドレス#0の信号は、#0のメモリ50に出力され、#0のメモリ50においてメモリ50aまたはメモリ50bの一方に画像Iのデータが書き込まれる。このように、イメージセンサ2の#0〜#15の各領域Sの画像Iのデータが、それぞれ、#0〜#15のメモリ50に分割された状態で書き込まれる。また、書き込みアドレスの出力は、イメージセンサ画素クロックの周期ごとに行われる。

0049

そして、図10に示すように、メモリ50に書き込まれた画像Iのデータが読み出される。次に、メモリ50aまたはメモリ50bに書き込まれた画像Iのデータの読み出しについて具体的に説明する。

0050

図7に示すように、読み出しアドレスカウンタ71には、個眼メモリ水平有効期間信号と、個眼メモリ垂直有効期間信号と、個眼メモリ読み出し画素クロックとが入力されるように構成されている。図8に示すように、個眼メモリ水平有効期間信号、および、個眼メモリ垂直有効期間信号は、たとえば、各メモリ50(#0〜#15)の有効画素領域の画像Iのデータが読み出される際に論理が1になる信号である。また、各メモリ50(#0〜#15)から画像Iのデータを読み出すための垂直同期信号の周期は、上記イメージセンサ2のラスタスキャンに用いられる垂直同期信号の周期と同じであると仮定する。また、上記イメージセンサ2の画像Iのデータの書き込みに用いられるイメージセンサ画素クロックの周期と、個眼メモリ読み出し画素クロックの周期とは、約1:16の関係となる。

0051

そして、論理が1である個眼メモリ水平有効期間信号と、論理が1である個眼メモリ垂直有効期間信号とが、読み出しアドレスカウンタ71に入力されることにより、読み出しアドレスカウンタ71から読み出しアドレスが出力される。なお、読み出しアドレスは、全てのメモリ50(#0〜#15)に対して並行かつ同時に出力される。これにより、本実施形態では、複数のメモリ50(#0〜#15)に記憶されたレンズ31aごとに結像された画像Iのデータが、並行かつ同時に読み出される。なお、読み出しアドレスの出力は、個眼メモリ読み出し画素クロックの周期ごとに行われる。また、複数のメモリ50(#0〜#15)に記憶された画像Iのデータが、分割された状態(個別に)読み出されるので、読み出されたデータを個別に(または、取捨選択して)、利用することが可能になる。また、読み出されたデータに対して、専用回路によって後段の処理が行われる。

0052

(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。

0053

第1実施形態では、上記のように、レンズ31aごとに結像された画像Iのデータを個別に記憶する複数のメモリ50を備え、複数のメモリ50に記憶されたレンズ31aごとに結像された画像Iのデータが、並行かつ同時に読み出されるように構成されている。これにより、個々のレンズ31aごとに結像された画像Iのデータ(個眼画像のデータ)が、レンズ31aの数と同じ数の複数カメラが並列動作しているかのように、並行かつ同時に読み出されるので、計算機のメモリに記憶する以前に、或いは計算機のメモリに記憶することなく、ハードウェアによる演算回路によって個眼画像データに対する演算処理を実施できるようになる。その結果、高速性および実時間性を向上させることができる。また、複眼画像のデータ(複数の画像Iが1枚の画像内に複数のレンズ31aの空間配置に対応して集約された状態)として時系列にデータが読み出される場合と異なり、個眼画像のデータの分離処理が不要になるので、個々の個眼画像のデータに対して演算処理等のデータ処理を直接施せるようになる。また、画像Iに対する演算処理を高速に行うことができるので、イメージセンサ2の画素数が比較的多い場合でも、1フレームの時間内において、1フレーム分の画像のデータを読み出すことができる。また、複眼撮像装置100自体の高速性および実時間性が向上するので、比較的高速に動いている被写体の撮像を行うことができるとともに、比較的高速に動く機体などに複眼撮像装置100自体を配置して、被写体の撮像を行うことができる。

0054

また、第1実施形態では、上記のように、書き込み用としてのメモリ50aまたはメモリ50bに対して、イメージセンサ2のレンズ31aごとに撮像された画像Iに対応する位置の書き込みアドレスを生成する書き込みアドレス生成部60と、読み出し用としてのメモリ50aまたはメモリ50bに対して、複数のメモリ50に共通のタイミングで、記憶されている画像Iのデータを読み出す読み出しアドレスを生成する読み出しアドレス生成部70とを設ける。これにより、メモリ50aとメモリ50bとのうちの一方に画像Iのデータを書き込みながら、メモリ50aとメモリ50bとのうちの他方から以前に書き込まれた画像Iのデータを読み出すことができるので、画像Iのデータの書き込みが終了してから画像Iのデータの読み出しを行う場合と比べて、画像Iのデータをさらに高速に読み出すことができる。

0055

また、第1実施形態では、上記のように、メモリ50aおよびメモリ50bは、読み出し用および書き込み用に切り替える切替信号に基づいて、書き込み用または読み出し用に切り替えられるように構成されている。これにより、メモリ50aおよびメモリ50bを読み出し用および書き込み用に切り替えることができるので、メモリ50a(メモリ50b)に対する書き込みと、メモリ50a(メモリ50b)に対する読み出しとを連続して行うことができる。

0056

[第2実施形態]
次に、図11を参照して、第2実施形態の複眼撮像装置200(図1参照)について説明する。

0057

ここで、上記の図4に示すように、個眼領域水平有効期間信号は、垂直方向に隣接する4つの領域Sに対して共通である。また、個眼領域垂直有効期間信号は、水平方向に隣接する4つの領域Sに対して共通である。しかしながら、イメージセンサ2に対する複数のレンズ31aの各々の配置位置が、加工精度組み立て精度などに起因してばらつく場合がある。この場合、イメージセンサ2上の各領域Sの中心とレンズ31aの光軸とが一致しない。イメージセンサ2上の各領域Sの中心とレンズ31aの光軸とが一致する場合では、無限遠方において被写体を撮像した際には、イメージセンサ2上の各領域Sに互いに同じ被写体の画像Iが結像する。しかしながら、上記のように、イメージセンサ2に対する複数のレンズ31aの各々の配置位置が、加工精度や組み立て精度などに起因してばらつく場合、レンズ31aの光軸のずれ量(シフト量)に対応して、各領域Sに結像される被写体の画像Iがシフトする。その結果、個眼領域水平有効期間信号(4種類、図4参照)と、個眼領域垂直有効期間信号(4種類、図4参照)との組み合わせによって、合計16個の有効期間信号を適切に生成することが困難になる。

0058

そこで、第2実施形態では、イメージセンサ2に対するレンズ31aの光軸の位置ずれに起因して生じるレンズ31aごとに結像される画像Iの空間的な位置ずれのずれ量に基づいて、イメージセンサ2における画像Iのデータの読み出しの領域Sを補正するように構成されている。具体的には、図11に示すように、複眼撮像装置200は、有効期間信号生成部210を備えている。有効期間信号生成部210は、レンズ31aごとに結像される画像Iの空間的な位置ずれのずれ量に基づいて、有効期間信号(個眼領域水平有効期間信号、個眼領域垂直有効期間信号)を補正するように構成されている。

0059

具体的には、複眼撮像装置200は、複数のレンズ31a(#0〜#15)に対応するように、複数(#0〜#15)の個眼領域水平有効期間補正部211と、複数(#0〜#15)の個眼領域垂直有効期間補正部212とを含む。個眼領域水平有効期間補正部211および個眼領域垂直有効期間補正部212は、たとえば、可変ディレイ回路により構成されている。可変ディレイ回路は、入力された信号を所定の時間遅延させて出力するように構成されている。また、可変ディレイ回路は、遅延させる所定の時間を変更可能に構成されている。

0060

そして、個眼領域水平有効期間補正部211には、個眼領域水平有効期間信号と、イメージセンサ画素クロックと、個眼領域水平補正情報(シフト量)とが入力される。たとえば、個眼領域#0水平有効期間補正部211には、個眼領域#0・4・8・12水平有効期間信号と、イメージセンサ画素クロックと、個眼領域#0水平補正情報とが入力される。

0061

ここで、個眼領域水平補正情報について説明する。たとえば、イメージセンサ2の中心に対向する位置に配置されたテストパターンなどを予め撮像することにより、イメージセンサ2上の#0〜#15の各領域Sに対する、結像された画像Iの空間的なシフト量(Δx0、Δy0、・・・、Δx15、Δy15)を取得する。シフト量は、イメージセンサ2に対するレンズ31aの光軸の位置ずれのずれ量(バラツキ)に相当する。また、シフト量は、シフト量に基づいた補正が行われていない状態で撮像された16個の画像I間における相関演算に基づいて算出される。

0062

そして、個眼領域水平有効期間補正部211では、シフト量が0であると想定された理想的な個眼領域水平有効期間信号に対して、予め算出された空間的なシフト量(Δx0など)が補正値画素値)として加算される。これにより、個眼領域水平有効期間補正部211から、補正済みの個眼領域水平有効期間信号が出力される。具体的には、個眼領域水平有効期間補正部211では、イメージセンサ画素クロックを単位として、シフト量(Δx0など)に対応する分、個眼領域水平有効期間信号を時間軸方向にずらす(ディレイさせる)ことにより、補正済みの個眼領域水平有効期間信号が生成される。

0063

同様に、個眼領域垂直有効期間補正部212では、シフト量が0であると想定された理想的な個眼領域垂直有効期間信号に対して、予め算出された空間的なシフト量(Δy0など)が補正値(行)として加算される。これにより、個眼領域垂直有効期間補正部212から、補正済みの個眼領域垂直有効期間信号が出力される。具体的には、個眼領域垂直有効期間補正部212では、水平同期信号の周期を単位として、シフト量(Δy0など)に対応する分、個眼領域垂直有効期間信号を時間軸方向にずらす(ディレイさせる)ことにより、補正済みの個眼領域垂直有効期間信号が生成される。そして、補正済みの個眼領域水平有効期間信号と、補正済みの個眼領域垂直有効期間信号とが、書き込みアドレス生成部60(図6参照)に入力される。

0064

なお、可変ディレイ回路では、時間軸方向の正の方向にのみ、個眼領域水平有効期間信号および個眼領域垂直有効期間信号を補正する(ディレイさせる)ことしかできない。そこで、シフト量のうち、時間軸方向の負の方向の最大値を基準とするように、予め、個眼領域水平有効期間信号および個眼領域垂直有効期間信号を補正する(つまり、時間軸方向の負の方向にずらす)ことにより、可変ディレイ回路によって適切に個眼領域水平有効期間信号および個眼領域垂直有効期間信号を補正することが可能になる。

0065

(第2実施形態の効果)
第2実施形態では、以下のような効果を得ることができる。

0066

第2実施形態では、上記のように、イメージセンサ2に対するレンズ31aの光軸の位置ずれに起因して生じるレンズ31aごとに結像される画像Iの空間的な位置ずれのずれ量に基づいて、イメージセンサ2における画像Iのデータの読み出しの領域Sを補正するように構成されている。これにより、イメージセンサ2に対するレンズ31aの光軸の位置ずれに起因して、イメージセンサ2上に結像する画像Iの位置がずれた場合でも、適切に、イメージセンサ2から画像Iのデータの読み出しを行うことができる。

0067

また、第2実施形態では、上記のように、有効期間信号生成部210は、レンズ31aごとに結像される画像Iの空間的な位置ずれのずれ量に基づいて、有効期間信号を補正するように構成されている。このように構成すれば、補正された有効期間信号に基づいて、容易に、イメージセンサ2から画像Iのデータの読み出しを行うことができる。

0068

[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。

0069

たとえば、上記第1および第2実施形態では、レンズアレイ31に16個のレンズ31aが設けられている例を示したが、本発明はこれに限られない。たとえば、レンズアレイ31に16個以外の数(複数)のレンズ31aが設けられていてもよい。

0070

また、上記第2実施形態では、撮像された16個の画像I間における相関演算に基づいてシフト量が算出される例を示したが、本発明はこれに限られない。たとえば、イメージセンサ2に対するレンズ31aの光軸の物理的な位置ずれ量を計測するとともに、計測された位置ずれ量に基づいて、シフト量を算出してもよい。

0071

また、上記第1および第2実施形態では、書き込み用および読み出し用のうちの一方として使用されるメモリ50aと、書き込み用および読み出し用のうちの他方として使用されるメモリ50bとが、別個のメモリとして設けられている例を示したが、本発明はこれに限られない。たとえば、1つのメモリにおいて、書き込み用および読み出し用のうちの一方として使用される第1の領域と、書き込み用および読み出し用のうちの他方として使用される第2の領域とを設けてもよい。そして、このメモリの第1の領域と第2の領域とを、それぞれ、書き込み用と読み出し用に交互に使用する。また、このメモリに対する書き込みアドレスに基づいて、書き込み用としての第1の領域と第2の領域との一方に画像のデータを書き込み、このメモリに対する読み出しアドレスに基づいて、読み出し用としての第1の領域と第2の領域との他方から画像のデータを読み出す。

0072

なお、上記のように、1つのメモリにおいて、書き込み用および読み出し用のうちの一方として使用される第1の領域と、書き込み用および読み出し用のうちの他方として使用される第2の領域とを設ける場合には、メモリの読み出し動作および書き込み動作の動作速度、および、応答速度が比較的高速のメモリが使用される。なお、動作速度および応答速度が比較的高速のメモリを使用する方法とは別の方法として、イメージセンサ2において複数の画素のデータをまとめて読み出すこと、および、複数の画素のデータをまとめて書き込むことによって、1画素当たりの動作速度および応答速度を疑似的に高速化する方法がある。

0073

また、上記第2実施形態では、イメージセンサ2に対するレンズ31aの光軸の位置ずれに起因して生じるレンズ31aごとに結像される画像Iの空間的な位置ずれのずれ量に基づいて、イメージセンサ2における画像Iのデータの読み出しの領域Sを補正するように構成されている例を示したが、本発明はこれに限られない。たとえば、読み出しの領域Sを補正する代わりに、メモリ50に対する書き込み領域を補正するように構成してもよい。これよっても、上記第2実施形態と同様の効果が得られる。

0074

2イメージセンサ
31レンズアレイ
31aレンズ
50メモリ
50a メモリ(第1メモリ)
50b メモリ(第2メモリ)
60書き込みアドレス生成部
70読み出しアドレス生成部
100、200複眼撮像装置
210 有効期間信号生成部
I 画像
S 領域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ