図面 (/)

技術 画像処理装置、画像処理方法、および画像処理システム

出願人 ソニー株式会社
発明者 林宏福田安志
出願日 2011年8月29日 (8年6ヶ月経過) 出願番号 2011-185718
公開日 2013年3月7日 (7年0ヶ月経過) 公開番号 2013-048333
状態 未査定
技術分野 TVの同期 テレビジョン方式 スタジオ装置
主要キーワード 非同期運転 基準信号入力 遅延検出回路 制御コマ 中継画像 小容量メモリ リセット信号発生回路 同期運転
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年3月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

同期して画像を出力する多眼カメラステムを、より安価に構成する。

解決手段

複数のメモリは、1のクロック信号に基づいて同期して駆動する複数のCMOSセンサから出力される画像データをそれぞれ保持し、遅延検出回路は、複数のCMOSセンサから出力されるそれぞれの画像データの遅延を検出し、同期信号発生回路は、遅延検出回路により検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力にするように、画像データの出力を複数のメモリに指示する信号を発生する。本技術は、多眼カメラに適用することができる。

概要

背景

従来、複数のカメラから出力される映像信号を同期させる手法として、GenLock方式とフレームシンクロナイザ方式とが知られている。

GenLock方式は、同期信号発生器により出力される基準信号により、複数のカメラを同期運転する手法であり、例えば、ステレオカメラにおいて、複数の撮像素子および信号処理部の駆動とともに、露出時間の算出を同期するようにした技術がある(例えば、特許文献1参照)。

一方、フレームシンクロナイザ方式は、複数のカメラから非同期に出力される映像信号を一旦フレームメモリに保持し、同期信号発生器により出力される基準信号により、それぞれのフレームメモリに保持された映像信号を同時に出力させる手法である。この手法を用いた技術としては、例えば、複数のカメラに撮像された同時刻フレーム画像を比較して、カメラの健全性自己診断するようにした画像処理システムが提案されている(例えば、特許文献2参照)。

一般に、GenLock方式のカメラシステムにおいては、基準信号入力用の端子を備えたカメラが用いられるが、このようなカメラは一般的ではないため高価であり、同期運転を行う多眼カメラステムを構成するのに、コストがかかっていた。

一方、フレームシンクロナイザ方式のカメラシステムにおいては、一般的なカメラを用いることができるので、この点では、GenLock方式のカメラシステムと比較して、コストを抑えることが可能である。

概要

同期して画像を出力する多眼カメラシステムを、より安価に構成する。複数のメモリは、1のクロック信号に基づいて同期して駆動する複数のCMOSセンサから出力される画像データをそれぞれ保持し、遅延検出回路は、複数のCMOSセンサから出力されるそれぞれの画像データの遅延を検出し、同期信号発生回路は、遅延検出回路により検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力にするように、画像データの出力を複数のメモリに指示する信号を発生する。本技術は、多眼カメラに適用することができる。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える画像処理装置

請求項2

複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに備え、前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する請求項1に記載の画像処理装置。

請求項3

前記クロック信号を発生する1のクロック信号発生部と、複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに備える請求項1に記載の画像処理装置。

請求項4

前記固体撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成される請求項1に記載の画像処理装置。

請求項5

1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法において、前記画像処理装置が、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生するステップを含む画像処理方法。

請求項6

複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、複数の前記カメラは、1のクロック信号に基づいて同期して駆動する固体撮像装置をそれぞれ備え、前記画像出力装置は、複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える画像処理システム。

技術分野

0001

本技術は、画像処理装置画像処理方法、および画像処理システムに関し、特に、同期して画像を出力する多眼カメラステムを、より安価に構成することができるようにする画像処理装置、画像処理方法、および画像処理システムに関する。

背景技術

0002

従来、複数のカメラから出力される映像信号を同期させる手法として、GenLock方式とフレームシンクロナイザ方式とが知られている。

0003

GenLock方式は、同期信号発生器により出力される基準信号により、複数のカメラを同期運転する手法であり、例えば、ステレオカメラにおいて、複数の撮像素子および信号処理部の駆動とともに、露出時間の算出を同期するようにした技術がある(例えば、特許文献1参照)。

0004

一方、フレームシンクロナイザ方式は、複数のカメラから非同期に出力される映像信号を一旦フレームメモリに保持し、同期信号発生器により出力される基準信号により、それぞれのフレームメモリに保持された映像信号を同時に出力させる手法である。この手法を用いた技術としては、例えば、複数のカメラに撮像された同時刻フレーム画像を比較して、カメラの健全性自己診断するようにした画像処理システムが提案されている(例えば、特許文献2参照)。

0005

一般に、GenLock方式のカメラシステムにおいては、基準信号入力用の端子を備えたカメラが用いられるが、このようなカメラは一般的ではないため高価であり、同期運転を行う多眼カメラシステムを構成するのに、コストがかかっていた。

0006

一方、フレームシンクロナイザ方式のカメラシステムにおいては、一般的なカメラを用いることができるので、この点では、GenLock方式のカメラシステムと比較して、コストを抑えることが可能である。

先行技術

0007

特開2000−341719号公報
特開2001−211466号公報

発明が解決しようとする課題

0008

しかしながら、フレームシンクロナイザ方式のカメラシステムにおいては、フレームメモリが必要となるので、やはりコストがかかってしまう。

0009

本技術は、このような状況に鑑みてなされたものであり、同期して画像を出力する多眼カメラシステムを、より安価に構成することができるようにするものである。

課題を解決するための手段

0010

本技術の一側面の画像処理装置は、1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。

0011

前記画像処理装置には、複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに設け、前記検出部には、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出させることができる。

0012

前記画像処理装置には、前記クロック信号を発生する1のクロック信号発生部と、複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに設けることができる。

0013

前記固体撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成されるようにすることができる。

0014

本技術の一側面の画像処理方法は、1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法であって、前記画像処理装置が、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生するステップを含む。

0015

本技術の一側面の画像処理システムは、複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、複数の前記カメラが、1のクロック信号に基づいて同期して駆動する固体撮像装置をそれぞれ備え、前記画像出力装置が、複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。

0016

本技術の一側面においては、複数の固体撮像装置から出力されるそれぞれの画像データの遅延が検出され、検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力するように、画像データの出力を複数のメモリに指示する信号が発生される。

発明の効果

0017

本技術の一側面によれば、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。

図面の簡単な説明

0018

本技術を適用した画像処理装置としての撮像装置の一実施の形態の機能構成例を示すブロック図である。
画像出力同期処理について説明するフローチャートである。
画像データの遅延の検出について説明する図である。
メモリをFIFOとした場合の構成について説明する図である。
本技術を適用した画像処理システムの一実施の形態の機能構成例を示すブロック図である。

実施例

0019

以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
1.本技術を適用した撮像装置の構成
2.画像出力同期処理
3.本技術を適用した画像処理システムの構成

0020

<1.本技術を適用した撮像装置の構成>
図1は、本技術を適用した画像処理装置としての撮像装置の一実施の形態の構成を示している。

0021

図1の撮像装置11は、複数の画像を同時に取得し、それらの画像に対して所定の画像処理を施す、いわゆる多眼カメラとして構成される。

0022

図1の撮像装置11は、レンズ31−1乃至31−N、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ32−1乃至32−N、リセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、小容量メモリ36、遅延検出回路37、同期信号発生回路38、画像処理部39、およびCPU40から構成される。

0023

固体撮像装置としてのCMOSイメージセンサ32−1乃至32−N(以下、CMOSセンサ32−1乃至32−Nという)はそれぞれ、撮像素子やA/D(Analog/Digital)変換部を含み、基本的にデジタル回路により構成される。CMOSセンサ32−1乃至32−Nは、レンズ31−1乃至31−Nからの光を受光して光電変換することにより被写体を撮像し、得られたアナログ画像信号をA/D変換する。CMOSセンサ32−1乃至32−Nは、A/D変換の結果得られたデジタルの画像データを小容量メモリ36−1乃至36−Nに供給する。

0024

また、CMOSセンサ32−1乃至32−Nは、リセット信号発生回路33からのリセット信号により同時にリセットされ、クロック信号発生回路34からのクロック信号により同期して駆動する。

0025

なお、以下において、CMOSセンサ32−1乃至32−Nを、それぞれ区別する必要がない場合、単に、CMOSセンサ32といい、撮像装置11における他の構成についても同様に扱うものとする。

0026

リセット信号発生回路33は、CMOSセンサ32をリセットするためのリセット信号を生成し、CMOSセンサ32に供給する。

0027

クロック信号発生回路34は、CMOSセンサ32の駆動を同期させるためのクロック信号を生成し、CMOSセンサ32に供給する。

0028

制御コマンド送出回路35は、CMOSセンサ32とシリアル通信を行うことで、CMOSセンサ32の動作を制御するための制御コマンドをCMOSセンサ32に送出する。

0029

小容量メモリ36(以下、単に、メモリ36という)は、数バイト程度の容量を有し、CMOSセンサ32から供給される画像データの一部を保持し、同期信号発生回路38からの同期信号に応じて、保持している画像データの一部を画像処理部39に供給する。

0030

遅延検出回路37は、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに供給される画像データの遅延を検出する。具体的には、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに供給される画像データのうち、最も遅延して供給される画像データと、その他の画像データとの遅延量を求め、それら遅延量を表す信号を、同期信号発生回路38に供給する。

0031

同期信号発生回路38は、遅延検出回路37からの信号に応じて、メモリ36−1乃至36−Nそれぞれに対して、メモリ36−1乃至36−Nが保持している画像データをそれぞれ同時に出力するよう指示するための同期信号を供給する。また、同期信号発生回路38は、メモリ36に対する同期信号を、画像処理部39にも供給する。

0032

画像処理部39は、メモリ36−1乃至36−Nから同時に(同期して)出力された画像データに対して、所定の画像処理を施す。

0033

CPU(Central Processing Unit)40は、撮像装置11の各部を制御する。

0034

[CMOSセンサの構成]
ここで、CMOSセンサ32の構成について説明する。

0035

図1に示されるように、CMOSセンサ32は、画素アレイ部51、同期回路52、およびシリアルI/F(Interface)53を備えている。

0036

画素アレイ部51は、マトリクス状に配置された光電変換素子としての画素を有し、そこに入射する光を光電変換することにより、電気信号としての画像データを取得する。

0037

同期回路52は、例えば、アナログ回路であるPLL(Phase Locked Loop)回路等を含むように構成され、クロック信号発生回路34からのクロック信号に基づいて、CMOSセンサ32内の各部の駆動に必要な内部同期信号(クロック信号)を生成し、CMOSセンサ32内の各部に出力する。

0038

シリアルI/F53は、制御コマンド送出回路35からの制御コマンドを受信し、その制御コマンドに対応した命令を、CMOSセンサ32内の各部に供給する。

0039

<2.画像出力同期処理>
次に、図2のフローチャートを参照して、撮像装置11の画像出力同期処理について説明する。画像出力同期処理は、CMOSセンサ32−1乃至32−Nから出力される画像データをそれぞれ同期して画像処理部39に出力する処理である。

0040

なお、CMOSセンサ32−1乃至32−Nは、リセット信号発生回路33からのリセット信号により同時にリセットされ、クロック信号発生回路34からのクロック信号により同期して駆動している。

0041

このような状態で、ユーザによる、図示せぬ操作部に対する操作に応じて、所定の画像処理の実行が指示されると、ステップS11において、制御コマンド送出回路35は、CPU40の制御の下、CMOSセンサ32それぞれに対して、画像出力開始コマンドを同報送出する。

0042

例えば、制御コマンド送出回路35は、シリアル通信として、I2C(I2C:Inter IntegratedCircuit)通信を行うことにより、CMOSセンサ32それぞれに対して、画像出力開始コマンドを同時刻に送出する。

0043

I2C通信は、主に同一基板上などの近距離に配置されたデバイス間でのデータのやり取りを行うための通信方式である。I2C通信では、ひとつのデバイスをマスタにして、それにスレーブとなるデバイスを複数バス接続することによって、1対多チャンネル間の通信を行うことが可能となる。I2C通信において、マスタとスレーブと間は、SCL(Serial Clock Line)とSDA(Serial Data Line)の2本の信号線だけをバスとして共有して通信を行う。

0044

なお、制御コマンド送出回路35とCMOSセンサ32(シリアルI/F53)との間で行われるシリアル通信は、上述したI2C通信に限らず、SPI(Serial Peripheral Interface)等その他の規格のシリアル通信であってもよい。

0045

このように、制御コマンド送出回路35からCMOSセンサ32それぞれに対して画像出力開始コマンドが同報送出されると、CMOSセンサ32−1乃至32−Nの同期回路52−1乃至52−Nにより生成される内部同期信号の位相が略一致されるようになり、撮像により得られた画像データが、略同時にメモリ36−1乃至36−Nに出力される。

0046

しかしながら、上述したように、同期回路52−1乃至52−Nには、PLL回路等のアナログ回路が含まれており、これらの個体差により、CMOSセンサ32−1乃至32−Nから出力される画像データ同士の間に、わずかながら位相差を生じる可能性がある。

0047

そこで、ステップS12において、遅延検出回路37は、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに出力される画像データの遅延を検出する。

0048

具体的には、例えば、遅延検出回路37は、CMOSセンサ32−1乃至32−Nから出力される画像データから、画像の水平方向1ラインのタイミングを表す同期信号(水平同期信号)を抽出することで、CMOSセンサ32−1乃至32−Nから出力される画像データの遅延を検出し、最も遅延して出力される画像データと、その他の画像データとの位相差を求める。

0049

例えば、撮像装置11が4つのCMOSセンサ32−1乃至32−4を備える4眼カメラとして構成されるものとして、CMOSセンサ32−1乃至32−4からメモリ36−1乃至36−4に出力される画像データ1乃至4から、図3に示されるような同期信号が抽出されたとする。

0050

図3の例においては、時刻t1に画像データ1から同期信号(立ち下がり)が抽出され、時刻t2に画像データ2から同期信号(立ち下がり)が抽出され、時刻t3に画像データ3から同期信号(立ち下がり)が抽出され、時刻t4に画像データ4から同期信号(立ち下がり)が抽出されている。すなわち、画像データ1が最も早くメモリ36−1に供給され、画像データ2が2番目に早くメモリ36−2に供給され、画像データ3が3番目に早くメモリ36−3に供給され、画像データ4が最も遅くメモリ36−4に供給されている。

0051

遅延検出回路37は、最も遅延して出力される画像データ4の同期信号(立ち下がり)を抽出した時刻t4と、画像データ1乃至3の同期信号(立ち下がり)を抽出した時刻t1乃至t3それぞれとの位相差(時間差)を求める。すなわち、位相差t4-t1が、画像データ4と画像データ1との位相差であり、位相差t4-t2が、画像データ4と画像データ2との位相差であり、位相差t4-t3が、画像データ4と画像データ3との位相差となる。この位相差は、上述したように、同期回路52にそれぞれ含まれるアナログ回路の個体差により生じるものであり、画像の水平方向1ライン分より十分小さい、数ピクセル相当のものに過ぎない。

0052

そして、遅延検出回路37は、それぞれの位相差、すなわち遅延量を表す信号を、同期信号発生回路38に供給する。

0053

ステップS13において、同期信号発生回路38は、遅延検出回路37からの信号に基づいて、メモリ36−1乃至36−Nそれぞれに対して、メモリ36−1乃至36−Nが保持している画像データを出力するための同期信号を供給することで、それぞれの画像データを同時に出力させる。

0054

例えば、同期信号発生回路38は、図3で説明した画像データ1を位相差t4-t1だけ遅延させ、画像データ2を位相差t4-t2だけ遅延させ、画像データ3を位相差t4-t3だけ遅延させ、画像データ4をそのまま出力するようにする同期信号を、メモリ36−1乃至36−4に供給する。これにより、その一部がメモリ36−1乃至36−3に保持されている画像データ1乃至3は、最も遅延して出力された画像データ4と同時に、画像処理部39に出力されるようになる。

0055

なお、このとき、メモリ36−1乃至36−3に保持されている画像データ1乃至3のデータ量は、画像データ4がメモリ36−4に供給されるまでに供給された数ピクセル分程度となる。

0056

また、同期信号発生回路38は、メモリ36−1乃至36−Nに供給した同期信号を、画像処理部39にも供給する。すなわち、撮像装置11においては、複数の画像データのうちの、最も遅延して出力される画像データの位相(位相信号)を、装置全体の同期信号とすることで、多眼カメラの同期運転が行われる。

0057

以上の処理によれば、同期して駆動するCMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ36−1乃至36−Nに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ36に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラを、より安価に構成することが可能となる。

0058

具体的には、例えば、従来のフレームシンクロナイザ方式によれば、画像データの解像度がFull HDである場合、約2万(1920×1080)ピクセル分のメモリ容量を必要としたが、本技術の構成によれば、数ピクセル分程度のメモリ容量で済むので、およそ100万分の1オーダーでメモリ容量を削減することができる。

0059

また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性保証されなかったが、撮像装置11においては、CMOSセンサ32−1乃至32−Nは、制御コマンド送出回路35からの制御コマンドに基づいて同期運転(駆動)を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。

0060

なお、上述した処理において検出される遅延は、画像出力開始コマンドが送出されて以降は変化しないので、画像出力同期処理において最初の1回だけ実行されればよく、これ以降は、その検出された遅延に基づいて、画像データが同期されて出力されるようになる。

0061

ところで、上述した撮像装置11において、メモリ36をFIFO(First In First Out)として構成するようにしてもよい。

0062

[メモリをFIFOとした構成]
図4は、撮像装置11において、メモリ36をFIFOとした場合の撮像装置11の構成について説明する図である。ここで、撮像装置11は、4つのCMOSセンサ32−1乃至32−4を備える4眼カメラとして構成されるものとする。

0063

図4において、FIFOメモリ131−1乃至131−4はメモリ36−1乃至36−4に、NORゲート132は遅延検出回路37および同期信号発生回路38にそれぞれ代えて設けられたものである。なお、図4において、レンズ31、CMOSイメージセンサ32、リセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、画像処理部39、およびCPU40の図示は省略する。

0064

NORゲート132は、画像データ1乃至4から抽出される同期信号の立ち下がりをそれぞれラッチし、全ての同期信号が立ち下がったとき、FIFOメモリ131−1乃至131−4にイネーブル信号を出力する。

0065

これにより、FIFOメモリ131に保持されている画像データは、最も遅延して出力された画像データと同時に出力されるようになり、図4の構成においても、図1の撮像装置11と同様の作用効果を奏することができる。

0066

以上においては、本技術を、多眼カメラとしての撮像装置に適用した構成について説明したが、以下においては、本技術を、複数のカメラ(撮像装置)を有する画像処理システムに適用した構成について説明する。

0067

<3.本技術を適用した画像処理システムの構成>
図5は、本技術を適用した画像処理システムの一実施の形態の構成を示している。

0068

図5の画像処理システム201は、カメラ211−1乃至211−N、画像出力装置212、および画像処理装置213から構成される。

0069

図5の画像処理システム201において、カメラ211−1乃至211−Nは、撮像した画像を画像出力装置212に供給し、画像出力装置212は、カメラ211−1乃至211−Nからの画像を同時に、画像処理装置213に出力する。

0070

カメラ211−1乃至211−Nはそれぞれ、CMOSセンサ221−1乃至221−Nを備えている。なお、CMOSセンサ221は、図1のCMOSセンサ32と同様の機能および構成を有するので、その説明は省略する。

0071

画像出力装置212は、リセット信号発生回路231、クロック信号発生回路232、制御コマンド送出回路233、メモリ234、遅延検出回路235、同期信号発生回路236、およびCPU237から構成される。なお、リセット信号発生回路231乃至CPU237は、それぞれ、図1のリセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、メモリ36、遅延検出回路37、同期信号発生回路38、およびCPU40と同様の機能および構成を有するので、その説明は省略する。

0072

画像処理装置213は、画像出力装置212から同期して出力された複数の画像に対して、所定の画像処理を施す。

0073

例えば、図5の画像処理システム201が、サッカー等のスポーツ中継する多視点カメラシステムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、画像出力装置212から同期して出力された複数の中継画像切り替える。

0074

また、図5の画像処理システム201が、多視点画像を生成する画像生成システムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、画像出力装置212から同期して出力された複数の画像を合成し、1つの多視点画像を生成する。

0075

さらに、図5の画像処理システム201が、ステレオカメラシステムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、2台のカメラ211−1,211−2により撮像され、画像出力装置212から同期して出力された2枚の画像に基づいて、被写体までの距離を算出する。

0076

なお、図5の画像処理システム201の画像出力装置212による画像出力同期処理については、図2のフローチャートを参照して説明した、図1の撮像装置11の処理と基本的に同様であるので、その説明は省略する。

0077

すなわち、画像出力装置212による画像出力同期処理によれば、同期して駆動するCMOSセンサ221−1乃至221−Nからメモリ234−1乃至234−Nに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ234−1乃至234−Nに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ234に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。

0078

また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、画像処理システム201においては、CMOSセンサ221−1乃至221−Nは、制御コマンド送出回路233からの制御コマンドに基づいて同期運転(駆動)を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。

0079

なお、上述した構成においては、複数のCMOSセンサに対して、1のリセット信号発生回路を設けるようにしたが、複数のCMOSセンサに対して、それぞれのリセット信号発生回路を設けるようにしてもよい。

0080

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

0081

さらに、本技術は以下のような構成をとることができる。
(1) 1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理装置。
(2)
複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに備え、
前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する
(1)に記載の画像処理装置。
(3) 前記クロック信号を発生する1のクロック信号発生部と、
複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに備える
(1)または(2)に記載の画像処理装置。
(4) 前記固体撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成される
(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、
検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する
ステップを含む画像処理方法。
(6) 複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、
複数の前記カメラは、
1のクロック信号に基づいて同期して駆動する固体撮像装置
をそれぞれ備え、
前記画像出力装置は、
複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理システム。

0082

11撮像装置, 32−1乃至32−N,32CMOSセンサ, 33リセット信号発生回路, 34クロック信号発生回路, 35制御コマンド送出回路, 36−1乃至36−N,36メモリ, 37遅延検出回路, 38同期信号発生回路, 201画像処理システム, 211−1乃至211−N,211カメラ, 212画像出力装置, 221−1乃至221−N,221 CMOSセンサ, 231 リセット信号発生回路, 232 クロック信号発生回路, 233 制御コマンド送出回路, 234−1乃至234−N,234 メモリ, 235 遅延検出回路, 236 同期信号発生回路

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ