図面 (/)

技術 撮像素子および撮像装置

出願人 キヤノン株式会社
発明者 根岸典央
出願日 2017年11月1日 (1年8ヶ月経過) 出願番号 2017-212273
公開日 2018年3月8日 (1年4ヶ月経過) 公開番号 2018-038073
状態 特許登録済
技術分野 光信号から電気信号への変換 スタジオ装置
主要キーワード デジタル信号ライン 列出力線 Nチャネル 高解像度動画 モニターモード 静止画用画像 マイクロパッド 動画用画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

サイズ、解像度フレームレート等が異なる画像を撮影する場合に、それぞれの画像を撮像素子から適切な順序で出力することのできる撮像素子およびそれを備えた撮像装置を提供する。

解決手段

撮像素子506内に少なくとも1フレームデジタル画像データを記憶可能なメモリ部117と演算処理部118を持つことで、解像度、サイズ、フレームレートの異なる画像を生成し、一方をメモリ部に保存し、他方を優先して撮像素子の外部に出力する。

概要

背景

近年、デジタルカメラなどの撮像装置に用いられるCMOSなどの撮像素子は、画素微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても1000万画素以上の画素数を備えるものが一般的になってきている(特許文献1参照)。

図14は、一般的な撮像装置の構成ブロック図である。図14において、撮像素子1500は、画素部1501、AD変換部1502、P/S変換部1503を備える。画素部1501は、被写体像電気信号に変換してAD変換部1502に出力する。

AD変換部1502は、画素部1501から読み出される画像信号デジタル信号に変換する。P/S変換部1503は、AD変換部1502により変換されたデジタル信号に対し、パラレルシリアル変換を行う。画像信号処理回路1600は、撮像素子1500からの画像信号に対し各種信号処理を施す。

概要

サイズ、解像度、フレームレート等が異なる画像を撮影する場合に、それぞれの画像を撮像素子から適切な順序で出力することのできる撮像素子およびそれを備えた撮像装置を提供する。撮像素子506内に少なくとも1フレームデジタル画像データを記憶可能なメモリ部117と演算処理部118を持つことで、解像度、サイズ、フレームレートの異なる画像を生成し、一方をメモリ部に保存し、他方を優先して撮像素子の外部に出力する。

目的

本発明は、サイズ、解像度、フレームレート等が異なる画像を撮影する場合に、それぞれの画像を撮像素子から適切な順序で出力することのできる撮像素子およびそれを備えた撮像装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入射光受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号デジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データのサイズを変更する演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記デジタル画像データがパラレル伝送されるように構成されているとともに、前記処理手段により第1のデジタル画像データから前記第1のデジタル画像データとサイズの小さい第2の画像データを生成し、前記出力手段により前記第1の画像データおよび前記第2の画像データを外部に出力する場合に、前記第1の画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第2のデジタル画像データを前記第1のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とする撮像素子

請求項2

入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データの解像度を変更する処理手段と、前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第1のデジタル画像データから前記第1の画像データよりも解像度の低い第2のデジタル画像データを生成し、前記出力手段により前記第1のデジタル画像データおよび前記第2のデジタル画像データを外部に出力する場合に、前記第1のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第2のデジタル画像データを前記第1のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とする撮像素子。

請求項3

前記出力手段の転送容量以下となるように前記デジタル画像データのサイズが設定されることを特徴とする請求項1に記載の撮像素子。

請求項4

前記第2のデジタル画像データを前記記憶手段に記憶しないで前記出力手段により出力可能に構成したことを特徴とする請求項1乃至3のいずれか1項に記載の撮像素子。

請求項5

前記出力手段により前記第2のデジタル画像データを外部に出力した後で前記第1のデジタル画像データを外部に出力可能に構成したことを特徴とする請求項1乃至4のいずれか1項に記載の撮像素子。

請求項6

前記第1のデジタル画像データは静止画用の画像データであり、前記第2のデジタル画像データは動画用の画像データであることを特徴とする請求項1乃至5のいずれか1項に記載の撮像素子。

請求項7

入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、前記撮像手段により第1の動画と前記第1の動画よりもフレームレートの高い第2の動画を撮影し、前記出力手段により前記第1の動画に対応する第1のデジタル画像データおよび前記第2の動画に対応する第2のデジタル画像データを外部に出力する場合に、前記第2のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第1のデジタル画像データを前記第2のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とする撮像素子。

請求項8

前記第1のデジタル画像データを前記記憶手段に記憶しないで前記出力手段により出力可能なように構成したことを特徴とする請求項7に記載の撮像素子。

請求項9

前記出力手段により前記第1のデジタル画像データを外部に出力した後で前記第2のデジタル画像データを外部に出力可能に構成したことを特徴とする請求項1または2に記載の撮像素子。

請求項10

前記出力手段の転送容量以下となるように前記デジタル画像データのフレームレートが設定されることを特徴とする請求項1乃至9のいずれか1項に記載の撮像素子。

請求項11

前記出力手段は、前記画像データをシリアル信号に変換して外部に出力することを特徴とする請求項1乃至10のいずれか1項に記載の撮像素子。

請求項12

互いに積層されている複数の半導体基板を備え、前記記憶手段および前記処理手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項1乃至11のいずれか1項に記載の撮像素子。

請求項13

前記記憶手段および前記処理手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項12に記載の撮像素子。

請求項14

入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データのサイズを変更する演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記撮像素子は、前記複数のAD変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第1のデジタル画像データから前記第1のデジタル画像データとサイズの小さい第2の画像データを生成し、前記出力手段により前記第1の画像データおよび前記第2の画像データを前記撮像素子の外部に出力する場合に、前記第1の画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第2のデジタル画像データを前記第1のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とする撮像装置

請求項15

入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データの解像度を変更する処理手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記撮像素子は、前記複数のAD変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第1のデジタル画像データから前記第1の画像データよりも解像度の低い第2のデジタル画像データを生成し、前記出力手段により前記第1のデジタル画像データおよび前記第2のデジタル画像データを前記撮像素子の外部に出力する場合に、前記第1のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第2のデジタル画像データを前記第1のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とする撮像装置。

請求項16

前記出力手段の転送容量以下となるように前記デジタル画像データのサイズが設定されることを特徴とする請求項14に記載の撮像装置。

請求項17

前記第2のデジタル画像データを前記記憶手段に記憶しないで前記出力手段により出力可能に構成したことを特徴とする請求項14乃至16のいずれか1項に記載の撮像装置。

請求項18

前記出力手段により前記第2のデジタル画像データを外部に出力した後で前記第1のデジタル画像データを前記撮像素子の外部に出力可能に構成したことを特徴とする請求項14乃至17のいずれか1項に記載の撮像装置。

請求項19

前記第1のデジタル画像データは静止画用の画像データであり、前記第2のデジタル画像データは動画用の画像データであることを特徴とする請求項14乃至18のいずれか1項に記載の撮像装置。

請求項20

入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記撮像素子は、前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、前記撮像手段により第1の動画と前記第1の動画よりもフレームレートの高い第2の動画を撮影し、前記出力手段により前記第1の動画に対応する第1のデジタル画像データおよび前記第2の動画に対応する第2のデジタル画像データを前記撮像素子の外部に出力する場合に、前記第2のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第1のデジタル画像データを前記第2のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とする撮像装置。

請求項21

前記第1のデジタル画像データを前記記憶手段に記憶しないで前記出力手段により出力可能なように構成したことを特徴とする請求項20に記載の撮像装置。

請求項22

前記出力手段により前記第1のデジタル画像データを外部に出力した後で前記第2のデジタル画像データを外部に出力可能に構成したことを特徴とする請求項14または15に記載の撮像装置。

請求項23

前記出力手段の転送容量以下となるように前記デジタル画像データのフレームレートが設定されることを特徴とする請求項14乃至22のいずれか1項に記載の撮像装置。

請求項24

前記出力手段は、前記画像データをシリアル信号に変換して前記撮像素子の外部に出力することを特徴とする請求項14乃至23のいずれか1項に記載の撮像装置。

請求項25

前記撮像素子は、互いに積層されている複数の半導体基板を備え、前記記憶手段および前記処理手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項14乃至24のいずれか1項に記載の撮像装置。

請求項26

前記記憶手段および前記処理手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項25に記載の撮像装置。

技術分野

0001

本発明は、撮像素子および撮像装置に関するものである。

背景技術

0002

近年、デジタルカメラなどの撮像装置に用いられるCMOSなどの撮像素子は、画素微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても1000万画素以上の画素数を備えるものが一般的になってきている(特許文献1参照)。

0003

図14は、一般的な撮像装置の構成ブロック図である。図14において、撮像素子1500は、画素部1501、AD変換部1502、P/S変換部1503を備える。画素部1501は、被写体像電気信号に変換してAD変換部1502に出力する。

0004

AD変換部1502は、画素部1501から読み出される画像信号デジタル信号に変換する。P/S変換部1503は、AD変換部1502により変換されたデジタル信号に対し、パラレルシリアル変換を行う。画像信号処理回路1600は、撮像素子1500からの画像信号に対し各種信号処理を施す。

先行技術

0005

特開2013−26675号

発明が解決しようとする課題

0006

上記した撮像装置では、撮像素子1500から画像信号処理回路1501に画像信号を転送する転送路転送容量が一定であることから、撮像素子の画素数が増加することで相対的に被写体の全画像信号の転送時間が長くなるという課題がある。

0007

すなわち、撮像素子1500から画像信号処理回路1501への信号読み出し速度が画像信号の読み出し速度のボトルネックとなる。さらに、高速転送を実現しようとすると、転送回路処理回路などの消費電力発熱の増大、データ転送精度などが問題となる。

0008

本発明は、サイズ、解像度、フレームレート等が異なる画像を撮影する場合に、それぞれの画像を撮像素子から適切な順序で出力することのできる撮像素子およびそれを備えた撮像装置を提供することを目的としてなされたものである。

課題を解決するための手段

0009

上記した課題を解決するために、本発明の撮像素子は、入射光受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号デジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データのサイズを変更する演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第1のデジタル画像データから前記第1のデジタル画像データとサイズの小さい第2の画像データを生成し、前記出力手段により前記第1の画像データおよび前記第2の画像データを外部に出力する場合に、前記第1の画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第2のデジタル画像データを前記第1のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とするものである。

0010

また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データの解像度を変更する処理手段と、前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第1のデジタル画像データから前記第1の画像データよりも解像度の低い第2のデジタル画像データを生成し、前記出力手段により前記第1のデジタル画像データおよび前記第2のデジタル画像データを外部に出力する場合に、前記第1のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第2のデジタル画像データを前記第1のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とするものである。

0011

また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、前記撮像手段により第1の動画と前記第1の動画よりもフレームレートの高い第2の動画を撮影し、前記出力手段により前記第1の動画に対応する第1のデジタル画像データおよび前記第2の動画に対応する第2のデジタル画像データを外部に出力する場合に、前記第2のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第1のデジタル画像データを前記第2のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とするものである。

0012

さらに、本発明の撮像装置は、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データのサイズを変更する演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、前記撮像素子は、前記複数のAD変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第1のデジタル画像データから前記第1のデジタル画像データとサイズの小さい第2の画像データを生成し、前記出力手段により前記第1の画像データおよび前記第2の画像データを前記撮像素子の外部に出力する場合に、前記第1の画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第2のデジタル画像データを前記第1のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とするものである。

0013

また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データの解像度を変更する処理手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記撮像素子は、前記複数のAD変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第1のデジタル画像データから前記第1の画像データよりも解像度の低い第2のデジタル画像データを生成し、前記出力手段により前記第1のデジタル画像データおよび前記第2のデジタル画像データを前記撮像素子の外部に出力する場合に、前記第1のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第2のデジタル画像データを前記第1のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とするものである。

0014

また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のAD変換手段により変換された前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記撮像素子は、前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、前記撮像手段により第1の動画と前記第1の動画よりもフレームレートの高い第2の動画を撮影し、前記出力手段により前記第1の動画に対応する第1のデジタル画像データおよび前記第2の動画に対応する第2のデジタル画像データを前記撮像素子の外部に出力する場合に、前記第2のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第1のデジタル画像データを前記第2のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とするものである。

発明の効果

0015

本発明によれば、サイズ、解像度、フレームレート等が異なる画像を撮影する場合に、それぞれの画像を撮像素子から適切な順序で出力することができる。

図面の簡単な説明

0016

実施例1における撮像素子の概略構造を示す図である。
実施例1におけるデータバス構成の一例を説明する図である。
実施例1における画素、カラムADCブロックの構成を示す図である。
実施例1における撮像素子の積層構成を示す図である。
実施例1における撮像素子の断面図である。
実施例1における撮像システムのシステム概要図である。
実施例1おける撮影シーケンスフローチャートである。
実施例における画像のリサイズ処理を示す図である。
実施例1における画像データサイズ変更処理の概要を説明する図である。
実施例1における画像データサイズ変更処理の概要を説明する図である。
実施例2、3における撮影シーケンスのフローチャートである。
実施例2における画像データサイズ変更処理の概要を説明する図である。
実施例3における画像データサイズ変更処理の概要を説明する図である。
一般的な撮像装置の構成を示す図である。

実施例

0017

(実施例1)
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。実施例1では、動画撮影中静止画を撮影することが可能な撮影モードを有する撮像システムについて説明する。なお、本実施例では、撮像素子は常に全画素読み出しモードにて撮影動作を行い、動画、静止画ともにこの全画素読み出しモードにて駆動して出力された画像信号から作成する方法を例に示す。

0018

図1は、本発明の実施例1における撮像素子の概略をブロック図として示したものである。

0019

撮像素子506は、第1のチップ(第1の半導体基板)10および第2のチップ(第2の半導体基板)11を有しており、第2のチップ11と第1のチップ10がお互いに積層されている。第1のチップ10は、マトリックス状に配列された複数の画素101からなる画素部を有し、第2のチップ11に対して光入射側(光学像の受光側)に配置されている。

0020

第1のチップ10の画素部において、マトリックス状に配列された複数の画素101は行毎に転送信号線103、リセット信号線104、および行選択信号線105にそれぞれ接続され、列毎に複数の列出力線102に接続されている。なお、各列に配置された複数の列出力線102の各々には、同列の異なる読み出し行に配置された画素が接続される。

0021

第2のチップ11は、列毎に設けられた複数のAD変換器(以下、ADCと表記)111、行走査回路112、列走査回路113、タイミング制御回路114を有する。さらに、第2のチップ11は、切り替えスイッチ116、フレームメモリ117、素子内演算部118、パラレル・シリアル変換部(以下、P/S変換部と表記する)119等を有する。タイミング制御回路114は、全体制御演算部509により駆動制御される。

0022

このように、第1のチップ10に画素部を形成し、第2のチップ11に画素部の駆動回路メモリ、演算部等を形成することで、撮像素子506の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線細線化高密度化による高速化、小型化、および高機能化を図ることができる。

0023

切り替えスイッチ116は、チャンネル毎に設けられた水平信号線115−a、水平信号線115−bから出力される各チャンネルのデジタル画像データを素子内演算部118に選択的に入力する。素子内演算部118は、各チャンネルの画像データを並び替えて1フレームの画像データを生成し、順次フレームメモリ117に出力する。フレームメモリ117は、出力された少なくとも1フレーム分のデジタル画像データを一時的に記憶する。

0024

素子内演算部118は、フレームメモリ117に記憶された1フレームのデジタル画像データに対し、切り出し、間引き等の演算処理を行う。詳細は後述する。素子内演算部118で処理された1フレームのデジタル画像データは、P/S変換部119においてパラレル・シリアル変換を行い、撮像素子506の外部にある撮像信号処理回路507へと出力される。

0025

ここで、水平信号線115−a、水平信号線115−b、切り替えスイッチ116、素子内演算部118、フレームメモリ117の間の信号転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。

0026

図2は、第2のチップ11におけるADC111からP/S変換部119までのデータバス構成の一例を説明する図である。図2に示すように、第2のチップ11において、ADC111と素子内演算部118の間には、ADC111のデジタル変換出力を一時的に保持する列メモリ111aが設けられている。なお、図2では切り替えスイッチ116は省略されている。

0027

列走査回路113からの制御信号に応じて各列に設けられた列メモリ111aに保持されている画像データは、水平転送回路115内に16チャンネル設けられた水平信号線115−a,115−bに振り分けられて並列に出力される。水平信号線115−a,115−bに出力された画像データは、素子内演算部118内のメモリI/F回路を経由してフレームメモリ117に入力される。

0028

例えば、8K4K(水平8000画素、垂直4000画素)の32Mピクセルの画像データがADC111から出力される場合について説明する。32Mピクセルの画像データをフレームレート60fpsで読み出した場合に必要なデータバス帯域は、1920Mピクセル/secである。

0029

ここで、水平転送回路115に設けられた16チャンネルの水平信号線115−a,115−bの各々の転送容量が12bitである場合、転送可能な周波数120MHzまで転送容量を落とす必要がある。列走査回路113からの制御信号により順次、列メモリの選択が行われ、水平転送回路115の1チャンネルあたり120Mピクセル/secの画像データが16チャンネルで並列に読み出される。

0030

水平転送回路115から素子内演算部118を経由してフレームメモリ117へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部118に入力される。例えば、フレームメモリ117から出力された画像データは、素子内演算部118内の縮小変倍回路により1/16倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、120Mピクセル/secまで低減される。これは、フルHDサイズ(2Mピクセル)の画像データを60fpsで読み出す場合に相当するデータ転送容量である。

0031

データバス帯域が低減されて素子内演算部118から出力された画像データは、P/S変換部119で、最大シリアル転送容量1Gbpsを超えないように、720Mbpsの2チャンネル構成シリアル信号に変換されて出力される。

0032

このように、第2のチップ11内にADC111、素子内演算部118、フレームメモリ117を設けることにより、第2のチップ11内で画像データの処理に必要な広いデータバス帯域を確保し、ADC111からフレームメモリ117までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。

0033

図3は、本実施例における撮像素子506の画素部の各画素101及びADC111の詳細な構成を示した図である。図1及び図3を用いて、実施例1における撮像素子の動作の概略を説明する。

0034

フォトダイオード(以下、PDと表記する)201は、受光した入射光をその光量に応じた電荷量の光電荷(ここでは、電子)に光電変換する。PD201のカソードは、転送トランジスタ202を介して増幅トランジスタ204のゲート電気的に接続されている。この増幅トランジスタ204のゲートと電気的に接続されたノードは、フローティングディフュージョン(以下、FDと表記する)部206を構成する。

0035

転送トランジスタ202は、PD201のカソードとFD部206との間に設けられ、ゲートに図1の転送信号線103を介して転送パルスφTRGが供給されることによってオン状態となる。そして、PD201で光電変換された光電荷をFD部206に転送する。

0036

リセットトランジスタ203は、ドレイン画素電源Vddに、ソースがFD部206にそれぞれ接続され、ゲートに図1のリセット信号線104を介してリセットパルスφRSTが供給されることによってオン状態となる。そして、PD201からFD部206への信号電荷の転送に先立って、FD部206の電荷を画素電源Vddに捨てることによって当該FD部206をリセットする。

0037

増幅トランジスタ204は、ゲートがFD部206に、ドレインが画素電源Vddにそれぞれ接続され、リセットトランジスタ203によってリセットした後のFD部206の電位リセットレベルとして出力する。さらに、増幅トランジスタ204は、転送トランジスタ202によってPD201の信号電荷を転送した後のFD部206の電位を信号レベルとして出力する。

0038

選択トランジスタ205は、例えば、ドレインが増幅トランジスタ204のソースに、ソースが列出力線102にそれぞれ接続される。そして、ゲートに図1の行選択信号線105を介して選択パルスφSELが与えられることによってオン状態となり、画素101を選択状態として増幅トランジスタ204により増幅される信号を列出力線102に出力する。

0039

なお、この選択トランジスタ205については、画素電源Vddと増幅トランジスタ204のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ202〜205として、例えばNチャネルMOSトランジスタを用いることができる。また、画素101としては、上記した4つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ204と選択トランジスタ205を1つのトランジスタで兼用した3つのトランジスタを備えた構成等であっても良い。

0040

また、画素101から列出力線102を介して出力されるアナログ画像信号は、ADC111に伝送される。ADC111は、比較器211、アップダウンカウンタ212、メモリ213、DAコンバータ(以下、DACと表記する)214を有する。

0041

比較器211は、一対の入力端子を備え、その一方に列出力線102が接続され、他方にDAC214が接続される。比較器211の出力端子は、アップダウンカウンタ212に接続される。図1のタイミング制御回路114は、全体制御演算部509からの指令に基づきDAC214へ基準信号を出力する。

0042

DAC214は、図1のタイミング制御回路114から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器211は、DAC214から入力されるランプ信号のレベルと、列出力線102から入力される画像信号のレベルとを比較する。

0043

例えば、比較器211は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベル比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ212は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素101の出力信号デジタル値へ変換される。

0044

なお、比較器211とアップダウンカウンタ212との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ212によりカウントさせてもよい。

0045

また、ADC111は、画素101のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ213に記憶させてもよい。

0046

メモリ213は、アップダウンカウンタ212と接続され、アップダウンカウンタ212によりカウントされたカウント値を記憶する。メモリ213に記憶されたカウント値がデジタル画像データとして、図1の列走査回路113の駆動制御により図1の水平信号線115−a、水平信号線115−bに伝送される。

0047

図4は、図1を用いて説明した実施例1に係る撮像素子506の外形構成を示す。図4(a)は、撮像素子506を光の入射する側から見た斜視図、図4(b)は、撮像素子506の断面図を示している。

0048

撮像素子506は、第1のチップ(撮像層)10と第2のチップ(回路層)11により構成される。第1のチップ10と第2のチップ11は、それぞれのチップに設けられている複数のマイクロパッド302を、複数のマイクロバンプ301を介して電気的に接続して一体化させる。すなわち、第1のチップ10と第2のチップ11は、複数のマクロバンプ101および複数のマイクロパッド302を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第1のチップ10と第2のチップ11が電気的に直接接続されるように構成してもかまわない。

0049

図5に、図1図4で示した実施例1に係る撮像素子506の断面構造の詳細を示す。図5において、撮像層401が第1のチップ10に対応し、回路層402が第2のチップ11に対応する。

0050

撮像層401においては、シリコン(以下、Siと表記する)基板403上に配線層404が形成されている。Si基板403には、PD201となるn型拡散領域407が形成され、PD201の表面部(配線層404との境界部)にはp+拡散領域408が形成されている。

0051

Si基板403には、その表面部にFD部206となるn+拡散領域409、スイッチ用トランジスタのn+拡散領域410が複数形成されている。配線層404には、SiO2等からなる絶縁層内に、各トランジスタのゲート配線411、信号伝搬用配線412が形成され、さらにその表面部にはCu等からなるマイクロパッド302aが形成されている。

0052

上記したn+拡散領域409、n+拡散領域410とトランジスタのゲート配線411により転送トランジスタ202、リセットトランジスタ203、増幅トランジスタ204、選択トランジスタ205がそれぞれ構成される。配線層404には、n+拡散領域410をマイクロパッド302aと接続するためのビア414が形成されている。

0053

回路層402においては、Si基板405上に配線層406が形成されている。Si基板405には、表面部にトランジスタ拡散領域416が複数形成されている。配線層406には、SiO2等からなる絶縁層内に、各トランジスタのゲート配線417、信号伝搬用配線418が複数形成され、さらにその表面部にはCu等からなるマイクロパッド302bが形成されている。

0054

回路層402に形成されたトランジスタ拡散領域416やトランジスタのゲート配線417、信号伝搬用配線418などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層406には、拡散領域416等をマイクロパッド302bと接続するためのビア420が形成されている。

0055

撮像層401の配線層404に形成されたマイクロパッド302aと、回路層402の配線層406に形成されたマイクロパッド302bは、マイクロバンプ301により互いに電気的に接続されている。なお、図5では撮像層401、回路層402を接続端子としてマイクロバンプ301を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。

0056

図6は、図1〜5で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部501を通った被写体像は絞り504により適切な光量に調整され、図1図5に示した構成を有する撮像素子506上の撮像面に結像される。

0057

撮像素子506上の撮像面に結像された被写体像は、撮像素子506のPD201により光電変換され、さらに画素内アンプや画素101とADC111の間に設けた列アンプによるゲイン調整が行われる。そして、ADC111を用いてアナログ信号からデジタル信号にA/D変換処理が行われ、R、G、Bの各色のデジタル画像信号として撮像信号処理回路507に取り込まれる。

0058

撮像信号処理回路507では、ノイズを軽減するローパスフィルタ処理シェーディング補正などの各種補正処理ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路507を積層構造の撮像素子506に内蔵するように構成してもかまわない。

0059

レンズ部501は、レンズ駆動部502によって駆動されることにより、ズームフォーカス等が制御される。メカニカルシャッタメカシャッタ)503、絞り504は、シャッタ・絞り駆動部505によって駆動制御される。

0060

全体制御演算部509は、撮像装置全体の制御と各種演算処理を行う。第1のメモリ部508は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体512は、画像データを記録する。記録媒体制御インターフェース部510は、記録媒体512に画像データを記録し、または記録媒体512に記録された画像データを読み出す。なお、全体制御演算部509を積層構造の撮像素子506に内蔵するように構成してもかまわない。

0061

表示部511は、画像データ等の表示を行う。外部インターフェース部513は、外部コンピュータ等と通信を行うためのインターフェース部である。第2のメモリ部514は、全体制御演算部509での演算結果やパラメータ等を一時的に記憶する。操作部515によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部509に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。

0062

次に、図1図3図7を用いて、本実施例における撮像システムの動作手順について説明する。

0063

図7は、実施例1の撮像システムにおける動画撮影中に静止画を撮影して記録することが可能な撮影モードの撮影シーケンスを示すフローチャートである。また、図9は、本実施例において、複数フレームの動画撮影中に1フレームの静止画撮影を行なう場合に、撮像素子506を全画素読み出しモードで駆動することで得られる画像データから動画および静止画を生成する方法について説明する図である。

0064

テップS601では、全体制御演算部509において、操作部515からユーザーが入力した設定に基づき各種パラメータ初期化する。そして、初期化したパラメータを第2のメモリ部514に記録する。

0065

ステップS602では、撮影した被写体像の画像をリアルタイムで表示部511へ表示させるモニターモードで撮像システムを駆動する。具体的には、複数の画素を混合または一部の画素を間引いて画像信号を読み出す混合/間引きモードで撮像素子506を駆動して画像信号を読み出す。そして、読み出した画像信号に対して撮像信号処理回路507において各種信号処理を施してから表示部511に表示する。

0066

また、モニターモード駆動時には、適宜、撮像素子506から読み出した画像信号に基づいて自動露出調節AE)制御のための測光動作自動焦点調節AF)制御のための測距動作を行う。そして、撮像信号処理回路507は、測光結果に基づいて被写体の明るさを測定し、撮影した画像が適切な明るさになるような絞り値Av、シャッタ速度Tvを算出する。また、測距結果に基づいて被写体像の焦点距離を算出する。

0067

ここで、撮像素子506から読み出される画像信号から得られるコントラスト情報に基づくAF制御を行っているが、撮像素子506に撮像用画素とは別に焦点検出用画素を設けてもよい。そして、焦点検出用画素から得られる位相差情報デフォーカス量)を用いた撮像面位相差検出によるAF制御を行ってもよい。さらに、コントラストAF制御と撮像面位相差AF制御を撮影条件や被写体等に応じて適宜組み合わせて併用したり、各AF方式を切り替えるように制御してもかまわない。

0068

そして、全体制御演算部509は、算出した絞り値Av、シャッタ速度Tvになるようにシャッタ・絞り駆動部505に指令を出す。また、全体制御演算部509は、算出したレンズ位置Lになるようにレンズ駆動部502に指令を出す。シャッタ・絞り駆動部505は、受け取った指令に基づいてメカシャッタ503、絞り504を駆動する。また、レンズ駆動部502は、受け取った指令に基づいてレンズ501を駆動する。なお、算出された絞り値Av、シャッタ速度Tv、レンズ位置Lをそれぞれ第2のメモリ部514へ記録する。

0069

なお、AE制御を行なう場合に、撮像素子506の行毎や画素毎に蓄積時間(露光時間)を異ならせたり、画像信号を増幅するゲインを異ならせることで1フレーム内の行毎や画素毎に異なる露出の画像を取得するように制御してもかまわない。このように制御することで、ダイナミックレンジの広いHDR画像を生成することができる。

0070

ステップS603では、全体制御演算部509により操作部515にある動画撮影トリガースイッチSW_1のON/OFFを判定し、スイッチSW_1がONであればステップS604へ、OFFであれば再びステップS602へ戻る。

0071

ステップS604では、撮影パラメータiを0にリセットする。

0072

ステップS605では、第2のメモリ部514から絞り値Av、シャッタ速度Tv、レンズ位置Lを読み出す。そして、撮像素子506から読み出された画像データと第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tvに基づいて適切な明るさになる絞り値Av、シャッタ速度Tvを算出する。

0073

また、撮像素子506から読み出された画像データと第2のメモリ部514から読み出したレンズ位置Lから、適切な焦点距離になるレンズ位置Lを算出する。そして、算出した絞り値Av、シャッタ速度Tv、レンズ位置Lを第2のメモリ部514へ記録する。

0074

撮影パラメータi=0である場合には、第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tvを元に、ステップS606の駆動モードとステップS602での駆動モードの感度差を考慮して、絞り値Av、シャッタ速度Tvを再算出する。レンズ位置Lは、第2のメモリ部514から読み出した値を使用する。

0075

撮影パラメータi≠0である場合には、第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tv、レンズ位置Lをそのまま使用する。そして、絞り値Avi、シャッタ速度Tvi、レンズ位置Liになるように、全体制御演算部509からレンズ駆動部502、シャッタ・絞り駆動部505に指令を出し、レンズ501、メカシャッタ503、絞り504を駆動させる。

0076

ステップS606では、ステップS602とは異なり、撮像素子506上の全ての画素から画像信号を読み出す全画素読み出しモードで撮像素子506を駆動して撮影動作を行う。撮影動作により得られた第1のデータサイズの1フレームの画像データは、素子内演算部118に送られる。

0077

ステップS607では、全体制御演算部509において操作部515にある静止画撮影トリガースイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS608へ、OFFであればステップS609へ進む。

0078

ステップS608では、素子内演算部118においてステップS606で撮影した第1のデータサイズの1フレームの画像データを複製して静止画用の画像データとしてフレームメモリ117へ保存する。

0079

ステップS609では、素子内演算部118においてオリジナルの第1のデータサイズの1フレームの画像データをリサイズし、第1のデータサイズよりもデータサイズの小さい第2のデータサイズの1フレームの動画用画像データに変換する処理を行う。

0080

リサイズ処理では、画像データを水平方向(行方向)または垂直方向(列方向)に数行または数列おきに混合または間引く混合/間引きを行ったり、画像データの一部の領域のみを使用する領域切り出したりすることによる画像サイズの縮小処理を行う。もしくは、画像データの各画素のビットデータ量をより小さいサイズへ変更する処理等を行う(例えば16bitから10bitへ変更する)。

0081

図8に混合/間引き処理と領域切り出し処理の一例を示す。図8(a1)〜(a3)は、混合/間引き処理の一例として水平3画素混合、垂直1/3画素間引きを行う処理を示し、図8(b1)〜(b2)は、領域切り出し処理の一例を示している。

0082

混合/間引き処理は、図8(a1)の第1のデータサイズの画像データに対し、図8(a2)に示す画素データのみを用いて下記式(1)〜(4)の計算を行う。そして、混合/間引き処理後のデータR‘、Gr‘、Gb‘、B‘をそれぞれ算出することにより、第2のデータサイズの画像データを生成する。
R‘=(R+R+R)/3 ・・・(式1)
Gr‘=(Gr+Gr+Gr)/3 ・・・(式2)
Gb‘=(Gb+Gb+Gb)/3 ・・・(式3)
B‘=(B+B+B)/3 ・・・(式4)

0083

領域切り出し処理は、図8(b1)の第1のデータサイズの画像データに対し、図8(b2)の点線で囲まれた垂直、水平の上下左右を数〜数百画素省いた領域の画素データのみを用いることにより、第2のデータサイズの画像データを生成する。

0084

ステップS610では、ステップS609において第2のデータサイズにリサイズした画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507へ転送する。ここで、P/S変換部119から出力される画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。

0085

ここで、第1のデータサイズの画像データの画素数が2400万画素、各画素のデータ量が12bitであるものとする。また、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送するものとし、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsとする。

0086

さらに、第2のデータサイズの画像データは、リサイズとして図8に示す水平3画素加算、垂直1/3画素間引きを実施することで得られ、その画素数が200万画素、各画素のデータ量が12bitであるものとする。ここで、動画のフレームレートが120fpsで、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、360Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、十分余裕を持って動画用画像データを転送することが可能である。

0087

ステップS611では、全体制御演算部509からの指令によりステップS609においてリサイズされ、ステップS610において転送された画像データに対する各種処理が撮像信号処理回路507により施される。撮像信号処理回路507で施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理シェーディング補正処理ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体512に動画として記録される。

0088

ステップS612では、撮影パラメータiに1を加える。ステップS613では、全体制御演算部509によりスイッチSW_1のON/OFFを判定する。スイッチSW_1がONであれば静止画撮影指示がなされたものと判断してステップS614へ進み、OFFであればステップS605に戻る。

0089

ステップS614では、ステップS608においてフレームメモリ117に保存された第1のデータサイズの静止画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。

0090

なお、P/S変換部119から出力される静止画用画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。

0091

ここで、第1のデータサイズの画像データの画素数は2400万画素、各画素のデータ量は12bitである。フレームレートを24fpsに設定すると、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、864Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、余裕を持って静止画用画像データを転送することが可能である。

0092

ステップS615では、全体制御演算部509からの指令によりステップS614において転送された第1のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。

0093

撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体512に静止画として記録される。また、ステップS611において記憶媒体512に記録された動画に対し、後処理を行い所定の動画フォーマット形式で保存する。

0094

以上説明したように、動画用画像データは撮像素子内で第1のデータサイズから第2のデータサイズへとデータサイズを縮小して撮像素子の後段に転送する。そして、データサイズの大きな第1のデータサイズの静止画用画像データは撮像素子内のフレームメモリに一時退避しておき、動画用画像データを転送した後に撮像素子の後段に転送する。

0095

このようにすることで、画素数が大きな撮像素子を搭載した撮像システムにおいて、動画撮影中に静止画撮影を行う場合でも、高フレームレートシームレスな動画を得ることが可能となる。また、その際に撮影する静止画も高速なシャッタ速度で撮影することが可能なため、CMOSイメージセンサ特有ローリング歪の目立たない高画質な画像を得ることが出来る。

0096

なお、本実施例では、図7で示したように撮像素子506を常に全画素読み出しモードで駆動することで得られる画像信号から動画および静止画を作成する方法について示した。しかしながら、図10で示すように通常は撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動することで動画を撮影し、静止画撮影指示があった場合のみ撮像素子506を全画素読み出しモードで駆動するように制御しても良い。その場合、全画素読み出しモードで得られた第1のデータサイズの画像データをリサイズして第2のデータサイズの動画用画像データを生成するとともに、第1のデータサイズの画像データを静止画用画像データとして使用すれば良い。

0097

(実施例2)
以下、図11図12を参照して、本発明の実施例2について説明する。実施例2では、通常の動画撮影中に高解像度な動画を撮影することが可能な撮影モードを有する撮像システムを例に示す。

0098

なお、撮像素子の構成については、実施例1の図1図5で示したものと同様であるため説明を省略する。また、撮像システムの概要についても、実施例1の図6で示したものと同様であるため説明を省略する。さらに、画像データのリサイズ処理についても、実施例1の図8で示したものと同様であるため、説明を省略する。

0099

図11は、実施例2の撮像システムにおける撮影シーケンスを示すフローチャートである。また、図12は、本実施例において、通常の動画撮影中に高解像度動画撮影指示があった場合に、撮像素子506を全画素読み出しモードで駆動することで、高解像度の動画を生成する方法について説明する図である。

0100

ステップS1001〜ステップS1005は、それぞれ実施例1の図7で示したステップS601〜ステップS605と同様であるため説明を省略する。

0101

ステップS1006では、操作部515にあるスイッチSW_2を高解像度動画撮影トリガースイッチとして使用する。つまり、全体制御演算部509においてスイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS1007へ進み、OFFであればステップS1008へ進む。

0102

ステップS1007では、第1の動画撮影モードで通常の動画を撮影するために、撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動して撮影動作を行う。撮影動作により得られた第2のデータサイズの1フレームの画像データは、素子内演算部118を経由してP/S変換部109に送られる。

0103

ステップS1008では、第2の動画撮影モードで高解像度動画を撮影するために、撮像素子506を全画素読み出しモードで駆動して撮影動作を行う。撮影動作により得られた第1のデータサイズの1フレームの画像データは、素子内演算部118に送られる。

0104

ステップS1009では、素子内演算部118においてステップS1008で撮影した第1のデータサイズの1フレームの画像データを複製して、高解像度動画用画像データとしてフレームメモリ117へ保存する。また、素子内演算部118においてオリジナルの第1のデータサイズの1フレームの画像データをリサイズし、第1のデータサイズよりもデータサイズの小さい第2のデータサイズの1フレームの通常動画用画像データに変換する処理を行う。

0105

ステップS1010では、ステップS1007において撮影された第2のデータサイズの画像データもしくはステップS1009において第2のデータサイズにリサイズした第2のデータサイズの画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行う。そして、撮像信号処理回路507へ転送する。

0106

ステップS1010でP/S変換部119から撮像信号処理回路507へ転送される第2のデータサイズの画像データの画素数が200万画素、各画素のデータ量12bitであるものとする。また、動画のフレームレートが120fpsで、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送するものとし、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsとする。その場合、実施例1のステップS610で転送するデータと同様のデータサイズとなるため、十分余裕を持って通常動画用画像データを転送することが可能である。

0107

ステップS1011〜ステップS1013については、それぞれ実施例1の図7で示したステップS611〜ステップS613と同様であるため、説明を省略する。

0108

ステップS1014では、ステップS1009においてフレームメモリ117に保存された第1のデータサイズの高解像度動画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。

0109

なお、P/S変換部119から出力される高解像度動画用画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレートが設定されている。

0110

ここで、第1のデータサイズの画像データの画素数は2400万画素、各画素のデータ量は12bitである。フレームレートを24fpsに設定すると、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、864Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、余裕を持って高解像度動画用画像データを転送することが可能である。

0111

ステップS1015では、全体制御演算部509からの指令によりステップS1014において転送された第1のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。

0112

撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理を施された画像データが記録媒体512に記録される。ここで記録される動画は、120fpsの高フレームレートで撮像素子の全有効撮像領域(全画面)に対応した高解像度動画である。

0113

また、ステップS1011において記憶媒体512に記録された動画に対しても後処理が施され、全画面の画像サイズよりも画像サイズが小さい所定の動画フォーマット形式に対応した120fpsの動画として保存される。

0114

以上説明したように、本実施例では、図12で示したように撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動し、高解像度動画撮影指示があった場合のみ撮像素子506を全画素読み出しモードで駆動する。そして、撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動することで得られた第2のデータサイズの画像データと、撮像素子506を全画素読み出しモードで駆動して得られた第1のデータサイズの画像データをリサイズした第2のデータサイズの画像データから通常動画を生成することができる。さらに、全画素読み出しモードで得られた第1のデータサイズの画像データから高解像度動画を生成することができる。

0115

以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高解像度動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高解像度動画を得ることが可能となる。

0116

(実施例3)
以下、図11図13を参照して、本発明の実施例3について説明する。実施例2では、通常の動画撮影中に高解像度な動画を撮影する方法について説明したが、本実施例3では、通常の動画撮影中に通常よりも高い(ここでは8倍)のフレームレートの高速動画を撮影する方法について説明する。

0117

なお、撮像素子の構成、撮像システムの概要、画像データのリサイズ処理については、実施例1、2と同様であるため、説明を省略する。本実施例の撮影シーケンスのフローチャートについても、実施例2で示した図11を用いて説明する。図13は、本実施例において、通常の動画撮影中に高フレームレートの高速動画を生成する方法について説明する図である。

0118

ステップS1001〜ステップS1005、ステップS1007については、実施例2で説明した動画撮影中に高解像度動画を撮影する場合と同様であるため、説明を省略する。

0119

ステップS1006では、操作部515にあるスイッチSW_2を高速動画撮影トリガースイッチとして使用する。つまり、全体制御演算部509においてスイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS1007へ進み、OFFであればステップS1008へ進む。

0120

ステップS1008では、第2の動画モードで高フレームレートの動画を撮影するために、撮像素子506を水平3画素混合、垂直1/3画素間引きモード、通常の8倍のフレームレートで駆動して撮影動作を行う。通常のフレームレートが120fpsであると960fpsで駆動される。撮影動作により得られた第2のデータサイズの1フレームレートの画像データは、素子内演算部118に送られる。

0121

ステップS1009では、素子内演算部118においてステップS1008で撮影した第2のデータサイズの画像データをそれぞれ複製して、高フレームレート動画用画像データとしてフレームメモリ117へ保存する。また、素子内演算部118においてオリジナルの第2のデータサイズの画像データに対して8フレームにつき7フレームを間引き、フレームレートを960fpsから120fpsへ1/8に落とした第2のデータサイズの画像データに変換する処理を行う。

0122

ステップS1010では、ステップS1007において撮影された第2のデータサイズの画像データ(フレームレートは120fps)に対し、P/S変換部119においてパラレル/シリアル変換処理を行う。もしくはステップS1009において960fpsから120fpsへとフレームレートを変更された第2のデータサイズの画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行う。そして、撮像信号処理回路507へ転送する。

0123

ステップS1011〜ステップS1013については実施例2と同様であるため、説明を省略する。

0124

ステップS1014では、ステップS1009においてフレームメモリ117に保存された第2のデータサイズの高フレームレート動画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。

0125

ここで、第2のデータサイズの画像データの画素数は200万画素、各画素のデータ量は12bitであるが、960fpsで撮影されたものであることから、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、2.88Gbps必要である。そのため、撮像素子506から撮像信号処理回路507までの間の出力転送容量が1Gbpsでは、転送容量が足りないことになる。

0126

しかし、フレームレートを960fpsからその1/8である120fpsに落として撮像素子506から撮像信号処理回路507に転送するようにすれば、360Mbpsの転送容量があれば良い。ここで、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbps以下であることから、十分余裕を持って高フレームレート動画用画像データを転送することが可能である。

0127

ステップS1015では、全体制御演算部509からの指令によりステップS1014において転送された第2のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。

0128

撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理が施された画像データが記録媒体512に記録される。ここで記録される動画は、所定の動画フォーマットに対応した再生フレームレート960fpsの高フレームレート動画である。

0129

また、ステップS1011において記憶媒体512に記録された動画に対しても後処理が施され、所定の動画フォーマット形式に対応した再生フレームレート120fpsの動画として保存される。

0130

以上説明したように、本実施例では、図13で示したように撮像素子506を水平3画素混合、垂直1/3画素間引きモード、120fpsで駆動する。そして、高速動画撮影指示があった場合のみ撮像素子506を水平3画素混合、垂直1/3画素間引きモード、フレームレート960fpsで駆動する。

0131

そして、水平3画素混合、垂直1/3画素間引きモード、120fpsで撮影することで得られた第2のデータサイズの画像データと、960fpsで撮影することで得られた画像データから複数フレーム間引いて120fpsにした第2のデータサイズの画像データから通常の120fpsの動画を作成する。また、960fpsで撮影動作を行うことで得られた第2のデータサイズの画像データから960fpsの高速動画を生成することができる。

0132

以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高速動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高速動画を得ることが可能となる。

0133

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

0134

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0135

101画素
10 第1のチップ
11 第2のチップ
117フレームメモリ
118素子内演算部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ