図面 (/)

技術 撮像装置、制御方法及びプログラム

出願人 キヤノン株式会社
発明者 小林尊志
出願日 2019年6月21日 (1年10ヶ月経過) 出願番号 2019-115746
公開日 2021年1月7日 (4ヶ月経過) 公開番号 2021-002771
状態 未査定
技術分野 カメラの遮光 スタジオ装置 光信号から電気信号への変換
主要キーワード マウントユニット 余剰画素 幾何変形 液晶素材 映画撮影 オーバーサンプリング処理 電子防 電子シャッタ方式
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年1月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

グローバルシャッタモードを実現するのに有利な撮像装置を提供する。

解決手段

被写体を撮像する撮像装置であって、被写体からの光に対応する電荷蓄積する撮像素子と、光に対する透過率可変とし、撮像素子に前記光が入射する入射状態又は遮光する遮光状態を設定できるNDフィルタの透過率と、撮像素子の駆動を制御する制御部と、を有する。撮像素子の露光を開始する開始タイミングと、撮像素子の露光を終了する終了タイミングとが、撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定できる。制御部は、グローバルシャッタモードを設定する場合と、グローバルシャッタモード以外のシャッタモードを設定する場合とで、撮像素子の各画素から電荷を読み出す読出方式を異ならせる。

概要

背景

映画撮影用のフィルムカメラでは、一般的に、フィルムコマ送りに同期してフィルムへの開口窓の角度を調整して露光を制御するロータリーシャッタ方式が採用されている。一方、近年では、フィルムカメラのデジタル化に伴い、フィルムをコマ送りする必要がなくなり、撮像素子上で各画素電荷蓄積リセットを制御することで露光時間を調整する電子シャッタ方式が一般的になっている。

電子シャッタ方式においては、コマ送りに同期して開口窓を移動させる必要はなく、撮像素子上の制御レジスタ電気信号で制御することが可能である。一方、CMOSイメージセンサなどのローリングシャッタ固体撮像素子においては、撮像素子上での露光開始露光終了のタイミングが水平ラインごとに異なるため、撮像で得られる画像の画質劣化することがある。例えば、高速で移動する被写体の輪郭が歪んで見えたり、フラッシュ発光などの短時間の光量の変化が垂直方向ラインごとに異なる(露光状態が異なる)ことに起因してフラッシュバンド現象が現れたりして、画質の劣化をもたらす場合がある。また、蛍光灯などの周期的に光量が変化する光源下で撮像した場合に垂直方向に縞模様に似たノイズが発生する蛍光灯フリッカ現象なども、ローリングシャッタに起因する画質の劣化をもたらす。

このようなローリングシャッタ型固体撮像素子による画質の劣化を低減するために、撮像素子と液晶シャッタ液晶素材)とを組み合わせて各ラインの露光開始と露光終了のタイミングを合わせる撮像方式が提案されている(特許文献1及び2参照)。かかる撮像方式は、一般的に、グローバルシャッタモードと呼ばれている。

特許文献1には、画像を生成する際に、全水平ライン一括リセットにより露光開始時間を一致させ、液晶シャッタを制御して撮像素子の全画素を遮光した後に各水平ラインの画素から信号(画像信号)を読み出す技術が開示されている。かかる技術によれば、撮像素子上の一括リセットにより各水平ラインの露光開始タイミングを一致させることができる。また、画像信号の読み出し自体のタイミングは一致していないが、液晶シャッタにより撮像素子の全画素を遮光してから水平ラインごとに画像信号を読み出しているため、実質的には、露光終了タイミングの一致が実現されている。

特許文献2には、露光開始タイミング及び露光終了タイミングを実質的に液晶シャッタで制御する技術が開示されている。かかる技術では、液晶シャッタにより撮像素子の全画素を遮光した状態で水平ラインごとに電荷の蓄積を開始し、全水平ラインの蓄積が開始された時点で液晶シャッタの透明度をあげることで、各水平ラインの露光開始タイミングを一致させている。また、所望の時間だけ露光を行った後で、液晶シャッタにより撮像素子の全画素を遮光し、水平ラインごとに電荷を読み出すことで、実質的に、各水平ラインの露光終了タイミングを一致させている。

概要

グローバルシャッタモードを実現するのに有利な撮像装置を提供する。被写体を撮像する撮像装置であって、被写体からの光に対応する電荷を蓄積する撮像素子と、光に対する透過率可変とし、撮像素子に前記光が入射する入射状態又は遮光する遮光状態を設定できるNDフィルタの透過率と、撮像素子の駆動を制御する制御部と、を有する。撮像素子の露光を開始する開始タイミングと、撮像素子の露光を終了する終了タイミングとが、撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定できる。制御部は、グローバルシャッタモードを設定する場合と、グローバルシャッタモード以外のシャッタモードを設定する場合とで、撮像素子の各画素から電荷を読み出す読出方式を異ならせる。

目的

本発明は、このような従来技術の課題に鑑みてなされ、グローバルシャッタモードを実現するのに有利な撮像装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被写体を撮像する撮像装置であって、前記被写体からの光に対応する電荷蓄積する撮像素子と、前記光に対する透過率可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるNDフィルタの透過率と、前記撮像素子の駆動を制御する制御部と、を有し、前記撮像装置が設定可能なシャッタモードとして、前記NDフィルタと前記撮像素子の駆動を制御することで、前記撮像素子の露光を開始する開始タイミングと、前記撮像素子の露光を終了する終了タイミングとが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定でき、前記制御部は、前記シャッタモードとして、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子の各画素から電荷を読み出す読出方式を異ならせることを特徴とする撮像装置。

請求項2

前記グローバルシャッタモードを設定する場合の方が、前記グローバルシャッタモード以外のシャッタモードを設定する場合における読出方式よりも、前記撮像素子の各ラインでの前記開始タイミングの差及び前記終了タイミングの差が小さいことを特徴とする請求項1に記載の撮像装置。

請求項3

前記制御部は、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子において電荷を読み出す画素の数を異ならせることを特徴とする請求項1又は2に記載の撮像装置。

請求項4

前記制御部は、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子において電荷を読み出す垂直方向の画素の数を異ならせることを特徴とする請求項1又は2に記載の撮像装置。

請求項5

前記制御部は、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子の各画素から電荷を読み出して得られる画像のビット深度を異ならせることを特徴とする請求項1又は2に記載の撮像装置。

請求項6

前記制御部は、前記グローバルシャッタモードを設定する場合において、前記撮像装置に設定されているフレームレート又は露光時間に基づいて、前記撮像素子の各画素から電荷を読み出す読出方式を決定することを特徴とする請求項1乃至5のうちいずれか1項に記載の撮像装置。

請求項7

フレームレート及び露光時間が互いに異なる複数の読出方式を記憶する記憶部を更に有し、前記制御部は、前記記憶部に記憶された複数の読出方式から、前記撮像装置に設定されているフレームレート又は露光時間を満たす1つの読出方式を選択することを特徴とする請求項6に記載の撮像装置。

請求項8

前記グローバルシャッタモードを設定する場合に、前記撮像素子の各画素から電荷を読み出して得られる画像の画質優先する第1モード、又は、フレームレートを優先する第2モードを選択可能であることを特徴とする請求項1乃至7のうちいずれか1項に記載の撮像装置。

請求項9

被写体からの光に対応する電荷を蓄積する撮像素子を備えた撮像装置の制御方法であって、前記光に対する透過率を可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるNDフィルタと、前記撮像素子の駆動を制御する制御工程を有し、前記制御工程では、前記NDフィルタの透過率と前記撮像素子の駆動を制御することで、前記撮像素子の露光を開始する開始タイミングと、前記撮像素子の露光を終了する終了タイミングとが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定でき、前記グローバルシャッタモードが設定されている場合と、前記グローバルシャッタモード以外のシャッタモードが設定されている場合とで、前記撮像素子の各画素から電荷を読み出す読出方式が異なることを特徴とする制御方法。

請求項10

請求項9に記載の制御方法の各工程をコンピュータに実行させるためのプログラム

技術分野

0001

本発明は、撮像装置制御方法及びプログラムに関する。

背景技術

0002

映画撮影用のフィルムカメラでは、一般的に、フィルムコマ送りに同期してフィルムへの開口窓の角度を調整して露光を制御するロータリーシャッタ方式が採用されている。一方、近年では、フィルムカメラのデジタル化に伴い、フィルムをコマ送りする必要がなくなり、撮像素子上で各画素電荷蓄積リセットを制御することで露光時間を調整する電子シャッタ方式が一般的になっている。

0003

電子シャッタ方式においては、コマ送りに同期して開口窓を移動させる必要はなく、撮像素子上の制御レジスタ電気信号で制御することが可能である。一方、CMOSイメージセンサなどのローリングシャッタ固体撮像素子においては、撮像素子上での露光開始露光終了のタイミングが水平ラインごとに異なるため、撮像で得られる画像の画質劣化することがある。例えば、高速で移動する被写体の輪郭が歪んで見えたり、フラッシュ発光などの短時間の光量の変化が垂直方向ラインごとに異なる(露光状態が異なる)ことに起因してフラッシュバンド現象が現れたりして、画質の劣化をもたらす場合がある。また、蛍光灯などの周期的に光量が変化する光源下で撮像した場合に垂直方向に縞模様に似たノイズが発生する蛍光灯フリッカ現象なども、ローリングシャッタに起因する画質の劣化をもたらす。

0004

このようなローリングシャッタ型固体撮像素子による画質の劣化を低減するために、撮像素子と液晶シャッタ液晶素材)とを組み合わせて各ラインの露光開始と露光終了のタイミングを合わせる撮像方式が提案されている(特許文献1及び2参照)。かかる撮像方式は、一般的に、グローバルシャッタモードと呼ばれている。

0005

特許文献1には、画像を生成する際に、全水平ライン一括リセットにより露光開始時間を一致させ、液晶シャッタを制御して撮像素子の全画素を遮光した後に各水平ラインの画素から信号(画像信号)を読み出す技術が開示されている。かかる技術によれば、撮像素子上の一括リセットにより各水平ラインの露光開始タイミングを一致させることができる。また、画像信号の読み出し自体のタイミングは一致していないが、液晶シャッタにより撮像素子の全画素を遮光してから水平ラインごとに画像信号を読み出しているため、実質的には、露光終了タイミングの一致が実現されている。

0006

特許文献2には、露光開始タイミング及び露光終了タイミングを実質的に液晶シャッタで制御する技術が開示されている。かかる技術では、液晶シャッタにより撮像素子の全画素を遮光した状態で水平ラインごとに電荷の蓄積を開始し、全水平ラインの蓄積が開始された時点で液晶シャッタの透明度をあげることで、各水平ラインの露光開始タイミングを一致させている。また、所望の時間だけ露光を行った後で、液晶シャッタにより撮像素子の全画素を遮光し、水平ラインごとに電荷を読み出すことで、実質的に、各水平ラインの露光終了タイミングを一致させている。

先行技術

0007

特開2008−180810号公報
特表2016−506625号公報

発明が解決しようとする課題

0008

特許文献1及び2に開示された技術では、露光タイミング(露光開始タイミングや露光終了タイミング)に差が生じる期間においては、液晶シャッタにより撮像素子の全画素を遮光し続けているため、この期間は撮像素子を露光することができない。そのため、所望の露光時間に加えて、露光タイミングの差の分だけ撮像素子の蓄積時間を延ばす必要がある。これは、被写体を繰り返し撮像し続ける動画撮像では、フレームレートに応じた撮像周期のなかで露光に用いる時間が制限されることを意味する。従って、露光タイミングの差の大きさ次第では、設定可能なフレームレートが制限されることになってしまう。

0009

本発明は、このような従来技術の課題に鑑みてなされ、グローバルシャッタモードを実現するのに有利な撮像装置を提供することを例示的目的とする。

課題を解決するための手段

0010

上記目的を達成するために、本発明の一側面としての撮像装置は、被写体を撮像する撮像装置であって、前記被写体からの光に対応する電荷を蓄積する撮像素子と、前記光に対する透過率可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるNDフィルタの透過率と、前記撮像素子の駆動を制御する制御部と、を有し、前記撮像装置が設定可能なシャッタモードとして、前記NDフィルタと前記撮像素子の駆動を制御することで、前記撮像素子の露光を開始する開始タイミングと、前記撮像素子の露光を終了する終了タイミングとが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定でき、前記制御部は、前記シャッタモードとして、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子の各画素から電荷を読み出す読出方式を異ならせることを特徴とする。

0011

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される実施形態によって明らかにされるであろう。

発明の効果

0012

本発明によれば、例えば、グローバルシャッタモードを実現するのに有利な撮像装置を提供することができる。

図面の簡単な説明

0013

本発明の一側面としての撮像装置の構成を示す概略図である。
一般的なグローバルシャッタモードを説明するための図である。
複数の読出方式のそれぞれに関する具体的な数値例を示す図である。
ユーザインタフェース(UI)の一例を示す図である。
読出方式を設定する処理を説明するためのフローチャートである。
複数の読出方式のそれぞれに関する具体的な数値例を示す図である。
複数の読出方式のそれぞれに関する具体的な数値例を示す図である。

実施例

0014

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。更に、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

0015

図1は、本発明の一側面としての撮像装置1の構成を示す概略図である。撮像装置1は、被写体を撮像して、例えば、被写体の動画像を得ることが可能な撮像装置であって、本実施形態では、デジタルカメラとして具現化される。撮像装置1は、レンズ群10と、液晶パネル11と、撮像素子12と、信号処理部13と、画像処理部14と、記録処理部15と、記録媒体16とを有する。更に、撮像装置1は、露出制御部17と、フォーカス制御部18と、ズーム制御部19と、主制御部20と、操作部21と、記憶部22と、メモリ23とを有する。

0016

レンズ群10は、絞りを用いて露出を制御するための機構フォーカス動作及びズーム動作を制御するための機構を含む。レンズ群10は、被写体からの光(入射光)を、液晶パネル11を介して、撮像素子上に導いて光学像を形成する。この際、レンズ群10に含まれる絞りを駆動させたり、液晶パネル11における液晶の透明度(減光率)を変更したり、撮像素子12の各画素での電荷の蓄積時間や電気信号の増幅率を制御したりすることで、撮像画像の露出(明るさ)を制御する。なお、レンズ群10としては、所謂レンズ一体型の撮像装置として、撮像装置1が備える構成であってもよい。また、レンズ群10を備えた交換レンズユニットを撮像装置1に着脱可能な構成であってもよい。この場合、一般的にマウントと称される結合部分を撮像装置1及び交換レンズユニットがそれぞれ備え、かかるマウントを介して、両者が着脱可能な関係であればよい。

0017

液晶パネル11は、被写体からの光に対する透過率を可変とし、撮像素子12に光が入射する入射状態、又は、撮像素子12に対する光の入射を遮光する遮光状態を設定するためのNDフィルタ(Neutral Density Filter)として機能する。本実施形態では、液晶パネル11は、レンズ群10と撮像素子12との間に配置されているが、これに限定されるものではなく、透過率に応じて光を減光可能であればよい。例えば、液晶パネル11は、レンズ群10の外側(レンズ群10よりも被写体側)に配置されていてもよいし、レンズ群10の内部に配置されてレンズとともに光軸方向に移動する構成であってもよい。また、本実施形態では、電気的に透過率を制御可能な液晶パネル11を例に説明するが、液晶素材である必要はなく、電気的に高速で透過率を変更可能であれば他の物性のシャッタであってもよい。更に、液晶パネル11の駆動方式についてもTN(Twisted Nematic)方式に限定されるものではなく、他の駆動方式であってもよい。更に、本実施形態では、液晶パネル11を撮像装置1の内部に備える構成について説明したが、これに限定されるものではない。例えば、液晶パネル11を内蔵したユニットを撮像装置1に着脱可能な構成であってもよい。例えば、ユーザビリティの向上を実現するために、上述したマウントを備えたマウントユニット自体を撮像装置1に対して着脱可能な構成において、かかるマウントユニットの内部に液晶パネル11を備える構成であればよい。

0018

撮像素子12は、マトリクス状に配列された複数の画素を含み、被写体からの光に対応する電荷を蓄積する。信号処理部13は、撮像素子12の各画素から読み出された電荷を画像信号(電気信号)に変換して画像処理部14に出力する。画像処理部14は、信号処理部13から出力された画像信号に対して、ゲイン補正などの輝度補正処理ホワイトバランス補正などの色補正処理、その他の信号処理などを行う。また、画像処理部14は、出力デバイスに応じて、画像信号に対して非線形変換処理を行う。記録処理部15は、画像処理部14から出力された画像信号に対して信号の符号化を行い、記録に適した形式やサイズの画像信号に変換する。記録媒体16は、記録処理部15から出力された記録可能な形式の画像信号を記録する。

0019

主制御部20は、CPUに代表されるプロセッサを含み、記憶部22に記憶されたプログラムを実行して、撮像装置1の各部を制御して撮像装置1を動作させる(上述した一連の処理の流れを制御する)。記憶部22は、電気的に消去及び記憶可能な不揮発性記憶媒体であって、例えば、主制御部20の動作用の定数やプログラムなどを記憶(格納)する。メモリ23は、例えば、記憶部22から読み出されたプログラムなどを展開するワークメモリとして機能する。

0020

主制御部20は、操作部21を介して、ユーザからの操作を受け付ける。主制御部20は、操作部21で受け付けた操作に対応する各種の撮像モードや被写体の明るさに基づいて、露出制御部17、フォーカス制御部18及びズーム制御部19を介して、露出、フォーカス及びズームに関する設定を行う。なお、本実施形態では、主制御部20とは別に露出制御部17、フォーカス制御部18及びズーム制御部19を設けているが、主制御部20と露出制御部17、フォーカス制御部18及びズーム制御部19とを一体的に構成してもよい。

0021

主制御部20は、本実施形態では、撮像素子12に対するシャッタモードとして、グローバルシャッタモードを提供する。グローバルシャッタモードとは、撮像素子12の各画素での電荷の蓄積を開始する露光開始タイミング、及び、撮像素子12の各画素での電荷の蓄積を終了する露光終了タイミングを一致させるシャッタモードである。主制御部20は、液晶パネル11の透過率と、撮像素子12の各画素での電荷の蓄積及び読み出しとを制御することでグローバルシャッタモードを提供する。

0022

図2を参照して、撮像素子12の駆動(電荷の蓄積及び読み出し)の制御と、液晶パネル11の駆動(濃度(透過率))の制御とを組み合わせて実現される一般的なグローバルシャッタモードを説明する。図2の上部には、撮像素子12における各ラインの画素での露光開始タイミングと、撮像素子12における各ラインの画素での露光終了タイミングとが示されている。なお、露光終了タイミングは、撮像素子12における各ラインの画素に蓄積された電荷の読み出しを開始するタイミングでもある。ここでは、撮像装置1に設定されているフレームレートに応じた最大の露光時間を実現する場合を例に説明する。

0023

まず、撮像素子12の駆動について着目する。主制御部20は、撮像素子12に対してフレームレートに応じた垂直同期信号Vdを入力する。主制御部20から入力された垂直同期信号Vdに同期して、撮像素子12は、最上部のラインの画素から、順次、電荷の蓄積を開始する。そして、主制御部20から次の垂直同期信号Vdが入力される直前のタイミングにおいて、撮像素子12は、最上部のラインの画素から、順次、電荷の蓄積を終了し、電荷(画像信号)の読み出しが開始される。

0024

次に、液晶パネル11の駆動について着目する。図2の下部には、撮像素子12の駆動に応じた液晶パネル11の濃度(透過率)の変化が示されている。液晶パネル11は、撮像素子12の各画素での電荷の蓄積が順次開始される前のタイミングにおいて、濃度を最大にして撮像素子12の全体を遮光する(即ち、着色により撮像素子12に対する光の入射を遮光する遮光状態とする)。そして、液晶パネル11は、撮像素子12の最下部のラインの画素での電荷の蓄積が開始されたタイミングにおいて、濃度を最小にして撮像素子12に光を入射させる(即ち、消色により撮像素子12に光が入射する入射状態とする)。液晶パネル11の濃度が最小になると、即ち、消色が完了すると、撮像素子12の各画素は同時に露光される。この際、液晶パネル11は、PWM(Pulse Width Modulation)による電圧変化応答し、濃度を高速で(瞬間的に)変化させることが可能である。但し、液晶パネル11の濃度を高速で変化させることが可能であっても、実際には微小な時間を要しているため、その間に、撮像素子12の各画素が露光されて電荷を蓄積してしまう。液晶パネル11の消色の期間は、液晶パネル11の濃度が中間濃度であるとして、実質的に、消色の期間の半分の期間は、撮像素子12の各画素が露光されているとみなすことができる。

0025

撮像素子12の各画素が同時に露光され、所望の露光時間が経過すると、液晶パネル11は、濃度を最大にして撮像素子12の全体を遮光する。かかる着色の際も、実際には微小な時間を要しているため、その間に、撮像素子12の各画素が露光されて電荷を蓄積してしまう。従って、液晶パネル11の着色の期間は、液晶パネル11の濃度が中間濃度であるとして、実質的に、着色の期間の半分の期間は、撮像素子12の各画素が露光されているとみなすことができる。液晶パネル11による撮像素子12の全体の遮光が完了すると、撮像素子12の最上部のラインの画素から、順次、電荷の読み出しを開始する。

0026

このように、主制御部20は、撮像素子12の駆動と液晶パネル11の駆動とを同期して制御する。これにより、ローリングシャッタ型の撮像素子12においても、各ラインの画素での露光開始タイミング、及び、各ラインの画素での露光終了タイミングを一致させ、グローバルシャッタモードを実現することができる。

0027

図2において、1つの垂直同期信号Vdに対応する期間における露光時間に着目すると、撮像素子12を遮光状態とする期間や液晶パネル11の着色及び消色に要する時間に対応する期間は、上述したように、撮像素子12を露光することができない。従って、グローバルシャッタモードにおいては、撮像素子12を露光可能な時間が大きく制限される。また、撮像素子12を露光可能な時間が制限されるということは、被写体を撮像して画像を取得する周期(撮像周期)、即ち、フレームレートの制限にもつながる。このように、グローバルシャッタモードでは、撮像装置1に設定可能なフレームレートが制限されてしまう。

0028

そこで、本実施形態では、撮像素子12に対するシャッタモードとして、グローバルシャッタモードを提供する場合と、グローバルシャッタモード以外のシャッタモードを提供する場合とで、撮像素子12の各画素から電荷を読み出す読出方式を異ならせる。例えば、主制御部20は、グローバルシャッタモードを提供する場合において、撮像装置1に設定されているフレームレート又は露光時間に基づいて、撮像素子12の各画素から電荷を読み出す際の読出方式を決定する。読出方式に関しては、フレームレート及び露光時間が互いに異なる複数の読出方式が記憶部22に予め記憶されている。主制御部20は、記憶部22に記憶された複数の読出方式から、撮像装置1に設定されているフレームレート又は露光時間を満たす1つの読出方式を選択することで、撮像素子12の各画素から電荷を読み出す際の読出方式を決定する。これにより、上述したようなグローバルシャッタモードにおける課題を解決することができる。

0029

グローバルシャッタモードでは、上述したように、液晶パネル11の着色及び消色の期間と、撮像素子12の各ラインの画素での露光開始タイミングの差及び露光終了タイミングの差の期間とに準じて制御可能な露光時間が制限される。特に、撮像素子12の各ラインの画素での露光開始タイミングの差及び露光終了タイミングの差の期間は長く、露光時間への影響が大きい。従って、撮像素子12の各ラインの画素での露光開始タイミングの差及び露光終了タイミングの差の期間を小さくすることが露光時間及びフレームレートの制限を減らすことにつながる。

0030

ローリングシャッタ型の撮像素子12において電荷を読み出す画素の数と、それに要する露光開始タイミングの差及び露光終了タイミングの差との関係の具体的な数値例を図3に示す。ここでは、映画撮影で標準的に用いられる24fpsをフレームレートとすると、1秒間に24枚の画像を周期的に撮像するため、1つの垂直同期信号Vdに対応する期間は、41.7msec(1/24sec)となる。

0031

撮像画像のサイズが水平方向(水平画素数)で4500[pix]、垂直方向(垂直画素数)で2532[pix]であり、露光開始タイミングの差及び露光終了タイミングの差が12.5[msec]となる読出方式RM1を考える。この場合、露光可能時間は、図3に示すように、0[msec]〜19.7[msec]となる。

0032

露光開始タイミングの差及び露光終了タイミングの差は、撮像素子12から電荷を読み出す際の読出方式によって変化する。例えば、読出方式RM2では、読出方式RM1と比較して、画像信号のビット数を14ビットから12ビットに減らしているため(ビット深度を異ならせているため)、露光開始タイミングの差及び露光終了タイミングの差が小さい読出方式となる。このような読出方式を設定することで、グローバルシャッタモード以外のシャッタモードを提供する場合における読出方式と比較して、露光開始タイミングの差及び露光終了タイミングの差が小さい読出方式を実現することができる。

0033

また、一般的には、電子防振や幾何変形などの画像処理のために、記録媒体16に記録すべき画像のサイズを超えて余剰画素を含んだ画素から電荷を読み出し、画像処理部14で画質向上に利用する場合がある。このような場合、余剰画素を減らし、記録媒体16に記録すべき画像のサイズ、即ち、QFHD画像(水平画素数3840[pix]、垂直画素数2160[pix])を読み出すことが可能である。これにより、図3に示すように、読出方式RM2と同様に、露光開始タイミングの差及び露光終了タイミングの差が小さい読出方式RM3を実現することができる。

0034

伝統的なフィルムカメラにおいては、コマ送り時の開口窓の開口角度を基準として露光時間を表現していた。その際、標準的には、フレームレートの半分の時間となる180度が基準となる露光時間として重宝されてきた。図3に示すように、読出方式RM1においては、基準として用いられてきた露光時間である180[angle]を設定(選択)することができない。一方、本実施形態のように、グローバルシャッタモードにおいて、読出方式RM2や読出方式3などのローリングシャッタの小さな読出方式に変更することで、撮像装置1に設定可能な露光時間の範囲を拡大することが可能となる。これにより、基準となる露光時間180[angle]を設定可能とし、ユーザの利用性を向上させることができる。

0035

これまでは、グローバルシャッタモードを選択(提供)した場合に、ローリングシャッタの小さな読出方式に変更することで、露光時間及びフレームレートの制限を減らすことができることについて説明した。但し、露光時間及びフレームレートの制限を減らすために、画像処理に必要な余剰画素を減らしたり、画像信号のビット深度を減らしたりすることは、撮像画像の画質の劣化につながる可能性がある。ユーザが設定したいフレームレートやシャッタ速度によっては、グローバルシャッタモードを選択した場合であっても、ローリングシャッタの小さな読出方式に変更する必要がないこともある。従って、撮像画像の画質の劣化とフレームレート又はシャッタ速度とのバランスを考えて、読出方式を決定(選択)するとよい。

0036

図4は、グローバルシャッタモードを提供する際のモードをユーザに選択させるユーザインタフェース(UI)の一例を示す図である。かかるUIは、主制御部20の制御下において、例えば、タッチパネルなどの表示装置を含む操作部21を介して、ユーザに提供される。UIでは、グローバルシャッタモードにおいて、撮像素子12の各画素から電荷を読み出して得られる画像の画質を優先する画質優先モード(第1モード)、又は、フレームレートを優先するフレームレート優先モード(第2モード)をユーザに選択させる。

0037

画質優先モードでは、予め設定されている画像のサイズに応じた範囲で実現可能なフレームレート又はシャッタ速度を設定可能とする。例えば、図3に示す読出方式RM1を例とすると、水平画像サイズが4.5Kに設定されている場合、設定可能な露光時間は、0〜19.7msecであり、約45fpsまでのフレームレートが設定可能である。但し、実際には、フレームレートとして50fpsや59.94fpsを設定したいユースケースもある。また、設定可能な最大のフレームレートとして45fpsを設定することはできるが、設定可能なシャッタ速度が限りなく速く、利用性が低くなってしまうユースケースもある。このような場合に対応するために、本実施形態では、設定可能なフレームレートを優先するモードとして、フレームレート優先モードを選択可能としている。フレームレート優先モードでは、フレームレートに制限は設けずに、撮像装置1に設定されたフレームレートに応じて、撮像素子12から電荷を読み出す際の読出方式を変更する。例えば、フレームレート優先モードでは、撮像装置1に設定されたフレームレートを満たす読出方式のうち、撮像画像の画質が最大となる読出方式が設定(選択)される。

0038

図5を参照して、フレームレート優先モードにおいて、読出方式を設定する処理について説明する。S100において、主制御部20は、撮像装置1に設定されているフレームレートを取得する。S101において、主制御部20は、撮像装置1に設定されている露光時間(シャッタ速度)を取得する。S102において、主制御部20は、S100で取得したフレームレートと、S101で取得した露光時間とを用いて、1つの垂直同期信号Vdに対応する期間における余裕時間を算出する。具体的には、1つの垂直同期信号Vdに対応する期間をフレームレートの逆数として算出し、そこから、S101で取得した露光時間と、液晶パネル11の着色及び消色に要する時間を減算する。このようにして算出された時間は、1つの垂直同期信号Vdに対応する期間で残っている余裕時間であり、撮像素子12からの電荷の読み出しに費やすことができる時間に相当する。S103において、主制御部20は、S102で算出した余裕時間に基づいて、撮像装置1(例えば、記憶部22)に予め記憶されている複数の読出方式から、撮像画像の画質が最大となる読出方式を設定する。

0039

ここで、具体的な数値を参照しながら複数の読出方式から1つの読出方式を設定する処理を説明する。読出方式と、設定可能なフレームレートとの関係の一例を図6に示す。読出方式RM1、RM3乃至RM7は、それぞれ、画像のサイズと画像信号のビット深度とが異なる。記録媒体16に記録すべき画像がQFHD画像である場合、撮像装置1に設定されているフレームレート及びシャッタ速度に応じて、読出方式RM1、RM3乃至RM5から最大の画質を実現することができる読出方式を設定する。例えば、フレームレートを29.97fps、シャッタ速度を1/100secに設定した場合には、読出方式RM3が設定される。読出方式RM3では、フレームレート29.97fpsにおいては1/75秒まで設定可能であり、撮像画像の画質が最もよい読出方式となる。

0040

また、読出方式4や読出方式5が設定された場合でも、QFHD画像未満の読み出し画素数となるが、例えば、画像処理におけるアップコンバートによりQFHD画像を生成することで記録媒体16に記録すべき画像のサイズを維持することができる。

0041

記録媒体16に記録すべき画像のサイズをFHD画像(水平画素数1920[pix]、垂直画素数1080[pix])、フレームレートを50fps、シャッタ速度を1/250secとする場合を考える。この場合に適した読出方式の一例を図7に示す。読出方式RM4、RM5’、RM6及びRM7は、それぞれ、画像のサイズと画像信号のビット深度とが異なる。読出方式RM4は、FHD画像以上の画像サイズ(余剰画素)を撮像素子12から読み出すことになるが、その余剰画素を用いてFHD画像を生成するオーバーサンプリング処理により画質を向上させてもよい。フレームレート50fpsにおける1つの垂直同期信号Vdに対応する期間が20msec、シャッタ速度1/250sec(4msec)、液晶パネル11の着色及び消色に要する時間9.5msecから、読出時間が6.5msec以下である必要がある。この場合、読出方式5’が設定される。

0042

このように、フレームレート優先モードにおいて、撮像装置1に設定されたフレームレート及びシャッタ速度に応じて最適な画質が得られる読出方式を設定することで、グローバルシャッタモードを実現しながら任意のフレームレートが設定可能となる。

0043

本実施形態では、液晶素材などの電気的に透過率を制御可能な物性シャッタとローリングシャッタ型固体撮像素子とを組み合わせ、任意のフレームレートで記録可能な撮像装置1について説明した。また、撮像素子12から電荷を読み出す際の具体的な読出方式の仕様を一例として示しながら説明したが、読出時間や画素数、ビット深度など仕様の異なる撮像素子に対しても本実施形態は適用可能である。また、読出時間の異なる読出方式として、画素数やビット深度を条件として制御仕様を説明したが、他の条件により読出方式が異なっていてもよい。例えば、積層構造の撮像素子による読み出しを利用して読出時間を短縮する方法、1つの画素から感度を変えながら複数回読み出す方式を切り替える方法、焦点検出用視差を発生させる画像の読出方式を切り替える方法などでもよい。また、本実施形態では、画像の出力先については省略したが、出力先としては、再生機器、撮像装置、その他の機器であってもよく、本発明を制限するものではない。

0044

本発明は、上述の実施形態の1つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1つ以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0045

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

0046

1:撮像装置11:液晶パネル12:撮像素子20:主制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ