図面 (/)

技術 ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置

出願人 キヤノン株式会社
発明者 宮澤仁志
出願日 2014年5月23日 (5年4ヶ月経過) 出願番号 2014-107406
公開日 2015年12月10日 (3年9ヶ月経過) 公開番号 2015-222925
状態 特許登録済
技術分野 スタジオ装置 カメラレンズの調整
主要キーワード ボイスコイル型モータ 電子補正 偏差データ 電子式ブレ補正 読出し領域 シャッター速 電子式手ブレ補正 ズーム位置制御
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年12月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

光学式ブレ補正電子式ブレ補正とを併用するブレ補正において、静止画撮像時に電子式ブレ補正を光学式ブレ補正と併用すること。

解決手段

ブレ補正装置は、第1の撮像モードでの被写体の撮像において、第2の撮像モードでの被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出し、被写体像ブレ光学的に補正する第1のブレ補正手段、被写体像のブレを電子的に補正する第2のブレ補正手段、角速度情報から決定する補正量に従って第1のブレ補正手段によりブレ補正を行う第1のブレ補正制御手段、動きベクトルに基づいて第2の補正量を決定して第2のブレ補正手段によりブレ補正を行う第2のブレ補正制御手段を備え、第1の撮像モードにおいて、第1のブレ補正制御手段と第2のブレ補正制御手段は前記被写体像のブレ補正を行い、第1のブレ補正制御手段は、第1の補正量と第2の補正量に従って被写体像のブレ補正を行う。

概要

背景

近年、撮像装置の小型化や光学系の高倍率化に伴い、撮像装置のブレ等が撮影画像の品位を低下させる大きな原因となっている。このような撮像装置のブレ等により生じた撮影画像のブレを補正するブレ補正機能が種々提案され、撮影者手ブレによる撮影ミスを誘発する要因は少なくなっている。撮像装置に搭載される従来のブレ補正機能として、光学式手ブレ補正電子式手ブレ補正の併用がある(例えば、特許文献1)。

ここで、各ブレ補正について簡単に説明する。
まず、光学式ブレ補正では、撮像装置のブレを検出し、検出したブレを相殺するように、手ブレ補正用の光学系を駆動して、撮像素子撮像面上に結像される被写体像が撮像面上で常に同じ位置になるようにブレを補正する。次に、電子式ブレ補正では、画像(フレーム)間のブレを求めることで、光学式ブレ補正方式で補正しても補正しきれずに残っているブレを検出し、求めた画像間のブレを相殺するように画像の読出し領域を動かす。これにより、残っている低周波数のブレを補正する。このように、光学式ブレ補正と電子式ブレ補正を併用することにより、手ブレ補正の効果を向上させることができる。

概要

光学式ブレ補正と電子式ブレ補正とを併用するブレ補正において、静止画の撮像時に電子式ブレ補正を光学式ブレ補正と併用すること。ブレ補正装置は、第1の撮像モードでの被写体の撮像において、第2の撮像モードでの被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出し、被写体像のブレを光学的に補正する第1のブレ補正手段、被写体像のブレを電子的に補正する第2のブレ補正手段、角速度情報から決定する補正量に従って第1のブレ補正手段によりブレ補正を行う第1のブレ補正制御手段、動きベクトルに基づいて第2の補正量を決定して第2のブレ補正手段によりブレ補正を行う第2のブレ補正制御手段を備え、第1の撮像モードにおいて、第1のブレ補正制御手段と第2のブレ補正制御手段は前記被写体像のブレ補正を行い、第1のブレ補正制御手段は、第1の補正量と第2の補正量に従って被写体像のブレ補正を行う。

目的

本発明は上記問題点を鑑みてなされたものであり、その目的は、静止画撮影時において電子式ブレ補正を光学式ブレ補正と併用し、ブレ補正機能の性能を向上させることを可能にするブレ補正装置および撮像装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

角速度情報に基づいてブレを検出し、ブレ信号を生成するブレ検出手段と、撮像素子による第1の撮像モードでの被写体の撮像において、第2の撮像モードでの前記被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出する動きベクトル検出手段と、前記被写体像のブレを光学的に補正する第1のブレ補正手段と、前記被写体像のブレを電子的に補正する第2のブレ補正手段と、前記ブレ信号に基づいて、前記被写体像のブレを補正する第1の補正量を決定し、前記第1の補正量に従って前記第1のブレ補正手段を制御して前記被写体像のブレの補正を行う第1のブレ補正制御手段と、前記動きベクトルに基づいて、前記被写体のブレを補正する第2の補正量を決定し、前記第2の補正量に従って前記第2のブレ補正手段を制御して前記被写体像のブレの補正を行う第2のブレ補正制御手段と、を備え、前記第1の撮像モードにおいて、前記第1のブレ補正制御手段と前記第2のブレ補正制御手段は前記被写体像のブレの補正を行い、前記第1のブレ補正制御手段は、前記第1の補正量と前記第2の補正量に従って前記被写体像のブレの補正を行うことを特徴とするブレ補正装置

請求項2

前記第1の撮像モードは、前記被写体像の静止画を撮像するモードであり、前記第2の撮像モードは、前記被写体像の動画を撮像するモードであり、前記第2の撮像モードのフレームレートは、前記第1の撮像モードのフレームレートより大きいことを特徴とする請求項1に記載のブレ補正装置。

請求項3

前記第2のブレ補正制御手段は、前記第2の補正量に所定のゲインをかけた補正量を前記第1のブレ補正制御手段にフィードバックする手段を有し、前記第1のブレ補正制御手段は前記第1の補正量と前記第2のブレ補正制御手段からフィードバックされた補正量に従って前記第1のブレ補正手段を制御して前記被写体像のブレの補正を行うことを特徴とする請求項1または2に記載のブレ補正装置。

請求項4

前記第1のブレ補正制御手段は、前記第1の補正量と前記第2のブレ補正制御手段からフィードバックされた補正量を加算する手段を有し、前記加算された補正量に基づいて前記第1のブレ補正手段を駆動することを特徴とする請求項3に記載のブレ補正装置。

請求項5

前記所定のゲインは、前記被写体像の撮像におけるシャッター速度に応じて可変に設定されるゲインであることを特徴とする請求項3または4に記載のブレ補正装置。

請求項6

前記所定のゲインは、レリーズスイッチの状態に応じて可変に設定されるゲインであることを特徴とする請求項3または4に記載のブレ補正装置。

請求項7

前記所定のゲインは、前記被写体像の焦点距離に応じて可変に設定されるゲインであることを特徴とする請求項3または4に記載のブレ補正装置。

請求項8

前記第2の撮像モードのフレームレートは可変に設定されるフレームレートであり、前記所定のゲインは、前記第2の撮像モードのフレームレートに従って可変に設定されるゲインであることを特徴とする請求項3または4に記載のブレ補正装置。

請求項9

前記動きベクトル検出手段は、第2の撮像モードでの撮像で生成された前記被写体像の撮像信号に基づいて検出された動きベクトルから、前記被写体像のブレに対応する動きベクトルを決定する手段を有し、前記決定された動きベクトルに基づいて、前記第2の補正量を決定することを特徴とする請求項1から8のいずれか1項に記載のブレ補正装置。

請求項10

前記第1のブレ補正手段は、前記被写体像の結像位置を光学的に変更する手段を有し、前記第2のブレ補正手段は、前記第1の撮像モードでの撮像で生成された前記被写体像の撮像信号のメモリからの読み出し位置を変更する手段を有することを特徴とする請求項1から9のいずれか1項に記載のブレ補正装置。

請求項11

撮像光学系で形成された被写体像を光電変換により撮像して撮像信号を生成する撮像手段と、ここで、前記撮像手段は、第1の撮像モードでの撮像と第2の撮像モードでの撮像で生成された前記被写体像の撮像信号を同時に出力する、角速度情報に基づいてブレを検出し、ブレ信号を生成するブレ検出手段と、前記第2の撮像モードでの撮像で生成された前記被写体像の撮像信号に基づいて動きベクトルを検出する動きベクトル検出手段と、前記被写体像のブレを光学的に補正する第1のブレ補正手段と、前記被写体像のブレを電子的に補正する第2のブレ補正手段と、前記ブレ信号に基づいて、前記被写体像のブレを補正する第1の補正量を決定し、前記第1の補正量に従って前記第1のブレ補正手段を制御して前記被写体像のブレの補正を行う第1のブレ補正制御手段と、前記動きベクトルに基づいて、前記被写体像のブレを補正する第2の補正量を決定し、前記第2の補正量に従って前記第2のブレ補正手段を制御して前記被写体像のブレの補正を行う第2のブレ補正制御手段と、前記第1の撮像モードでの撮像で生成された前記被写体像の撮像信号を記憶するメモリと、を備え、前記第1の撮像モードにおいて、前記第1のブレ補正制御手段と前記第2のブレ補正制御手段は前記被写体像のブレの補正を行い、前記第1のブレ補正制御手段は、前記第1の補正量と前記第2の補正量に従って前記被写体像のブレの補正を行うことを特徴とする撮像装置

請求項12

前記第1の撮像モードは、前記被写体像の静止画を撮像するモードであり、前記第2の撮像モードは、前記被写体像の動画を撮像するモードであり、前記撮像手段は、第2の撮像モードでの撮像で生成された前記被写体像の撮像信号を、前記第1の撮像モードでの撮像よりも高速なフレームレートで読み出すことを特徴とする請求項11に記載の撮像装置。

請求項13

前記第2の撮像モードのフレームレートは可変に設定されるフレームレートであることを特徴とする請求項12に記載の撮像装置。

請求項14

前記第1のブレ補正手段は、前記撮像光学系で形成された前記被写体像の結像位置を光学的に変更する手段を有し、前記第2のブレ補正手段は、前記メモリからの撮像信号の読み出し位置を変更する手段を有することを特徴とする請求項11から13のいずれか1項に記載の撮像装置。

請求項15

前記第2のブレ補正制御手段は、前記第2の補正量に所定のゲインをかけた補正量を前記第1のブレ補正制御手段にフィードバックする手段を有し、前記第1のブレ補正制御手段は前記第1の補正量と前記2のブレ補正制御手段からフィードバックされた補正量に従って前記第1のブレ補正手段を制御して前記被写体像のブレの補正を行うことを特徴とする請求項11から14のいずれか1項に記載の撮像装置。

請求項16

前記第1のブレ補正制御手段は、前記第1の補正量と前記2のブレ補正制御手段からフィードバックされた補正量を加算する手段を有し、前記加算された補正量に基づいて前記第1のブレ補正手段を駆動することを特徴とする請求項15に記載のブレ補正装置。

請求項17

角速度情報に基づいてブレを検出し、ブレ信号を生成するブレ検出手段と、撮像素子による第1の撮像モードでの被写体の撮像において、第2の撮像モードでの前記被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出する動きベクトル検出手段と、前記被写体像のブレを光学的に補正する第1のブレ補正手段と、前記被写体像のブレを電子的に補正する第2のブレ補正手段を有するブレ補正装置の制御方法であり、前記ブレ信号に基づいて、前記被写体像のブレを補正する第1の補正量を決定し、前記第1の補正量に従って前記第1のブレ補正手段を制御して前記被写体像のブレの補正を行う第1のブレ補正制御工程と、前記動きベクトルに基づいて、前記被写体像のブレを補正する第2の補正量を決定し、前記第2の補正量に従って前記第2のブレ補正手段を制御して前記被写体像のブレの補正を行う第2のブレ補正制御工程と、を備え、前記第1の撮像モードにおいて、前記第1のブレ補正制御工程と前記第2のブレ補正制御工程は前記被写体像のブレの補正を行い、前記第1のブレ補正制御工程は、前記第1の補正量と前記第2の補正量に従って前記被写体像のブレの補正を行うことを特徴とする制御方法。

請求項18

請求項17の制御方法をコンピュータに実行させるためのプログラム

請求項19

請求項17に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体

技術分野

0001

本発明は、光学式手ブレ補正方式電子式手ブレ補正方式を併用して、撮影画像ブレ補正するブレ補正装置および撮像装置に関する。

背景技術

0002

近年、撮像装置の小型化や光学系の高倍率化に伴い、撮像装置のブレ等が撮影画像の品位を低下させる大きな原因となっている。このような撮像装置のブレ等により生じた撮影画像のブレを補正するブレ補正機能が種々提案され、撮影者手ブレによる撮影ミスを誘発する要因は少なくなっている。撮像装置に搭載される従来のブレ補正機能として、光学式手ブレ補正電子式手ブレ補正の併用がある(例えば、特許文献1)。

0003

ここで、各ブレ補正について簡単に説明する。
まず、光学式ブレ補正では、撮像装置のブレを検出し、検出したブレを相殺するように、手ブレ補正用の光学系を駆動して、撮像素子撮像面上に結像される被写体像が撮像面上で常に同じ位置になるようにブレを補正する。次に、電子式ブレ補正では、画像(フレーム)間のブレを求めることで、光学式ブレ補正方式で補正しても補正しきれずに残っているブレを検出し、求めた画像間のブレを相殺するように画像の読出し領域を動かす。これにより、残っている低周波数のブレを補正する。このように、光学式ブレ補正と電子式ブレ補正を併用することにより、手ブレ補正の効果を向上させることができる。

先行技術

0004

特許第2803072号公報

発明が解決しようとする課題

0005

しかしながら、光学式ブレ補正と電子式ブレ補正を併用した従来の補正方法では、以下のような課題があった。光学式ブレ補正では、撮像装置に加わるブレを検出するために用いられる角速度センサは、高周波数帯域のブレに対しては精度よくブレを検出できるが、一般的に1Hz以下の低周波数帯域については、角速度の検出特性劣化する特徴を有する。そのため、光学式ブレ補正だけでは補正しきれないで残っている低周波帯域のブレを電子式ブレ補正で更に補正することが考えられる。ところが、スチルカメラなど主に静止画を撮影する撮像装置では、基本的に、静止画撮影時に電子式ブレ補正により1コマ1コマの静止画のブレを補正できないこともあり、静止画撮影時に電子式ブレ補正と光学式ブレ補正を併用することは難しい。

0006

本発明は上記問題点を鑑みてなされたものであり、その目的は、静止画撮影時において電子式ブレ補正を光学式ブレ補正と併用し、ブレ補正機能の性能を向上させることを可能にするブレ補正装置および撮像装置を提供することである。

課題を解決するための手段

0007

上記目的を達成するために、発明によれば、ブレ補正装置は、角速度情報に基づいてブレを検出し、ブレ信号を生成するブレ検出手段と、撮像素子による第1の撮像モードでの被写体の撮像において、第2の撮像モードでの被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出する動きベクトル検出手段と、被写体像のブレを光学的に補正する第1のブレ補正手段と、被写体像のブレを電子的に補正する第2のブレ補正手段と、ブレ信号に基づいて、被写体像のブレを補正する第1の補正量を決定し、第1の補正量に従って第1のブレ補正手段を制御して被写体像のブレの補正を行う第1のブレ補正制御手段と、動きベクトルに基づいて、被写体のブレを補正する第2の補正量を決定し、第2の補正量に従って第2のブレ補正手段を制御して被写体像のブレの補正を行う第2のブレ補正制御手段とを備え、第1の撮像モードにおいて、第1のブレ補正制御手段と第2のブレ補正制御手段は被写体像のブレの補正を行い、第1のブレ補正制御手段は、第1の補正量と第2の補正量に従って被写体像のブレの補正を行う。

発明の効果

0008

本発明によれば、光学式ブレ補正と電子式ブレ補正を併用するブレ補正において、静止画にも電子式手ブレ補正を適用し、手ブレ補正機能の性能を向上させることが可能となる。

図面の簡単な説明

0009

本発明の実施形態に係るブレ補正装置を適用した撮像装置の構成の一例を示すブロック図である。
図1に示す撮像素子が有する撮像素子の構成を説明するための図である。
図2に示す撮像素子の撮像信号の読み出しにおける画素選択を説明するための図である。
図4画面内に被写体が存在する場合の画面の状態を示す図である。
図4に示す画像の動きベクトルのヒストグラムの例を示す図である。
電子ブレ補正方式の制御量を決めるためのゲインを説明するための図である。
本発明の実施形態に係わるブレ補正装置のブレ補正処理動作のフローチャートを示す図である。

実施例

0010

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。尚、以下の説明では、画像の縦方向または横方向のいずれか一方のブレ補正制御に関して説明を行う。他方向のブレ補正制御は同様の制御であるため説明を省略する。

0011

図1は、本発明の実施形態に係る撮像装置の一例としての構成を示すブロック図である。以下、図1の撮像装置100の各構成部とその一例の動作について具体的に説明する。なお、図1に示す撮像装置の構成は、本発明に関連する部分のみを示すもので、関連のない部分は省略してある。また、図1の撮像装置100では、CPU101がブレ補正を行うための構成のみを含むように記載されているが、これはCPU101の処理動作でブレ補正機能を実現していることを例示すものであり、これに限られるものではない。例えば、ブレ補正を実現する信号処理部を別途設け、信号処理部が専用のプロセッサを持つようにしてもよい。いずれの場合も、CPU101は、制御部として、不図示のメモリに記憶したプログラムを実行することで撮像装置100の全体の制御を行うものとする。

0012

最初に、光学式ブレ補正によるブレ補正構成を説明し、次いで電子式ブレ補正によるブレ補正に使用される撮像信号を提供する撮像素子の構成および画素読み出しについて説明し、最後に電子式ブレ補正について説明する。

0013

ブレ検出部102は、例えば振動ジャイロなどの角速度センサであり、手ブレや体の揺れ等に起因する撮像装置のブレを角速度情報として検出し、角速度信号(ブレ信号)をA/D変換器103に供給する。A/D変換器103は、角速度センサ102の出力信号デジタル化し、角速度データとして、CPU101によってその機能が実現されるDC成分除去フィルタ104に供給する。DC成分除去フィルタ104は、例えば任意の周波数帯域で特性を変更し得る機能を有したハイパスフィルタであり、A/D変換器103からの角速度データに含まれる低周波数成分遮断して高周波数成分を出力する。尚、DC成分除去フィルタ104は、ハイパスフィルタの代わりに、高周波数成分の信号を遮断するローパスフィルタを通過させたA/D変換器103の出力をA/D変換器103の出力から減算する構成にしてもよい。

0014

撮像光学系115は、ズームフォーカス等の動作を行い、被写体像を撮像素子120の撮像面に結像する。撮像素子120は、図2および3を参照して後述するように、第1の素子部と第2の素子部を備えた積層型撮像センサである。ここで、第1の素子部は、例えばマトリックス状に配列された複数の画素を有し、光学像に応じた電圧信号を出力する素子部であり、第2の素子部は電圧信号をデジタル信号に変換して画像データを得る素子部である。ズーム位置検出部118は、例えばズームエンコーダであり、撮像光学系115に含まれるズームレンズのズーム位置(変倍位置)を検出し、CPU101がその機能を実現する焦点距離演算部105に出力する。焦点距離演算部105は、ズーム位置検出部118の出力に基づいて撮像光学系115の焦点距離を算出し、補正光学系114を駆動するのに最適な値となるようにDC成分除去フィルタ104の出力を補正する。積分器106は、任意の周波数帯域でその特性を変更し得る機能を有しており、焦点距離演算部105の出力を積分し、補正光学系114の駆動量を算出する。

0015

光学補正データ出力制御部107は、補正光学系114がズーム位置制御部119によって決定される可動範囲内で駆動されるように、積分器106の出力を制限して、角速度センサ102の出力に基づく補正光学系114の駆動量を決定する。

0016

減算器108は、光学補正系114の位置を検出する光学補正系位置検出部116の出力をA/D変換器117でA/D変換してデジタル化した光学補正系114の位置データを光学補正データ出力制御部107の出力から減算する。減算の結果である変差データは、加算器109に供給される。

0017

加算器109は、減算器108の出力である変差データに対し、光学式ブレ補正だけでは補正しきれないで残っているブレの補正量として、後述する動きベクトルを使った電子式ブレ補正の補正量を加算する。この加算結果は、制御フィルタ演算部110に供給される。制御フィルタ演算部110は、入力される偏差データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成される。制御フィルタ演算部110において、増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部111に出力される。

0018

パルス幅変調部111は、制御フィルタ演算部110を通過して供給されたデータを、パルス波デューティー比を変化させるPWM波形変調して、モータ駆動部112に供給する。モータ113は、例えば補正光学系114の駆動用ボイスコイル型モータであり、モータ駆動部112によって駆動され、補正光学系114を光軸と垂直な方向に移動させる。光学補正系位置検出部116は、磁石とそれに対抗する位置に供えられた例えばホールセンサからなり、補正光学系114の光軸と垂直な方向への移動量を検出し、その検出値をA/D変換器117を介して、上述した減算器108に供給する。これによって、光学補正データ出力制御部107の出力に対して、補正光学系114の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。

0019

補正光学系114は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏向することで被写体像の結像位置を変更し光学的にブレを補正することが可能な補正系である。その結果、装置のブレ等により生じる撮像面に結像された被写体のブレが補正される。

0020

以上が本実施形態に係わるブレ補正装置を構成する光学式ブレ補正によるブレ補正構成である。本構成では、光学式ブレ補正で補正しきれなかったブレの補正量を、画像の動きベクトルの検出に基づいて得られたブレの補正量として光学式ブレ補正にフィードバックして、光学式ブレ補正と電子式ブレ補正による相補的なブレ補正を実現している。撮像素子120は、後述するように、静止画の撮像において動きベクトルの検出を可能にする撮像信号を提供する画素読み出し構成を有する撮像素子である。当該撮像素子は、補正光学系114及び撮像光学系115を介して結像された被写体像を光電変換し、異なるフレームレートの撮像信号を出力する、第1の撮像モードと第2の撮像モードの読み出しを同時に行える例えば積層型センサである。

0021

信号処理部121は、撮像素子120から出力された画像データから静止画像を生成し、画像メモリ122に供給する。信号処理部121は、撮像素子120から得られた画像データから、例えばNTSCフォーマット準拠した映像動画)データを生成して画像メモリ122に供給する。

0022

メモリ読出し制御部123は、電子補正データ出力制御部131が算出した制御量に応じて、画像メモリ122からの画像の読出し位置を決定する。これにより、電子的にブレが補正された映像信号が画像メモリ122から出力される。メモリ読出し制御部123は更に、記録制御部124に映像信号を出力して記録媒体125に記憶させる。記録媒体125は、ハードディスク等の磁気記録媒体半導体メモリ等の情報記録媒体である。また、表示制御部126に映像信号を出力し、表示デバイス127に画像を表示させる。表示制御部126は液晶表示素子(LCD)等により画像を表示する。

0023

次に、本実施形態の撮像素子120について、図2および図3を用いて説明する。図2は、図1に示す撮像素子120の構成を説明するための図であり、図2(A)は、撮像素子の斜視図、図2(B)は回路構成を示すブロック図である。図3は、図2に示す撮像素子における画素読み出しを説明するための図である。なお、図2および図3において図1と同様の部分は同じ符号を付して示す。

0024

図2(A)に示すように、撮像素子120は第1のチップ20および第2のチップ21を有し、第2のチップ21上に第1のチップ20が積層されている。第1のチップ20は、光入射側にマトリックス状に配列された複数の画素201を有して、いる。つまり、画素配列は光学像の受光側に配置されている。他方、第2のチップ21には、後述する列走査回路213aおよび213bと、行走査回路212などの画素駆動回路が形成されている。このように、第1のチップ20に画素201を形成し、第2のチップ21に画素駆動回路を形成すれば、撮像素子120の周辺回路および画素部の製造プロセスを分けることができる。また、周辺回路における配線の線細化、高密度化による高速化、小型化および高機能化も図ることが可能となる。

0025

図2(B)に示すように、第1のチップ20において、画素201はマトリクス状に配列され、水平方向(行方向)において転送信号線203、リセット信号線204、および行選択信号線205に接続されている。また、垂直方向(列方向)においては、列信号線202aおよび202bに接続されている。なお、列信号線202aおよび202bの各々は読み出し行単位で異なる水平信号線215a、215bに接続されている。切替スイッチ216は、水平信号線215bに出力される撮像信号を動きベクトル検出部218および信号処理部121のいずれか一方に選択的に出力するためのスイッチである。なお、水平信号線215aに転送された撮像信号は信号処理部121に出力される。

0026

図2(B)に示すように、画素201の各々は、光電変換素子であるフォトダイオードPD、転送トランジスタM1、リセットトランジスタM2、増幅トランジスタM3、選択トランジスタM4、フローティングディフュージョンFDを有している。なお、本実施の形態の例では、トランジスタの各々はnチャンネルMOSFET(MOS Field−Effect Transistor)である。

0027

転送トランジスタM1、リセットトランジスタM2、および選択トランジスタM4のゲートには、それぞれ転送信号線203、リセット信号線204、および行選択信号線205が接続されている。これら信号線203〜205は水平方向に延在し、同一行の画素が同時に駆動される。これによってライン順次動作型のローリングシャッタまたは全行同時動作型のグローバルシャッタの動作を制御することができる。さらに、選択トランジスタM4のソースには列信号線202aまたは202bが行単位で接続されている。

0028

フォトダイオードPDは、光電変換によって生成された電荷蓄積する。そして、フォトダイオードPDの正極側が接地され、負極側が転送トランジスタM1のソースに接続されている。転送トランジスタM1がオンすると、フォトダイオードPDの電荷がフローティングディフュージョンFDに転送され、フローティングディフュージョンFDに存在する寄生容量に電荷が蓄積される。

0029

増幅トランジスタM3のドレインには電源電圧Vdd(不図示)が印加され、そのゲートはフローティングディフュージョンFDに接続されている。増幅トランジスタM3は、フローティングディフュージョンFDの電荷(つまり、電圧)を増幅して電圧信号に変換する。選択トランジスタM4は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタM3のソースに接続されている。また、選択トランジスタM4のソースは行ごとに列信号線202aまたは202bに接続されている。

0030

選択トランジスタM4がオンすると、フローティングディフュージョンFDの電圧に対応する電圧信号が列信号線202aまたは202bに出力される。リセットトランジスタM2のドレインには電源電圧Vddが印加され、そのソースはフローティングディフュージョンFDに接続されている。リセットトランジスタM2のオンによって、フローティングディフュージョンFDの電圧は電源電圧Vddにリセットされる。

0031

第2のチップ21には、カラムADCブロック211が備えられており、カラムADC211は列信号線202aまたは202bに接続されている。さらに、第2のチップ21には、行走査回路212、列走査回路213aおよび213b、切り替えスイッチ216、フレームメモリ217、および動きベクトル検出部218が備えられている。

0032

タイミング制御回路214は、行走査回路212、列走査回路213aおよび213b、およびカラムADCブロック211の動作タイミングを制御する。行走査回路212は各行の走査を行い、列走査回路213aおよび213bはそれぞれ各列の走査を行う。

0033

水平信号線215aおよび215bは、それぞれ列走査回路213aおよび213bで制御されるタイミングに応じてカラムADCブロック211の出力信号(画像データ)を転送する。

0034

フレームメモリ217は、水平信号線215bから出力される画像信号を一時的に記憶する。動きベクトル検出部218は現在の映像信号に含まれる輝度信号と、フレームメモリ217に記憶された1フィールド前の映像信号に含まれる輝度信号に基づいて画像の動きベクトル量を検出する。動きベクトル検出部218によって検出された動きベクトルデータは、動きベクトル取得部128に出力されてブレ補正に使用される動きベクトルが判別され、CPU101でその機能が実現されるDC成分除去フィルタ129に出力される。

0035

ここで、画像の動きベクトルを検出する方法としては、例えばブロックマッチング法で行う。ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック領域に分割する。そして、このブロック単位で前のフィールド(またはフレーム)の一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールド(またはフレーム)のブロックを探索する。そして、画面間の相対的なズレがそのブロックの動きベクトルを示している。

0036

図3を用いて、図2に示す撮像素子において第1の撮像モード(静止画撮像)と第2の撮像モード(動画撮像)を同時に実行するときの画素読み出しについて説明する。図3では、図2の撮像素子の画素配列のうちの6行×8列の部分画素配列のみを示している。なお、ここでは画素配列をベイヤ配列に従った画素配列とする。

0037

図2の撮像素子120は、動画撮像および静止画撮像を同時に行うことができるように、画素配列における読み出し行を各撮像モードについて分ける読み出し構成を有する。つまり、切替スイッチ216の切替を制御して、水平信号線215bをフレームメモリ217に接続する。これによって、静止画撮像モードの撮像信号が列信号線202aに出力され、動きベクトル検出のための動画撮像モードの撮像信号が列信号線202bに出力される。

0038

図3において、行番号1および2は動きベクトル検出のための動画撮像モードの撮像信号を読み出すための行(画素群)、行番号3〜8はライブビューなど静止画撮像モードの撮像信号の読み出しのための行である。図示の例では、読み出し走査が行単位で順次行われて、列信号線202aと202bへの撮像信号の読み出し走査が8行単位で繰り返し行われる。

0039

8行単位の画素読み出しにおいて、動きベクトル検出のための動画撮像モードではフレームレート重視のため垂直同色4画素にうち3画素を間引きして読み出す。一方、静止画撮像モードにおいては、画質重視のため垂直同色4画素のうち1画素を間引きして読み出し、読み出した3画素を加算する。言い換えると、動きベクトル検出のため動画撮像モードにおいて、行1および2の画素群を第1のフレームレートで読み出し、静止画撮像モードにおいて、行3から8の画素群を第1のフレームレートよりも遅い第2のフレームレートで読み出す。このように、選択行に従って撮像信号を分けて読み出すことにより、異なる電荷蓄積時間でデータサイズとフレームレートが異なる画像データを取得することが可能となる。

0040

次に列信号線202aおよび202bに出力された電圧信号(アナログ信号)は、図2に示すカラムADCブロック211においてアナログ信号からデジタル信号(画像データ)に変換される。カラムADCブロック211の出力である画像データは、列走査回路213aまたは213bによってカラムADCブロック211から水平信号線215aに読みだされる。水平信号215aに読み出された画像データは信号処理部121に出力される。一方、水平信号線215bに読み出された画像データは、切替スイッチ216に出力され、信号処理部121またはフレームメモリ217に出力される。なお、切替スイッチ216による切り替えは、CPU101の制御の下で、フレーム単位で行う。

0041

次に、上述した撮像素子の動画撮像モードで読み出された画像データを用いた電子式ブレ補正によるブレ補正の構成を図4から6を用いて説明する。図4(A)は、撮影した現フィールドの画面上に、動きベクトル検出のためのブロック領域400を示した一例を示す図である。図4(B)は、直前のフィールドとの差により得られた動きベクトル402を示す図である。図5(A)は画面内に被写体(移動体)が入っている場合の動きベクトル量をヒストグラムで示した場合で、図5(B)は画面内に動きのない被写体が入っている場合の動きベクトル量をヒストグラムで示した場合である。図6は、光学式ブレ補正によるブレ補正をしても残っているブレの補正量を光学式ブレ補正によるブレ補正にフィードバックするときのゲインを示す図である。

0042

図4(A)に示すように、画面内に被写体(移動体)401が入ってきた場合、移動体の領域403における動きベクトル402は図4(B)に示すようにその他のブロック領域とは動きベクトル量が異なる。このとき、X方向(画面横方向)とY方向(画面縦方向)のヒストグラム(度数分布)は図5(A)に示すように2つのピークが存在する形となる。ここで、得られた動きベクトルのうち、いずれかが手ブレのみの動きベクトルで、いずれかが手ブレに被写体の動きが重畳された動きベクトルかあるか分からないので、動きベクトル取得部128でこれを判断してブレ補正に使用する動きベクトルを決定する。この判断を、図5を用いて説明する。

0043

画面内に動きのない被写体が入っている場合は、動きベクトルの大きさが0の位置を中心に動きベクトル量があるのに対し、動きのある被写体が画面にある場合は、動きベクトルの大きさが0の位置から離れたところにも動きベクトル量がある。つまり、動きベクトルの大きさ0をクロスするカウントが異なるヒストグラムを形成する。そこで、0クロスカウンタを設定し所定以上の度数ピークであれば手ブレのみの動きベクトルであると判断する。

0044

このように動きベクトルが決定されたら、図1に示すように、動きベクトル取得部128は検出結果をDC成分除去フィルタ129に出力する。DC成分除去フィルタ129は、例えば任意の周波数帯域で特性を変更し得る機能を有したハイパスフィルタであり、動きベクトルデータに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なお、DC成分除去フィルタ129は、動きベクトル取得部128の出力から、動きベクトル取得部128の出力を高周波数帯域の信号を遮断するフィルタLPF)を通過させて得られた信号を減算する構成にしてもよい。

0045

積分器130は、任意の周波数帯域でその特性を変更し得る機能を有しており、DC成分除去フィルタ129からの出力を積分する。そして、画像のブレが相殺されるように画像メモリ122の画像の読み出し位置を制御するための制御量を算出する。電子補正データ出力制御部131は、画像メモリ122の画像の読み出し位置の範囲が、ズーム位置制御部119によって決定される範囲内で設定されるように、積分器130の出力を制限する。電子補正条件判定部132は、カメラの条件に応じて電子補正データ出力制御部131の出力であるブレ補正の制御量に電子補正量ゲインG133で重みづけを行うことで最終的に電子ブレ補正の制御量を調整する。

0046

例えば、図6(A)に示すようにカメラのシャッター速度に応じて電子ブレ補正量ゲインG133の設定を変更する。閾値1未満の場合はシャッター速度が十分速いので(つまり、画像はブレが小さい)電子補正量ゲインG133は小さい値に設定し、ブレ補正は光学式ブレ補正をメインにしておく。閾値2以上の場合はシャッター速度が遅いので(つまり、画像はブレが大きい)電子補正量ゲインG133を1倍に設定して光学式ブレ補正だけでは補正しきれずに残存しているブレを電子式ブレ補正で積極的に補正する。また、図6(B)に示すように、カメラのレリーズスイッチの状態に応じて電子補正量ゲインG133を設定するようにしてもよい。この場合は、SW2が押下されたら電子補正量ゲインG133を1倍に設定して、光学式ブレ補正と電子式ブレ補正の併用において、電子式ブレ補正から光学式ブレ補正へのフィードバックを積極的に行う。つまり、SW2が押下されるまでは露光が始まらず動きベクトルの検出を行わなくてもよいので、ゲインを小さくして無駄な消費電力を抑えることができる。また、図6(C)に示すように、焦点距離情報に応じて電子補正量ゲインG133を可変にするように設定してもよい。例えば、広角側では画角に対して手ブレ量が小さいので電子補正量ゲインG133を弱めて、手ブレ量が目立つ望遠側では電子補正量ゲインG133を1倍に設定し積極的に電子式ブレ補正を行うようにする。また、図6には示していないが、静止画撮像モードと動画撮像モードのフレームレートの差が少なくて、検出される動きベクトルの信頼性が低くなる場合がある。このような場合に光学式ブレ補正へのフィードバックを抑制するように、ゲインG133を例えばフレームレートの差に応じて可変に設定するようにしてもよい。また、上述したゲインの設定構成を適宜選択または組み合わせてもよい。

0047

以上のように、第1の撮像モード(静止画撮像)と第2の撮像モード(動画撮像)の撮像信号の読み出しを同時にできる例えば積層型の撮像素子の出力信号のうち、第2の撮像モードの撮像信号を用いて動きベクトルを検出する。次いで、第2の撮像モードよりも遅いフレームレートの第1の撮像モードに対し、動きベクトルに基づくブレ補正量をフィードバックしながら光学式ブレ補正と電子式ブレ補正を相補的に併用する。これにより、手ブレ補正機能の性能向上を実現したブレ補正装置および撮像装置を提供することが可能となる。

0048

次に、CPU101がプログラムを実行して撮像装置100の各部を制御して、上述した本発明に係わるブレ補正装置の機能を実現するときの処理動作を図7に示すフローチャートを用いて説明する。図7の(a)はブレ補正装置の動作処理のフローチャート、(b)は光学式ブレ補正によるブレ補正の処理動作のフローチャート、(c)は光学式ブレ補正によるブレ補正の処理動作のフローチャートである。なお、以下の説明において、既に述べた撮像装置およびブレ補正装置の各部の機能については、その説明を省略する。

0049

図7(a)において、撮像装置100の図示しない操作部材のうち、電源タンが操作されて装置が起動されたときに撮影モードが設定されている状態で、ブレ補正モードの設定ボタンが操作されてブレ補正モードがオンされると本動作処理が開始される。ステップS701でブレ補正モードがオンされているかどうかを判定する。オンされている場合は、ステップS702とS703で光学式ブレ補正によるブレ補正処理動作と電子式ブレ補正によるブレ補正処理動作を行う。S701でブレ補正モードがオンされていないと判定された場合は、ステップS701の判定を繰り返す。次いで、ステップS704でブレ補正モードがオフされたかどうかを判定し、オフされていない場合は、ステップS702とS703を継続して実行し、オフされている場合はブレ補正を終了する。

0050

図7(b)のフローチャートを用いて、ステップS702で実行される光学式ブレ補正によるブレ補正の処理動作を説明する。ステップS710で、ブレ検出部102が撮像装置のブレを角速度信号として検出すると、検出された角速度信号はステップS711でA/D変換器103によりデジタル化される。次いで、ステップS712で、DC成分除去フィルタ104、焦点距離演算部105および積分器106により補正光学系114の駆動量を算出する。ステップS712ではさらに、光学補正データ出力制御部107により、ズーム位置制御部119によって決定される可動範囲内を考慮した補正光学系114の駆動量を決定する。

0051

次いで、ステップS713で、光学補正系の位置に基づいた補正量を演算し、ステップS714でさらに電子式ブレ補正によるブレ補正動作で得られたブレ補正量を加算して補正光学系の補正量を演算する。次いで、ステップS715で、制御フィルタ演算部110およびパルス幅変調部111により、ステップ713で得られた補正量に基づいて補正光学系の駆動信号を生成する。そして、ステップS716で生成された駆動信号に従ってモータ駆動部112を制御して補正光学系114を駆動する。駆動したら、処理動作をブレ補正のメインルーチンに戻す。

0052

図7(c)のフローチャートを用いて、ステップS703で実行される電子式ブレ補正によるブレ補正の処理動作を説明する。ステップS720で、図2および図3を用いて説明した撮像素子120の動画撮像モードでの画素読み出し信号から得られた画像データを取得する。次いで、ステップS721で、取得した画像データから画面の動きベクトルを演算し、図4及び図5で説明したように、手ブレに対応した動きベクトルを決定する。次に、ステップS722で、DC成分除去フィルタ129、積分器130および電子補正データ出力制御部131により、決定した動きベクトルおよびにズーム位置の制御範囲に基づいて、ブレ補正量として、メモリの読み出し制御の制御量を演算する。ステップS723では、電子補正条件判定部132により、光学的ブレ補正方式によるブレ補正の処理動作にフィードバックするためのブレ補正量を生成する。ステップS724では、メモリ読み出し制御部123により、ステップS722で演算された補正量に従って、メモリの読み出し範囲を制御する。読み出し制御が終了したら、動作処理をブレ補正のメインルーチンに戻す。

0053

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

0054

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

0055

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク光磁気ディスクCD−ROM、CD−R、磁気テープ不揮発性メモリカード、ROM等を用いることができる。

0056

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

0057

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるCPU等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

0058

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ