図面 (/)

技術 画像処理装置及びその制御方法、撮像装置

出願人 キヤノン株式会社
発明者 木村正史
出願日 2015年6月8日 (4年4ヶ月経過) 出願番号 2015-116022
公開日 2017年1月5日 (2年9ヶ月経過) 公開番号 2017-005430
状態 特許登録済
技術分野 スタジオ装置 カメラの露出制御 焦点調節 自動焦点調節 カメラレンズの調整
主要キーワード サンプリング遅延 連続性判断 たんす 信頼性データ 複数周期分 予備動作 サンプル目 バッファ内容
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

撮像素子から出力される信号に基づく光学系の調整において、遅延の影響を低減する。

解決手段

撮像素子6から予め決められた周期で出力される画像信号から、予め決められた情報を示す検知信号を出力する振れ検知部70と、検知信号を、新しい方から複数周期分、記憶するバッファメモリと、前記複数周期分の検知信号のうち、最も新しい検知信号を除く、新しい方から予め決められた数の検知信号に基づいて算出した、第1の予測値と、最も新しい検知信号の値との差に基づいて、第2の予測値を求めるための係数演算し、複数周期分の検知信号のうち、最も新しい検知信号を含む、新しい方から予め決められた数の検知信号と、係数とに基づいて、第2の予測値を算出する予測信号生成部50と、第2の予測値に基づいて、画像信号を得るための予め決められた構成部材を制御するための制御信号を生成するカメラシステム制御回路5とを有する。

概要

背景

近年、撮像素子の高機能化進展しており、画素数フレームレートの向上などが図られている。また、撮像素子から得られる信号を利用して複数の画像間で対象物動きを表すベクトルデータ(オプティカルフロー)を求める方法が知られている。更に、オプティカルフローに基づいて複数画像の合成や、移動物体の検知を行う技術が知られている。なお、オプティカルフローの求め方としては、非特許文献1に開示された方法を用いることができる。

一方で、信号処理による時系列的な信号の予測や、予測に基づく制御方法についても提案がなされている。特許文献1では、観測信号に一定時間異常値が発生するようなシステムにおいて、異常値発生時の信号を予測器によって生成する信号処理方法が開示されている。

概要

撮像素子から出力される信号に基づく光学系の調整において、遅延の影響を低減する。撮像素子6から予め決められた周期で出力される画像信号から、予め決められた情報を示す検知信号を出力する振れ検知部70と、検知信号を、新しい方から複数周期分、記憶するバッファメモリと、前記複数周期分の検知信号のうち、最も新しい検知信号を除く、新しい方から予め決められた数の検知信号に基づいて算出した、第1の予測値と、最も新しい検知信号の値との差に基づいて、第2の予測値を求めるための係数演算し、複数周期分の検知信号のうち、最も新しい検知信号を含む、新しい方から予め決められた数の検知信号と、係数とに基づいて、第2の予測値を算出する予測信号生成部50と、第2の予測値に基づいて、画像信号を得るための予め決められた構成部材を制御するための制御信号を生成するカメラシステム制御回路5とを有する。

目的

本発明は上記問題点を鑑みてなされたものであり、撮像素子から出力される信号に基づく光学系の調整において、遅延の影響を低減することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像素子から予め決められた周期で出力される画像信号から、予め決められた情報を検知して、該検知した情報を示す検知信号を出力する検知手段と、前記検知信号を、新しい方から複数周期分、記憶する記憶手段と、前記記憶手段に記憶された前記複数周期分の検知信号のうち、最も新しい検知信号を除く、新しい方から予め決められた数の検知信号に基づいて、第1の予測値を算出する第1の算出手段と、前記第1の予測値と、前記最も新しい検知信号の値との差に基づいて、第2の予測値を求めるための係数演算する演算手段と、前記記憶手段に記憶された前記複数周期分の検知信号のうち、前記最も新しい検知信号を含む、新しい方から前記予め決められた数の検知信号と、前記係数とに基づいて、第2の予測値を算出する第2の算出手段と、前記第2の予測値に基づいて、前記画像信号を得るために用いられる予め決められた構成部材を制御するための制御信号を生成する生成手段とを有することを特徴とする画像処理装置

請求項2

前記検知手段は、前記予め決められた情報として振れ量を検知し、前記構成部材は振れ補正手段を含むことを特徴とする請求項1に記載の画像処理装置。

請求項3

前記検知信号の値が、予め決められた複数の周期の間、連続して予め決められた範囲内にある場合に、前記生成手段は、前記第2の予測値を用いずに、前記最も新しい検知信号の値に基づいて、前記制御信号を生成することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記検知手段は、前記予め決められた情報として焦点状態を検知し、前記構成部材は焦点調節手段を含むことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。

請求項5

前記検知手段は、前記予め決められた情報として輝度情報を検知し、前記構成部材は絞り及びシャッタの少なくともいずれかを含むことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。

請求項6

前記検知手段は、前記検知信号の信頼性を示す情報を更に出力し、前記第2の算出手段は、前記信頼性が予め決められた信頼性より低い場合に、前記最も新しい検知信号の値の代わりに、前記第1の予測値を用いて前記第2の予測値を算出することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。

請求項7

前記検知信号の信頼性を判定する判定手段を更に有し、前記第2の算出手段は、前記信頼性が予め決められた信頼性より低いと判定された場合に、前記最も新しい検知信号の値の代わりに、前記第1の予測値を用いて前記第2の予測値を算出することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。

請求項8

前記記憶手段は、前記信頼性が前記予め決められた信頼性より低い場合に、前記検知信号の代わりに、前記第1の予測値を記憶し、前記記憶手段に記憶された前記第1の予測値の数が、予め決められた数を超えた場合に、前記第2の算出手段は、前記信頼性に関わらず、前記最も新しい検知信号の値を用いて前記第2の予測値を算出することを特徴とする請求項6または7に記載の画像処理装置。

請求項9

前記記憶手段は、前記信頼性が予め決められた閾値より低いと判定された場合に、前記検知信号の代わりに、前記第1の予測値を記憶し、前記記憶手段に記憶された前記第1の予測値の数が、連続して予め決められた数を超えた場合に、前記第2の算出手段は、前記信頼性に関わらず、前記最も新しい検知信号を用いて前記第2の予測値を算出することを特徴とする請求項6または7に記載の画像処理装置。

請求項10

前記撮像素子と、請求項1乃至9のいずれか1項に記載の前記画像処理装置とを有することを特徴とする撮像装置

請求項11

検知手段が、撮像素子から予め決められた周期で出力される画像信号から、予め決められた情報を検知して、該検知した情報を示す検知信号を出力する検知工程と、記憶手段に、前記検知工程で出力された検知信号を、新しい方から複数周期分、記憶する記憶工程と、第1の算出手段が、前記記憶手段に記憶された前記複数周期分の検知信号のうち、最も新しい検知信号を除く、新しい方から予め決められた数の検知信号に基づいて、第1の予測値を算出する第1の算出工程と、演算手段が、前記第1の予測値と、前記最も新しい検知信号の値との差に基づいて、第2の予測値を求めるための係数を演算する演算工程と、第2の算出手段が、前記記憶手段に記憶された前記複数周期分の検知信号のうち、前記最も新しい検知信号を含む、新しい方から前記予め決められた数の検知信号と、前記係数とに基づいて、第2の予測値を算出する第2の算出工程と、生成手段が、前記第2の予測値に基づいて、前記画像信号を得るために用いられる予め決められた構成部材を制御するための制御信号を生成する生成工程とを有することを特徴とする画像処理装置の制御方法

請求項12

コンピュータに、請求項11に記載の制御方法の各工程を実行させるためのプログラム

請求項13

請求項12に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体

技術分野

0001

本発明は画像処理装置及びその制御方法撮像装置に関し、更に詳しくは、撮像装置に設けられた撮像素子から得た信号に基づいて制御を行う画像処理装置及びその制御方法、撮像装置に関する。

背景技術

0002

近年、撮像素子の高機能化進展しており、画素数フレームレートの向上などが図られている。また、撮像素子から得られる信号を利用して複数の画像間で対象物動きを表すベクトルデータ(オプティカルフロー)を求める方法が知られている。更に、オプティカルフローに基づいて複数画像の合成や、移動物体の検知を行う技術が知られている。なお、オプティカルフローの求め方としては、非特許文献1に開示された方法を用いることができる。

0003

一方で、信号処理による時系列的な信号の予測や、予測に基づく制御方法についても提案がなされている。特許文献1では、観測信号に一定時間異常値が発生するようなシステムにおいて、異常値発生時の信号を予測器によって生成する信号処理方法が開示されている。

先行技術

0004

特開2013−118450号公報
ディジタル画像処理CGARTS協会 p243〜p245)

発明が解決しようとする課題

0005

しかしながら、特許文献1は、現在の観測信号から将来の信号を予測するための技術であり、現在の観測信号ですでに生じている遅延補償することはできなかった。

0006

本発明は上記問題点を鑑みてなされたものであり、撮像素子から出力される信号に基づく光学系の調整において、遅延の影響を低減することを目的とする。

課題を解決するための手段

0007

上記目的を達成するために、本発明の画像処理装置は、撮像素子から予め決められた周期で出力される画像信号から、予め決められた情報を検知して、該検知した情報を示す検知信号を出力する検知手段と前記検知信号を、新しい方から複数周期分、記憶する記憶手段と、前記記憶手段に記憶された前記複数周期分の検知信号のうち、最も新しい検知信号を除く、新しい方から予め決められた数の検知信号に基づいて、第1の予測値を算出する第1の算出手段と、前記第1の予測値と、前記最も新しい検知信号の値との差に基づいて、第2の予測値を求めるための係数演算する演算手段と、前記記憶手段に記憶された前記複数周期分の検知信号のうち、前記最も新しい検知信号を含む、新しい方から前記予め決められた数の検知信号と、前記係数とに基づいて、第2の予測値を算出する第2の算出手段と、前記第2の予測値に基づいて、前記画像信号を得るための予め決められた構成部材を制御するための制御信号を生成する生成手段とを有する。

発明の効果

0008

本発明によれば、撮像素子から出力される信号に基づく光学系の調整において、遅延の影響を低減することができる。

図面の簡単な説明

0009

本発明の実施形態における撮像装置のブロック図。
オプティカルフローの算出方法を説明する図。
第1の実施形態における予測信号生成部の構成を示すブロック図。
サンプリング遅延及び本実施形態における予測信号生成部の具体的な動作を説明する図。
本実施形態におけるカメラシステムの動作を示すフローチャート
変形例における撮像装置の構成を示す外観図及びブロック図。
第2の実施形態における予測信号生成部の構成を示すブロック図。
第2の実施形態における信頼性データ生成方法を説明するための図。
第3の実施形態における予測信号生成部の構成を示すブロック図。
第4の実施形態における予測信号生成部の構成を示すブロック図

実施例

0010

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

0011

<第1の実施形態>
図1は、カメラシステムの概略構成を示すブロック図である。本実施形態のカメラシステムは、主に、カメラ本体1と、カメラ本体1に着脱可能なレンズユニット2とからなる。カメラ本体1とレンズユニット2は、電気接点11を介して電気的に接続される。

0012

レンズユニット2は、光軸4上に配された、フォーカスレンズ及び振れ補正レンズ(構成部材)を含む複数のレンズ及び絞り(構成部材)からなる撮影光学系3、レンズシステム制御回路12、レンズ駆動部13を含む。

0013

撮影光学系3を介して入射した被写体からの光は、シャッタ機構14(構成部材)を介して撮像素子6(構成部材)の撮像面に結像される。撮像素子6は、入射した光を光電変換し、光量に応じた電気信号(画像信号)を出力する。

0014

画像処理部7は、内部にA/D変換器ホワイトバランス調整回路ガンマ補正回路補間演算回路色補間処理回路等を有し、所定の画素補間処理色変換処理を行って、記録用の画像データ及び表示用の画像データを生成することができる。また、画像処理部7は、予め定められた方法を用いて、画像データや音声データの圧縮を行う。更に、A/D変換された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、カメラシステム制御回路5が、TTLスルー・ザ・レンズ)方式のオートフォーカスAF)処理、自動露出AE)処理を行うことができる。これにより、カメラシステム制御回路5は、撮影光学系3に含まれるフォーカスレンズの駆動量、及び、絞りの絞り値と、シャッタ機構14による露光時間とを求める。そして、電気接点11を介してレンズシステム制御回路12にフォーカスレンズの駆動量及び絞りの絞り値を通知する。レンズシステム制御回路12は、通知されたフォーカスレンズの駆動量及び絞りの絞り値に基づいてレンズ駆動部13を制御し、フォーカスレンズ及び絞りを駆動する。また、カメラシステム制御回路5は、求めた露光時間によりシャッタ機構14を制御する。

0015

また、画像処理部7は、撮像素子6から得られた画像信号に基づく複数の画像間の比較を行って振れ検知信号を生成する、振れ検知部70を含む。なお、振れ検知部70における処理については、詳細に後述する。

0016

画像処理部7により生成された記録用の画像データは、カメラシステム制御回路5によりメモリ8に出力される。一方、表示用の画像データは、カメラシステム制御回路5により表示部9に表示される。また、表示部9を用いて、撮像した画像データを逐次表示することで、電子ビューファインダーEVF)機能を実現することができる。なお、表示部9は、カメラシステム制御回路5の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合にはカメラ本体1の電力消費を大幅に低減することができる。

0017

カメラシステム制御回路5は、一時的な記憶領域及び演算部を備え、カメラシステム全体を制御する。上述した制御に加え、撮像の際のタイミング信号などを生成して出力すると共に、ユーザによる外部操作に応じて、撮像系、画像処理系記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部10が検出すると、撮像素子6の駆動、及び、画像処理部7における画像信号処理及び圧縮処理記録処理、表示部9に表示する情報の表示内容等を制御する。表示部9はタッチパネルになっており、操作検出部10に接続されている。

0018

また、カメラシステム制御回路5は、振れ検知部70から得られる振れ検知信号に基づいて、振れを予測し、予測した振れを表す振れ予測信号を出力する予測信号生成部50を含む。そして、予測した振れ予測信号に基づいてレンズ駆動部13を介して振れ補正レンズを制御する。

0019

図2は、振れ検知部70で行われる、複数の画像間の比較に基づく振れ検知信号である、オプティカルフローの求め方の一例を説明する図である。図2ではいわゆるブロックマッチング法について説明するが、他の方法を用いても良い。本実施形態では、振れ検知信号をライブビュー動画撮影時に求めるものとし、予め決められた周期で撮像素子6に蓄積され、読み出された画像信号が用いられる。

0020

図2(a)は、撮像素子6から画像信号を読み出し直近時刻をtnとした場合に、1周期前の時刻tn-1で読み出した画像、図2(b)は時刻tnで読み出した画像を示す。また、図2(c)は、時刻tn-1及びtnで読み出した画像を重ねて示し、検知されたベクトル(振れ検知信号)を模式的に示した図である。

0021

まず、図2(a)に示す時刻tn-1で読み出した画像において、被写体62の領域のうち、領域63に着目する。この領域63の大きさは任意に設定可能であるが、例えば8x8画素などとすればよい。この領域63が、図2(b)に示す時刻tnで取得した画像のどこに移動したかを、差分絶対値(SAD)などを基準に探索する。具体的には、図2(b)の画像内において、領域63に位置が対応する領域65を中心として、予め定められた範囲、矢印66に示すように領域をずらしながらSADを計算する。SADを基準に用いた場合は、最小となる位置が、領域63に対応する領域67となる。結果として、図2(c)に示すように、2つの画像間で、図2(a)に示す領域63はベクトル69で示すように移動したことが分かる。

0022

上記の動作を画面内に設定された複数の領域について行い、複数の移動ベクトルを検知する。その後、主被写体に注目してベクトルを選択をする、RANSAC(Random Sample Consensus)などの方法によって推定値を求める、などの方法で2つの画像間の移動ベクトルの評価値を1つ決める。なお、RANSACは既知の技術であり、本願発明の要部ではないので説明は割愛する。このようにして、振れ検知部70は振れ検知信号を求めて出力する。

0023

図3は、本実施形態のカメラシステム制御回路5に含まれる予測信号生成部50の構成例を示すブロック図である。本実施形態では、振れ予測信号の生成をライブビューや動画撮影時に行うものとする。撮像素子6から周期的に読み出された画像信号は、画像処理部7の振れ検知部70において比較され、振れ検知信号u(m)が出力され、予測信号生成部50に入力する。なお、かっこ内のmはmサンプル目であることを示す。

0024

入力した振れ検知信号u(m)は、直列に接続された複数の遅延器24(z-1)によって、それぞれ1周期ずつ遅延される。直近で読み出された画像信号をnサンプル目とした場合に、振れ検知信号u(n)を1つ遅延させたものが振れ検知信号u(n-1)であり、n-1サンプル目にサンプリングされた画像信号に基づく振れ検知信号であることを表している。以下同様に振れ検知信号u(n-2)、…、u(n-M+1)、u(n-M)が定義される。この、複数周期分の振れ検知信号u(n)、u(n-1)、…u(n-M+1)、u(n-M)は、カメラシステム制御回路5内の不図示のバッファメモリに蓄積される。バッファメモリを、例えばリングバッファで形成し、新しく振れ検知信号u(n)が入力する度に、現在の書き込み位置のデータの置換と、書き込み位置の変更を行うことで、効率的にバッファリングできる。そして、式(1)に示す演算により、フィルタ係数25とバッファされた振れ検知信号を一連加算器26を用いて畳み込み積分する。これにより、バッファメモリに蓄積された複数周期分の振れ検知信号u(m)のうち、1サンプル前の振れ検知信号u(n-1)までの予め決められた数の振れ検知信号u(m)から、直近の振れ検知信号u(n)の予測値y(n)(第1の予測値)を得る。なお、hn-1はn-1サンプル目までに求められたフィルタ係数25を示している。

0025

0026

式(1)は時系列的な予測を線形結合によって行うことを示している。滑らかな信号や繰り返し性の高い信号は式(1)のような形でよく近似できることが知られている。撮影光学系3を制御するための信号もこのような特徴と持つものは多い。

0027

この時の誤差eは、次の式(2)で定義することができる。これは、直近の振れ検知信号u(n)から、一連の加算器26により得られた予測値y(n)を、加算器28を用いて減算することにより得ることができる。
e = u(n) - y(n) …(2)

0028

このように定義することで、適応アルゴリズム処理部29で既知の適応アルゴリズムを用いることで適応的に1周期先を予測するフィルタが形成される。適応アルゴリズムの一例として、LMSアルゴリズムによるフィルタ係数の更新式を式(3)に示す。式(3)は適応アルゴリズムの例であり、他のアルゴリズムNLMSやRLS等)を用いても良い。
hn(i)=hn-1(i)+μeu(i) …(3)
(i = 1, 2, … ,M)
なお、上記式(3)において、μはステップサイズパラメータを示している。サンプリング毎に式(1)から式(3)の計算を繰り返し、hを更新することで、適応的にフィルタが形成される。
上記のように更新されたフィルタ係数30を用いて、次の式(4)に示す演算により、振れ検知信号u(m)を一連の加算器26を用いて畳み込み積分することで、振れ予測信号yp(n)(第2の予測値)を求める。

0029

0030

上記式(4)において、振れ予測信号yp(n)は、バッファメモリに蓄積された複数周期分の振れ検知信号u(m)のうち、予め決められた数の現在までの振れ検知信号u(m)から予測された、1サンプル先の信号である。式(4)は式(1)と類似しているが、以下の点が異なっている。まず式(3)で更新されたフィルタ係数hnを用いている。また、演算に用いる最も古い振れ検知信号u(n-M)ではなくu(n-M+1)であり、且つ、現在の振れ検知信号u(n)を利用している。これらの結果、現在までにサンプリングされた信号から予測された1サンプル先の振れ予測信号yp(n)を計算する式になっている。直近の振れ検知信号u(n)から予測された1サンプル先の予測信号yp(n)は蓄積遅延を排除した現在の推定値となるが、これについては図4を用いて後述する。
なお、式(1)から式(4)の説明では、あるサンプリングタイミングに着目して式(1)と式(4)を個別に計算するように説明をした。しかしながら、式(4)は式(1)のnをn+1で置き換えたものになっている。すなわち振れ予測信号yp(n)は次のサンプリングにおけるy(n+1)として利用することができる。そのため振れ予測信号yp(n)をメモリ上に保持することで計算を削減することができる。次のサンプリング時間では振れ予測信号yp(n)をy(n+1)としてすぐに式(2)、式(3)、式(4)の順で計算を進めればよい。なお、一番最初のサンプリング時間においては式(1)から計算すればよい。

0031

スイッチ32は、後述する三脚判定に応じて切り替えられ、三脚を用いて撮影を行う場合等、振れが少ない場合には振れ検知信号u(n)をそのまま出力するように制御され、その他の場合は振れ予測信号yp(n)が出力されるように制御される。スイッチ32の出力が撮影光学系3の制御に用いられる。

0032

なお、図3では、分かり易くするために振れ検知信号u(n)をそのまま出力するときはスイッチ32で切り替えて出力させているが、フィルタ係数hn(1)=1、hn(i)=0(i=2、3、…、M)とすることで同じ出力を得ることができる。この場合、振れ検知信号u(n)をそのまま出力する場合でも、バッファメモリに保持された振れ検知信号u(n-1)からu(n-M+1)に基づいて出力を生成している。この時の処理は、現在の観測値が良い予測値になっている場合の処理に相当する。

0033

次に、図4を参照して、蓄積による遅延と振れ予測信号の生成の様子及びサンプリング周期の違いによる誤差の発生の違いについて説明する。

0034

図4(a)は、あるサンプリング周期の時の蓄積遅延及び第1の実施形態における信号処理を説明する図である。図4(a)において、横軸は時間を、縦軸は、振れ検知信号u(m)の信号レベルを示している。また、曲線41は、カメラシステムの実際の振れを表している。

0035

曲線41のように振れが変化している場合、本実施形態のシステムにおいては、振れ検知部70が、撮像素子6において予め決められた時間、電荷を蓄積して得られた画像信号から、振れ検知信号u(m)を算出している。これを図4(a)では、振れが蓄積されているものとして、1サンプリング周期に対応する時間tn-5からtn-4における領域44として図示している。次の時刻tn-4で読み出された画像信号に基づく振れ検知信号u(n-4)としては、振れ検知部70の演算方法にもよるが、時間tn-5からtn-4における振れの平均値に近い値45を得ることができる。

0036

上述した処理を逐次繰り返していくと、時刻tn+3で読み出された画像信号に基づく振れ検知信号u(n+3)は、信号値43のようになる。ここで注意すべきことは、いわゆる0次ホールドよりも遅延が大きいことである。図4(a)の例ではほぼ1サンプル分の遅延が発生するため、実際の振れ41と、信号値43により表される、検知された振れ検知信号u(n+3)との間では、誤差46が生じる。この誤差46は、遅延による誤差なので、信号の微分値が大きい個所で大きくなる。周波数空間上で考えると、サンプリング遅延が無視できない周波数成分は誤差となって現れる。

0037

図4(b)は、同じ実際の振れ41に対して、サンプリング周期を短くして観測した場合を示している。この時も領域54によって、信号値55に示すような振れ検知信号u(m)が検知され、これを繰り返すことで信号値53に示すような振れ検知信号u(m)が検知される。この時の誤差56は明らかに図4(a)における誤差46よりも小さい。このように、サンプリングによる誤差が無視できるか否かは、観測すべき信号に含まれる周波数帯域(制御したい帯域、ここでは、振れの周波数)とサンプリング周期とから決まる遅延量によって決定される。すなわち、制御したい帯域に対してサンプリング周期が十分に短い(一般的にはサンプリング周波数が制御したい帯域の10倍程度の)場合にはサンプリングによる遅延の影響は無視できる。しかしながら、現在の撮像素子6からのサンプリング周期は通常60フレーム/秒程度であり、例えば手振れのような信号を考えたときに十分なサンプリング周期とは言えず、遅延が無視できない。

0038

図4(a)に戻って、予測に基づくサンプリング遅延の補償について説明する。まず、時刻tnでの処理を考える。図3を参照して説明した式(1)〜(4)におけるMを3とした場合、バッファメモリには、時刻tn、tn-1、tn-2、tn-3で得られた振れ検知信号u(n)、u(n-1)、u(n-2)、u(n-3)の信号が収められている。これらの信号を用いて、式(1)の計算を行う。この計算を図4(a)では模式的に下側に線を引き出して示している。すなわち、振れ検知信号u(n-1)、u(n-2)、u(n-3)とフィルタ係数hn-1(1)、hn-1(2)、hn-1(3)とから、予測値y(n)を計算する。

0039

その後、適応アルゴリズム処理部29によってフィルタ係数hを更新し、フィルタ係数hn(1)、hn(2)、hn(3)を得る。そして、式(4)に基づいて、振れ予測信号yp(n)を計算する。この計算を図4(a)では模式的に上側に線を引き出して示している。すなわち、振れ検知信号u(n)、u(n-1)、u(n-2)と、フィルタ係数hn(1)、hn(2)、hn(3)とから、振れ予測信号yp(n)を計算する。こうして得られた振れ予測信号yp(n)の値は、点線で示す信号値47のようになる。

0040

領域44と信号値45を用いて説明したように、振れ検知部70により検知される振れ検知信号u(m)は1サンプル程度遅延している。そこで、振れ予測信号yp(n)は現在までの信号から予測された1サンプル先である時刻tn+1の信号であるが、これを現在の時刻tnにおける振れ検知信号の推定値として利用する。つまり1サンプル先の信号の予測値を、現在の推定値として利用する。振れ予測信号yp(n)を計算するために将来の観測値u(n+1)は利用していないので、矛盾なく計算を行うことができる。図4(a)に示したように蓄積遅延が存在するようなシステムにおいては、1サンプル先の信号の振れ予測信号yp(n)と、実際の振れ41との差は小さい。時刻tnに限らず他の時刻においても差は小さい。つまり良い現在の推定値になっていることが分かる。

0041

結果として、撮像素子6の信号を基に、撮像素子6における蓄積遅延の影響を低減させて、撮影光学系3を調整することができる。蓄積遅延の影響が小さいため、より適切な防振制御を行うことができ、より高品位な、振れの低減された画像を得ることができる。

0042

次に、図5のフローチャートを参照して、本実施形態におけるカメラシステムの制御について説明する。図5(a)はカメラシステムの動作の全体の流れを示しており、特に本発明と関連する処理を示している。図5(b)は防振制御を含む、露光/光学制御を示している。

0043

図5(a)において、カメラシステムの電源ON動作などにより処理を開始すると、S110において、予測信号生成部50のフィルタをリセットする。このS110において、図3に示すバッファされた振れ検知信号u(n)、u(n-1)、…、u(n-M+1)、u(n-M)及びフィルタ係数h0(1)、h0(2)、…、h0(M)が予め定められた値に置き換えられる。ここでは、例えば、すべてゼロを設定する。

0044

S120では、カメラシステムが固定して設置されているか否かの判定を行う。例えば、三脚に設置されたようにカメラシステムが固定されている場合は、振れが小さくなるので、本実施形態の振れ検知方法を省略することで、演算量を低減させることができる。例えば、振れ検知部70で検知される振れ検知信号u(m)の絶対値が予め定められた閾値所定周期の間、連続して下回った(振れ検知信号u(m)が予め決められた範囲内にある)場合は、三脚等にカメラシステムが設置されていると判断する。そして、その旨を示すフラグをセットする。

0045

S130では、電源のOFFを監視する。電源がOFFされた場合は、動作を停止して処理を終了し、そうでない場合はS140に進む。S140では、露光及び防振制御を行う。なお、S140における詳細な処理については、図5(b)を参照して後述する。

0046

S150では、撮影して得られた画像を表示する。これは、S140及びS150における処理は撮影予備動作中に行われるためであり、S150では画像の記録は行わず、カメラ本体1に設けられた表示部9に画像の表示を行う。これによりユーザー構図の確認などを行うことができる。

0047

S160では、録画の開始を判断する。ユーザーの操作により録画が開始が指示された場合はS170に進み、そうでない場合はS120に戻り、撮影予備動作が繰り返される。

0048

S170では、バッファメモリのリセット及び振れ補正レンズのセンタリングを行う。この動作により、振れ補正レンズは光軸中心に近い位置になり、どの方向にも同程度動けるため、振れ補正レンズが駆動範囲限界に到達する確率が下がり画質の向上や防振範囲の拡大を図ることができる。

0049

S180では、撮影予備動作中のS140と同じ処理を行う。ただし後述するように、センサ読み出し方法はそれぞれの方式に適した形で行っても良い。S190では、撮影した画像の表示及び記録を行う。S180とS190を繰り返すことで撮影が行われる。ここでは撮影動作と呼ぶ。

0050

S200では、録画の終了を判断する。ユーザーの操作により録画の終了が指示された場合はS120に進み、撮影予備動作に戻る。そうでない場合はS180に戻って撮影動作が繰り返される。

0051

次に、図5(b)を参照して、露光/光学制御について説明する。図5(b)に示す露光/光学制御は、撮影予備動作中のS140及び撮影動作中のS180の双方から呼び出される。

0052

処理が呼び出されると、S310において撮像素子6から画像信号の読み出しを行う。同時にリセットが行われ、次の読み出しまでの蓄積が開始される。なお、S310の読み出しは、撮影予備動作及び撮影動作にそれぞれ適した方法で行えば良い。例えば、撮影予備動作で出力する画像がカメラ本体1に設けられた表示部9である場合、その解像度に合わせた画像を得られれば良いため、間引き読み出しを行うことで消費電力を抑えることができる。また、撮影動作においてはユーザーの設定によって解像度や読み出し範囲(いわゆるクロップ撮影)を変化させる。

0053

S310で画像信号が読み出されると、読み出した画像信号を用いた防振制御が開始される。S320では、振れ検知部70が上述したようにしてオプティカルフローの演算を行い、振れ検知信号u(m)を得る。S330では三脚に設置されているか否かを、S120で設定されたフラグによって判断する。三脚に設置していると判断されているときはS340に進み、スルー出力を行う。ここでいうスルーとは、防振制御に用いる信号として、振れ検知部70で検知したままの振れ検知信号u(m)を出力することを示している。これは、図3のスイッチ32を切り替えて、入力した振れ検知信号u(m)をそのまま制御信号とすることに対応している。

0054

一方、三脚に設置されていない場合はS350に進み、振れ予測信号を演算して出力する。ここでは、防振制御に用いる制御信号として、図3に示したフィルタで処理した振れ予測信号ypを出力することを示している。これは、図3のスイッチ32を切り替えて、振れ予測信号yp(n)を制御信号とすることに対応している。

0055

S360では、S340またはS350で得られた制御信号に基づいて振れ補正レンズの位置制御を行うことにより、撮影光学系3の駆動を行う。以上の処理が終了すると、図5(a)の処理に戻る。

0056

上記の通り本実施形態によれば、蓄積遅延が発生する撮像素子の画像信号を利用して撮影光学系3の調整を行う場合に、遅延の影響を低減することができる。結果として、蓄積遅延の影響が小さいため、より適切な防振制御がなされ、映像品質を向上することができる。

0057

なお、上述した例では、撮影光学系3に含まれる振れ補正レンズを駆動することにより防振制御する場合について説明したが、撮像素子6を駆動することによっても、防振制御を行うことが可能である。

0058

また、上述した例では、振れを予測する場合について説明したが、本発明は振れの予測及び振れ補正レンズの制御に限られるものではなく、撮像素子から出力された画像信号を用いた、カメラシステムの各部の様々な制御に適用することができる。例えば、撮像面位相差AFを利用して焦点調節を行う場合には、画像の焦点状態を示す信号、露出を制御するためには、画像の明るさを示す輝度情報を示す信号を用いて、予測値を求め、フォーカスレンズ、絞り、シャッタ速度等を制御することが考えられる。

0059

<変形例>
本発明の変形例を図6に示す。図6は、変形例における撮像装置100を示す図であり、レンズユニットとカメラ本体とが一体的に構成された場合を示す。図6(a)及び(b)は、撮像装置の外観を示す正面及び背面からの斜視図であり、図6(c)は電気的構成を示すブロック図である。このような撮像装置では、レンズユニットとカメラ本体との境界が明確でなく、それぞれに独立してシステム制御部を備えていない場合も多い。図6(C)において、カメラシステム制御回路105は、レンズ駆動部13を直接制御することで、撮影光学系3の制御を行う。なお、図1と同様の機能を有する構成には同じ番号を付し、説明を省略する。

0060

図6に示す構成を有する撮像装置100においても、第1の実施形態と同様の処理を行うことができる。

0061

<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図7は、第2の実施形態における予測信号生成部50’の構成を示すブロック図であり、図1または図6に示す予測信号生成部50の代わりに用いることができる。なお、予測信号生成部50’以外の構成は、図1または図6に示すものと同様であるため、ここでは説明を省略する。

0062

図7に示す予測信号生成部50’と図3に示す予測信号生成部50との違いは、比較器35及びスイッチ36を更に有する点である。それ以外の構成は、図3に示すものと同様であるため、同じ参照番号を付し、説明を省略する。

0063

また、第2の実施形態では、振れ検知部70では、振れ検知信号u(m)に加えて、信頼性に関するデータも得る。なお、信頼性に関するデータの取得方法については後述する。信頼性データは比較器35に入力される。そして、得られた信頼性が、予め定められた信頼性よりも低いと判断される場合はスイッチ36を動作させて、バッファメモリへの入力を、振れ検知部70の振れ検知信号u(n)から、予測信号生成部50で得られた1サンプル前の予測値y(n)に切り替える。

0064

適応フィルタが適切に形成されていれば、予測値y(n)は、振れ検知信号u(n)の良い予測値になっているはずである。少数のサンプルであれば、予測値y(n)を振れ検知信号u(n)の代わりに用いても信号が破たんすることはない。そのため、例えば振れ検知部70で検出を失敗した場合など、信頼性の低い振れ検知信号を用いるよりも適切な処理を行うことができる。

0065

ここで、図8を用いて、信頼性が低下するような場面と、信頼性データの生成方法について説明する。図8(a)は時系列的に複数の視点から画像を取得する様子を模式的に示した図である。矢印79は光源からの光線を示し、80は被写体を示している。ここでは一例として、矢印81,82,83により表される3つの視点から画像を取得することを模式的に表している。図8(a)に示すように、複数の視点81,82,83から撮影すると、それぞれの画像には、異なる位置に同一の被写体80の被写体像84,85,86が結像する。なお、84a,85a,86aは、それぞれ被写体像84,85,86上の鏡面反射成分の位置を示している。

0066

振れ検知部70によって、被写体像84,85,86からオプティカルフローを求め、被写体80が重なるようにすると、図8(b)のような像が得られる。すなわち被写体像84,85,86が重なり、反対に像の取得範囲を示す枠81a,82a,83aがずれた状態である。87は位置合わせのために用いる部分領域を示す枠である。

0067

図8(b)の像においては、鏡面反射成分84a,85a,86aは互いに異なる位置となっており、このような被写体では、像の一致度が低下する。像の一致度が低下するような場面では、鏡面反射成分に基づいて定めたオプティカルフローと、拡散反射成分に基づいて定めたオプティカルフローとで値が異なってしまう。また、そのいずれが選択されるかは、鏡面反射成分と拡散反射成分の信号の強度やオプティカルフローを計算する時の着目領域の大きさなどに依存する。すなわちオプティカルフローが安定しないことが想定される。

0068

そこで、このような像の一致度を信頼性データとして用いることができる。像の一致度が低い場合には、信頼性が低いことを表す信頼性データを出力する。別の方法としては、像の一致度を、明るさや一致度の変化率で除して無次元化しても良い。

0069

上記の通り第2の実施形態によれば、振れ検知部から得られる振れ検知信号の信頼性が低い場合においても、より適切な振れ補正制御を行うことができる。

0070

<第3の実施形態>
次に、本発明の第3の実施形態について説明する。図9は、第3の実施形態における予測信号生成部50”の構成を示すブロック図であり、図1または図6に示す予測信号生成部50の代わりに用いることができる。なお、予測信号生成部50”以外の構成は、図1または図6に示すものと同様であるため、ここでは説明を省略する。

0071

図9に示す予測信号生成部50”は、図7に示す予測信号生成部50’と類似しているが、比較器35に変えて、連続性判断器37を備えているところが異なる。連続性判断器37には、振れ検知部70の出力である振れ検知信号u(m)オプティカルフローが入力される。一定周期で被写体の動きを観察している場合、突然閾値を超えて振れ検知信号u(m)の値が変化することは考えにくい。つまり、1周期の間に画面の端から端まで動くようなものは主被写体であるとは考えにくい。そこで、図9の例では連続性判断器37において、振れ検知部70の時系列的な出力に基づいて信頼性を判定する。閾値を超えて変化した場合は信頼性が低いとしてスイッチ36を動作させて、バッファメモリへの入力を振れ検知部70からの振れ検知信号u(m)から、予測信号生成部50”の1サンプル前の予測値y(n)に切り替える。

0072

上記の通り第3の実施形態によれば、振れ検知部から得られる振れ検知信号の信頼性が低い場合においても、より適切な制御を行うことができる。

0073

<第4の実施形態>
次に、本発明の第4の実施形態について説明する。図10を用いて、スイッチ32の別の切り替え制御について説明する。図10は予測信号生成部50'の構成を示したブロック図であり、図7に示す構成と同様である。ただし、図10(a)及び図10(b)において、網けきして示した遅延器24はその直前バッファ内容が予測信号生成部50で得られた、1サンプル前の予測値y(n)となっていることを示している。すなわち図10(a)では、振れ検知信号の信頼性が高い場合には振れ検知信号u(n)、u(n-2)、u(n-M+2)がバッファされるところ、1サンプル前の予測値y(n)、y(n-2)、y(n-M+2)がバッファされたことを表している。また、図10(b)では振れ検知信号u(n),u(n-1),u(n-2)の代わりに、予測値y(n)、y(n-1)、y(n-2)がバッファされたことを表している。

0074

図10(a)は1サンプル前の予測値y(n)での置き換えが、連続はしていないが一定の比率に達した場合を示す模式図であり、図10(b)は1サンプル前の予測値y(n)での置き換えが連続して発生した場合を示している。

0075

図10(a)に示すように、現在の振れ予測信号yp(n)を生成するためにM+1サンプル目にバッファされた値を参照している。このうちの多くが1サンプル前の予測値y(n)信号となった場合は、振れ検知部70の振れ検出信号u(n)を参照せず、予測値y(n)ばかりになって、振れ予測信号yp(n)が十分良い予測値ではなくなってしまう可能性がある。そこで、バッファメモリに保持された予測値y(n)の数が予め定められた数を超えた場合には、スイッチ32を動作させて、振れ検知部70の信号に基づいて振れ補正レンズを動作させる。これは、遅延の影響を受けていても、予測値y(n)よりも良いと考えられるからである。

0076

同様に、図10(b)のように連続して予測値y(n)による置き換えが発生する場合には急速に振れ予測信号yp(n)の質が低下することも考えられる。そこで、バッファメモリに保持された予測値y(n)の数が連続して予め定められた数を超えた場合には、図10(a)の場合と同様に、スイッチ32を動作させて、振れ検知部70からの振れ検知信号u(n)に基づいて振れ補正レンズを動作させる。

0077

<他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0078

1:カメラ本体、2:レンズユニット、3:撮影光学系、4:光軸、5:カメラシステム制御回路、6:撮像素子、7:画像処理部、11:電気接点、12:レンズシステム制御回路、13:レンズ駆動部、14:シャッタ機構、24:遅延器、25,30:フィルタ係数、26,28:加算器、29:適応アルゴリズム処理部、32,36:スイッチ、35:比較器、37:連続性判断器、50,50’,50”:予測信号生成部、70:振れ検知部、100:撮像装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ