図面 (/)

技術 像ブレ補正装置、撮像装置、像ブレ補正方法

出願人 キヤノン株式会社
発明者 坂井田稔
出願日 2015年6月11日 (4年5ヶ月経過) 出願番号 2015-118608
公開日 2017年1月5日 (2年10ヶ月経過) 公開番号 2017-005542
状態 特許登録済
技術分野 スタジオ装置 イメージ分析
主要キーワード 合成座標 垂直枠 回路リソース 演算期間 サンプリング座標 グラフ曲線 水平枠 起点座標
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

座標演算が行われていない動きベクトルを用いる迅速な像ブレ補正と、座標演算が行われた動きベクトルを用いる、より正確な像ブレ補正を実現すること。

解決手段

撮像装置は、像ブレ補正機構を有する撮像光学系101と、映像幾何変形部105を備える。ベクトル検出部104は、撮像画像のデータから動きベクトルを検出する。幾何変形部105は座標演算部105−2を備え、幾何変形処理を実行していないときに、ベクトル検出部104から取得した動きベクトル値に対して座標演算により、動きベクトルの歪みの除去処理を行う。システム制御部106は第1の制御にて、座標演算部105−2により座標演算が行われていない動きベクトルを用いて撮像光学系101に係る光学的な像ブレ補正を行い、第2の制御にて、座標演算部105−2により座標演算が行われた動きベクトルを用いて幾何変形部105の画像処理により像ブレ補正を行う。

概要

背景

撮像装置では、撮影者の手振れ等に起因する像ブレ補正装置が知られている。特許文献1に開示の装置は、撮像された複数フレームの画像データをメモリに保持し、前後のフレーム間で画像を比較(テンプレートマッチング)して動きベクトルを検出する。動きベクトルによって手振れ量を算出することで、像ブレを抑圧する処理が行われる。また、特許文献2には、画像の幾何変形処理によって、光学系の歪曲収差や、撮像センサローリングシャッター歪み、像ブレの回転成分補正する技術が開示されている。

図12を参照して、幾何変形処理について説明する。図12(A)は幾何変形処理前の元画像を例示し、図12(B)は幾何変形処理後の画像例を示す。図12(A)および(B)において、撮像領域1201内に1点鎖線で出力画領域1202の枠を示す。動きベクトルの検出枠1203を矩形枠で示し、検出枠1203内には、それぞれの重心1204を起点とする動きベクトル1205を示す。像ブレ補正処理を行うための手振れ量の算出処理は、時間遅れなくリアルタイムで算出されることが望ましい。そのために、幾何変形処理による歪み補正前の画像である、図12(A)の元画像を用いて動きベクトル検出が行われる。しかし、実際の出力画像は、幾何変形処理による歪み補正後の画像、つまり図12(B)の画像である。このため、検出枠1203、重心1204、動きベクトル1205が歪んでしまうと、動きベクトルの精度が低下するという問題が生じる。この問題を解決するために、動きベクトルに対して、画像の変形量を考慮した座標変換処理アフィン変換)を実施し、動きベクトルの歪みを補正する技術が特許文献3に開示されている。

概要

座標演算が行われていない動きベクトルを用いる迅速な像ブレ補正と、座標演算が行われた動きベクトルを用いる、より正確な像ブレ補正を実現すること。撮像装置は、像ブレ補正機構を有する撮像光学系101と、映像の幾何変形部105を備える。ベクトル検出部104は、撮像画像のデータから動きベクトルを検出する。幾何変形部105は座標演算部105−2を備え、幾何変形処理を実行していないときに、ベクトル検出部104から取得した動きベクトル値に対して座標演算により、動きベクトルの歪みの除去処理を行う。システム制御部106は第1の制御にて、座標演算部105−2により座標演算が行われていない動きベクトルを用いて撮像光学系101に係る光学的な像ブレ補正を行い、第2の制御にて、座標演算部105−2により座標演算が行われた動きベクトルを用いて幾何変形部105の画像処理により像ブレ補正を行う。

目的

本発明は、像ブレ補正装置において、座標演算が行われていない動きベクトルを用いる迅速な像ブレ補正と、座標演算が行われた動きベクトルを用いる、より正確な像ブレ補正を実現することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

像ブレ補正手段によって画像の像ブレ補正する像ブレ補正装置であって、撮像された画像の画像データから検出される動きベクトル座標演算を行う演算手段と、前記演算手段により座標演算が行われていない動きベクトルを用いて像ブレ補正を制御する第1の制御と、前記演算手段により座標演算が行われた動きベクトルを用いて像ブレ補正を制御する第2の制御を行う制御手段を備えることを特徴とする像ブレ補正装置。

請求項2

前記制御手段は、前記第1の制御にて前記像ブレ補正手段により、撮像光学系の制御を行うことで像ブレ補正を制御することを特徴とする請求項1に記載の像ブレ補正装置。

請求項3

前記制御手段は、前記第2の制御にて前記像ブレ補正手段による前記画像データの画像処理の制御を行うことを特徴とする請求項1に記載の像ブレ補正装置。

請求項4

像ブレ補正手段によって画像の像ブレを補正する像ブレ補正装置であって、撮像された画像の画像データから検出される動きベクトルの座標演算と、前記画像データの幾何変形処理を行う演算手段と、前記演算手段により座標演算が行われていない動きベクトルを用いて像ブレ補正を制御する第1の制御と、前記演算手段により座標演算が行われた動きベクトルを用いて像ブレ補正を制御する第2の制御を行う制御手段と、を備え、前記制御手段は前記第2の制御にて、前記座標演算が行われた動きベクトルを用いて行われる前記幾何変形処理を前記演算手段に実行させることを特徴とする像ブレ補正装置。

請求項5

前記演算手段は、前記幾何変形処理を実行していないときに前記動きベクトルの座標演算を行い、前記制御手段は座標演算が行われた前記動きベクトルを取得し、前記演算手段は、前記幾何変形処理を実行しているときには前記動きベクトルの座標演算を行わず、前記制御手段は前記座標演算が行われていない動きベクトルを取得することを特徴とする請求項4に記載の像ブレ補正装置。

請求項6

請求項1から5のいずれか1項に記載の像ブレ補正装置と、撮像された画像に対して検出枠を配置して動きベクトルを算出するベクトル検出手段を備えることを特徴とする撮像装置

請求項7

画像の像ブレを補正する像ブレ補正手段を有する撮像光学系と、撮像された画像に対して検出枠を配置して動きベクトルを算出するベクトル検出手段と、前記ベクトル検出手段により算出された動きベクトルの座標演算を行い、撮像された画像の画像データに幾何変形処理を行う演算手段と、前記演算手段により座標演算が行われていない動きベクトルを用いて、前記像ブレ補正手段により像ブレ補正を制御する第1の制御と、前記演算手段により座標演算が行われた動きベクトルを用いて、前記演算手段により像ブレ補正を制御する第2の制御を行う制御手段と、を備え、前記演算手段は、前記幾何変形処理を実行していないときに前記動きベクトルの座標演算を行い、座標演算が行われた前記動きベクトルを前記制御手段に出力し、前記幾何変形処理を実行しているときには前記動きベクトルの座標演算を行わず、前記制御手段は前記座標演算が行われていない動きベクトルを取得することを特徴とする撮像装置。

請求項8

撮像された前記画像データを取得して画像を表示する表示手段をさらに備え、前記制御手段は、前記演算手段により座標演算が行われていない前記動きベクトルを用いて画像処理を行った前記画像データを前記表示手段に表示させる制御を行うことを特徴とする請求項6または7に記載の撮像装置。

請求項9

前記制御手段は前記第1の制御にて、前記ベクトル検出手段より、座標演算が行われる前の動きベクトルを前記検出枠ごとに取得することを特徴とする請求項6から8のいずれか1項に記載の撮像装置。

請求項10

前記制御手段は前記第1の制御にて、前記ベクトル検出手段より、複数の前記検出枠を含む列または行ごとに、座標演算が行われる前の動きベクトルを取得することを特徴とする請求項6から8のいずれか1項に記載の撮像装置。

請求項11

前記制御手段は、前記演算手段により座標演算が行われていない動きベクトルを用いて、前記像ブレ補正手段の駆動により画角制御を行うことを特徴とする請求項6から10のいずれか1項に記載の撮像装置。

請求項12

前記演算手段により座標演算が行われた動きベクトルを用いて、複数の画像の位置合わせを行って合成する画像合成手段をさらに備えることを特徴とする請求項6から11のいずれか1項に記載の撮像装置。

請求項13

前記制御手段は、撮像された画像から被写体像を検出して、当該被写体像を追跡しながら画角調節を制御する際、前記演算手段により座標演算が行われていない動きベクトルを用いて、画角調節用レンズ駆動制御を行うことを特徴とする請求項6から10のいずれか1項に記載の撮像装置。

請求項14

像ブレ補正手段によって画像の像ブレを補正する像ブレ補正装置にて実行される像ブレ補正方法であって、撮像された画像の画像データから動きベクトルを検出する検出工程と、前記検出工程にて検出された前記動きベクトルの座標演算を演算手段が行う演算工程と、前記演算手段により座標演算が行われていない動きベクトルを用いて像ブレ補正を制御する第1の制御と、前記演算手段により座標演算が行われた動きベクトルを用いて像ブレ補正を制御する第2の制御を行う制御工程を有することを特徴とする像ブレ補正方法。

技術分野

0001

本発明は、複数の画像から動きベクトルを検出するベクトル検出処理に関する。

背景技術

0002

撮像装置では、撮影者の手振れ等に起因する像ブレ補正装置が知られている。特許文献1に開示の装置は、撮像された複数フレームの画像データをメモリに保持し、前後のフレーム間で画像を比較(テンプレートマッチング)して動きベクトルを検出する。動きベクトルによって手振れ量を算出することで、像ブレを抑圧する処理が行われる。また、特許文献2には、画像の幾何変形処理によって、光学系の歪曲収差や、撮像センサローリングシャッター歪み、像ブレの回転成分補正する技術が開示されている。

0003

図12を参照して、幾何変形処理について説明する。図12(A)は幾何変形処理前の元画像を例示し、図12(B)は幾何変形処理後の画像例を示す。図12(A)および(B)において、撮像領域1201内に1点鎖線で出力画領域1202の枠を示す。動きベクトルの検出枠1203を矩形枠で示し、検出枠1203内には、それぞれの重心1204を起点とする動きベクトル1205を示す。像ブレ補正処理を行うための手振れ量の算出処理は、時間遅れなくリアルタイムで算出されることが望ましい。そのために、幾何変形処理による歪み補正前の画像である、図12(A)の元画像を用いて動きベクトル検出が行われる。しかし、実際の出力画像は、幾何変形処理による歪み補正後の画像、つまり図12(B)の画像である。このため、検出枠1203、重心1204、動きベクトル1205が歪んでしまうと、動きベクトルの精度が低下するという問題が生じる。この問題を解決するために、動きベクトルに対して、画像の変形量を考慮した座標変換処理アフィン変換)を実施し、動きベクトルの歪みを補正する技術が特許文献3に開示されている。

先行技術

0004

特開2000−261757号公報
特開2006−127083号公報
特開2009−258868号公報

発明が解決しようとする課題

0005

ところで、幾何変形処理における画像の変形量の算出および座標変換処理は一般的に計算負荷が大きいため、ハードウェア処理が望ましいが、回路規模が大きくなることが問題である。そこで解決策として、座標演算処理部と回路リソース共有することによって、動きベクトルの歪みを補正することが考えられる。しかし、この場合には、画像の幾何変形処理が実施されていない期間に、動きベクトルの補正処理を実施する必要があるため、動きベクトル値使用可能となるまでに遅延時間が生じることが懸念される。処理例の詳細については図13および図14を用いて後述する。

0006

本発明は、像ブレ補正装置において、座標演算が行われていない動きベクトルを用いる迅速な像ブレ補正と、座標演算が行われた動きベクトルを用いる、より正確な像ブレ補正を実現することを目的とする。

課題を解決するための手段

0007

本発明の一実施形態に係る装置は、像ブレ補正手段によって画像の像ブレを補正する像ブレ補正装置であって、撮像された画像の画像データから検出される動きベクトルの座標演算を行う演算手段と、前記演算手段により座標演算が行われていない動きベクトルを用いて像ブレ補正を制御する第1の制御と、前記演算手段により座標演算が行われた動きベクトルを用いて像ブレ補正を制御する第2の制御を行う制御手段を備える。

発明の効果

0008

本発明によれば、像ブレ補正装置において、座標演算が行われていない動きベクトルを用いる迅速な像ブレ補正と、座標演算が行われた動きベクトルを用いる、より正確な像ブレ補正を実現できる。

図面の簡単な説明

0009

本発明の第1実施形態に係る撮像装置の構成例を示すブロック図である。
動きベクトル検出におけるテンプレート配置例を示す図である。
幾何変形処理の概念図である。
第1実施形態における座標演算処理部の構成例を示す図である。
第1実施形態における像ブレ補正制御を説明するフローチャートである。
第1実施形態における像ブレ補正制御のタイミングチャートである。
ベクトル検出結果のヒストグラムを示す図である。
ベクトル補正時の座標演算処理部の構成を示す図である。
幾何変形処理時とベクトル補正時の歪曲収差補正パラメータの説明図である。
本発明の第2実施形態に係る撮像装置の構成例を示すブロック図である。
図10撮像光学系101による画角制御の説明図である。
ベクトル補正を説明する概念図である。
ベクトル補正を行わない場合の像ブレ補正制御のタイミングチャートである。
ベクトル補正を行う場合の像ブレ補正制御のタイミングチャートである。

実施例

0010

以下に本発明の各実施形態を、添付図面にしたがって詳細に説明する。本発明は、デジタルカメラ一眼レフレックスカメラビデオカメラ監視カメラWebカメラ携帯電話等の撮像装置に適用可能である。

0011

[第1実施形態]
図1は、本発明の第1実施形態に係る像ブレ補正装置を搭載した、実施例1としての撮像装置の構成例を示すブロック図である。撮像装置の撮像光学系101は、ズームレンズフォーカスレンズ像ブレ補正用レンズ等の光学部材を備える。

0012

撮像素子102は、撮像光学系101を通して結像された光学像光電変換して画像信号をメモリ103およびベクトル検出部104にそれぞれ出力する。撮像素子102が出力する画像信号はメモリ103に一旦保持される。メモリ103は、保持した画像信号をベクトル検出部104と幾何変形部105に出力する。

0013

ベクトル検出部104は、撮像素子102が出力する画像信号と、メモリ103が出力する1フレーム前の画像信号を取得して比較することにより、動きベクトル(単にベクトルともいう)検出を行い、動きベクトル値を算出する。算出された動きベクトル値はシステム制御部106が取得する。

0014

幾何変形部105は座標演算部105−2を備える。幾何変形部105は出力画素における幾何変形量に基づいて、幾何変形処理に必要となる画素群アドレス(メモリ103のアドレス情報)を算出する。幾何変形部105は、幾何変形処理に必要となる画素群のアドレス信号をメモリ0103に出力する。メモリ103は、幾何変形部105から入力されたアドレス信号にしたがって、格納されている画像信号のうち、アドレス指定された画素群に相当する信号を幾何変形部105に出力する。幾何変形部105は、メモリ103から順次に読み出された画像信号と、幾何変形量に基づいて、出力画素における補間画素データを生成する。幾何変形による画像処理後の画像信号は、出力画像信号(像ブレ補正された画像信号)として出力される。例えば、画像信号は表示部107の画面画像表示されるか、または記録部108によって記録媒体に画像データが記録される。

0015

幾何変形部105内の座標演算部105−2は、ベクトル検出部104が算出した動きベクトル値を取得可能である。この動きベクトル値は、歪み補正前の動きベクトル値である。座標演算部105−2は、ベクトル検出部104から取得した動きベクトル値の歪み補正を行い、歪み補正後の動きベクトル値をベクトル検出部104へ出力する。

0016

システム制御部106は、撮像装置全体を制御する中枢部であり、CPU(中央演算処理装置)を備える。システム制御部106はCPUが制御プログラムを実行することにより各種の処理を行う。例えばシステム制御部106は、撮像光学系101の焦点距離絞り値、フォーカス距離フォーカスレンズ位置に相当)等の情報を取得し、撮像素子102の駆動制御を行う。システム制御部106は、撮像光学系101を構成する像ブレ補正用レンズの駆動制御により像ブレ補正の制御を行い、フォーカスレンズの駆動制御により焦点調節を行う。またシステム制御部106は、ベクトル検出部104から動きベクトル値を取得する処理、およびベクトル検出部104に対する設定処理を行う。システム制御部106は幾何変形部105に対して、幾何変形処理およびベクトル歪み補正の設定処理を行う。

0017

次に、本実施形態におけるベクトル検出部104の詳細について説明する。
ベクトル検出部104は、システム制御部106により決定されたテンプレート配置に基づいて、入力された2枚のフレーム画像間の動きベクトルを検出する。動きベクトル検出方法に関して本実施形態では、テンプレートマッチング方式を用いる。撮像素子102より取得される画像信号を原画像信号とし、メモリ103より入力される画像信号を参照画像信号とする。図2原画像201におけるテンプレート配置を例示する。原画像201中の任意の位置にテンプレート202が配置される。テンプレート202の水平サイズはTX個分の画素に相当し、テンプレート202の垂直サイズはTY個分の画素に相当する。テンプレート配置に関しては、動きベクトルの探索範囲203のサイズを、左右方向にてSX個分の画素で示し、上下方向にてSY個分の画素で示す。隣り合うテンプレート202同士の距離(間隔)は、水平方向にてDX個分の画素で、垂直方向にてDY個分の画素で設定され、格子上に枠配置が為される。または、より少ないテンプレート数で、広範囲の動きベクトルを観察できるように、千鳥格子状にテンプレートを配置してもよい。尚、TX、TY、DX、DY、SX、SYの各パラメータ値については、目的に応じて任意の値に変更が可能である。

0018

演算処理では、テンプレート202の画像と参照画像における各領域との相関値が算出される。参照画像の全領域に対して相関値を算出する場合、演算量が膨大となるため、実際には参照画像上の相関値を算出するための矩形領域が探索範囲203として設定される。探索範囲203の位置や大きさについては特に制限は無いが、探索範囲203の内部にテンプレート202の移動先に相当する領域が含まれていないと、正しい動きベクトルを検出することはできない。

0019

本実施形態では、相関値の算出方法の一例として差分絶対値和(Sum of Absolute Difference、以下ではSADと略記する)を使用する。SADの計算式を下記(式1)に示す。



(式1)において(i,j)はテンプレート202内の画像に対して設定される2次元座標を表す。f(i,j)は座標(i,j)における画素値を表し、g(i,j)は探索範囲203において相関値算出の対象となる領域内の座標(i,j)での画素値を表す。相関値算出の対象領域は、テンプレート202のサイズと同じ大きさである。SAD演算では、テンプレートのブロック内の各画素値f(i,j)と、対象領域のブロック内の各画素値g(i,j)との差分の絶対値が計算され、その総和を求めることで相関値S_SADが得られる。従って、相関値S_SADの値が小さいほど、両ブロック間の画素値(輝度値)の差分が小さい。つまり、これはテンプレート202と相関値算出の対象領域との間でテクスチャが類似していることを表している。尚、本実施形態では、相関値の一例としてSADを例示したが、差分二乗和SSD)や正規化相互相関NCC)等の他の相関値を用いてもよい。

0020

次に、幾何変形部105を詳細に説明する。
本実施形態における幾何変形処理では、出力画像に画素値の欠落が生じないように入力画像上で画素のサンプリング及び補間が行われる。図3は左側に撮像領域内の入力画像301を示し、右側に出力画像302を示す概念図である。入力画像301上の画素の座標を(X,Y)と表記し、出力画像302の画素の座標を(X’,Y’)と表記する。出力画像302の座標(X’,Y’)に基づいて幾何変換処理が実現される。

0021

幾何変形部105は、出力画像上の画素を順次スキャンし、出力画像上の画素座標を入力画像上の画素座標(X,Y)に変換する処理を行う。幾何変形部105は、座標演算部105−2より入力された入力画像上の画素座標(X,Y)に基づいてサンプリングを行い、補間により出力画素のデータを生成する。補間処理としては、例えば4点の近傍画素値を用いて線形補間を行うバイリニア補間処理がある。補間処理によっては、必要となるサンプリング座標近傍の画素群が異なるので、幾何変形部105は、入力される画素座標(X,Y)の情報と、補間に必要となるサンプリング座標近傍の画素座標(X”,Y”)の情報を、メモリ103に記憶する。幾何変形部105から入力される座標情報に従って、メモリ103から、補間処理に必要となるサンプリング座標近傍の画素群のデータが読み出され、幾何変形部105に伝送する制御が行われる。

0022

次に、幾何変形量算出処理を詳細に説明する。
座標演算部105−2は、複数の幾何変形による座標変換を1つの座標変換に合成し、入力される出力画像上の画素ごとの座標を、入力画像上でのサンプリング座標に順次変換する座標演算を行う。図4を参照して座標演算部105−2について説明する。図4は幾何変形処理時における座標演算部105−2の構成例を示すブロック図である。

0023

座標演算部105−2は、複数の幾何変形要素に対応した第1の座標演算部401および第2の座標演算部402と、座標移動ベクトル合成部403で構成される。第1の座標演算部401は、歪曲収差を補正するための座標演算を行い、第2の座標演算部402は射影変換のための座標演算を行う。各座標演算部は、システム制御部106から入力される座標演算情報(それぞれの幾何変形パラメータ幾何変換前座標)から、座標移動ベクトルと、幾何変換処理後の座標を算出する。以下、各演算の具体例を説明する。

0024

第1の座標演算部401は、幾何変換前座標(X,Y)と歪曲収差補正処理のパラメータPrを取得し、歪曲収差補正前の座標移動ベクトル(drx,dry)と、歪曲収差補正後の座標(Xr,Yr)を算出する。座標移動ベクトル(drx,dry)と座標(Xr,Yr)は下記計算式で算出される。XdはXrに相当し、YdはYrに相当する。

0025

(式2)において、収差補正パラメータPdx,PdyはパラメータPrに相当し、下記(式5)のように理想像高rnと実像高rdとの比である。PdはX方向の成分PdxとY方向の成分Pdyにそれぞれ分解される。



第1の座標演算部401は歪曲収差補正前の座標移動ベクトル(drx,dry)を座標移動ベクトル合成部403に出力し、歪曲収差補正後の座標(Xr,Yr)を第2の座標演算部402に出力する。

0026

第2の座標演算部402は幾何変換前座標(Xr,Yr)と幾何変形パラメータPhを取得し、射影変換の座標移動ベクトル(dhx,dhy)と、射影変換後の座標(Xh,Yh)を算出する。座標移動ベクトル(dhx,dhy)と座標(Xh,Yh)は下記計算式で算出される。

0027

上記式において幾何変形パラメータPhは、射影変換行列Hと変換の中心座標(X0h,Y0h)である。射影変換行列Hについては、例えば、光軸に対する3軸(ヨー方向,ピッチ方向ロール方向)に関する回転をカメラモーションパラメータとして算出する方法等がある。(式6)および(式7)中のmは実数値をとり、[X/m,Y/m]=[X,Y,m]で定義される。(式6)ではm値が1に設定されている。このような座標表現同次座標(もしくは斉次座標)と呼ばれ、表現しようとする空間の次元より1つ多い数の組で座標を表わす。本実施形態では、二次元空間を表現するために3組の数である、[X,Y,m]を用いる。第2の座標演算部402は,射影変換の座標移動ベクトル(dhx,dhy)を座標移動ベクトル合成部403に出力する。

0028

座標移動ベクトル合成部403は、幾何変換前座標(X,Y)と、各座標演算で求められた移動ベクトル(drx,dry),(dhx,dhy)を重み付け合成する。下記計算式により、合成座標ベクトル(dcx,dcy)と幾何変換後座標(Xc,Yc)が得られる。



(式10)において、幾何変形パラメータPcは、合成時の重み付け演算に用いる各係数ax,bx,ay,byである。幾何変換後座標(Xc,Yc)は、変換によって元画像の座標に対応する関係にある。

0029

本実施形態では歪曲収差と射影変換のパラメータについて述べたが、これは一例である。例えば、ローリングシャッターによる図形歪みの補正パラメータや、並進像ブレ補正のための画像切り出しパラメータを幾何変形パラメータに合成してもよい。

0030

次に、座標演算部105−2を使用した、動きベクトルの歪み補正処理ベクトル補正処理)について説明する。ベクトル補正処理の順序については、本線処理である映像の幾何変形処理における座標演算とは逆順となる。図8は、ベクトル補正時における座標演算部105−2の構成を示すブロック図である。

0031

幾何変形処理時には出力画像の座標が入力されるのに対し、ベクトル補正時には幾何変形前の画像で算出されたベクトル値(幾何変形処理における入力画像に相当)が入力される。このため、座標演算の考え方が逆となる。すなわち、ベクトル補正時の座標演算部105−2は、図4の構成に対して、射影変換に係る座標演算部802と歪曲収差補正に係る座標演算部801とが入れ替わった構成となる。

0032

ベクトル補正時に座標演算部105−2は、入力画像の座標(X,Y)に基づいた座標演算を行うことでベクトルの補正座標(X’,Y’)の算出を行う。ベクトル検出部104から、各ベクトル検出枠のベクトル起点座標(Vsx,Vsy)と、ベクトル終点座標(Vex,Vey)が座標演算部105−2へ入力される。座標演算部105−2は幾何変形量の算出処理の場合と同様の考え方で補正ベクトルの起点座標(Vsx’,Vsy’)と補正ベクトルの終点座標(Vex’,Vey’)を演算する。以下、ベクトル補正処理における各座標演算部のパラメータについて説明する。

0033

射影変換に係る座標演算部802は、ベクトル補正時には幾何変形前の座標が入力され、映像の幾何変形処理時には幾何変形後の座標が入力される。このため、ベクトル補正時に使用する射影変換行列Xnは、下記(式12)で示すように、幾何変形処理で使用する射影変換行列Hnの逆行列となる。

0034

歪曲収差座標演算についても考え方は同様であるため、ベクトル補正時に使用する歪曲収差補正値については、映像の幾何変形処理時の補正量に対して、符号が反転した値を使用する。図9は幾何変形処理時とベクトル補正時の歪曲収差補正パラメータを例示し、横軸像高を表し、縦軸歪曲収差補正量を表す。図9は映像の幾何変形処理時の補正量901を示すグラフ曲線902と、ベクトル補正時の補正量903を示すグラフ曲線904を例示している。図9で示すように、映像の幾何変形処理時の補正量901に対し、ベクトル補正時には符号が反転した補正量903が使用される。

0035

本実施形態では、歪曲収差と射影変換のパラメータについてのみ述べたが、ローリングシャッターによる図形歪みの補正パラメータを幾何変形パラメータに合成してもよい。ただし、その際にも、本線処理である映像の幾何変形処理とは異なるパラメータを設定する必要がある。また、ベクトル検出部104は、ベクトル(Vx,Vy)のみを保持しておき、下記計算式でベクトル起点座標(Vsx,Vsy)およびベクトル終点座標(Vex,Vey)に変換してもよい。(式13)中、画像の左上端枠の開始座標を(Sx,Sy)と記し、テンプレートサイズを(Tx,Ty)と記し、テンプレート間隔を(Dx,Dy)と記す。Nは左端枠を0としたときの水平枠カウント数を示し、Mは上端枠を0としたときの垂直枠カウント数を示す。

0036

次に図13および図14を参照して、ベクトル補正を行わない場合と、ベクトル補正を行う場合における、それぞれの像ブレ補正制御の相違について説明する。図13および図14には垂直同期信号VD1601と、撮像素子の信号読み出しの期間1602を示す。期間1603は動きベクトルの検出期間を示し、期間1605は動きベクトルの演算期間を示す。期間1606は光学的な像ブレ補正制御の期間を示し、期間1607は動きベクトルの読み出しおよび幾何変形パラメータの生成期間を示す。期間1604は幾何変形処理の期間を示す。「OIS」は光学的な像ブレ補正制御が終了する時点を示し、「EIS」は幾何変形パラメータの生成期間1607が終了する時点を示す。期間1608,1702は1フレーム前の画像の幾何変形処理期間を示す。

0037

図13は、ベクトル補正を行わない場合の、ベクトル検出処理、像ブレ補正制御、および幾何変形処理のタイミングを例示する。撮像された画像から検出される動きベクトルの検出期間1603においてCPUの割り込みが発生すると、動きベクトルの読み出しおよび演算が行われる。CPUは、手振れ量を遅れなく算出するために、動きベクトルの検出期間1603にて、例えば、1水平ライン分のベクトル検出枠(図2における204−1,2,3参照)の単位で、ベクトル検出部104から動きベクトル値を読み出す。その際、動きベクトルの補正処理は実施されない。最後の水平ラインの動きベクトル値が読み出されると、期間1605では後述するグローバルモーション(Global Motion:以下ではGMと記す)、つまり画面全体の動きに関する演算処理が実行される。CPUは期間1606中に手振れ量を算出して撮像光学系101の像ブレ補正制御を行う。そしてCPUは期間1607にて、補正されていない動きベクトル値に基づき、幾何変形パラメータの生成を行い、期間1604において幾何変形処理を実行する。

0038

図14は、回路リソースを共有してベクトル補正を行う場合の、ベクトル検出処理、像ブレ補正制御、および幾何変形処理のタイミングを例示する。期間1701はベクトル補正処理の期間を示す。図14では動きベクトルの検出後の期間1701に動きベクトルの補正処理が行われる。そして期間1605では補正済みの動きベクトル値が読み出された後、CPUが期間1606中に手振れ量を算出して撮像光学系101の像ブレ補正制御を行う。その後、期間1607においてCPUは補正済みの動きベクトル値を用いて幾何変形パラメータを生成し、期間1604で幾何変形処理を実行する。動きベクトルの検出期間1603の終了時点から、期間1607の終了時点(または期間1604の開始時点)までの期間は、動きベクトルの補正が可能な期間である。

0039

図14に示す処理では、動きベクトルの検出期間1603が終了しても、映像の幾何変形処理の期間1604が終了しないと座標演算部のリソース解放されない。このため、動きベクトルの補正処理が実施できない(期間1702参照)。従って、ベクトル検出処理が完了し、かつ、幾何変形処理が完了した期間1701にて、動きベクトルの歪み補正処理が実施される。このように、動きベクトルの補正処理が行われることで、図13に示す処理に比べて、動きベクトル値が使用可能となる時間に遅れが発生してしまう。その結果、撮像光学系の制御タイミングの遅延時間が長くなると、光学的な像ブレ補正性能の低下を招く可能性がある。

0040

光学的な像ブレ補正では、撮像光学系の像ブレ補正用部材(シフトレンズ等)のフィードバック制御が早いタイミングで行われないと、位相ずれが生じ、像ブレ補正性能が低下する可能性がある。つまり、動きベクトル値の取得タイミングの遅れが問題となる。一方、画像処理によって行う電子的な像ブレ補正では、動きベクトルの品質が要求される。つまり、歪み補正を行わない動きベクトルを使用したのでは、正しい幾何変形が実現できず、像ブレ補正性能が低下する可能性がある。そこで、本実施形態は、制御目的に応じて其々に最適なベクトルを使用することで、像ブレ補正性能を向上させるための処理を実行する。以下、図5および図6を参照して、本実施形態における像ブレ補正処理について説明する。図5は本実施形態における像ブレ補正制御の流れを説明するフローチャートである。図6は本実施形態における像ブレ補正制御のタイミングチャートを示す。図6には垂直同期信号VD601と、各期間602〜609を示す。

0041

・撮像素子の信号読み出し期間602。
・動きベクトルの検出期間603。
・動きベクトルの読み出し期間604。
・動きベクトル(GM)の演算期間604−2。
・光学的な像ブレ補正制御の期間605。
・ベクトル補正処理の期間606。
・動きベクトルの読み出しおよび幾何変形パラメータの生成期間607。
・幾何変形処理の期間608。
・1フレーム前の画像の幾何変形処理期間609。
「OIS」は光学的な像ブレ補正制御の期間605が終了する時点を示し、「EIS」は幾何変形パラメータの生成期間607が終了する時点を示す。

0042

図5のS501では、垂直同期信号VD(601)のタイミングに合わせて,撮像素子102より、映像信号が入力される(期間602)。ベクトル検出部104は、撮像素子102より、検出枠の映像信号が入力されるタイミングで、ベクトル検出処理を開始する。S502でベクトル検出部104は、所定数のベクトル検出が完了すると、完了通知割り込み信号をシステム制御部106に出力する。本実施形態では、水平方向の1ライン分の検出枠(図2:203−1,2,3参照)におけるベクトル検出処理が完了した時点で割り込み信号がシステム制御部106へ伝達される。ただし、このような仕様に限らず、1つの検出枠のベクトル検出処理が完了する度に、ベクトル検出部104が割り込み信号をシステム制御部106に伝達してもよい。あるいは、水平方向にて複数のライン分、つまり複数行の検出枠ごとに、または垂直方向での複数列の検出枠ごとにベクトル検出処理が完了した時点でベクトル検出部104がシステム制御部106に割り込み信号を伝達する仕様でもよい。

0043

S503でシステム制御部106は、ベクトル検出部104からの割り込み信号をクリアする。S504でシステム制御部106は、ベクトル検出部104から動きベクトル値を取得する(期間604)。システム制御部106は、像ブレ補正制御のためのGMの算出用演算を適宜に行う。本実施形態におけるGMの算出処理では、X方向とY方向の其々について、図7に例示するヒストグラムが算出される。以下、GM算出処理を説明する。

0044

図7の横軸は動きベクトル値を表し、縦軸は度数を表す。検出枠の全てのベクトル値でヒストグラム701が算出されると、そのうちの最頻値702を示す動きベクトル値がGM値として決定される。システム制御部106は動きベクトル値を取得すると、そのベクトル値に応じた階数(度数)をカウントして、ヒストグラムを適宜に更新していく。撮像光学系101の駆動制御に対するフィードバックが遅くなった場合には、期待される像ブレ補正の制御タイミングに対して位相がずれていくため、像ブレ補正性能が低下する可能性がある。そこで本実施形態では、水平方向の1ライン分の検出が完了する度に、GM値を算出するためのヒストグラム処理が実行される。これにより、像ブレ補正の性能低下が抑制される。

0045

S505でシステム制御部106は、全ての動きベクトルの読み出しが完了したか否かを判断する。読み出しが完了してない場合、S501〜S504の処理が繰り返される。S505で全ての動きベクトルが読み出されたことが判断された場合、S506とS509へそれぞれ移行する並行処理が実行される。つまり、S506へ移行する第1の制御処理と、S509へ移行する第2の制御処理とが並列して行われる。

0046

第1の制御処理では、先ず、S506にてX方向とY方向の其々のGM値の算出処理が行われる(期間604−2)。つまり、S505にて全てのベクトル値の読み出しが完了しているので、この時点でヒストグラムが完成している。システム制御部106はヒストグラムの最頻値を示す動きベクトル値からGM値を算出する。S507でシステム制御部106は、S506で算出されたGM値より、既知の方法で撮像光学系101の像ブレ補正のための駆動量を算出する(期間605)。S508では、S507で算出された駆動量に基づいて撮像光学系の像ブレ補正制御が行われる。

0047

また、第2の制御処理では、S505からS509に移行してシステム制御部106は映像の幾何変形処理が完了したか否かを判断する。幾何変形処理が完了している場合にはS510へ進むが、幾何変形部105による、映像に対する幾何変形処理が完了するまでの間、待機状態となる。動きベクトル値が求められた時点で、既に幾何変形処理が終了していた場合には、S509からS510へ移行する。

0048

S510でシステム制御部106は、前述したベクトル補正処理を実行する。ベクトル補正処理は一括で行われる(期間606)。S511では、補正されたベクトルを一括で読み出す処理が行われる。システム制御部106は補正後のベクトルを用いて映像に対する幾何変形パラメータを算出し、算出した幾何変形パラメータを幾何変形部105に設定する。(期間607)。S512で幾何変形部105は、算出された幾何変形パラメータにしたがって映像の幾何変形処理を行う(期間608)。こうして画像処理による電子的な像ブレ補正が実施される。

0049

以上のように本実施形態では、像ブレ補正部を有する撮像光学系と、座標演算を行う幾何変形部が設けられており、補正前の動きベクトルと補正後の動きベクトルを使い分けている。すなわち、撮像光学系101での像ブレ補正制御のための駆動量の算出時には、より早いタイミングで取得可能な、補正前のベクトルが使用される。光学的な像ブレ補正制御(第1の制御)では、動きベクトル値の取得タイミングに遅れが発生しないように、座標演算が行われていない動きベクトルが使用される。一方、幾何変形部の回路リソースを共有して行われる演算処理での電子的な像ブレ補正制御(第2の制御)では、動きベクトルの品質が要求されるため、補正後の動きベクトルが使用される。幾何変形部105が行う像ブレ補正制御のための幾何変形量の算出時には、精度の高い補正後のベクトルが使用される。これにより、像ブレ補正された高品質の映像を生成できる。

0050

また本実施形態では、幾何変形部105が使用する幾何変形パラメータは、補正されたベクトルを用いて生成する構成であるが、遅延なく映像を表示させる場合には補正前のベクトルを使用すればよい。例えば、撮影時の映像を逐次に表示してユーザに提示するライブビュー映像表示等の場合、表示の遅延時間をできるだけ短くすることが要請される。このような場合には歪み補正前のベクトルを使用することで、歪み補正後のベクトルを使用して幾何変更処理を行う場合よりも高速に制御することができる。その場合、図13で示す制御タイミングチャートとなる。

0051

本実施形態によれば、座標演算が行われていない動きベクトルを用いて迅速に行われる像ブレ補正と、座標演算が行われた動きベクトルを用いて行われる、より正確な像ブレ補正を、並行処理によって実現できる。なお、装置の仕様によっては、図5のS506へ移行する第1の制御処理と、図5のS509へ移行する第2の制御処理とが並列処理ではなく、撮影条件撮影状態等の各種条件に応じて第1の制御処理と第2の制御を切り替える制御が行われてもよい。このような制御の変更については後述の実施形態でも同じである。

0052

[第2実施形態]
次に本発明の第2実施形態を説明する。
図10は、本実施形態に係る像ブレ補正装置を搭載した、実施例2としての撮像装置の構成例を示すブロック図である。本実施形態において第1実施形態の場合と同様の構成については既に使用した符号を用いることでそれらの詳細な説明を省略し、相違点を中心に説明する。尚、図10では表示部107と記録部108の図示を省略する。

0053

本実施形態の撮像装置では、撮像光学系101の像ブレ補正駆動を利用した画角制御処理と、画像合成部1008を用いた2フレームの画像合成処理が追加されている。メモリ1007は、幾何変形部105が生成した幾何変形処理後の画像データを記憶する。画像合成部1008は、メモリ1007に記憶された第1のフレームの画像データと、幾何変形部105より出力される第2のフレームの画像データを取得し、既知の方法で画像合成処理を行い、1枚の画像のデータを生成する。システム制御部1006は、撮像光学系101の像ブレ補正および画角制御処理のためのレンズ駆動制御を行う。

0054

以下に撮像光学系101の画角制御処理を説明する。画角制御処理の目的は、被写体が撮像光学系101の画角内に収まるように、撮像光学系101を構成する像ブレ補正用の光学部材(シフトレンズ等の補正レンズ)を駆動させることである。図11を参照して、ベクトル検出部104を用いた画角制御の具体例を説明する。

0055

図11は、連続したフレームの画像例として、1フレーム目の画像を図11(A)に示し、2フレーム目の画像を図11(B)に示す。図11は、ユーザによりカメラのパンニング動作が行われたことで、画角内の被写体像1101が水平方向に移動している場合を例示している。ベクトル検出枠1102については、像ブレ補正処理を目的としたベクトル検出処理と同様に、固定位置に配置されるか、あるいは、既知の被写体検出処理によって検出された被写体に合わせて、専用のベクトル検出枠が配置される。本実施形態では、検出された被写体に応じて、被写体追跡専用にベクトル検出枠を配置する構成例を説明する。動きベクトルの検出方法については、第1実施形態の場合と同様である。

0056

図11(C)は、図11(A)から図11(B)への変化における、被写体像の移動方向と移動量をベクトルで示している。図11(D)は、画角制御によって被写体像が図11(A)に相当する画角に収まった状態での画像を示している。システム制御部1006は、図11(C)にて求めたカメラ移動量の符号を反転させ、反転値に相当する像ブレ補正の駆動量を算出して、撮像光学系101に対して設定する。補正レンズの駆動制御により画角制御処理が行われる。画角制御処理では、撮像光学系101の駆動制御に関して早いフィードバックが求められる。動きベクトルの取得タイミングが遅れると、位相がずれてしまい、被写体が撮像光学系101の画角内に収まりにくくなる。従って、システム制御部1006は、ベクトル補正前の動きベクトル値をベクトル検出部104から取得する。これにより、撮像光学系101での補正レンズの駆動において早いタイミングでフィードバック制御を実現できる。

0057

次に本実施形態における画像合成処理について説明する。
図10の画像合成部1008は、幾何変形後の画像信号に対し、動きベクトルを用いた既知の方法で、位置合わせをして画像合成を行う。このため、位置合わせに使用する動きベクトルとして、補正後のベクトルが使用される。画像合成後の画像データは表示部107、記録部108に出力される。本実施形態における補正後のベクトルの生成タイミングについては、第1実施形態の場合と同様であるため、その説明を省略する。

0058

本実施形態では、画角制御処理のために行われる撮像光学系101の補正レンズの駆動量を算出するときには、より早いタイミングで取得可能な補正前のベクトルを使用する。また、画像合成処理での幾何変形量の算出時や位置合わせパラメータの算出時には、精度の高い補正後のベクトルを使用することで、高品質な映像を生成できる。
本発明は、撮像された画像から被写体像を検出する被写体検出部を備え、検出した被写体像を追跡しながら画角調節を行う機能を有する撮像装置に適用することができる。この場合、システム制御部は被写体追跡用にベクトル検出枠を配置して被写体像に係る動きベクトルの検出処理を実行し、撮像光学系101の画角調節用のレンズ(シフトレンズ等)の駆動制御によって画角調節を行う。被写体追跡の遅れ時間を低減させるため、撮像光学系101の画角調節用のレンズの駆動量を算出する際にシステム制御部は、より早いタイミングで取得可能な補正前のベクトル(座標演算が行われていない動きベクトル)を使用する。

0059

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0060

101撮像光学系
102撮像素子
104ベクトル検出部
105幾何変形部
105−2座標演算部
106,1006システム制御部
1008画像合成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社トヨタシステムズの「 動体検出装置」が 公開されました。( 2019/09/19)

    【課題】 カメラ視野が変化している場合であってもそのカメラによって撮影された画像上の動体が映る領域を特定することが可能であり且つその動体の画像上の移動に伴う動体周辺の領域が変化している場合であっても... 詳細

  • 新菱冷熱工業株式会社の「 計測機配置位置決定装置、計測機配置位置決定方法およびプログラム」が 公開されました。( 2019/09/19)

    【課題】計測機配置位置を決定する処理時間を短くし、また、広い範囲の計測が可能な、より少ない個数の計測機配置位置を決定する。【解決手段】計測機配置位置決定装置は、SfMにより生成された被計測物等のベース... 詳細

  • 株式会社マーケットヴィジョンの「 画像認識システム」が 公開されました。( 2019/09/19)

    【課題】 画像情報に写っている商品などの対象物の識別情報の特定を精度よく行うための画像認識システムを提供することを目的とする。【解決手段】 商品を陳列した陳列棚を複数の角度から撮影した画像情報... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ