図面 (/)

技術 手ぶれ検出装置

出願人 三洋電機株式会社
発明者 畑中晴雄福本晋平
出願日 2005年9月22日 (14年9ヶ月経過) 出願番号 2005-275281
公開日 2007年4月5日 (13年2ヶ月経過) 公開番号 2007-088829
状態 特許登録済
技術分野 スタジオ装置 スタジオ装置
主要キーワード 全電子式 関数変換処理 オフセット値算出 フイルタ処理 劣化過程 データ標準 一般逆行列 各角速度センサ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2007年4月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

この発明は、高精度の手ぶれ信号が得られる手ぶれ検出装置を提供することを目的とする。

解決手段

撮像装置の手ぶれを検出する手ぶれセンサ出力信号に基づいて、撮像装置の手ぶれを検出するための手ぶれ検出装置において、手ぶれセンサの出力信号から低周波成分を除去するハイパスフィルタ演算手段、ハイパスフィルタ演算手段の出力信号に対して、当該ハイパスフィルタの逆伝達関数フィルタ演算を行なう逆ハイパスフィルタ演算手段、逆ハイパスフィルタ演算手段の出力データに基づいて、オフセット値を算出するオフセット値演算手段、ならびに逆ハイパスフィルタ演算手段の出力データから、オフセット値演算手段によって算出されたオフセット値を減算するオフセット値減算手段を備えている。

概要

背景

静止画ぶれ補正技術は、写真撮影静止画撮影)における手ぶれを軽減する技術であり、手ぶれを検出して、その検出結果に基づいて画像を安定化することで実現される。

手ぶれを検出する方法には、手ぶれセンサ角速度センサ)を用いる方法と、画像を解析して検出する電子式とがある。画像を安定化させる方法には、レンズ撮像素子を安定化させる光学式と、画像処理により手ぶれによるぼけを除去する電子式とがある。

一方、完全電子式の手ぶれ補正技術、すなわち、撮影された一枚の手ぶれ画像だけを解析・処理することで、手ぶれの除去された画像を生成する技術は、実用レベルに達していない。特に、手ぶれセンサで得られる精度の手ぶれ信号を、一枚の手ぶれ画像を解析することによって求めることは困難である。

したがって、手ぶれセンサを用いて手ぶれを検出し、その手ぶれデータを用いて画像処理により手ぶれぼけを除去することが現実的である。画像処理によるぼけの除去を画像復元と呼ぶ。また、手ぶれセンサと画像復元による手法を、ここでは電子式手ぶれ補正と呼ぶことにする。

従来から、ビデオカメラデジタルスチルカメラなどの手ぶれを検出する装置として、角速度センサや加速度センサが利用されている。機器の小型化のために、これらの手ぶれ検出装置も小型化が進んでいる。しかしながら、手ぶれ検出装置の検出部を小型化した場合、使用環境温度変化素子自体の使用による温度上昇などにより、出力信号ドリフトオフセット成分が加わり、その出力精度が低下する。特に、小型化を図るために、検出部を圧電素子で構成したものが提案されているが、温度変化による形状の変化に加え、静電容量の変化によって、その出力信号に大きなドリフトが発生する。

そこで、このドリフト成分を除去する技術が、特開昭60−143330号公報によって提案されている。これは、角速度センサの出力信号にハイパスフィルタHPF)を適用することで、手ぶれ成分に比べて周波数が低いドリフト成分のみを効果的に除去するものである。しかしながら、HPFのカットオフ周波数を大きくすると、手ぶれ成分まで除去されるという問題がある。また、HPFのカットオフ周波数を小さくすると、時定数が大きくなり、手ぶれの残留成分クリアするために長時間の安定期間を要するので、撮影前に長時間の静止状態が必要となるという問題がある。

そこで、HPFのカットオフ周波数に起因する問題への対策が、特開昭63−50729号公報、特開平7−301836号公報、特開平4−68322号公報、特開平7−20521号公報によって提案されている。

特開昭63−50729号公報では、時定数が異なる複数のHPFを設け、時定数の小さなHPFから時定数の大きなHPFに切り換えることで、手ぶれの残留成分の収束時間を短縮させる技術が提案されている。しかしながら、この技術では、HPFの切り替え時にオフセット成分(DC成分)が含まれてしまう。

特開平7−301836号公報では、手ぶれ信号の大きさによってHPFの時定数を変更することで、大きな手ぶれ残留成分をクリアする時間を短縮させる技術が提案されている。しかしながら、この技術では、HPFの時定数を変更する時に、測定困難なオフセット成分(DC成分)が含まれてしまう。

特開平4−68322号公報では、センサの出力が安定するまで、警告を出したり、レリーズ禁止したりする技術が提案されているが、シャッターチャンスを逃がす可能性がある。

特開平7−20521号公報では、HPFの入力信号が0の時にHPFを初期化することで、オフセット成分を含まず、残留成分を一瞬でクリアする技術が提案されている。しかしながら、この技術では、大きな残留成分発生後にHPFの入力信号が0にならない場合、残留成分を除去できない。
特開昭60−143330号公報
特開昭63−50729号公報
特開平7−301836号公報
特開平4−68322号公報
特開平7−20521号公報

概要

この発明は、高精度の手ぶれ信号が得られる手ぶれ検出装置を提供することを目的とする。撮像装置の手ぶれを検出する手ぶれセンサの出力信号に基づいて、撮像装置の手ぶれを検出するための手ぶれ検出装置において、手ぶれセンサの出力信号から低周波成分を除去するハイパスフィルタ演算手段、ハイパスフィルタ演算手段の出力信号に対して、当該ハイパスフィルタの逆伝達関数フィルタ演算を行なう逆ハイパスフィルタ演算手段、逆ハイパスフィルタ演算手段の出力データに基づいて、オフセット値を算出するオフセット値演算手段、ならびに逆ハイパスフィルタ演算手段の出力データから、オフセット値演算手段によって算出されたオフセット値を減算するオフセット値減算手段を備えている。

目的

この発明は、高精度の手ぶれ信号が得られる手ぶれ検出装置を提供することを目的とする。

効果

実績

技術文献被引用数
2件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像装置の手ぶれを検出する手ぶれセンサ出力信号に基づいて、撮像装置の手ぶれを検出するための手ぶれ検出装置において、手ぶれセンサの出力信号から低周波成分を除去するハイパスフィルタ演算手段、ハイパスフィルタ演算手段の出力信号に対して、当該ハイパスフィルタの逆伝達関数フィルタ演算を行なう逆ハイパスフィルタ演算手段、逆ハイパスフィルタ演算手段の出力データに基づいて、オフセット値を算出するオフセット値演算手段、ならびに逆ハイパスフィルタ演算手段の出力データから、オフセット値演算手段によって算出されたオフセット値を減算するオフセット値減算手段、を備えていることを特徴とする手ぶれ検出装置。

請求項2

オフセット値演算手段は、撮像装置による露光開始前の所定期間内における逆ハイパスフィルタ演算手段の出力データの平均値を算出し、算出された平均値をオフセット値とするものであることを特徴とする請求項1に記載の手ぶれ検出装置。

請求項3

オフセット値演算手段は、撮像装置による露光開始前後を含む所定期間内における逆ハイパスフィルタ演算手段の出力データの平均値を算出し、算出された平均値をオフセット値とするものであることを特徴とする請求項1に記載の手ぶれ検出装置。

請求項4

オフセット値演算手段は、撮像装置による露光開始前の所定期間内における逆ハイパスフィルタ演算手段の出力データのうち、それらの平均値を中心とする所定範囲内の出力データのみをオフセット値算出用の対象データとし、オフセット値算出用の対象データの平均値を算出し、算出された平均値をオフセット値とするものであることを特徴とする請求項1に記載の手ぶれ検出装置。

請求項5

オフセット値演算手段は、撮像装置による露光開始前後を含む所定期間内における逆ハイパスフィルタ演算手段の出力データのうち、それらの平均値を中心とする所定範囲内の出力データのみをオフセット値算出用の対象データとし、オフセット値算出用の対象データの平均値を算出し、算出された平均値をオフセット値とするものであることを特徴とする請求項1に記載の手ぶれ検出装置。

技術分野

0001

この発明は、手ぶれ検出装置に関する。

背景技術

0002

静止画手ぶれ補正技術は、写真撮影静止画撮影)における手ぶれを軽減する技術であり、手ぶれを検出して、その検出結果に基づいて画像を安定化することで実現される。

0003

手ぶれを検出する方法には、手ぶれセンサ角速度センサ)を用いる方法と、画像を解析して検出する電子式とがある。画像を安定化させる方法には、レンズ撮像素子を安定化させる光学式と、画像処理により手ぶれによるぼけを除去する電子式とがある。

0004

一方、完全電子式の手ぶれ補正技術、すなわち、撮影された一枚の手ぶれ画像だけを解析・処理することで、手ぶれの除去された画像を生成する技術は、実用レベルに達していない。特に、手ぶれセンサで得られる精度の手ぶれ信号を、一枚の手ぶれ画像を解析することによって求めることは困難である。

0005

したがって、手ぶれセンサを用いて手ぶれを検出し、その手ぶれデータを用いて画像処理により手ぶれぼけを除去することが現実的である。画像処理によるぼけの除去を画像復元と呼ぶ。また、手ぶれセンサと画像復元による手法を、ここでは電子式手ぶれ補正と呼ぶことにする。

0006

従来から、ビデオカメラデジタルスチルカメラなどの手ぶれを検出する装置として、角速度センサや加速度センサが利用されている。機器の小型化のために、これらの手ぶれ検出装置も小型化が進んでいる。しかしながら、手ぶれ検出装置の検出部を小型化した場合、使用環境温度変化素子自体の使用による温度上昇などにより、出力信号ドリフトオフセット成分が加わり、その出力精度が低下する。特に、小型化を図るために、検出部を圧電素子で構成したものが提案されているが、温度変化による形状の変化に加え、静電容量の変化によって、その出力信号に大きなドリフトが発生する。

0007

そこで、このドリフト成分を除去する技術が、特開昭60−143330号公報によって提案されている。これは、角速度センサの出力信号にハイパスフィルタHPF)を適用することで、手ぶれ成分に比べて周波数が低いドリフト成分のみを効果的に除去するものである。しかしながら、HPFのカットオフ周波数を大きくすると、手ぶれ成分まで除去されるという問題がある。また、HPFのカットオフ周波数を小さくすると、時定数が大きくなり、手ぶれの残留成分クリアするために長時間の安定期間を要するので、撮影前に長時間の静止状態が必要となるという問題がある。

0008

そこで、HPFのカットオフ周波数に起因する問題への対策が、特開昭63−50729号公報、特開平7−301836号公報、特開平4−68322号公報、特開平7−20521号公報によって提案されている。

0009

特開昭63−50729号公報では、時定数が異なる複数のHPFを設け、時定数の小さなHPFから時定数の大きなHPFに切り換えることで、手ぶれの残留成分の収束時間を短縮させる技術が提案されている。しかしながら、この技術では、HPFの切り替え時にオフセット成分(DC成分)が含まれてしまう。

0010

特開平7−301836号公報では、手ぶれ信号の大きさによってHPFの時定数を変更することで、大きな手ぶれ残留成分をクリアする時間を短縮させる技術が提案されている。しかしながら、この技術では、HPFの時定数を変更する時に、測定困難なオフセット成分(DC成分)が含まれてしまう。

0011

特開平4−68322号公報では、センサの出力が安定するまで、警告を出したり、レリーズ禁止したりする技術が提案されているが、シャッターチャンスを逃がす可能性がある。

0012

特開平7−20521号公報では、HPFの入力信号が0の時にHPFを初期化することで、オフセット成分を含まず、残留成分を一瞬でクリアする技術が提案されている。しかしながら、この技術では、大きな残留成分発生後にHPFの入力信号が0にならない場合、残留成分を除去できない。
特開昭60−143330号公報
特開昭63−50729号公報
特開平7−301836号公報
特開平4−68322号公報
特開平7−20521号公報

発明が解決しようとする課題

0013

この発明は、高精度の手ぶれ信号が得られる手ぶれ検出装置を提供することを目的とする。

課題を解決するための手段

0014

請求項1に記載の発明は、撮像装置の手ぶれを検出する手ぶれセンサの出力信号に基づいて、撮像装置の手ぶれを検出するための手ぶれ検出装置において、手ぶれセンサの出力信号から低周波成分を除去するハイパスフィルタ演算手段、ハイパスフィルタ演算手段の出力信号に対して、当該ハイパスフィルタの逆伝達関数フィルタ演算を行なう逆ハイパスフィルタ演算手段、逆ハイパスフィルタ演算手段の出力データに基づいて、オフセット値を算出するオフセット値演算手段、ならびに逆ハイパスフィルタ演算手段の出力データから、オフセット値演算手段によって算出されたオフセット値を減算するオフセット値減算手段を備えていることを特徴とする。

0015

請求項2に記載の発明は、請求項1に記載の発明において、オフセット値演算手段は、撮像装置による露光開始前の所定期間内における逆ハイパスフィルタ演算手段の出力データの平均値を算出し、算出された平均値をオフセット値とするものであることを特徴とする。

0016

請求項3に記載の発明は、請求項1に記載の発明において、オフセット値演算手段は、撮像装置による露光開始前後を含む所定期間内における逆ハイパスフィルタ演算手段の出力データの平均値を算出し、算出された平均値をオフセット値とするものであることを特徴とする。

0017

請求項4に記載の発明は、請求項1に記載の発明において、オフセット値演算手段は、撮像装置による露光開始前の所定期間内における逆ハイパスフィルタ演算手段の出力データのうち、それらの平均値を中心とする所定範囲内の出力データのみをオフセット値算出用の対象データとし、オフセット値算出用の対象データの平均値を算出し、算出された平均値をオフセット値とするものであることを特徴とする。

0018

請求項5に記載の発明は、請求項1に記載の発明において、オフセット値演算手段は、撮像装置による露光開始前後を含む所定期間内における逆ハイパスフィルタ演算手段の出力データのうち、それらの平均値を中心とする所定範囲内の出力データのみをオフセット値算出用の対象データとし、オフセット値算出用の対象データの平均値を算出し、算出された平均値をオフセット値とするものであることを特徴とする。

発明の効果

0019

この発明によれば、高精度の手ぶれ信号が得られるようになる。

発明を実施するための最良の形態

0020

以下、図面を参照して、この発明をデジタルカメラに適用した場合の実施例について説明する。

0021

〔1〕手ぶれ補正処理回路の構成
図1は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。

0022

手ぶれ補正処理回路は、手ぶれ検出部1、画像復元フィルタ計算部2、画像復元処理部3およびリンギング除去処理部4を備えている。

0023

手ぶれ検出部1は、デジタルカメラの手ぶれを検出する。画像復元フィルタ計算部2は、手ぶれ検出部1によって検出された手ぶれ信号に基づいて、画像復元フィルタの係数を算出する。画像復元処理部3は、画像復元フィルタ計算部2によって算出された係数に基づいて、撮像画像(手ぶれ画像)に対して画像復元処理を行う。リンギング除去処理部4は、画像復元処理部3によって得られた復元画像からリンギングを除去する。

0024

以下、手ぶれ検出部1、画像復元フィルタ計算部2、画像復元処理部3およびリンギング除去処理部4について説明する。

0025

〔2〕手ぶれ検出部1の説明
図2は、手ぶれ検出部1の構成を示している。

0026

手ぶれ検出部1は、2つの角速度センサ11a、11b、HPF演算部12a、12b、逆HPF演算部13a、13b、オフセット値演算部14a、14bおよびオフセット値減算部15a、15bおよび手ぶれ信号/動きベクトル変換処理部16を備えている。

0027

一方の角速度センサ11aはカメラパン方向の角速度を、他方の角速度センサ11bはカメラのチルト方向の角速度をそれぞれ検出する。これらの各速度センサ11a、11bは、所定のサンプリング間隔で角速度を計測する。

0028

HPF演算部12a、12bは、各角速度センサ11a、11bの出力信号に含まれているドリフト成分とオフセット成分をHPFによってそれぞれ除去する。逆HPF演算部13a、13bは、HPF演算部12a、12bの出力に対して、HPF演算部12a、12bで用いられるHPFの逆伝達関数の特性のフィルタ処理を施す。

0029

オフセット値演算部14a、14bは、逆HPF演算部13a、13bの出力からオフセット値を算出する。オフセット値減算部15a、15bは、逆HPF演算部13a、13bの出力から、オフセット値演算部14a、14bで算出されたオフセット値を減算する。手ぶれ信号/動きベクトル変換処理部16は、オフセット値減算部15a、15bの出力信号に基づいて、画像面上での見かけ動き量である動きベクトルを生成する。

0030

〔2−1〕HPF演算部12a、12bの説明
角速度センサ11a、11bの出力信号には、使用環境の温度変化や、素子自体の使用による温度上昇などにより、低周波のドリフトやオフセット成分が含まれている。そこで、カットオフ周波数が0.1〜0.3HzのHPFを有するHPF演算部12a、12bにより、角速度センサ11a、11bの出力信号に含まれている低周波のドリフトやオフセット成分を除去する。

0031

図3は、HPF演算部12aの構成例を示している。
角速度センサ11aからは、センサ信号V1と基準電圧V2とが出力される。センサ信号V1は、電圧V2を基準電圧(角速度θ’=0に対応する電圧)として、角速度θ’に応じた値をとる。したがって、(V1−V2)=Vg が角速度θ’に応じた電圧値となる。

0032

信号V1は、コンデンサ101と抵抗102とからなるHPFを介してオペアンプ103の非反転入力端子に送られる。オペアンプ103の反転入力端子には基準電圧V2が送られる。HPFの出力信号をV1’とし、オペアンプ103のアンプ倍率をK〔倍〕とすると、オペアンプ103からは、Va=(V1’−V2)Kの信号が出力される。オペアンプ103の出力信号はA/D変換器104によってデジタル信号に変換され、得られたデジダル信号がHPF演算部12aの出力信号として出力される。なお、HPF演算部12bの構成も、HPF演算部12aの構成と同様であるので、その説明を省略する。

0033

ところで、HPF演算部12a、12bの出力には、数秒前の手ぶれの残留成分が残り、手ぶれの検出精度が低下する場合がある。図4(a)は、HPF演算部12aの出力信号に、手ぶれの残留成分が発生した場合の例を示している。なお、右側の図は、左側の図の露光期間の部分を拡大した図である。図4(a)は、デジタルカメラを回転させた後に静止させ、その後に撮影を行なった場合の、HPF演算部12aの出力信号を示している。デジタルカメラ回転時に大きな負方向の出力が発生する。その後、デジタルカメラが静止状態に遷移したにもかかわらず、正方向の残留成分が出力され続けている。この間に撮影を開始すると、残留成分量の手ぶれが間違って、検出されてしまう。

0034

また、この残留成分が0になるまでの時間は、HPFの時定数が小さい(カットオフ周波数が大きい)ほど小さくなるため、HPFの時定数を小さくすればよいように思われるが、時定数を小さく(カットオフ周波数を大きく)すると、ドリフト成分だけでなく、低周波の手ぶれ成分までもカットされてしまうため、逆に手ぶれの精度が低下してしまう。また、この残留成分を計測しようとしても、時間の経過により値が変化するので、正確な計算は困難である。

0035

そこで、この実施例では、まず、HPF演算部12a、12bの出力に対して、逆HPF演算部13a、13bにより、HPF演算部12a、12bで用いられているHPFの逆伝達関数の特性を持つフィルタ演算を行なう。すると、図4(a)で示す信号は、図4(b)で示す信号に変換され、手ぶれの残留成分は一定オフセットという形で現れる。そこで、オフセット値演算部14a、14bにより、そのオフセット値を算出する。そして、露光期間において、逆HPF演算部13a、13bの出力信号から、オフセット値演算部14a、14bによって算出されたオフセット値を減算する。この減算は、オフセット値減算部15a、15bによって行なわれる。露光期間において逆HPF演算部13a、13bの出力信号からオフセットを除去すると、図4(b)で示す信号は、図4(c)で示す信号に変換される。

0036

〔2−2〕逆HPF演算部13a、13bの説明
逆HPF演算部13a、13bは、対応するHPF演算部12a、12bの出力に対して、HPF演算部12a、12bで用いられているHPFの逆伝達関数の特性を持つフィルタ演算を行なう。

0037

逆HPF演算部13a、13bは、それぞれ、例えば、図5に示すような演算を行なう。図5において、201、204、207は、乗算器である。202、205は、加算器である。203、206は遅延子である。乗算器201、204、207は、それぞれその入力信号に、係数a0、a1、b1を乗算する。逆HPF演算部13a、13bの演算結果は、図示しないメモリ所定期間分保持される。

0038

〔2−3〕オフセット値演算部14a、14bおよびオフセット値減算部15a、15bの説明

0039

オフセット値演算部14aは、逆HPF演算部13aの出力信号に基づいて、オフセット値を算出する。オフセット値減算部15aは、オフセット値演算部14aによって算出されたオフセット値を、露光期間内において、逆HPF演算部13aの出力信号から減算する。

0040

オフセット値演算部14bは、逆HPF演算部13bの出力信号に基づいて、オフセット値を算出する。オフセット値減算部15bは、オフセット値演算部14bによって算出されたオフセット値を、露光期間内において、逆HPF演算部13bの出力信号から減算する。

0041

両オフセット値演算部14a、14bによるオフセット算出処理の内容は同様であるので、オフセット値演算部14aによるオフセット算出処理についてのみ説明する。

0042

図6は、オフセット値演算部14aによるオフセット値算出処理手順を示している。
まず、露光開始前(撮影開始前)のN点(例えば1000点)分の逆HPF演算部13aの出力データを、オフセット値算出用の対象データとする(ステップS1)。

0043

オフセット値算出用の対象データの平均値μ標準偏差σとを算出する(ステップS2)。

0044

次に、標準偏差σが予め設定された閾値TH1より大きいか否かを判別する(ステップS3)。

0045

標準偏差σが閾値TH1より大きい(σ>TH1)場合には、N点分のデータが安定していないと判定し、センサ信号が無効である旨の信号を出力する(ステップS4)。この場合には、撮影映像に対して、手ぶれ補正を行なわない。

0046

標準偏差σが閾値TH1以下(σ≦TH1)場合には、上記ステップS2で算出された平均値μをオフセット値とする(ステップS5)。

0047

なお、撮影時には手ぶれ映像と手ぶれ情報(たとえば、後述する手ぶれ信号/動きベクトル変換処理部16で得られる動きベクトル)とを記憶しておき、撮影後に手ぶれ映像に対して手ぶれ補正を行なう場合には、上記ステップS1において、露光開始前と露光開始後とを含む露光開始前後のN点分の逆HPF演算部13aの出力信号を、オフセット値算出用の対象データとすることが好ましい。

0048

図7は、オフセット値演算部14aによるオフセット値算出処理の他の例の手順を示している。

0049

まず、露光開始前(撮影開始前)のN点(例えば1000点)分の逆HPF演算部13aの出力データを、オフセット値算出用の対象データとする(ステップS11)。

0050

オフセット値算出用の対象データの平均値μと標準偏差σとを算出する(ステップS12)。次に、オフセット値算出用の対象データの中に(μ±σ)の範囲外のデータ(外れ値)があるか否かを判別する(ステップトS13)。外れ値が有る場合には、オフセット値算出用の対象データから外れ値を除外し、残りをオフセット値算出用の対象データとする(ステップS14)。次に、オフセット値算出用の対象データの数がN/2未満であるか否かを判別する(ステップS15)。オフセット値算出用の対象データの数がN/2以上であれば、ステップS12に戻る。

0051

ステップS13において外れ値が無いと判別した場合またはステップS15においてオフセット値算出用の対象データの数がN/2未満であると判別された場合には、ステップS16に進む。ステップS16では、オフセット値算出用の対象データの平均値μと標準偏差σとを算出する。そして、データ標準偏差σが予め設定された閾値TH2より大きいか否かを判別する(ステップS17)。

0052

標準偏差σが閾値TH2より大きい(σ<TH2)場合には、オフセット値算出用の対象データが安定していないと判定し、センサ信号が無効である旨の信号を出力する(ステップS18)。この場合には、撮影映像に対して、手ぶれ補正を行なわない。

0053

標準偏差σが閾値TH2以下(σ≦TH2)場合には、上記ステップS16で算出された平均値μをオフセット値とする(ステップS19)。

0054

撮影時には手ぶれ映像と手ぶれ情報(たとえば、後述する手ぶれ信号/動きベクトル変換処理部16で得られる動きベクトル)とを記憶しておき、撮影後に手ぶれ映像に対して手ぶれ補正を行なう場合には、上記ステップS11において、露光開始前と露光開始後とを含む露光開始前後のN点分の逆HPF演算部13aの出力信号を、オフセット値算出用の対象データとすることが好ましい。

0055

〔2−4〕手ぶれ信号/動きベクトル変換処理部16の説明
手ぶれ信号/動きベクトル変換処理部16は、露光期間内の逆HPF演算部13aの出力信号からオフセット減算部15aによってオフセット値が減算された信号と、露光期間内の逆HPF演算部13bの出力信号からオフセット減算部15bによってオフセット値が減算された信号とに基づいて、画像面上での見かけの動き量である動きベクトルを生成する。

0056

手ぶれの元データは、逆HPF演算部13aの出力信号のうちの撮影開始から撮影終了までの間(露光期間)の出力信号からオフセット減算部15aによってオフセット値が減算された信号(パン方向の角速度データ)と、逆HPF演算部13bの出力信号のうちの撮影開始から撮影終了までの間(露光期間)の出力信号からオフセット減算部15bによってオフセット値が減算された信号(チルト方向の角速度データ)である。角速度センサ11a、11bのサンプリング間隔をdt[sec] とする。dt[sec] は、たとえば、1msecである。

0057

図3において、HPFを構成するコンデンサと抵抗とが省略されていると仮定すると、カメラのパン方向の角速度θ’[deg/sec] は、角速度センサ11aによって電圧Vg =(V1−V2)[mV]に変換された後、オペアンプ103によって増幅される。オペアンプ103から出力される電圧Va [mV] はA/D変換器104によってデジタル値DL [step]に変換される。デジタル値として得られたデータを角速度に変換するには、センサ感度S[mV/deg/sec]、オペアンプ103のアンプ倍率K[ 倍] 、A/D変換係数L[mV/step] を用いて計算する。

0058

角速度センサ11aによって得られる電圧値Vg [mV]は、角速度θ’[deg/sec] の値と比例する。このときの比例定数はセンサ感度であるので、Vg [mV]は、次式(1)で表される。

0059

Vg =Sθ’…(1)

0060

また、オペアンプ103は電圧値Vg を増幅するだけなので、増幅された電圧Va [mV] は、次式(2)で表される。

0061

Va =KVg …(2)

0062

オペアンプ103で増幅された電圧値Va [mV] はA/D変換され、n[step](例えば、−512〜512)のデジタル値DL [step]を使って表現される。A/D変換係数をL[mV/step] とすると、デジタル値DL [step]は、次式(3)で表される。

0063

DL =Va /L…(3)

0064

上記式(1)〜(3)を用いることで、次式(4)に示すように、デジタル値DL [step]から角速度を求めることができる。

0065

θ’=(L/KS)DL …(4)

0066

撮影中の角速度データから、撮影された画像上でどれだけのぶれが生じたかを計算することができる。この画像上でのみかけの動きを動きベクトルと呼ぶ。

0067

角速度データの1つのサンプル値から次のサンプル値までにカメラに生じた回転量をθ[deg] とする。この間、角速度一定でカメラが回転すると仮定し、サンプリング周波数をf =1/dt[Hz]とすると、θ[deg] は次式(5)で表される。

0068

θ=θ’/f=(L/KSf)DL …(5)

0069

図8に示すように、r[mm]を焦点距離(35[mm]フィルム換算)とすると、カメラの回転量θ[deg] から画面上の移動量d[mm]が次式(6)により求められる。

0070

d=rtanθ…(6)

0071

ここで求められた移動量d[mm]は、35[mm]フィルム換算時の手ぶれの大きさで、単位は[mm]である。実際に計算処理するときには、画像の大きさをデジタルカメラの画像の大きさの単位[pixel] で考えなければならない。

0072

35[mm]フィルム換算の画像と、デジタルカメラで撮影した[pixel] 単位の画像は縦横比も異なるので、次のように計算を行う。図9に示すように、35[mm]フィルム換算時は画像サイズの横×縦が36[mm]×24[mm]と決まっている。デジタルカメラで撮影した画像の大きさをX[pixel] ×Y[pixel] とし、水平方向(パン方向)のぶれをx[pixel] 、垂直方向(チルト方向)のぶれをy[pixel] とすると、変換式は次式(7)、(8)となる。

0073

x=dx (X/36)=rtanθx (X/36)…(7)
y=dy (Y/24)=rtanθy (Y/24)…(8)

0074

上記式(7)、(8)には、dとθに添字のxとyが使用されているが、添字xは水平方向の値であることを、添字yは垂直方向の値であることを示している。

0075

上記式(1)〜(8)をまとめると、水平方向(パン方向)のぶれx[pixel] 、垂直方向(チルト方向)のぶれy[pixel] は、次式(9)、(10)で表される。

0076

x=rtan{(L/KSf)DLx}X/36…(9)
y=rtan{(L/KSf)DLy}Y/24…(10)

0077

この変換式(9)、(10)を用いることで、デジタル値として得られたカメラの各軸の角速度データから画像のぶれ量(動きベクトル)を求めることができる。

0078

なお、この実施例では、DLxとして、露光期間内の逆HPF演算部13aの出力信号からオフセット減算部15aによってオフセット値が減算された信号が用いられ、DLyとして露光期間内の逆HPF演算部13bの出力信号からオフセット減算部15bによってオフセット値が減算された信号が用いられる。

0079

撮影中の動きベクトルは、センサから得られた角速度のデータの数だけ(サンプル点の数だけ)得ることができ、それらの始点と終点順番に結んでいくと、画像上での手ぶれの軌跡になる。また、各ベクトルの大きさを見ることで、その時点での手ぶれの速度がわかる。

0080

〔3〕画像復元フィルタ計算部2の説明
画像復元フィルタ計算部2は、手ぶれ検出部1内の手ぶれ信号/動きベクトル変換処理部16(図2参照)によって得られた動きベクトルを、画像のボケを表す手ぶれ関数(PSF:Point Spread Function)に変換する動きベクトル/手ぶれ関数変換処理部21および動きベクトル/手ぶれ関数変換処理部21によって得られた手ぶれ関数を一般逆フィルタ(画像復元フィルタ)に変換する手ぶれ関数/一般逆フィルタ変換処理部22を備えている。

0081

〔3−1〕動きベクトル/手ぶれ関数変換処理部21について
手ぶれを空間フィルタを使って表すことができる。図10の左側の図で示される手ぶれの軌跡(カメラがぶれたときに画像上である一点が描いた軌跡、画像のぶれ量)に合わせて、オペレータの要素に重みを加え空間フィルタ処理を行うと、フィルタリング過程において画素濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになるので、手ぶれ画像を作成することができる。

0082

この軌跡に合わせて重み付けしたオペレータのことをPoint Spread Function(PSF)と呼び、手ぶれの数学モデルとして使用する。PSFの各要素の重みは、その要素を手ぶれ軌跡が通過する時間に比例した値であって、各要素の重みの総和が1になるように正規化された値となる。すなわち、動きベクトルの大きさの逆数に比例した重みとする。手ぶれが画像に与える影響を考えたとき、遅く動いたところの方が画像に大きな影響を与えているからである。

0083

図10の中央の図は、手ぶれの動きが等速であると仮定した場合のPSFを表し、図10の右側の図は、実際の手ぶれの動きの大きさを考慮した場合のPSFを表している。図10の右側の図においては、PSFの重みの低い(動きベクトルの大きさが大きい)要素を黒く表示し、重みの高い(動きベクトルの大きさが小さい)要素を白く表示している。

0084

上記〔2−4〕で得られた動きベクトル(画像のぶれ量)は手ぶれの軌跡と、軌跡の速度をデータとして持つ。

0085

PSFを作成するには、まず、手ぶれの軌跡からPSFの重みをかける要素を決定する。そして、手ぶれの速度からPSFの要素にかける重みを決定する。

0086

上記〔2−4〕で得られた一連の動きベクトルをつなぎ合わせることで折れ線近似された手ぶれの軌跡が得られる。この軌跡は小数点以下の精度を持つが、これを整数化することでPSFにおいて重みをかける要素を決定する。そのために、この実施例では、Bresenham の直線描画アルゴリズムを用いてPSFにおいて重みをかける要素を決定する。Bresenham の直線描画アルゴリズムとは、デジタル画面上で任意の2 点を通る直線を引きたい時に最適なドット位置を選択するアルゴリズムである。

0087

Bresenham の直線描画アルゴリズムを図11の例を用いて説明する。図11において矢印のついた直線は動きベクトルを示している。

0088

(a)ドット位置の原点(0,0)から出発し、動きベクトルの水平方向の要素を1つ増やす。
(b)動きベクトルの垂直方向の位置を確認し、この垂直方向位置が前のドットの垂直方向位置に比べて1より大きくなった場合にはドット位置の垂直方向を1つ増やす。
(c)再び動きベクトルの水平方向の要素を1つ増やす。

0089

このような処理を動きベクトルの終点まで繰り返すことにより、動きベクトルが通る直線をドット位置で表現することができる。

0090

PSFの要素にかける重みは、動きベトクル毎にベクトルの大きさ(速度成分)が異なることを利用して決定する。重みは動きベクトルの大きさの逆数をとり、各動きベクトルに対応する要素に重みを代入する。ただし、各要素の重みの総和が1になるように、各要素の重みを正規化する。図12図11の動きベクトルにより得られるPSFを示す。速度の速いところ(動きベクトルの長いところ)は重みが小さくなり、速度の遅いところ(動きベクトルの短いところ)は重みが大きくなる。

0091

〔3−2〕手ぶれ関数/一般逆フィルタ変換処理部22について
画像は水平方向にNx画素、垂直方向にNy 画素の解像度デジタル化されているものとする。水平方向にi番目、垂直方向にj番目の位置にある画素の値をp(i,j)で表す。空間フィルタによる画像の変換とは、注目画素の近傍画素の畳み込みによって変換をモデル化するものである。畳み込みの係数をh(l,m)とする。ここで、簡単のため、−n<l,m<nとすると、注目画素の変換は次式(11)によって表現することができる。また、h(l,m)自身を空間フィルタと呼んだり、フィルタ係数と呼んだりする。変換の性質はh(l,m)の係数値によって決まる。

0092

0093

デジタルカメラなどの撮像装置で点光源を観察した場合、画像の形成過程劣化がないと仮定すれば、画像上に観察される像は、ある一点だけが0以外の画素値を持ち、それ以外の画素値は0となる。実際の撮像装置は劣化過程を含むので、点光源を観察しても、その像は一点にならず、広がった像になる。手ぶれが発生した場合、点光源は手ぶれに応じた軌跡を画面上に生成する。

0094

点光源に対する観察画像の画素値に比例した値を係数として持ち、係数値の総和が1になる空間フィルタをPoint Spread Function(PSF、点広がり関数)と呼ぶ。この実施例では、PSFとして動きベクトル/手ぶれ関数変換処理部21によって得られたPSFを用いる。

0095

PSFを縦横(2n+1)×(2n+1)の空間フィルタh(l,m)、−n<l,m<nでモデル化するとき、各画素について、ボケの無い画像の画素値p(i,j)とボケのある画像の画素値p’(i,j)とは、上記式(11)の関係になる。ここで、実際に観察できるのは、ボケた画像の画素値p’(i,j)であり、ボケの無い画像の画素値p(i,j)は何らかの方法で計算する必要がある。

0096

上記式(11)を全ての画素について書き並べると、次式(12)に示すようになる。

0097

0098

これらの式をまとめて行列表現することが可能であり、次式(13)となる。ここで、Pは元画像ラスター走査順に一元化したものである。

0099

P’=H×P …(13)

0100

Hの逆行列H-1が存在すれば、P=H-1×Pを計算することによって、劣化した画像P’から劣化の無い画像Pを求めることが可能であるが、一般にはHの逆行列は存在しない。逆行列が存在しない行列に対して、一般逆行列ないしは擬似逆行列と呼ばれるものが存在する。次式(14)に一般逆行列の例を示す。

0101

H* =(Ht・H+γ・I)-1・Ht …(14)

0102

ここでH* はHの一般逆行列、HtはHの転置行列、γはスカラー、IはHt ・Hと同じサイズの単位行列である。H* を用いて次式(15)を計算することで、観察された手ぶれ画像P’から手ぶれが補正された画像Pを得ることができる。γは補正の強さを調整するパラメータである。γが小さければ強い補正処理となり、γが大きければ弱い補正処理となる。

0103

P’=H* ×P …(15)

0104

画像サイズを640×480とした場合、上記式(15)のPは307,200×1の行列、H* は307,200×307,200の行列となる。このような非常に大きな行列となるため、上記式(14)、(15)を直接用いることは実用的ではない。そこで、次のような方法で計算に用いる行列のサイズを小さくする。

0105

まず、上記式(15)において、Pの元になる画像のサイズを63×63など、比較的小さなサイズにする。63×63の画像であれば、Pは3969×1の行列、H* は3969×3969の行列となる。H* はボケ画像全体を補正された画像全体に変換する行列であり、H* の各行とPとの積は各画素の補正を行う演算に相当する。H* の真ん中の行とPとの積は、63×63画素の元画像の、真ん中の画素に対する補正に該当する。Pは元画像をラスター走査順に一元化したものであったから、逆に、H* の真ん中の行を逆ラスター走査により2次元化することで、63×63のサイズの空間フィルタを構成することができる。このように構成した空間フィルタを一般逆フィルタ(以下、画像復元フィルタという)と呼ぶ。

0106

このようにして作成した実用的なサイズの空間フィルタを、大きな画像全体の各画素に順次適用することで、ボケ画像を補正することが可能となる。

0107

〔4〕画像復元処理部3について
画像復元処理部3は、図1に示すように、フイルタ処理部31、32を備えている。フイルタ処理部31はメディアンフィルタを用いてフィルタ処理を行う。フイルタ処理部32は、画像復元フィルタ計算部2によって得られた画像復元フィルタを用いてフィルタ処理を行う。フイルタ処理部32としては、例えば、2次元FIRフィルタによって構成される。

0108

カメラによって撮影された手ぶれ画像は、フィルタ処理部31に送られ、メディアンフィルタを用いたフィルタ処理が行われ、ノイズが除去される。フィルタ処理部31によって得られた画像は、フィルタ処理部32に送られる。フィルタ処理部32では、画像復元フィルタを用いたフィルタ処理が行われ、手ぶれ画像から手ぶれのない画像が復元される。

0109

〔5〕リンギング除去処理部4についての説明
リンギング除去処理部4は、図1に示すように、エッジ強度算出部41、加重平均係数算出部42および加重平均処理部43を備えている。

0110

カメラによって撮影された手ぶれ画像は、エッジ強度算出部41に送られ、各画素毎にエッジ強度が算出される。エッジ強度の求め方について説明する。

0111

図13に示すように、注目画素v22を中心とする3×3の領域を想定する。注目画素v22に対して、水平エッジ成分dhと垂直エッジ成分dvを算出する。エッジ成分の算出には、例えば、図14に示すPrewitt のエッジ抽出オペレータを用いる。図14(a)は水平エッジ抽出オペレータを示し、図14(b)は垂直エッジ抽出オペレータを示している。

0112

水平エッジ成分dhおよび垂直エッジ成分dvは、次式(16)、(17)によって求められる。

0113

dh=v11 +v12 +v13 −v31 −v32 −v33 …(16)
dv=v11 +v21 +v31 −v13 −v23 −v33 …(17)

0114

次に、水平エッジ成分dhおよび垂直エッジ成分dvから、注目画素v22のエッジ強度v _edgeを次式(18)に基づいて算出する。

0115

v _edge=sqrt(dh ×dh+dv×dv) …(18)

0116

なお、注目画素v22のエッジ強度v _edgeとして、abs(dh) +abs(dv) を用いてもよい。また、このようにして得られたエッジ強度画像に対してさらに3×3のノイズ除去フィルタをかけてもよい。

0117

エッジ強度算出部41によって算出された各画素のエッジ強度v _edgeは、加重平均係数算出部42に与えられる。加重平均係数算出部42は、次式(19)に基づいて、各画素の加重平均係数kを算出する。

0118

If v _edge> th then k=1
If v _edge≦ th then k=v _edge/th …(19)

0119

th は十分に強いエッジであることを判定するための閾値である。つまり、v _edgeと加重平均係数kとの関係は、図15に示すような関係となる。

0120

加重平均係数算出部42によって算出された各画素の加重平均係数kは、加重平均処理部43に与えられる。画像復元処理部3によって得られた復元画像の画素値をv _fukugen とし、カメラによって撮像された手ぶれ画像の画素値をv _tebre とすると、加重平均処理部43は、次式(20)で表される計算を行うことにより、復元画像の画素値v _fukugen と手ぶれ画像の画素値v _tebre とを加重平均する。

0121

v =k ×v _fukugen +(1−k)×v _tebre …(20)

0122

つまり、エッジ強度v _edgeが閾値thより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部3によって得られた復元画像の画素値v _fukugen がそのまま出力される。エッジ強度v _edgeが閾値th以下の画素については、エッジ強度v _edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。

図面の簡単な説明

0123

デジタルカメラに設けられた手ぶれ補正処理回路の構成を示すブロック図である。
手ぶれ検出部1の構成を示すブロック図である。
HPF演算部12aの構成例を示す電気回路図である。
図4(a)はHPF演算部12aの出力信号を示し、図4(b)はHPF演算部13aの出力信号を示し、図4(c)は露光期間においてHPF演算部13aの出力信号からオフセット値演算部14aによって算出されたオフセット値を減算した結果を示している。
逆HPF演算部13a、13bの構成を示す機能ブロック図である。
オフセット値演算部14aによるオフセット値算出処理手順を示すフローチャートである。
オフセット値演算部14aによるオフセット値算出処理の他の例の手順を示すフローチャートである。
カメラの回転量θ[deg] と画面上の移動量d[mm]との関係を示す模式図である。
35[mm]フィルム換算の画像サイズと、デジタルカメラの画像サイズとを示す模式図である。
手ぶれを表現する空間フィルタ(PSF)を示す模式図である。
Bresenham の直線描画アルゴリズムを説明するための模式図である。
図11の動きベクトルにより得られるPSFを示す模式図である。
注目画素v22を中心とする3×3の領域を示す模式図である。
Prewitt のエッジ抽出オペレータを示す模式図である。
エッジ強度v _edgeと加重平均係数kとの関係を示すグラフである。

符号の説明

0124

1 手ぶれ検出部
2画像復元フィルタ計算部
3画像復元処理部
4リンギング除去処理部
11a、11b角速度センサ
12a、12bHPF演算部
13a、13b 逆HPF演算部
14a、14bオフセット値演算部
15a、15b オフセット値減算部
16 手ぶれ信号/動きベクトル変換処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • キヤノン株式会社の「 制御装置、撮像装置、制御方法、および、プログラム」が 公開されました。( 2020/04/30)

    【課題】フォーカス制御と撮像面の傾き制御とを短時間で実行可能な制御装置を提供する。【解決手段】制御装置(101)は、画像信号に基づいてフォーカス制御を行うフォーカス制御部(101−2)と、画像信号に基... 詳細

  • キヤノン株式会社の「 撮像装置およびその制御方法」が 公開されました。( 2020/04/30)

    【課題】合焦後の不要なフォーカス素子の再駆動を低減する。【解決手段】撮像装置は、被写体像を撮像する撮像素子107を有する。CPU121は、撮像素子からの出力信号を用いて、位相差検出方式の焦点検出に用い... 詳細

  • キヤノン株式会社の「 撮像装置」が 公開されました。( 2020/04/30)

    【課題】撮影レンズから入射した被写体光がシャッター幕に結像した場合に熱で変形または穴があくことを軽減する撮像装置を提供すること。【解決手段】被写体光を集光する撮影レンズと、撮影レンズを通過した被写体光... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ