図面 (/)

技術 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置

出願人 キヤノン株式会社
発明者 高橋陽一
出願日 2014年10月6日 (4年3ヶ月経過) 出願番号 2014-205398
公開日 2016年5月12日 (2年8ヶ月経過) 公開番号 2016-076805
状態 特許登録済
技術分野 スタジオ装置 写真撮影方法及び装置
主要キーワード 特徴ブロック ブロック枠 高域通過フィルタ処理 選別ステップ 対象輝度 カスタムモード 日周運動 最大移動量
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

複数枚の画像を合成処理する際、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行う。

解決手段

所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る際、システム制御部50は複数の画像の各々を複数のブロックに分割して当該ブロックの各々についてその動きベクトルを検出し、複数の画像を得た際の焦点距離および露光間隔に応じて動きベクトルを選別する。システム制御部の制御下で、画像処理部24は選別された動きベクトルに基づいて複数の画像におけるずれを補正して複数の画像を合成処理して合成画像を得る。

概要

背景

一般に、天体撮影する際には、星の光量が微量であることを考慮して30秒又は1分などの長時間の露光を行うことが多い。そして、天体は地球の自転に合わせて日周運動をしているので、長時間の露光を行うと星(天体)が点像とならずに光跡となってしまう。

光跡を回避するため、星が光跡にならない程度の露光時間で複数枚の画像を撮影して、画像間で生じる日周運動による星のずれを補正して、複数枚の画像を1枚の画像に合成することが行われている。これによって、星を光跡とすることなく、長秒の露光を行った場合と同様にして天体を撮像することができる。

複数枚の画像において生じる星のずれを補正する際には、画像を複数のブロックに分割して、各ブロックについてその動きベクトルを算出する。その後、動きベクトルに基づいて画像の動きを算出してずれ補正を行っている。

例えば、被写体である天体の明るさに応じてトータルの露光時間を決定して、星が光跡にならない程度の露光時間でN回の分割露光を行って、画像のずれ補正を行うようにしたものがある(特許文献1参照)。

さらに、画像を複数のブロックに分割して、ブロックに孤立点があると、当該ブロックについて動きベクトルを検出して、画像のずれ補正を行うようにしたものがある(特許文献2参照)。

概要

複数枚の画像を合成処理する際、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行う。所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る際、システム制御部50は複数の画像の各々を複数のブロックに分割して当該ブロックの各々についてその動きベクトルを検出し、複数の画像を得た際の焦点距離および露光間隔に応じて動きベクトルを選別する。システム制御部の制御下で、画像処理部24は選別された動きベクトルに基づいて複数の画像におけるずれを補正して複数の画像を合成処理して合成画像を得る。

目的

本発明の目的は、複数枚の画像を合成処理する際、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行うことのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置であって、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出手段と、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別手段と、前記選別手段によって選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成手段と、を有することを特徴とする画像処理装置。

請求項2

前記検出手段は、前記ブロックの各々において抽出したエッジ信号レベルの総和が予め設定された第1の閾値を超えるブロックを特徴ブロックとして選択し、前記特徴ブロックについて前記動きベクトルを検出することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記検出手段は、前記特徴ブロックの数が予め設定された第2の閾値を超えた場合に、前記特徴ブロックについて前記動きベクトルを検出することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記選別手段は、前記焦点距離および露光間隔に応じて前記複数の画像における前記被写体の移動量の最大量を示す被写体最大移動量推定して、前記被写体最大移動量よりも小さいスカラー量を有する動きベクトルを選別することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。

請求項5

前記選別手段は、前記動きベクトルの全てにおいてそのスカラー量のばらつき度を算出し、当該ばらつき度に応じて前記動きベクトルを選別することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。

請求項6

前記選別手段は、前記被写体最大移動量に応じて選別された動きベクトルの全てにおいてそのスカラー量のばらつき度を算出し、当該ばらつき度に応じて前記動きベクトルをさらに選別することを特徴とする請求項4に記載の画像処理装置。

請求項7

前記ばらつき度は前記スカラー量の平均値および標準偏差であることを特徴とする請求項5又は6に記載の画像処理装置。

請求項8

前記選別手段は前記平均値および前記標準偏差に基づいて前記動きベクトルを選別するための選別範囲を設定し、当該選別範囲にそのスカラー量がある動きベクトルを選別することを特徴とする請求項7に記載の画像処理装置。

請求項9

前記被写体は天空に位置する星であることを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。

請求項10

請求項1〜9のいずれか1項に記載の画像処理装置と、前記被写体を撮像して、前記複数の画像を得る撮像手段と、前記画像処理装置で得られた合成画像をメモリに記録する記録手段と、を有することを特徴とする撮像装置

請求項11

所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置の制御方法であって、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出ステップと、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別ステップと、前記選別ステップで選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成ステップと、を有することを特徴とする制御方法。

請求項12

所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出ステップと、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別ステップと、前記選別ステップで選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成ステップと、を実行させることを特徴とする制御プログラム。

技術分野

0001

本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、複数枚の画像を合成処理するための画像処理装置に関する。

背景技術

0002

一般に、天体撮影する際には、星の光量が微量であることを考慮して30秒又は1分などの長時間の露光を行うことが多い。そして、天体は地球の自転に合わせて日周運動をしているので、長時間の露光を行うと星(天体)が点像とならずに光跡となってしまう。

0003

光跡を回避するため、星が光跡にならない程度の露光時間で複数枚の画像を撮影して、画像間で生じる日周運動による星のずれを補正して、複数枚の画像を1枚の画像に合成することが行われている。これによって、星を光跡とすることなく、長秒の露光を行った場合と同様にして天体を撮像することができる。

0004

複数枚の画像において生じる星のずれを補正する際には、画像を複数のブロックに分割して、各ブロックについてその動きベクトルを算出する。その後、動きベクトルに基づいて画像の動きを算出してずれ補正を行っている。

0005

例えば、被写体である天体の明るさに応じてトータルの露光時間を決定して、星が光跡にならない程度の露光時間でN回の分割露光を行って、画像のずれ補正を行うようにしたものがある(特許文献1参照)。

0006

さらに、画像を複数のブロックに分割して、ブロックに孤立点があると、当該ブロックについて動きベクトルを検出して、画像のずれ補正を行うようにしたものがある(特許文献2参照)。

先行技術

0007

特開2003−259184号公報
特開2008−10958号公報

発明が解決しようとする課題

0008

ところで、動きベクトルを求める際には、ノイズなどの外乱の影響によってブロックの各々について精度よく動きベクトルが検出できないことがある。このような場合に、特許文献1および2に記載の手法では、精度の低い動きベクトルが画像の動きを算出する際に用いられることになる。その結果、画像間のずれを精度よく補正することができず、画像がぶれて合成されてしまうことがある。

0009

そこで、本発明の目的は、複数枚の画像を合成処理する際、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行うことのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

課題を解決するための手段

0010

上記の目的を達成するため、本発明による画像処理装置は、所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置であって、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出手段と、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別手段と、前記選別手段によって選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成手段と、を有することを特徴とする。

0011

本発明による撮像装置は、上記の画像処理装置と、前記被写体を撮像して前記複数の画像を得る撮像手段と、前記画像処理装置で得られた合成画像をメモリに記録する記録手段と、を有することを特徴とする。

0012

本発明による制御方法は、所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置の制御方法であって、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出ステップと、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別ステップと、前記選別ステップで選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成ステップと、を有することを特徴とする。

0013

本発明による制御プログラムは、所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出ステップと、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別ステップと、前記選別ステップで選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成ステップと、を実行させることを特徴とする。

発明の効果

0014

本発明によれば、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行うことができる。

図面の簡単な説明

0015

本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
図1に示すカメラで行われる合成撮像モードによる撮像処理を説明するためのフローチャートである。
図2の示すず補正量算出処理の一例を説明するためのフローチャートである。
天の赤道における星の移動と撮像部(撮像素子)との関係を示す図である。
図1に示すカメラで行われる動きベクトルの検出を説明するため図であり、(a)は基準輝度画像を示す図、(b)は対象輝度画像を示す図、(c)は特徴ブロックの選択結果を示す図、(d)は動きベクトルの検出結果を示す図である。
図3に示す動きベクトル選択処理の一例を説明するためのフローチャートである。
図1に示すカメラで行われる動きベクトル選択処理を説明するための図であり、(a)は動きベクトルの検出結果を示す図、(b)は被写体最大移動量を用いた際の動きベクトルの選択結果を示す図、(c)は(b)に示す動きベクトル選択結果に対してさらに動きベクトルのスカラー量のばらつき度を用いて動きベクトルを選択した際の動きベクトルの選択結果を示す図である。
図1に示すカメラにおいて動きベクトル選択処理を行う際の動きベクトルを選択する選択範囲を説明するための図であり、(a)は被写体最大移動量による動きベクトルの選択範囲を示す図、(b)は動きベクトルのスカラー量のばらつき度による動きベクトルの選択範囲を示す図である。

実施例

0016

以下に、本発明の実施の形態による画像処理装置を備える撮像装置の一例について図面を参照して説明する。

0017

図1は、本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

0018

図示の撮像装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)100であり、撮影レンズユニット(以下単に撮影レンズと呼ぶ)103を有している。この撮影レンズ103は、ズームレンズおよびフォーカスレンズを含むレンズ群である。撮影レンズ103の後段にはシャッター101が配置され、このシャッター101には絞り機能が備えられている。

0019

シャッター101の後段には、撮像部22が配置されている。撮像部22は光学像被写体像)を電気信号アナログ信号)に変換するCCD又はCMOS素子などの撮像素子を備える撮像センサーである。A/D変換器23は、撮像部22の出力であるアナログ信号をデジタル信号に変換する。

0020

バリア102は、撮影レンズ103を含む撮像系を覆うことによって、撮影レンズ103、シャッター101、および撮像部22を含む撮像系の汚れおよび破損を防止する。

0021

画像処理部24は、A/D変換器23の出力であるデジタル信号(画像データ)、又はメモリ制御部15からの画像データに対して所定の画素補間および縮小処理などのリサイズ処理色変換処理とを行う。また、画像処理部24はメモリ制御部15から得た2枚の画像データに対して、その1つを基準画像とし、基準画像に対する画像のずれおよび大きさを示す動きベクトルを検出する。

0022

さらに、画像処理部24は、撮影の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部50は、画像処理部24で得られた演算結果に基づいて露光制御および測距制御を行う。これによって、TTLスルー・ザ・レンズ)方式のAFオートフォーカス)処理、AE自動露出)処理、およびEF(フラッシュプリ発光)処理が行われる。

0023

加えて、画像処理部24は撮影の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。

0024

A/D変換回路23の出力である画像データは、画像処理部24およびメモリ制御部15を介して、或いはメモリ制御部15を介してメモリ32に書き込まれる。メモリ32には、撮影の結果得られた画像データが格納されるとともに、表示部28に表示するための表示用画像データが格納される。なお、メモリ32は、所定枚数静止画像、所定時間の動画像および音声を格納するための十分な記憶容量を備えている。また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。

0025

D/A変換器13は、メモリ32に格納された表示用画像データをアナログ画像信号に変換して表示部28に送る。これによって、表示部28には表示用画像データに応じた画像が表示される。このようにして、メモリ32に格納された表示用画像データはD/A変換器13を介して表示部28に表示されることになる。なお、表示部28は、例えば、LCDである。

0026

A/D変換器23で一度A/D変換されメモリ32に格納された画像データをD/A変換器13においてD/A変換して、表示部28に逐次転送して表示することによって、表示部28は電子ビューファインダとして機能し、スルー画像表示ライブビュー表示)を行う。

0027

不揮発性メモリ56は、電気的に消去・記録可能なメモリであって、例えば、EEPROMが用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数およびプログラムなどが記憶される。このプログラムとは、後述する各種フローチャートを実行するためのプログラムである。

0028

システム制御部50は、カメラ100全体を制御する。システム制御部50は、前述の不揮発性メモリ56に記録されたプログラムを実行して、後述する各処理を行う。システムメモリ52は、例えば、RAMであり、システムメモリ52には、システム制御部50の動作用の定数、変数、および不揮発性メモリ56から読み出したプログラムなどが展開される。なお、システム制御部はメモリ32、D/A変換器13、および表示部28など制御して表示制御を行う。

0029

システムタイマー53は各種制御に用いる時間および内蔵された時計の時間を計測する計時部である。モード切替スイッチ60、シャッターボタン61、および操作部70の各々はシステム制御部50に各種の動作指示を入力する際に用いられる。

0030

モード切替スイッチ60は、システム制御部50の動作モードを、例えば、静止画記録モード動画記録モード、および再生モードなどのいずれかに切り替える。静止画記録モードに含まれるモードとして、例えば、オート撮影モードオートシーン判別モード、マニュアルモード撮影シーン別撮影設定となる各種シーンモード、プログラムAEモード、およびカスタムモードがある。

0031

モード切り替えスイッチ60を用いれば、メニューボタンに含まれるモードのいずれかに直接切り替えることができる。また、モード切り替えスイッチ60を用いてメニューボタンに一旦切り換えた後、メニューボタンに含まれるモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれるようにしてもよい。

0032

シャッターボタン61の操作途中、つまり、シャッターボタン61が半押し(撮影準備指示)されると、第1シャッタースイッチオンとなって、第1シャッタースイッチ信号SW1がシステム制御部50に送られる。そして、第1シャッタースイッチ信号SW1に応答して、システム制御部50の制御下でAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ自動調光発光)処理などの動作が開始される。

0033

シャッターボタン61の操作完了、つまり、シャッターボタン61が全押し(撮影指示)されると、第2シャッタースイッチがオンとなって第2シャッタースイッチ信号SW2がシステム制御部50に送られる。システム制御部50は、第2シャッタースイッチ信号SW2に応答して、撮像部22の信号読み出しから記録媒体200に画像データを書き込むまでの一連撮影処理の動作を開始する。

0034

操作部70に備えられた各操作部材は、表示部28に表示される種々の機能アイコン選択操作することなどによって場面毎に適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。例えば、メニューボタンが押されると、各種の設定を行うためのメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンおよびSETボタンとを用いて直感的に各種設定を行うことができる。

0035

操作部70には操作部材の一つとしてコントローラホイールが備えられており、このコントローラホイールは方向ボタンとともに選択項目を指示する際などに用いられる。

0036

コントローラホイールを回転操作すると、当該操作量に応じて電気的なパルス信号が生成され、このパルス信号に基づいて、システム制御部50はカメラ100を制御する。そして、システム制御部50は当該パルス信号によって、コントローラホイールが回転操作された角度および回転数などを判定することができる。

0037

なお、コントローラホイールは回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサからなる操作部材であってもよく、この場合には、コントローラホイール自体は回転せず、コントローラホイール上におけるユーザの指の回転動作などを検出する(所謂タッチホイール)。

0038

電源制御部80は、電池検出回路DC−DCコンバータ、および通電するブロックを切り替えるスイッチ回路などによって構成され、電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC−DCコンバータを制御して、必要な電圧を必要な期間、記録媒体200を含む各部に供給する。

0039

電源部30は、アルカリ電池又はリチウム電池などの一次電池やNiCd電池、又はNiMH電池又はLi電池などの二次電池を有するとともに、ACアダプターなどを有している。記録媒体I/F18は、メモリカード半導体メモリ)又はハードディスクなどの記録媒体200とのインターフェースである。記録媒体200には、撮影の結果得られた画像データが記録される。

0040

通信部54は、無線回線又は有線ケーブルによって外部機器と接続される。そして、通信部54は、システム制御部50の制御下で画像データおよび音声データなどを外部機器と送受する。通信部54は無線LAN(Local Area Network)およびインターネット接続可能である。

0041

通信部54は撮影の結果得られた画像データ(スルー画像を含む)、そして、記録媒体200に記録された画像データを外部機器に送信可能である。さらに、通信部54は外部機器から画像データおよびその他の各種情報を受信することができる。

0042

図2は、図1に示すカメラ100で行われる合成撮像モードによる撮像処理を説明するためのフローチャートである。

0043

なお、図示のフローチャートに係る処理は、システム制御部50が不揮発性メモリ56に記憶された処理プログラムを読み出してシステムメモリ52に展開して実行することによって行われる。

0044

図示のカメラ100においては静止画記録モードの一つとして星空合成モード(合成撮像モードともいう)が備えられている。星空合成モードにおいては、カメラ100において複数回の撮像が行われる。そして、星(天体)について、撮像の結果得られた複数枚の画像間におけるずれを補正した後、画像合成を行って1枚の合成画像を生成する。

0045

なお、星空合成モードによる撮像処理は、例えば、カメラ100において星空合成モードに設定された後、撮影指示がなされると開始される。そして、以下の説明においては、カメラ100は三脚に固定され、被写体である星の方向に向けられているものとする。

0046

星空合成モードが開始されると、システム制御部50は、一回の撮像に係る露光時間、必要な合成枚数(つまり、所定枚数)、およびゲインなどの撮像条件を決定する(ステップS201)。例えば、システム制御部50は、ユーザがシャッターボタン61を半押しして第1のシャッタースイッチがオンとなった場合の被写体の露光時間、必要な合成枚数、およびゲインを決定する。この際、システム制御部50は、露光時間として星が光跡とならない露光時間を決定する。

0047

続いて、システム制御部50は、ユーザがシャッターボタン61を全押しして第2のシャッタースイッチ64がオンした場合に、前述の露光時間に応じて2枚の画像の撮像する(ステップS202:撮像処理)。

0048

ここでは、システム制御部50は、露光によって撮像部22から出力されたアナログ信号をA/D変換機23によってA/D変換処理してデジタル信号(画像データ)を画像処理部24に出力する。そして、システム制御部50は、画像処理部24を制御して画像データをYUV形式に変換して、ノイズリダクション処理およびエッジ強調処理を行う。

0049

その後、システム制御部50は、メモリ制御部15を介して画像処理部24で得られた2枚の出力画像データをメモリ32に格納する。さらに、システム制御部50はシステムタイマー53から露光開始時間を得て、当該露光開始時間を画像データに対応づけてメモリ32に格納する。この際には、システム制御部50は、AF制御で得られた焦点距離に係る情報をメモリ32に記録する。

0050

次に、システム制御部50は、ずれ補正量が算出されている状態(ずれ補正量算出済み)であるか否かを判定する(ステップS203)。ずれ補正量が算出されていない状態であると(ステップS203において、NO)、システム制御部50はメモリ32に格納されている画像データのうち最も新しい画像データをずれ補正量を算出する際の基準画像に設定する。そして、システム制御部50は基準画像を用いてずれ補正量を算出する(ステップS204)。なお、ここでは、ずれ補正量として、後述するアフィン係数を用いるが、ずれ補正量として水平および垂直方向の大きさを用いるようにしてもよい。

0051

ステップS204の処理の後、システム制御部50はずれ補正量の算出が成功したか否かを判定する(ステップS205)。ずれ補正量の算出が成功しないと(ステップS205において、NO)、システム制御部50はステップS202の処理に戻って撮像処理を行う。

0052

ここでは、システム制御部50は1回の撮像を行って、メモリ32に格納されている2枚の画像データのうち露光開始時間が古い画像データに新たな撮像で得られた画像データを上書してメモリ32に格納する。

0053

一方、ずれ補正量の算出に成功すると(ステップS205において、YES)、システム制御部50はずれ補正量を用いて画像処理部24によってメモリ32に格納された2枚の画像データを合成処理する(ステップS206)。なお、ずれ補正量が算出されている状態であると(ステップS203において、YES)、システム制御部50はステップS206の処理に進む。

0054

ステップS206の処理においては、システム制御部50はずれ補正量を単位時間当たりの移動量に正規化する。そして、システム制御部50は、合成を行う2枚の画像データに関してメモリ32に格納された露光開始時間の差と上記の移動量とに応じて補正量を求める。

0055

次に、システム制御部50はメモリ32に格納された画像データにおいて露光開始時間が最も新しい画像を基準画像とする。システム制御部50は画像処理部24によって上記の補正量を用いて基準画像に他方の画像(古い画像)の位置を合わせて合成処理を行う。合成処理が終了すると、システム制御部50はメモリ32に現在の合成枚数を格納する。

0056

続いて、システム制御部50は、ステップS201で合成枚数が必要な合成枚数である所定枚数に達したか否かを判定する(ステップS207)。合成枚数が所定枚数に達していないと(ステップS207において、NO)、システム制御部50はステップS202の処理に戻る。

0057

一方、合成枚数が所定枚数に達すると(ステップS207において、YES)、システム制御部50は画像処理部24で処理された合成画像(合成画像データ)を記録媒体200に記録する(ステップS208)。そして、システム制御部50は星空合成モードによる撮像処理を終了する。

0058

図3は、図2の示すずれ補正量算出処理の一例を説明するためのフローチャートである。

0059

なお、ずれ補正量算出処理においては、システム制御部50はメモリ32に格納された合成対象である2枚の画像データを用いてずれ補正量算出処理を行う。

0060

ずれ補正量算出処理を開始すると。システム制御部50は合成対象である2枚の画像データに関する露光開始時間と露光開始時における焦点距離とを撮影情報としてメモリ32から読み込む(ステップS301)続いて、システム制御部50は、露光開始時間と焦点距離とに応じて、被写体の最大移動量を推定する(ステップS302)。

0061

ここで、被写体を星とした場合において、被写体の最大移動量の推定手法について説明する。

0062

図4は、天の赤道における星の移動と撮像部22(撮像素子)との関係を示す図である。

0063

天の赤道は地球の赤道面天空延長した際に天球上に交わる点を結んだ線である。星は日周運動によって移動するが、天の赤道上の星(天体)が最も速く移動する。天の赤道上においては、24時間当たり360度回転するので、1秒当たり回転量θs(度/秒)は、次の式(1)で得られる。

0064

θs=360/(24×60×60) (1)
合成対象である2枚の画像データに関する露光開始時間を、露光開始時間が早い順にそれぞれT1および T2(秒)とすると、2枚の画像データにおける露光間隔T(秒)は、次の式(2)で得られる。

0065

T=T2−T1 (2)
そして、2枚の画像データにおける露光間隔当たりの星の回転量θ(度)は、次の式(3)で与えられる。

0066

θ=θs×T (3)
いま、前述の焦点距離をf(mm)とすると、撮像素子上における星の移動量Dist(mm)は、次の式(4)で与えられる。

0067

Dist=f×tanθ(4)
撮像素子のピクセル数画素数)に移動量Distを換算すると、2枚の画像データの間において星がとりうる移動量の最大値Distmax(ピクセル)を求めることができる。

0068

システム制御部50は、不揮発性メモリ56に格納された式(1)〜式(4)を用いて最大値Distmaxを算出して、当該最大値Distmaxを被写体最大移動量(被写体の移動量の最大量)としてメモリ32に格納する。

0069

ここでは、天の赤道における星の最大移動量を推定する手法について説明したが、GPS又は方位センサーなどを用いて、天の北極周りなど異なる方角における星の最大移動量を求めるようにしてもよい。さらに、こでは、星を被写体とした場合の被写体最大移動量の推定手法について説明したが、飛行機など一定の速度で移動する被写体についても、被写体の移動速度を通信部54から取得して最大移動量を求めるなど他の被写体の最大移動量を推定する際にも適用することができる。

0070

再び図3を参照して、システム制御部50は、M×N画素(MおよびNの各々は1以上の整数)で構成されるブロック枠をメモリ32に格納する(ステップS303:ブロック分割)。次に、システム制御部50はメモリ32に格納された画像データのうち露光開始時間が最新の画像データを基準画像として設定する。そして、システム制御部50は当該基準画像における輝度信号を示す輝度画像(以下基準輝度画像と呼ぶ)を画像処理部24に出力して、画像処理部24においてエッジ抽出を行う。

0071

例えば、システム制御部50は、基準輝度画像のエッジ抽出を行うため、画像処理部24によって基準輝度画像に対して高域通過フィルタ処理を行う。そして、システム制御部50はメモリ32に格納されたブロック枠を基準輝度画像に対して適用して基準輝度画像を複数のブロックに分割する。

0072

その後、システム制御部50は、ブロックの各々において抽出されたエッジ信号レベルの総和が動きベクトル検出のための予め設定された第1の閾値ITHを超えるか否かを判定する。エッジの信号レベルの総和が第1の閾値ITH以下であると、システム制御部50は画像間のずれ検出の基準となる画像特徴が少なく、動きベクトルの検出が困難であるとする。そして、システム制御部50は、ブロックの各々において抽出されたエッジの信号レベルの総和を求めて、当該総和が第1の閾値ITHを超える場合に当該ブロックを特徴ブロックとして選択する(ステップS304)。

0073

なお、特徴ブロックの選択の際には、ブロック毎に抽出されたエッジの信号レベルの総和に応じて特徴ブロックの選択を行うようにしたが、輝度コントラストが大きいブロックを特徴ブロックとして選択するようにしてもよい。

0074

続いて、システム制御部50は、選択された特徴ブロックの数を数える。そして、システム制御部50は特徴ブロックの数が予め設定された第2の閾値NBTHを超えているか否かを判定する(ステップS305)。

0075

特徴ブロックの数が第2の閾値NBTH以下であると(ステップS305において、NO)、システム制御部50はずれ補正量の算出に失敗したとしてずれ補正量算出処理を終了する。一方、特徴ブロックの数が第2の閾値NBTHを超えていると(ステップS305において、YES)、システム制御部50は基準輝度画像を画像処理部24に送る。

0076

続いて、システム制御部50はメモリ32に格納された2枚の画像データにおいて基準画像ではない他方の画像データを対象画像として、対象画像における輝度画像(以下対象輝度画像と呼ぶ)を画像処理部24に送り、画像処理部24によって動きベクトルを検出する(ステップS306)。

0077

図5は、図1に示すカメラ100で行われる動きベクトルの検出を説明するため図である。そして、図5(a)は基準輝度画像を示す図であり、図5(b)は対象輝度画像を示す図である。また、図5(c)は特徴ブロックの選択結果を示す図であり、図5(d)は動きベクトルの検出結果を示す図である。

0078

前述のようにして、図5(a)に示す基準輝度画像について、特徴ブロックの選択処理を行った際、図5(c)に示す特徴ブロックの選択結果が得られたものとする。図5(c)にはおいては、白地で示すブロックが特徴ブロックである。

0079

システム制御部50は、画像処理部24によって特徴ブロックの各々について、図5(b)に示す対象輝度画像とのパターンマッチングを行う。そして、システム制御部50は画像処理部24によって特徴ブロック毎にその動きベクトルを検出する(図5(d)参照)。この際、システム制御部50はパターンマッチングで用いる探索範囲を特徴ブロックの中心から水平および垂直方向に、例えば、被写体最大移動量の2倍となるように画像処理部24に設定する。

0080

なお、動きベクトル検出の際には、被写体最大移動量よりも探索範囲を広く設定すればよいので、例えば、システム制御部50は不揮発メモリ56から探索範囲の補正量を固定値で得て、当該固定値を被写体最大移動量に加えて探索範囲を設定するようにしてもよい。

0081

次に、システム制御部50は、検出した動きベクトルから、メモリ32に格納された被写体最大移動量に応じて補正量の算出に用いる動きベクトルを選択する(ステップS307)。

0082

図6は、図3に示す動きベクトル選択処理の一例を説明するためのフローチャートである。

0083

動きベクトル選択処理を開始すると、システム制御部50は、ステップS306の処理で検出した動きベクトルの一つについてそのスカラー量を算出する。そして、システム制御部50は、メモリ32に格納された被写体最大移動量Distmaxと当該動きベクトルのスカラー量とを比較して、スカラー量が推定値である被写体最大移動量Distmaxよりも小さいか否かを判定する(ステップS401)。

0084

スカラー量が被写体最大移動量Distmaxよりも小さいと(ステップS401において、YES)、システム制御部50は当該動きベクトルを選択する(ステップS402)。一方、スカラー量が被写体最大移動量Distmax以上であると(ステップS401において、NO)、システム制御部50は当該動きベクトルを除外する(ステップS403)。

0085

ステップS402又はS403の処理の後、システム制御部50は、ステップS306の処理で検出した全ての動きベクトルついて選択処理を終了したか判定する(ステップS404)。全ての動きベクトルついて選択処理を終了していないと(ステップS404において、NO)、システム制御部50は、ステップS401の処理に戻って、次の動きベクトルのスカラー量と被写体最大移動量Distmaxとを比較する。

0086

一方、全ての動きベクトルついて選択処理を終了すると(ステップS404において、YES)、システム制御部50は、選択した動きベクトルの全てについてスカラー量のばらつき度を算出する(ステップS405)。例えば、システム制御部50は選択した動きベクトルのスカラー量の平均値を求めるとともに、標準偏差を求めて、これら平均値および標準偏差をばらつき度としてメモリ32に格納する。

0087

図7は、図1に示すカメラ100で行われる動きベクトル選択処理を説明するための図である。そして、図7(a)は動きベクトルの検出結果を示す図であり、図7(b)は被写体最大移動量を用いた際の動きベクトルの選択結果を示す図である。また、図7(c)は、図7(b)に示す動きベクトル選択結果に対してさらに動きベクトルのスカラー量のばらつき度を用いて動きベクトルを選択した際の動きベクトルの選択結果を示す図である。

0088

いま、図3に示すステップS306の処理によって、図7(a)に示す動きベクトル検出結果が得られたとする。そして、図6に示すステップS401〜S404の処理によって、図7(b)に示す動きベクトル選択結果が得られたものとする。

0089

図8は、図1に示すカメラ100において動きベクトル選択処理を行う際の動きベクトルを選択する選択範囲を説明するための図である。そして、図8(a)は被写体最大移動量による動きベクトルの選択範囲を示す図であり、図8(b)は動きベクトルのスカラー量のばらつき度による動きベクトルの選択範囲を示す図である。

0090

ステップS401〜S404の処理においては、被写体最大移動量に応じて動きベクトルの選択を行っており、ここでは、動きベクトルのスカラー量が被写体最大移動量よりも小さいと、当該動きベクトルが選択される。つまり、ここでは、図8(a)に示すように、動きベクトルの選択範囲(選別範囲)が設定されて、スカラー量が被写体最大移動量よりも小さい動きベクトルが選択されることになる。この結果、ノイズおよびなどの外乱の影響を受ける動きベクトルが除外することが容易となる。

0091

再び図6を参照して、ステップS405の処理の後、システム制御部50は前述のスカラー量の平均値および標準偏差に基づいて、利用する動きベクトルのスカラー量の上限値および下限値を設定する(ステップS406)。そして、システム制御部50はこれら上限値および下限値をメモリ32に記録する。

0092

ここでは、図8(b)に示すように、システム制御部50はスカラー量の平均値から標準偏差を減算して得られた第1の演算値を下限値とし、スカラー量の平均値と標準偏差とを加算した第2の演算値を上限値とする。そして、システム制御部50は上限値および下限値で規定される範囲を動きベクトルの選択範囲とする。

0093

続いて、システム制御部50はメモリ32に格納されているスカラー量の上限値と下限値とに応じて動きベクトルの選択範囲を設定する。そして、システム制御部50は動きベクトルのスカラー量が当該選択範囲にあるか否かを判定する(ステップS407)。

0094

動きベクトルのスカラー量が選択範囲にあると(ステップS407において、YES)、システム制御部50は当該動きベクトルを選択する(ステップS408)。一方、動きベクトルのスカラー量が選択範囲にないと(ステップS407において、NO)、システム制御部50は当該動きベクトルを除外する(ステップS409)。

0095

ステップS407〜S409の処理においては、図8(b)に示すように、ばらつき度に応じて被写体の動きに近い動きベクトルを選択することができる。この結果、ノイズおよび雲などの外乱の影響を受ける動きベクトルを除外することが容易となる。

0096

ステップS408又はS409の処理の後、システム制御部50は、ステップS401〜S404の処理で選択した全ての動きベクトルついて選択処理を終了したか判定する(ステップS410)。全ての動きベクトルついて選択処理を終了していないと(ステップS410において、NO)、システム制御部50は、ステップS407の処理に戻って、次の動きベクトルについてそのスカラー量が上限値と下限値とによって規定される選択範囲にあるか否かを判定する。

0097

一方、全ての動きベクトルついて選択処理を終了すると(ステップS410において、YES)、システム制御部50は、最終的に選択された動きベクトルをメモリ32に記録して動きベクトル選択処理を終了する。

0098

上述のようにして、動きベクトル選択処理を行うと、例えば、図7(c)に示す動きベクトル選択結果が得られる。

0099

再び図3を参照して、ステップS307の処理において動きベクトルを選択した後、システム制御部50は選択した動きベクトルの個数を数える。そして、システム制御部50は選択した動きベクトルの個数が予め設定された第3の閾値NVTHを超えているか否かを判定する(ステップS308)。動きベクトルの個数が第3の閾値NVTH以下であると(ステップS308において、NO)、システム制御部50はずれ補正量算出処理に失敗したとしてずれ補正量算出処理を終了する。

0100

一方、動きベクトルの個数が第3の閾値NVTHを超えていると(ステップS308において、YES)、システム制御部50は、動きベクトルの統合を行う(ステップS309)。ここでは、システム制御部50は選択した動きベクトルに応じて、基準画像に対する対象画像の動きを算出する。例えば、システム制御部50は対象画像の動きをアフィン係数によって表すものとする。

0101

いま、基準画像における注目画素座標を(x,y)とし、当該注目画素が対応する対象画像の座標を(x’,y’)とすると、座標は(x’,y’)はアフィン変換におけるアフィン係数(a,b,c,d)を用いて、式(5)で表される。

0102

システム制御部50は、複数の動きベクトルのうち少なくとも3つの動きベクトルを用いてアフィン係数を算出する。そして、システム制御部50は、算出したアフィン係数を用いて、次の式(6)によって動きベクトルの誤差Eを求める。

0103

続いて、システム制御部50は所定の回数、動きベクトルの選び方のパターンを変更して上述の処理を行って、誤差E以下になる動きベクトルの個数が最も多いアフィン係数を求める。そして、システム制御部50は当該アフィン係数をずれ補正量として決定して、アフィン係数をメモリ32に格納しずれ補正量算出処理を終了する。

0104

このように、本発明の実施の形態では、検出した動きベクトルを露光間隔および焦点距離に応じて被写体が取りうる動きベクトルの大きさで限定し、ずれ補正の際に用いる動きベクトルを選択する。この結果、複数枚の画像を合成処理する際、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行うことができる。

0105

なお、上述の実施の形態では、デジタルカメラを例に挙げて説明したが、複数の画像について画像間のずれを補正して合成処理を行うPCなどの機器にも適用することができる。

0106

上述の説明から明らかなように、図1に示す例では、少なくとも画像処理部24およびシステム制御部50が画像処理装置を構成する。また、システム制御部50および画像処理部24は、検出手段、選別手段、および合成手段として機能する。さらに、撮影レンズ103、シャッター101、撮像部22、およびA/D変換器24は撮像手段として機能し、システム制御部50は記録手段として機能する。

0107

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

0108

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

0109

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。

0110

22撮像部
24画像処理部
28 表示部
50システム制御部
54通信部
60モード切替スイッチ
61シャッターボタン
70 操作部
80電源制御部
200 記録媒体

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ