図面 (/)

この項目の情報は公開日時点(2017年1月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

撮影回数を極力抑えつつ高画質合成画像を生成することができる、撮影装置撮影制御装置撮影制御方法、及び撮影制御プログラムを得る

解決手段

画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理を制御し、前記撮影処理では、イメージセンサ光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動させる、制御装置であって、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セット(の一構成画像)としての使用適格要件を満たすか否かを判定する撮影制御部を具備する。

概要

背景

従来、画像合成に用いる複数の画像を撮影撮像)する撮影装置が提案されている。例えば、特許文献1に開示された画像入力装置(つまり、撮影装置)では、撮像素子(つまり、イメージセンサ)に対する光軸を水平および垂直方向にずらして取り込むことによって、画像合成に用いる複数の画像が撮影されている。具体的には、レンズ制御部による光軸移動制御により、原点画像と水平方向1/2画素ずらし画像と垂直方向1/2画素ずらし画像と水平・垂直方向1/2画素ずらし画像との4枚の画像信号が、メモリ部に順次格納される。そして、格納が完了すると、レンズ部はレンズ制御部の制御に従い再び原点に戻る。そして、原点位置の画像信号が再び演算部に送出される。演算部では所定の評価関数に従い、再入力された原点での画像信号とメモリ部に格納された原点での画像信号との差分評価を行い、この評価結果を無効判定部に出力する。無効判定部は、入力された評価結果である差分絶対値和あらかじめ決められたしきい値とを比較し、差分絶対値和が上記しきい値よりも大きい場合に格納された4枚分の画像信号からなる高解像度静止画像信号を無効と判定し、全体制御部に通知する。全体制御部は、無効判定部から無効通知を受けると、格納済み高解像度静止画像が無効であることを外部に通知するとともに、再入力のための制御動作を実行する。

概要

撮影回数を極力抑えつつ高画質合成画像を生成することができる、撮影装置、撮影制御装置撮影制御方法、及び撮影制御プログラムを得る画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理を制御し、前記撮影処理では、イメージセンサと光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動させる、制御装置であって、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セット(の一構成画像)としての使用適格要件を満たすか否かを判定する撮影制御部を具備する。

目的

本発明は、以上の問題意識に基づいてなされたものであり、撮影回数を極力抑えつつ高画質の合成画像を生成することができる、制御装置、撮影装置、制御方法、及び制御プログラムを得ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光学要素を含む撮影光学系により形成された被写体像電気的な画素信号に変換するイメージセンサと、画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理を制御し、前記撮影処理では、前記イメージセンサと前記光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動させる撮影制御部と、を具備し、前記撮影制御部は、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セットとしての使用適格要件を満たすか否かを判定する、ことを特徴とする撮影装置

請求項2

請求項1記載の撮影装置において、前記撮影制御部は、前記各相対位置において、前記取得画像が前記使用適格要件を満たすまで再撮影を繰り返させ、前記使用適格要件が満たされた場合、前記使用適格要件を満たした前記取得画像を前記使用画像セットの構成画像として保持すると共に、次の前記相対位置に前記イメージセンサ及び前記光学要素を相対移動させる、撮影装置。

請求項3

請求項2記載の撮影装置において、前記撮影制御部は、前記基準位置における取得画像又は前記複数の相対位置のうち現時点の前記相対位置よりも前の前記相対位置における取得画像を基準画像とし、前記現時点の相対位置における取得画像を比較画像として、前記基準画像の使用適格判定パラメータの値と前記比較画像の使用適格判定パラメータの値との差のレベルに基づいて、前記現時点の相対位置における取得画像が前記使用適格要件を満たすか否かを判定する、撮影装置。

請求項4

請求項3記載の撮影装置において、前記使用適格判定パラメータは、判定対象画像領域における輝度ヒストグラムを含み、前記撮影制御部は、前記基準画像の前記判定対象画像領域における輝度ヒストグラムと前記比較画像の前記判定対象画像領域における輝度ヒストグラムとの差が判定閾値以上である場合、前記使用適格要件が満たされないと判定する、撮影装置。

請求項5

請求項3記載の撮影装置において、前記使用適格判定パラメータは、判定対象画像領域におけるRGB値を含み、前記撮影制御部は、前記基準画像の前記判定対象画像領域におけるRGB値と前記比較画像の前記判定対象画像領域におけるRGB値との差が判定閾値以上である場合、前記使用適格要件が満たされないと判定する、撮影装置。

請求項6

請求項3記載の撮影装置において、前記使用適格判定パラメータは、第1判定対象画像領域における輝度ヒストグラム、及び、第2判定対象画像領域におけるRGB値を含み、前記撮影制御部は、前記基準画像の前記第1判定対象画像領域における輝度ヒストグラムと前記比較画像の前記第1判定対象画像領域における輝度ヒストグラムとの第1差値が第1判定閾値より小さいこと、及び、前記基準画像の前記第2判定対象画像領域におけるRGB値と前記比較画像の前記第2判定対象画像領域におけるRGB値との第2差値が第2判定閾値より小さいことの両方が満たされた場合、前記使用適格要件が満たされたと判定し、前記第1差値が前記第1判定閾値以上であること、及び、前記第2差値が前記第2判定閾値以上であることの少なくとも一方が満たされた場合、前記使用適格要件が満たされないと判定する、撮影装置。

請求項7

請求項2記載の撮影装置において、前記撮影制御部は、前記基準位置における取得画像又は前記複数の相対位置のうち現時点の前記相対位置よりも前の前記相対位置における取得画像を基準画像とし、前記現時点の相対位置における取得画像を比較画像として、複数の判定対象画像領域のそれぞれについて、前記基準画像の使用適格判定パラメータの値と前記比較画像の使用適格判定パラメータの値との差を算出し、前記算出した差が第3判定閾値以上である前記判定対象画像領域の総和領域の、前記比較画像の全画像領域に対する割合を算出し、前記算出した割合が第4判定閾値より小さい場合、前記使用適格要件が満たされたと判定し、前記算出した割合が前記第4判定閾値以上である場合、前記使用適格要件が満たされないと判定する、撮影装置。

請求項8

請求項7記載の撮影装置において、前記使用画像セットのすべての構成画像が得られた段階で、前記得られた使用画像セットを用いて合成画像を生成する合成画像生成部をさらに具備し、前記合成画像生成部は、前記使用適格要件が満たされた場合、前記算出された差が前記第3判定閾値以上である前記判定対象画像領域に対応する、前記合成画像における部分領域の画像を、前記基準画像における対応部分領域の画像で置き換える、撮影装置。

請求項9

画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理を制御し、前記撮影処理では、イメージセンサと光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動させる、撮影制御装置であって、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セットとしての使用適格要件を満たすか否かを判定する撮影制御部を具備することを特徴とする撮影制御装置。

請求項10

画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理を制御し、前記撮影処理では、イメージセンサと光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動させる、撮影制御方法であって、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セットとしての使用適格要件を満たすか否かを判定する、ことを特徴とする撮影制御方法。

請求項11

画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理において、イメージセンサと光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動する、撮影装置に、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セットとしての使用適格要件を満たすか否かを判定する、処理を実行させることを特徴とする撮影制御プログラム

技術分野

0001

本発明は、撮影装置撮影制御装置撮影制御方法、及び撮影制御プログラムに関する。

背景技術

0002

従来、画像合成に用いる複数の画像を撮影撮像)する撮影装置が提案されている。例えば、特許文献1に開示された画像入力装置(つまり、撮影装置)では、撮像素子(つまり、イメージセンサ)に対する光軸を水平および垂直方向にずらして取り込むことによって、画像合成に用いる複数の画像が撮影されている。具体的には、レンズ制御部による光軸移動制御により、原点画像と水平方向1/2画素ずらし画像と垂直方向1/2画素ずらし画像と水平・垂直方向1/2画素ずらし画像との4枚の画像信号が、メモリ部に順次格納される。そして、格納が完了すると、レンズ部はレンズ制御部の制御に従い再び原点に戻る。そして、原点位置の画像信号が再び演算部に送出される。演算部では所定の評価関数に従い、再入力された原点での画像信号とメモリ部に格納された原点での画像信号との差分評価を行い、この評価結果を無効判定部に出力する。無効判定部は、入力された評価結果である差分絶対値和あらかじめ決められたしきい値とを比較し、差分絶対値和が上記しきい値よりも大きい場合に格納された4枚分の画像信号からなる高解像度静止画像信号を無効と判定し、全体制御部に通知する。全体制御部は、無効判定部から無効通知を受けると、格納済み高解像度静止画像が無効であることを外部に通知するとともに、再入力のための制御動作を実行する。

先行技術

0003

特開平8−265522号公報

発明が解決しようとする課題

0004

しかしながら、上記の特許文献1の画像入力装置では、レンズ部が最初に原点に存在するときの原点画像と画素ずらしによって再びレンズ部が原点に存在するときの原点画像とを用いて、無効判定を行っているので、「無効である」と判定された場合、再度5枚の画像を撮影することになる。すなわち、「5枚の撮影」を1セットとして「リトライ処理」が実行されるので、結果として、高解像度の合成画像が得られるまでに要する撮影回数が増加してしまう可能性がある。このため、画像入力装置における演算量が増大し、また撮影者にとってはシャッターチャンスを逃すことにもなりかねない。

0005

また、原点画像以外の画像(画素ずらし画像)において「撮影条件」が変動した場合(撮影対象物が動いてしまった場合、カメラ振動が加わった場合、障害物が発生した場合、照度変化フリッカー)が発生した場合など)であっても、特許文献1の画像入力装置では、「無効である」とは判定されず(撮影条件の変動が「無効である」かの判定に考慮されず)、結果として、合成画像の画質が悪くなる可能性がある。

0006

本発明は、以上の問題意識に基づいてなされたものであり、撮影回数を極力抑えつつ高画質の合成画像を生成することができる、制御装置、撮影装置、制御方法、及び制御プログラムを得ることを目的とする。

課題を解決するための手段

0007

本発明の撮影装置は、その1つの態様では、光学要素を含む撮影光学系により形成された被写体像電気的な画素信号に変換するイメージセンサと、画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理を制御し、前記撮影処理では、前記イメージセンサと前記光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動させる撮影制御部と、を具備し、前記撮影制御部は、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セットとしての使用適格要件を満たすか否かを判定する。

0008

前記撮影制御部は、前記各相対位置において、前記取得画像が前記使用適格要件を満たすまで再撮影を繰り返させ、前記使用適格要件が満たされた場合、前記使用適格要件を満たした前記取得画像を前記使用画像セットの構成画像として保持すると共に、次の前記相対位置に前記イメージセンサ及び前記光学要素を相対移動させることができる。

0009

前記撮影制御部は、前記基準位置における取得画像又は前記複数の相対位置のうち現時点の前記相対位置よりも前の前記相対位置における取得画像を基準画像とし、前記現時点の相対位置における取得画像を比較画像として、前記基準画像の使用適格判定パラメータの値と前記比較画像の使用適格判定パラメータの値との差のレベルに基づいて、前記現時点の相対位置における取得画像が前記使用適格要件を満たすか否かを判定することができる。

0010

前記使用適格判定パラメータは、判定対象画像領域における輝度ヒストグラムを含み、前記撮影制御部は、前記基準画像の前記判定対象画像領域における輝度ヒストグラムと前記比較画像の前記判定対象画像領域における輝度ヒストグラムとの差が判定閾値以上である場合、前記使用適格要件が満たされないと判定することができる。

0011

前記使用適格判定パラメータは、判定対象画像領域におけるRGB値を含み、前記撮影制御部は、前記基準画像の前記判定対象画像領域におけるRGB値と前記比較画像の前記判定対象画像領域におけるRGB値との差が判定閾値以上である場合、前記使用適格要件が満たされないと判定することができる。

0012

前記使用適格判定パラメータは、第1判定対象画像領域における輝度ヒストグラム、及び、第2判定対象画像領域におけるRGB値を含み、前記撮影制御部は、前記基準画像の前記第1判定対象画像領域における輝度ヒストグラムと前記比較画像の前記第1判定対象画像領域における輝度ヒストグラムとの第1差値が第1判定閾値より小さいこと、及び、前記基準画像の前記第2判定対象画像領域におけるRGB値と前記比較画像の前記第2判定対象画像領域におけるRGB値との第2差値が第2判定閾値より小さいことの両方が満たされた場合、前記使用適格要件が満たされたと判定し、前記第1差値が前記第1判定閾値以上であること、及び、前記第2差値が前記第2判定閾値以上であることの少なくとも一方が満たされた場合、前記使用適格要件が満たされないと判定することができる。

0013

前記撮影制御部は、前記基準位置における取得画像又は前記複数の相対位置のうち現時点の前記相対位置よりも前の前記相対位置における取得画像を基準画像とし、前記現時点の相対位置における取得画像を比較画像として、複数の判定対象画像領域のそれぞれについて、前記基準画像の使用適格判定パラメータの値と前記比較画像の使用適格判定パラメータの値との差を算出し、前記算出した差が第3判定閾値以上である前記判定対象画像領域の総和領域の、前記比較画像の全画像領域に対する割合を算出し、前記算出した割合が第4判定閾値より小さい場合、前記使用適格要件が満たされたと判定し、前記算出した割合が前記第4判定閾値以上である場合、前記使用適格要件が満たされないと判定することができる。

0014

本発明の撮影装置は、前記使用画像セットのすべての構成画像が得られた段階で、前記得られた使用画像セットを用いて合成画像を生成する合成画像生成部をさらに具備し、前記合成画像生成部は、前記使用適格要件が満たされた場合、前記算出された差が前記第3判定閾値以上である前記判定対象画像領域に対応する、前記合成画像における部分領域の画像を、前記基準画像における対応部分領域の画像で置き換えることができる。

0015

本発明の撮影制御装置は、その1つの態様では、画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理を制御し、前記撮影処理では、イメージセンサと光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動させる、撮影制御装置であって、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セットとしての使用適格要件を満たすか否かを判定する撮影制御部を具備する。

0016

本発明の撮影制御方法は、その1つの態様では、画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理を制御し、前記撮影処理では、イメージセンサと光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動させる、撮影制御方法であって、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セット(の一構成画像)としての使用適格要件を満たすか否かを判定する。

0017

本発明の撮影制御プログラムは、その1つの態様では、画像合成に用いる複数の撮影画像から成る使用画像セットを撮影する撮影処理において、イメージセンサと光学要素との間の基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記イメージセンサ及び前記光学要素を順次相対移動する、撮影装置に、各相対位置において撮影された画像を取得する度に、当該取得画像が前記使用画像セット(の一構成画像)としての使用適格要件を満たすか否かを判定する、処理を実行させる。

発明の効果

0018

本発明によれば、撮影回数を極力抑えつつ高画質の合成画像を生成することができる、撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムを得られる。

図面の簡単な説明

0019

第1実施形態のデジタルカメラ(撮影装置)の要部構成を示すブロック図である。
振れ補正装置の要部構成を示すブロック図である。
像振れ補正装置の構成を示す側面図である。
第1実施形態のDSP(制御装置)の内部構成を示す機能ブロック図である。
図5(A)〜図5(D)は本実施形態の「RRS撮影モード」の一例を示す概念図である。
第1実施形態のデジタルカメラの処理動作を示すフローチャートである。
図6に示したフローチャート中の使用適格要件の判定処理を示すフローチャートである。
第3実施形態のDSP(制御装置)の内部構成を示す機能ブロック図である。
第3実施形態の表示画像の説明に供する図である
第3実施形態の表示画像の説明に供する図(変形例1)である。
第3実施形態の表示画像の説明に供する図(変形例2)である。

実施例

0020

以下に、本発明の開示する制御装置、撮影装置、制御方法、及び制御プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明の開示する制御装置、撮影装置、制御方法、及び制御プログラムが限定されるものではない。また、実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略される。

0021

≪第1実施形態≫
[撮影装置の構成例]
図1は、第1実施形態の撮影装置の要部構成を示す図である。図2は、像振れ補正装置の要部構成を示すブロック図である。図3は、像振れ補正装置の構成を示す側面図である。

0022

図1に示すように、デジタルカメラ10は、ボディ本体20と、このボディ本体20に着脱可能(レンズ交換可能)な撮影レンズ30とを備えている。撮影レンズ30は、被写体側(図1中の左側)から像面側(図1中の右側)に向かって順に、撮影レンズ群(撮影光学系、移動部材、振れ補正部材)31と、絞り(撮影光学系)32とを備えている。ボディ本体20は、被写体側(図1中の左側)から像面側(図1中の右側)に向かって順に、シャッタ(撮影光学系)21と、イメージセンサ(撮像部、移動部材、振れ補正部材)22とを備えている。またボディ本体20は、撮影レンズ30への装着状態で絞り32とシャッタ21を駆動制御する絞り/シャッタ駆動回路23を備えている。撮影レンズ群31から入射し、絞り32とシャッタ21を通った被写体光束による被写体像が、イメージセンサ22の受光面上に形成される。イメージセンサ22の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ(時系列に撮影した複数の画像データ)としてDSP(制御装置)40に出力される。DSP40は、イメージセンサ22から入力した画像データに所定の画像処理を施して、これをLCD24に表示し、画像メモリ25に記憶する。なお、図1では、撮影レンズ群31が単レンズからなるように描いているが、実際の撮影レンズ群31は、例えば、固定レンズ、変倍時に移動する変倍レンズフォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。

0023

図示は省略しているが、イメージセンサ22は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ22を駆動する」とは、「イメージセンサ22の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。

0024

撮影レンズ30は、撮影レンズ群31の解像力MTF)情報や絞り32の開口径(絞り値)情報などの各種情報を記憶した通信用メモリ33を搭載している。撮影レンズ30をボディ本体20に装着した状態では、通信用メモリ33が記憶した各種情報がDSP40に読み込まれる。

0025

ボディ本体20は、DSP40に接続させて、撮影操作スイッチ26を備えている。撮影操作スイッチ26は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。

0026

ボディ本体20は、DSP40に接続させて、ジャイロセンサ(振れ検出部)27を備えている。ジャイロセンサ27は、ボディ本体20に加わる移動角速度(X軸とY軸周り)を検出することで、該ボディ本体20の光軸直交平面内の振れを示す振れ検出信号を検出する。

0027

図1図3に示すように、イメージセンサ22は、撮影光学系の光軸Zと直交するX軸方向とY軸方向(直交二方向)に移動可能に像振れ補正装置50に搭載されている。像振れ補正装置50は、ボディ本体20のシャーシなどの構造物に固定される固定支持基板51と、イメージセンサ22を固定した、固定支持基板51に対してスライド可能な可動ステージ52と、固定支持基板51の可動ステージ52との対向面に固定した磁石M1、M2、M3と、固定支持基板51に可動ステージ52を挟んで各磁石M1、M2、M3と対向させて固定した、各磁石M1、M2、M3との間に磁気回路を構成する磁性体からなるヨークY1、Y2、Y3と、可動ステージ52に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルC1、C2、C3を有している。駆動用コイルC1、C2、C3に交流駆動信号交流電圧)を流す(印加する)ことにより、固定支持基板51に対して可動ステージ52(イメージセンサ22)が光軸直交平面内で駆動するようになっている。駆動用コイルC1、C2、C3に流す交流駆動信号は、DSP40による制御の下、イメージセンサ駆動回路60によって生成される。

0028

本実施形態では、磁石M1、ヨークY1及び駆動用コイルC1からなる磁気駆動手段と、磁石M2、ヨークY2及び駆動用コイルC2からなる磁気駆動手段(2組の磁気駆動手段)とがイメージセンサ22の長手方向(水平方向、X軸方向)に所定間隔で配置され、磁石M3、ヨークY3及び駆動用コイルC3からなる磁気駆動手段(1組の磁気駆動手段)がイメージセンサ22の長手方向と直交する短手方向(鉛直(垂直)方向、Y軸方向)に配置されている。

0029

さらに固定支持基板51には、各駆動用コイルC1、C2、C3の近傍(中央空間部)に、磁石M1、M2、M3の磁力を検出して可動ステージ52(イメージセンサ22)の光軸直交平面内の位置を示すホール出力信号(位置検出信号)を出力(検出)するホールセンサ位置検出部)H1、H2、H3が配置されている。ホールセンサH1、H2により可動ステージ52(イメージセンサ22)のY軸方向位置及び傾き(回転)が検出され、ホールセンサH3により可動ステージ52(イメージセンサ22)のX軸方向位置が検出される。DSP40は、イメージセンサ駆動回路60を介して、ジャイロセンサ27が検出したボディ本体20の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサH1、H2、H3が出力したイメージセンサ22の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置50によってイメージセンサ22を光軸直交平面内で駆動する。これにより、イメージセンサ22上への被写体像の結像位置変位させて、手振れに起因する像振れを補正することができる。

0030

本実施形態のデジタルカメラ10は、像振れ補正装置50を利用して、イメージセンサ22(イメージセンサユニット)を撮影光学系の光軸Zと直交する平面内で微細に移動させながら時系列に複数回の撮影を行い、その画像を1枚に合成(画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成)することで、超高精細(高画質、高精度)な画像を生成する撮影モード(マルチショット合成モード)を搭載している。以下ではこの撮影モードを「RRS(リアルレゾリューション・システム)撮影モード」と呼ぶ。ボディ本体20は、図1に示すように、DSP40に接続させて、「RRS撮影モード」を行うか否か、更にはその詳細を設定するためのRRS撮影モード設定部28を備えている。

0031

「RRS撮影モード(マルチショット合成モード)」では、1画素あたり1つの色情報のみを取得する従来のベイヤ方式と異なり、1画素毎にRGB各色の情報を得ることで、細部までのディティール色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレ色が発生することが無く、ノイズを低減する効果が得られる。

0032

図4は、第1実施形態のDSP(制御装置)40の内部構成を示す機能ブロック図である。図4において、DSP(制御装置)40は、撮影制御部40Aと、合成画像生成部40Bとを含んでいる。

0033

撮影制御部40Aは、マルチショット画像合成に用いる複数の撮影画像から成る「使用画像セット」を撮影する「撮影処理」を制御している。この「撮影処理」では、イメージセンサ22と撮影光学系に含まれる光学要素(例えば、撮影レンズ群31の少なくとも一部)との間の「基準位置」から光軸方向と異なる方向(例えば、光軸方向と直交する方向)のそれぞれ異なる複数の「相対位置」に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を順次相対移動させている。

0034

図5(A)〜図5(D)は本実施形態の「RRS撮影モード(マルチショット合成モード)」の一例を示す概念図である。同図において、イメージセンサ22は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列カラーフィルタR、G(Gr、Gb)、Bのいずれかが配置されている。特に、ベイヤ配列のカラーフィルタは、「基本単位」に1つのR画素と2つのG画素と1つのB画素とを含んでいる。各画素は、前面のカラーフィルタR、G(Gr、Gb)、Bを透過して入射した被写体光線の色を検出、つまり、色成分(色帯域)の光を光電変換し、その強さ(輝度)に応じた電荷蓄積する。より具体的に、図5(A)の基準位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ下方に移動(相対移動)させた図5(B)の位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ右方に移動させた図5(C)の位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ上方に移動させた図5(D)の位置で1枚の画像を撮影し、最後に図5(A)の基準位置に戻る。すなわち、本明細書では、例えば、図5(A)に示した位置を「基準位置」と呼び、図5(B)〜(D)に示した位置を「相対位置」と呼んでいる。そして、「基準位置」及び複数の「相対位置」は、上記の「基本単位」の4つの画素(つまり、1つのR画素、2つのG画素、及び1つのB画素)にそれぞれ対応している。このように、イメージセンサ22を光軸直交平面内で1画素ピッチの正方形を描くように駆動しながら時系列に撮影した4枚の画像(RAW画像データ)が「使用画像セット」として、DSP(制御装置)40に入力される。

0035

そして、撮影制御部40Aは、各相対位置において撮影された画像をイメージセンサ22から取得する度に、当該取得画像が「使用画像セット」の一構成画像としての「使用適格要件」を満たすか否かを判定する。この「使用適格要件」については後に詳しく説明する。

0036

そして、撮影制御部40Aは、各相対位置において、取得画像が使用適格要件を満たすまで「再撮影」を繰り返させ、使用適格要件が満たされた場合、使用適格要件を満たした取得画像を使用画像セットの構成画像として保持すると共に、次の相対位置にイメージセンサ22及び上記の光学要素を相対移動させる。なお、撮影制御部40Aは、「再撮影」の回数所定回数に到達した場合には、例えば、実行中のマルチショット合成処理のフローを停止し、そのフローを最初から自動的に実行するようにしてもよいし、又は、そのフローの再実行をするか否かをユーザに問い合わせる表示をLCD24に表示させてもよい。すなわち、「再撮影」の回数に上限値が設定されていてもよい。

0037

例えば、撮影制御部40Aは、基準位置における取得画像又は複数の相対位置のうち現時点の相対位置よりも前の相対位置における取得画像を「基準画像」とし、現時点の相対位置における取得画像を比較画像とする。すなわち、例えば、現時点が図5(C)で示した相対位置の場合、図5(A)に示した基準位置における取得画像、又は、図5(B)で示した相対位置における取得画像を「基準画像」とし、図5(C)で示した相対位置における取得画像を「比較画像」とする。そして、撮影制御部40Aは、基準画像の「使用適格判定パラメータ」の値と比較画像の「使用適格判定パラメータ」の値との差のレベルに基づいて、現時点の相対位置における取得画像が使用適格要件を満たすか否かを判定する。「使用適格判定パラメータ」は、例えば、判定対象画像領域における輝度ヒストグラム、及び、判定対象画像領域におけるRGB値の少なくとも一方を含む。

0038

合成画像生成部40Bは、撮影制御部40Aにおいて使用画像セットを構成するすべての構成画像が得られた段階で、得られた使用画像セットを用いて合成画像を生成する。

0039

ここで、上記の「使用適格要件」は、例えば、基準画像の判定対象画像領域(以下では、「第1判定対象画像領域」と呼ぶ)における輝度ヒストグラムと比較画像の第1判定対象画像領域における輝度ヒストグラムとの「第1差値」が「第1判定閾値」より小さいこと、及び、基準画像の判定対象画像領域(以下では、「第2判定対象画像領域」と呼ぶ)におけるRGB値と比較画像の第2判定対象画像領域におけるRGB値との「第2差値」が「第2判定閾値」より小さいことの両方が満たされることである。すなわち、「第1差値」が「第1判定閾値」以上であること、及び、「第2差値」が「第2判定閾値」以上であることの少なくとも一方が満たされた場合、使用適格要件が満たされないと判定される。上記の「第1判定対象画像領域」及び「第2判定対象画像領域」は、それぞれ、基準画像と比較画像との比較に用いられる単位領域であり、基準画像及び比較画像の中の各「1画素」であってもよいし、又は、複数画素を含む各「画素ブロック」であってもよい。

0040

[撮影装置の動作例]
以上の構成を有するデジタルカメラ(撮影装置)10の処理動作の一例について説明する。図6は、第1実施形態のデジタルカメラの処理動作を示すフローチャートである。図7は、図6に示したフローチャート中の使用適格要件の判定処理を示すフローチャートである。図6及び図7に示したフローチャートは、特に、DSP(制御装置)40による処理動作が示されている。このDSP(制御装置)40による処理動作は、メモリに記憶されている制御プログラムがDSP(制御装置)40に読み出されることにより実現される。

0041

テップS1では、DSP(制御装置)40は、デジタルカメラ(撮影装置)10(特に、上記の撮影光学系及びイメージセンサ22)に対して、上記の「基準位置」(例えば、図5(A)に示した位置)で撮影させる。そして、DSP(制御装置)40は、上記の「基準位置」で撮影された画像を取得する。

0042

ステップS2では、DSP(制御装置)40は、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31の少なくとも一部)を、次の相対位置(例えば、図5(B)に示した位置)へ相対移動させる。

0043

ステップS3では、DSP(制御装置)40は、デジタルカメラ(撮影装置)10(特に、上記の撮影光学系及びイメージセンサ22)に対して、現在の相対位置(例えば、図5(B)に示した位置)で撮影させる。そして、DSP(制御装置)40は、現在の相対位置(例えば、図5(B)に示した位置)で撮影された画像を取得する。

0044

ステップS4では、DSP(制御装置)40は、「使用適格要件の判定処理」、つまり、使用適格要件が満たされるか否かについての判定処理を実行する。使用適格要件が満たされない場合(ステップS4:NO)、ステップS5で、DSP(制御装置)40は、デジタルカメラ(撮影装置)10(特に、上記の撮影光学系及びイメージセンサ22)に対して、現在の相対位置での「再撮影」をさせる。すなわち、DSP(制御装置)40は、デジタルカメラ(撮影装置)10(特に、上記の撮影光学系及びイメージセンサ22)に対して、「リトライ処理」を実行させる。一方、使用適格要件が満たされた場合(ステップS4:YES)、ステップS6で、DSP(制御装置)40は、使用適格要件を満たした取得画像を使用画像セットの構成画像として保持する。

0045

ここで、「使用適格要件の判定処理」の詳細について、図7を参照して説明する。

0046

ステップS11では、DSP(制御装置)40は、基準画像の第1判定対象画像領域における輝度ヒストグラムと、比較画像の第1判定対象画像領域における輝度ヒストグラムとを、それぞれ算出する。

0047

ステップS12では、DSP(制御装置)40は、基準画像の第1判定対象画像領域における輝度ヒストグラムと、比較画像の第1判定対象画像領域における輝度ヒストグラムとの差(つまり、上記の「第1差値」)を算出する。

0048

ステップS13では、DSP(制御装置)40は、算出した「第1差値」が「第1判定閾値」よりも小さいか否かを判定する。

0049

「第1差値」が「第1判定閾値」よりも小さい場合(ステップS13:YES)、ステップS14で、DSP(制御装置)40は、基準画像の第2判定対象画像領域におけるRGB値と、比較画像の第2判定対象画像領域におけるRGB値とを、それぞれ算出する。

0050

ステップS15では、DSP(制御装置)40は、基準画像の第2判定対象画像領域におけるRGB値と、比較画像の第2判定対象画像領域におけるRGB値との差(つまり、上記の「第2差値」)を算出する。

0051

ステップS16では、DSP(制御装置)40は、算出した「第2差値」が「第2判定閾値」よりも小さいか否かを判定する。

0052

算出した「第2差値」が「第2判定閾値」よりも小さい場合(ステップS16:YES)、DSP(制御装置)40は、処理ステップを図6のステップS6へ進ませて、使用適格要件を満たした取得画像を使用画像セットの構成画像として保持する。

0053

一方、算出した「第2差値」が「第2判定閾値」以上である場合(ステップS16:NO)、DSP(制御装置)40は、処理ステップを図6のステップS5へ進ませて、現在の相対位置での「再撮影」を実行する。また、算出した「第1差値」が「第1判定閾値」以上である場合(ステップS13:NO)も、DSP(制御装置)40は、処理ステップを図6のステップS5へ進ませて、現在の相対位置での「再撮影」を実行する。

0054

図6の説明に戻り、ステップS7では、DSP(制御装置)40は、使用画像セットのすべての構成画像が揃ったか否かを判定する。

0055

使用画像セットのすべての構成画像が未だ揃っていない場合(ステップS7:NO)、ステップS2に戻り、DSP(制御装置)40は、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を、次の相対位置(例えば、図5(C)に示した位置)へ相対移動させる。DSP(制御装置)40は、使用画像セットのすべての構成画像が揃うまで(ステップS7:NO)、ステップS2〜ステップS7の処理ループを繰り返させる。

0056

使用画像セットのすべての構成画像が揃った場合(ステップS7:YES)、DSP(制御装置)40は、得られた使用画像セットを用いて、画像合成処理を実行、つまり、合成画像を生成する。

0057

以上のように第1実施形態によれば、DSP(制御装置)40において、撮影制御部40Aは、各相対位置において撮影された画像を取得する度に、当該取得画像が「使用画像セット」の一構成画像としての使用適格要件を満たすか否かを判定する。

0058

このDSP(制御装置)40の構成により、各相対位置で撮影された1枚の画像毎に、つまり、「1枚の撮影」単位で、「リトライ処理」、つまり「再撮影」を実行させることができる。これにより、「5枚の撮影」を1セットとしてリトライ処理を実行していた従来技術と比べて、使用画像セットのすべての構成画像が揃うまでに行われる撮影回数を低減することができる。また、各相対位置で撮影された1枚の画像毎に使用適格要件が満たされるか否かを判定するので、すべての相対位置で撮影された画像が使用適格要件の判定処理の対象となる。これにより、使用適格要件にマッチしない取得画像を画像合成処理の対象から確実に除外することができるので、結果として、合成画像の画質劣化を防止することができる。

0059

なお、以上の説明では、「使用適格要件」を、基準画像の第1判定対象画像領域における輝度ヒストグラムと比較画像の第1判定対象画像領域における輝度ヒストグラムとの「第1差値」が「第1判定閾値」より小さいこと、及び、基準画像の第2判定対象画像領域におけるRGB値と比較画像の第2判定対象画像領域におけるRGB値との「第2差値」が「第2判定閾値」より小さいことの両方が満たされることであるものとして説明を行ったが、これに限定されるものではない。例えば、「使用適格要件」は、基準画像の第1判定対象画像領域における輝度ヒストグラムと比較画像の第1判定対象画像領域における輝度ヒストグラムとの「第1差値」が「第1判定閾値」より小さいことだけであってもよいし、又は、基準画像の第2判定対象画像領域におけるRGB値と比較画像の第2判定対象画像領域におけるRGB値との「第2差値」が「第2判定閾値」より小さいことだけであってもよい。

0060

≪第2実施形態≫
第2実施形態は、第1実施形態のように、基準画像の「使用適格判定パラメータ」の値と比較画像の「使用適格判定パラメータ」の値との差が判定閾値以上である場合に一律に「リトライ処理」を実行するのではなく、基準画像の「使用適格判定パラメータ」の値と比較画像の「使用適格判定パラメータ」の値との差が判定閾値以上である場合であっても、所定条件が満たされる場合には、比較画像を画像合成に用いる実施形態に関する。なお、第2実施形態のデジタルカメラ(撮影装置)の構成は、第1実施形態のデジタルカメラ(撮影装置)10の構成と同様なので、図1から図4を参照して説明する。

0061

第2実施形態のDSP(制御装置)40において、撮影制御部40Aは、複数の判定対象画像領域のそれぞれについて、基準画像の使用適格判定パラメータの値と比較画像の使用適格判定パラメータの値との差を算出する。

0062

そして、撮影制御部40Aは、算出した差が「第3判定閾値」以上である判定対象画像領域の「総和領域」の、比較画像の全画像領域に対する割合を算出する。

0063

そして、撮影制御部40Aは、算出した割合が「第4判定閾値」より小さい場合、使用適格要件が満たされたと判定する一方、算出した割合が「第4判定閾値」以上である場合、使用適格要件が満たされないと判定する。

0064

ここで、算出した差が「第3判定閾値」以上である判定対象画像領域は、上記の「撮影条件」が変動した領域に相当する。また、上記の「総和領域」の、比較画像の全画像領域に対する割合は、比較画像の全画像領域において上記の「撮影条件」が変動した領域が占める割合に相当する。比較画像の全画像領域において上記の「撮影条件」が変動した領域が占める割合が大きい場合、つまり、当該割合が「第4判定閾値」以上である場合、この比較画像を画像合成に用いることは難しい。一方、比較画像の全画像領域において上記の「撮影条件」が変動した領域が占める割合が小さい場合、つまり、当該割合が「第4判定閾値」より小さい場合、比較画像の全画像領域において上記の「撮影条件」が変動していない領域を画像合成に用いることは有効である。このため、第2実施形態の撮影制御部40Aは、算出した割合が「第4判定閾値」より小さい場合、使用適格要件が満たされたと判定している。ここで、上記の「撮影条件」の変動が手ぶれやフリッカーに起因する場合、上記の「撮影条件」が変動した領域は、比較画像の大部分の画像領域に亘る傾向にある。このため、上記の「撮影条件」の変動が手ぶれやフリッカーに起因する場合、上記算出した割合は「第4判定閾値」以上となる傾向にある。また、上記の「撮影条件」の変動が被写体ぶれや露出の差に起因する場合、上記の「撮影条件」が変動した領域は、比較画像の一部の画像領域にのみ現れる傾向にある。このため、上記の「撮影条件」の変動が被写体ぶれや露出の差に起因する場合、上記算出した割合は「第4判定閾値」より小さくなる傾向にある。

0065

そして、合成画像生成部40Bは、使用適格要件が満たされた場合、算出された差が「第3判定閾値」以上である判定対象画像領域に対応する、合成画像における部分領域の画像を、基準画像における対応部分領域の画像で置き換える。

0066

以上のように第2実施形態によれば、DSP(制御装置)40において、撮影制御部40Aは、複数の判定対象画像領域のそれぞれについて、基準画像の使用適格判定パラメータの値と比較画像の使用適格判定パラメータの値との差を算出する。そして、撮影制御部40Aは、算出した差が第3判定閾値以上である判定対象画像領域の総和領域の、比較画像の全画像領域に対する割合を算出する。そして、撮影制御部40Aは、算出した割合が第4判定閾値より小さい場合、使用適格要件が満たされたと判定する。

0067

このDSP(制御装置)40の構成により、比較画像において上記の「撮影条件」が変動した領域が現れた場合に一律に「リトライ処理」を実行するのではなく、比較画像において上記の「撮影条件」が変動していない領域の割合が小さい場合には、この比較画像を画像合成に用いることができる。これにより、使用画像セットのすべての構成画像が揃うまでに行われる撮影回数をさらに低減することができる。

0068

また、第2実施形態のDSP(制御装置)40において、撮影制御部40Aは、使用適格要件が満たされた場合、算出した差が第3判定閾値以上である判定対象画像領域に対応する、合成画像における部分領域の画像を、基準画像における対応部分領域の画像で置き換える。

0069

このDSP(制御装置)40の構成により、比較画像において算出した差が第3判定閾値以上である判定対象画像領域に対応する、合成画像における部分領域、つまり、合成画像の画質が落ちていると推測される領域を、基準画像における対応部分領域の画像で置き換えることができるので、結果として、合成画像の画質劣化を防止することができる。

0070

≪第3実施形態≫
第3実施形態は、基準位置及び複数の相対位置でそれぞれ撮影された複数の撮影画像を、「相対移動」と同期してLCD(表示部)24にそれぞれ表示させる。なお、第3実施形態のデジタルカメラ(撮影装置)の構成は、第1実施形態のデジタルカメラ(撮影装置)10の構成と同様なので、図1から図3を参照して説明する。

0071

図8は、第3実施形態のDSP(制御装置)の内部構成を示す機能ブロック図である。図8において、第3実施形態のDSP(制御装置)40'は、第1実施形態乃至第3実施形態で説明した撮影制御部40Aと合成画像生成部40Bに加えて、表示制御部40Cを有している。

0072

例えば、第1実施形態で説明したように、撮影制御部40Aは、各相対位置において撮影された画像をイメージセンサ22から取得する度に、当該取得画像が「使用画像セット」の一構成画像としての「使用適格要件」を満たすか否かを判定する。そして、撮影制御部40Aは、各相対位置において、取得画像が使用適格要件を満たすまで「再撮影」を繰り返させ、使用適格要件が満たされた場合、使用適格要件を満たした取得画像を使用画像セットの構成画像として保持すると共に、次の相対位置にイメージセンサ22及び上記の光学要素を相対移動させる。

0073

このため、各相対位置における撮影回数(取得画像の数)は不明である。従って、1セットの撮影がいつ開始されいつ終了するのかについて、ユーザが認識することは困難である。この問題は、特に、撮影処理でメカ動作を伴わない電子シャッタが用いられる場合に顕著となる。このため、1セットの撮影中であるにもかかわらず、ユーザが誤って撮影装置を動かしてしまう(例えば、構図を変更してしまう、三脚から取り外してしまう等)可能性がある。この場合、1セットの撮影画像を合成した合成画像は、品質が著しく低下した失敗画像になってしまう可能性がある。

0074

そこで、表示制御部40Cは、「表示制御処理」を実行する。この「表示制御処理」として、表示制御部40Cは、例えば、基準位置及び複数の相対位置でそれぞれ撮影された複数の撮影画像を、「相対移動」に応じてLCD(表示部)24にそれぞれ表示させる。「相対移動に応じて表示」とは、例えば、タイミングに関して言えば、第1の位置で撮影した撮影画像を、第1の位置から次の第2の位置への移動タイミング自体及び第2の位置での撮影処理や画像処理の所定タイミングで表示させることを意味する。すなわち、第1の位置で撮影した撮影画像を、第1の位置から次の第2の位置への移動タイミングと所定の関係を有するタイミングにおいて表示できればよいので、「相対移動に応じて表示」は「相対移動と同期して表示」を含む概念である。また、例えば、表示制御部40Cは、画像セットを構成する撮影画像の数、及び、現時点で既に得られている撮影画像の数をユーザが認識可能な態様で、各撮影画像をLCD(表示部)24に表示させる。

0075

例えば、表示制御部40Cは、LCD(表示部)24の表示画面に対して複数の「部分画面領域」を設定する。また、表示制御部40Cは、この複数の「部分画面領域」と、基準位置及び複数の相対位置とを、それぞれ対応付けておく。すなわち、例えば、LCD(表示部)24の表示画面上の各「部分画面領域」は、上記のカラーフィルタの基本単位における各画素に対応している。そして、表示制御部40Cは、図9に示すように、基準位置及び複数の相対位置で得られた複数の撮影画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域にそれぞれ表示させる。図9(A)は、基準位置での撮影完了後で1番目の相対位置での撮影中にLCD(表示部)24に表示される表示画像であり、図9(B)は、1番目の相対位置での撮影完了後で2番目の相対位置での撮影中に表示される表示画像であり、図9(C)は、2番目の相対位置での撮影完了後で3番目の相対位置での撮影中に表示される表示画像であり、図9(D)は、3番目の相対位置での撮影完了後で画像合成処理中に表示される表示画像である。

0076

具体的には、表示制御部40Cは、撮影制御部40Aによって制御される「相対移動のパターン」と同じパターン(表示パターン)で、基準位置及び3つの相対位置で得られた4枚の撮影画像を順次表示させている。すなわち、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)のうちの一方の移動に応じて、各位置で撮影された静止画像が順次追加表示されて、表示画像が順次変化する。例えば、表示制御部40Cは、図5で示したように「相対移動のパターン」が時計回りであれば、LCD(表示部)24の表示画面が4分割された4つの部分画面領域に対して、基準位置及び3つの相対位置で得られた4枚の撮影画像を時計回りで順次表示させている。この「表示パターン」は、これに限定されるものではなく、例えば、イメージセンサ22の移動方向にマッチさせて、基準位置及び3つの相対位置で得られた4枚の撮影画像を反時計回りで順次表示させてもよいし、基準位置及び3つの相対位置で得られた4枚の撮影画像を表示位置の軌跡が「Z」を描くように順次表示させてもよい。また、「表示パターン」は、LCD(表示部)24の表示画面が縦又は横に4分割された4つの部分画面領域に対して、基準位置及び3つの相対位置で得られた4枚の撮影画像を、例えば、上(下)から又は右(左)から順番に表示させてもよい。

0077

ここで、1つの相対位置で「再撮影」が複数回繰り返される場合、表示制御部40Cは、その相対位置に対応する部分画面領域に表示される撮影画像を再撮影画像で順次更新する。これにより、どの相対位置で「再撮影」が繰り返されているのかユーザに認識させることができる。すなわち、マルチショット合成モードの撮影処理の進行具合をユーザに確実に認識させることができる。さらに、1つの相対位置で「再撮影」する前に(つまり、ステップS5の前に)、「使用適格要件」が満たされなかったことをユーザに報知して、その後に「再撮影」を行ってもよい。又は、1つの相対位置で「再撮影」する前に(つまり、ステップS5の前に)、「使用適格要件が満たされませんでした。再撮影しますか?」等のメッセージをLCD(表示部)24に表示し、この表示に応じてユーザによって再撮影指示操作が為された場合に、「再撮影」を行ってもよい。

0078

以上のように第3実施形態によれば、DSP(制御装置)40'において、表示制御部40Cは、基準位置及び複数の相対位置でそれぞれ撮影された複数の撮影画像を、「相対移動」に応じてLCD(表示部)24にそれぞれ表示させる。

0079

このDSP(制御装置)40'の構成により、マルチショット合成モードの撮影処理で電子シャッタが用いられる場合であっても、ユーザに、1セットの撮影がいつ開始されいつ終了するのかについて認識させることができる。この結果として、1セットの撮影中にユーザが撮影装置を動かしてしまう可能性が低くなり、1セットの撮影画像ひいては合成画像の画質(品質)を向上させることができる。

0080

例えば、表示制御部40Cは、LCD(表示部)24の表示画面に複数の部分画面領域を設定し、基準位置及び複数の相対位置で得られた複数の撮影画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域にそれぞれ表示させる。

0081

このDSP(制御装置)40'の構成により、マルチショット合成モードの撮影処理の進行具合をユーザに確実に認識させることができる。

0082

表示制御部40Cは、1つの相対位置で「再撮影」が複数回繰り返される場合、その相対位置に対応する部分画面領域に表示される撮影画像を再撮影画像で順次更新する。

0083

このDSP(制御装置)40'の構成により、どの相対位置で「再撮影」が繰り返されているのかユーザに認識させることができる。すなわち、マルチショット合成モードの撮影処理の進行具合をユーザに確実に認識させることができる。

0084

また、例えば、表示制御部40Cは、相対移動のパターンに対応する表示パターンで、複数の撮影画像をLCD(表示部)24に表示させる。

0085

このDSP(制御装置)40の構成により、マルチショット処理動きにマッチした態様で、マルチショット合成モードの撮影処理の進行具合をユーザに確実に認識させることができる。すなわち、ユーザは、マルチショット処理において移動部材(イメージセンサと光学要素の少なくとも一方)がどのような軌跡を描いているのかを擬似的に把握することができる。

0086

(変形例1)
表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮影画像を、一部重なるように一方向に表示位置をずらしながらLCD(表示部)24の表示画面に表示させてもよい。

0087

例えば、表示制御部40Cは、図10に示すように、基準位置及び複数の相対位置にそれぞれ対応する複数の部分画面領域を、一方向にずらして一部重なるように、LCD(表示部)24の表示画面に設定する。そして、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮影画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域に順次表示する。図10(A)は、基準位置での撮影完了後で1番目の相対位置での撮影中にLCD(表示部)24に表示される表示画像であり、図10(B)は、1番目の相対位置での撮影完了後で2番目の相対位置での撮影中に表示される表示画像であり、図10(C)は、2番目の相対位置での撮影完了後で3番目の相対位置での撮影中に表示される表示画像であり、図10(D)は、3番目の相対位置での撮影完了後で画像合成処理中に表示される表示画像である。

0088

(変形例2)
表示制御部40Cは、基準位置及び前記複数の相対位置で得られた複数の撮影画像に「半透明化処理」をそれぞれ施し、得られた複数の半透明画像をLCD(表示部)24に重畳表示させてもよい。「半透明化処理」とは、撮影画像の透過率を調整して半透明画像を生成する処理である。ここでは、4枚の半透明画像を重畳表示させることを前提としているので、表示制御部40Cは、一例として、4枚の半透明画像を重畳表示したときに透過率の総和が100%となるように、各半透明画像の透過率を25%(=1/4[%])としてもよい。

0089

例えば、表示制御部40Cは、図11に示すように、得られた複数の半透明画像を、表示位置をずらしながらLCD(表示部)24に重畳表示させる。図11(A)は、基準位置での撮影完了後で1番目の相対位置での撮影中にLCD(表示部)24に表示される表示画像であり、図11(B)は、1番目の相対位置での撮影完了後で2番目の相対位置での撮影中に表示される表示画像であり、図11(C)は、2番目の相対位置での撮影完了後で3番目の相対位置での撮影中に表示される表示画像であり、図11(D)は、3番目の相対位置での撮影完了後で画像合成処理中に表示される表示画像である。表示位置のずれ量は、特に限定されるものではないが、例えば、上記の「相対移動のパターン」に応じた量であってもよい。すなわち、上記の「相対移動のパターン」が1画素ピッチで相対移動するパターンである場合、表示位置のズレ量を「1画素ピッチ」としてもよい。又は、表示位置のズレ量を「1画素ピッチ」より大きくしてもよい。

0090

≪他の実施形態≫
[1]第1実施形態乃至第3実施形態では、RRS撮影モードにおいて、イメージセンサ22を光軸直交平面内で1画素ピッチの正方形を描くように駆動しながら撮影した4枚の画像を「複数の撮影画像から成る使用画像セット」とした場合を例示して説明した。しかし、イメージセンサ22の駆動軌跡及び駆動ピッチ並びに「複数の撮影画像から成る使用画像セット」の枚数表示態様には自由度があり、種々の設計変更が可能である。例えば、第3実施形態で説明した様に、画像セットの構成画像の枚数分の分割表示が行われてもよいし、画像セットの構成画像を順番に繰り返し表示させてもよい。またイメージセンサ22を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「複数の撮影画像から成る使用画像セット」は、RRS撮影モードで撮影(取得)したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい。

0091

[2]第1実施形態乃至第3実施形態では、イメージセンサ22を「移動部材」として、このイメージセンサ22を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群(撮影光学系)31の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ30内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ22と撮影レンズ群(撮影光学系)31の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。

0092

[3]第1実施形態乃至第3実施形態では、DSP40とイメージセンサ駆動回路60を別々の構成要素(ブロック)として描いているが、これらを単一の構成要素(ブロック)として実現する態様も可能である。

0093

[4]第1実施形態乃至第3実施形態では、像振れ補正装置50の構成として、固定支持基板51に磁石M1、M2、M3及びヨークY1、Y2、Y3を固定し、可動ステージ52に駆動用コイルC1、C2、C3を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。

0094

[5]第1実施形態乃至第3実施形態では、ボディ本体20と撮影レンズ30を着脱可能(レンズ交換可能)とする態様を例示して説明したが、ボディ本体20と撮影レンズ30を着脱不能(レンズ交換不能)とする態様も可能である。

0095

[6]第1実施形態乃至第3実施形態では、デジタルカメラ10が所謂ミラーレスカメラであることを前提として説明を行ったが、これに限定されるものではなく、所謂可動ミラーを有する一眼レフカメラであってもよい。第1実施形態乃至第3実施形態で開示の技術を一眼レフカメラに適用した場合、基準位置における撮影準備のとき又はその前に、可動ミラーを観察位置から撮影位置アップさせ、シャッタを全開させて、この状態で基準位置において1枚、その後異なる相対位置において3枚撮影する。全ての撮影が終了したとき又はその後に、シャッタを全閉させて、可動ミラーを観察位置にダウンさせる。

0096

10デジタルカメラ(撮影装置)
20 ボディ本体
21シャッタ(撮影光学系)
22イメージセンサ(撮像部、移動部材、振れ補正部材)
R G(Gr、Gb) Bカラーフィルタ
23絞り/シャッタ駆動回路
24 LCD(表示部)
25画像メモリ
26撮影操作スイッチ
27ジャイロセンサ(振れ検出部)
28RRS撮影モード設定部
30撮影レンズ
31撮影レンズ群(撮影光学系、移動部材、振れ補正部材)
32 絞り(撮影光学系)
33通信用メモリ
40,40' DSP(制御装置)
40A撮影制御部
40B合成画像生成部
40C表示制御部
50 像振れ補正装置
51固定支持基板
52可動ステージ
M1 M2 M3磁石
Y1 Y2 Y3ヨーク
C1 C2 C3駆動用コイル
H1 H2 H3ホールセンサ(位置検出部)
60 イメージセンサ駆動回路

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ