図面 (/)

技術 シフト素子制御装置、シフト素子制御プログラムおよび光学機器

出願人 キヤノン株式会社
発明者 青山祐三
出願日 2015年4月8日 (4年3ヶ月経過) 出願番号 2015-079234
公開日 2016年12月1日 (2年7ヶ月経過) 公開番号 2016-201626
状態 特許登録済
技術分野 スタジオ装置 カメラレンズの調整
主要キーワード 連続撮像処理 ライブビュー映像 各検出ブロック フォーカシング領域 パンニング速度 撮像記録処理 バヨネット結合 アシスト処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年12月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

主被写体を含む複数の被写体が存在する場合でも、主被写体に対する良好な流し撮りが行われた撮像画像が得られるようにする。

解決手段

シフト素子制御装置132は、移動する被写体の撮像において撮像光学系101の光軸に対してシフト可能なシフト素子104のシフト駆動を制御する。該装置は、撮像により生成された動画像のうち被写体の画像を含む被写体領域において検出された動きベクトルからシフト素子のシフト駆動量を算出する算出手段と、シフト駆動量に応じたシフト駆動の制御を行う制御手段とを有する。算出手段は、動画像における複数の被写体領域にて検出された互いに大きさが異なる複数の動きベクトルのそれぞれに対してシフト駆動量を算出する。制御手段は、算出された複数のシフト駆動量のそれぞれに応じたシフト駆動を、複数回の静止画撮像における撮像ごとに順次行う。

概要

背景

移動している被写体のスピード感表現する撮影技術として、ユーザが被写体の動きに合わせて撮像装置(以下、カメラという)をパンニングすることで移動被写体撮像画面内静止させ、背景が流れるように撮影する流し撮りがある。そして、パンニング速度が変動しても良好な流し撮りを行えるように、撮像画像中の被写体の動き(動きベクトル)を検出し、その動きを小さくするように撮像光学系内シフトレンズ光軸に対してシフトさせる流し撮りアシスト機能を有するカメラがある。

特許文献1には、振れセンサによるカメラ振れの検出結果と撮像画像中の被写体の動きベクトルから被写体を画像中央に位置させるためのレンズシフト量を算出し、該シフト量だけシフトレンズを光軸に対してシフトさせる流し撮りアシスト方法が開示されている。被写体の動きベクトルは、予め決められた被写体領域内で検出される。

概要

主被写体を含む複数の被写体が存在する場合でも、主被写体に対する良好な流し撮りが行われた撮像画像が得られるようにする。シフト素子制御装置132は、移動する被写体の撮像において撮像光学系101の光軸に対してシフト可能なシフト素子104のシフト駆動を制御する。該装置は、撮像により生成された動画像のうち被写体の画像を含む被写体領域において検出された動きベクトルからシフト素子のシフト駆動量を算出する算出手段と、シフト駆動量に応じたシフト駆動の制御を行う制御手段とを有する。算出手段は、動画像における複数の被写体領域にて検出された互いに大きさが異なる複数の動きベクトルのそれぞれに対してシフト駆動量を算出する。制御手段は、算出された複数のシフト駆動量のそれぞれに応じたシフト駆動を、複数回の静止画撮像における撮像ごとに順次行う。

目的

本発明は、主被写体を含む複数の被写体が存在する場合でも、主被写体に対する良好な流し撮りが行われた撮像画像が得られるようにしたシフト素子制御装置および光学機器等を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

移動する被写体の撮像において撮像光学系の光軸に対してシフト可能なシフト素子シフト駆動を制御するシフト素子制御装置であって、撮像により生成された動画像のうち前記被写体の画像を含む被写体領域において検出された動きベクトルから前記シフト素子のシフト駆動量を算出する算出手段と、前記シフト駆動量に応じた前記シフト駆動の制御を行う制御手段とを有し、前記算出手段は、前記動画像における複数の前記被写体領域にて検出された互いに大きさが異なる複数の動きベクトルのそれぞれに対して前記シフト駆動量を算出し、前記制御手段は、算出された複数の前記シフト駆動量のそれぞれに応じた前記シフト駆動を、複数回の静止画撮像における撮像ごとに順次行うことを特徴とするシフト素子制御装置。

請求項2

前記制御手段は、前記複数の被写体領域にて検出された前記動きベクトルのうち出現頻度がより多い動きベクトルに対して算出された前記シフト駆動量に応じた前記シフト駆動をより先に行うことを特徴とする請求項1に記載のシフト素子制御装置。

請求項3

前記制御手段は、前記複数の被写体領域のうち撮像画面におけるフォーカシング領域により近い被写体領域にて検出された前記動きベクトルに対して算出された前記シフト駆動量に応じた前記シフト駆動をより先に行うことを特徴とする請求項1または2に記載のシフト素子制御装置。

請求項4

前記制御手段は、前記動画像における前記複数の被写体領域の位置と該複数の被写体領域において検出された前記動きベクトルの大きさとから、順次行う前記シフト駆動の順序を設定することを特徴とする請求項1から3のいずれか一項に記載のシフト素子制御装置。

請求項5

前記制御手段は、前記複数の被写体領域の位置と該複数の被写体領域において検出された前記動きベクトルの大きさとから、前記複数回の静止画撮像の完了前に前記複数の被写体領域のうち特定の被写体領域が撮像画面から外れると判定した場合は、該特定の被写体領域の前記動きベクトルに対して算出された前記シフト駆動量に応じた前記シフト駆動から先に行うことを特徴とする請求項4に記載のシフト素子制御装置。

請求項6

請求項1から5のいずれか一項に記載のシフト素子制御装置と、前記シフト素子、前記被写体の撮像による画像生成を行う撮像手段および前記被写体領域にて前記動きベクトルを検出する検出手段のうち少なくとも1つとを有することを特徴とする光学機器

請求項7

移動する被写体の撮像において撮像光学系の光軸に対してシフト可能なシフト素子のシフト駆動をコンピュータに制御させるコンピュータプログラムであり、前記コンピュータに、撮像により生成された動画像のうち前記被写体の画像を含む被写体領域において検出された動きベクトルから前記シフト素子のシフト駆動量を算出させ、該シフト駆動量に応じた前記シフト駆動の制御を行わせるシフト素子制御プログラムであって、前記コンピュータに、前記動画像における複数の前記被写体領域にて検出された互いに大きさが異なる複数の動きベクトルのそれぞれに対して前記シフト駆動量を算出させ、算出された複数の前記シフト駆動量のそれぞれに応じた前記シフト駆動を、複数回の静止画撮像における撮像ごとに順次行わせることを特徴とするシフト素子制御プログラム。

技術分野

0001

本発明は、光学機器におけるいわゆる流し撮りアシスト機能を制御する技術に関する。

背景技術

0002

移動している被写体のスピード感表現する撮影技術として、ユーザが被写体の動きに合わせて撮像装置(以下、カメラという)をパンニングすることで移動被写体撮像画面内静止させ、背景が流れるように撮影する流し撮りがある。そして、パンニング速度が変動しても良好な流し撮りを行えるように、撮像画像中の被写体の動き(動きベクトル)を検出し、その動きを小さくするように撮像光学系内シフトレンズ光軸に対してシフトさせる流し撮りアシスト機能を有するカメラがある。

0003

特許文献1には、振れセンサによるカメラ振れの検出結果と撮像画像中の被写体の動きベクトルから被写体を画像中央に位置させるためのレンズシフト量を算出し、該シフト量だけシフトレンズを光軸に対してシフトさせる流し撮りアシスト方法が開示されている。被写体の動きベクトルは、予め決められた被写体領域内で検出される。

先行技術

0004

特開2006−317848号公報

発明が解決しようとする課題

0005

しかしながら、特許文献1にて開示されたように撮像画像から検出した動きベクトルを用いてシフトレンズをシフトさせる方法には、以下のような問題がある。すなわち、撮像画像内に複数の被写体の画像が存在し、それらの動きベクトルがそれぞれ検出された場合に、ユーザが撮像したい(静止させたい)主被写体とは異なる被写体の動きベクトルに応じてシフトレンズの制御が行われるおそれがある。この場合、主被写体が撮像画像内で静止しないだけでなく、撮像画面から外れてしまうおそれもある。

0006

本発明は、主被写体を含む複数の被写体が存在する場合でも、主被写体に対する良好な流し撮りが行われた撮像画像が得られるようにしたシフト素子制御装置および光学機器等を提供する。

課題を解決するための手段

0007

本発明の一側面としてのシフト素子制御装置は、移動する被写体の撮像において撮像光学系の光軸に対してシフト可能なシフト素子のシフト駆動を制御する。該シフト素子制御装置は、撮像により生成された動画像のうち被写体の画像を含む被写体領域において検出された動きベクトルからシフト素子のシフト駆動量を算出する算出手段と、シフト駆動量に応じたシフト駆動の制御を行う制御手段とを有する。算出手段は、動画像における複数の被写体領域にて検出された互いに大きさが異なる複数の動きベクトルのそれぞれに対してシフト駆動量を算出する。そして、制御手段は、算出された複数のシフト駆動量のそれぞれに応じたシフト駆動を、複数回の静止画撮像における撮像ごとに順次行うことを特徴とする。

0008

なお、上記シフト素子制御装置と、シフト素子、被写体の撮像による画像生成を行う撮像手段および被写体領域にて動きベクトルを検出する検出手段のうち少なくとも1つとを有する光学機器も、本発明の他の一側面を構成する。

0009

さらに、本発明の他の一側面としてのシフト素子制御プログラムは、移動する被写体の撮像において撮像光学系の光軸に対してシフト可能なシフト素子のシフト駆動をコンピュータに制御させるコンピュータプログラムであり、コンピュータに、撮像により生成された動画像のうち被写体の画像を含む被写体領域において検出された動きベクトルからシフト素子のシフト駆動量を算出させ、該シフト駆動量に応じたシフト駆動の制御を行わせる。そして、該シフト素子制御プログラムは、コンピュータに、動画像における複数の被写体領域にて検出された互いに大きさが異なる複数の動きベクトルのそれぞれに対してシフト駆動量を算出させ、算出された複数のシフト駆動量のそれぞれに応じたシフト駆動を、複数回の静止画撮像における撮像ごとに順次行わせることを特徴とする。

発明の効果

0010

本発明では、複数の被写体領域にて検出された動きベクトルのそれぞれから算出されたシフト駆動量に応じたシフト駆動を撮像ごとに順次行わせる。これにより、主被写体を含む複数の被写体が存在する場合でも、主被写体に対して良好に流し撮りアシストが行われた静止画像を得ることができる。

図面の簡単な説明

0011

本発明の実施例1である撮像装置の構成を示すブロック図。
実施例1の撮像装置による流し撮りアシスト連続撮像処理を示すフローチャート
実施例1における流し撮りアシスト処理を示すフローチャート。
実施例1において動きベクトルのヒストグラムを作成する方法を示す図。
上記動きベクトルのヒストグラムを示す図。
実施例1において被写体の角速度の算出方法を示す図。
本発明の実施例2である撮像装置において行われる流し撮りアシスト連続撮像処理を示すフローチャート。
実施例1の流し撮りアシスト連続撮像処理により取得された撮影画像を示す図。
実施例1における補正ベクトルの方向の決定方法を示す図。

0012

以下、本発明の実施例について、図面を参照しながら説明する。

0013

図1には、本発明の実施例1である光学機器としての撮像装置の構成を示している。図1において、100は交換レンズであり、120は交換レンズ100が取り外し可能に装着される撮像装置(以下、カメラという)である。

0014

交換レンズ100は、撮像光学系101を有する。撮像光学系101は、主光学系102と、撮像光学系101の光軸が延びる方向である光軸方向に移動して撮像光学系101の焦点距離を変更する変倍レンズ群103とを含む。また、撮像光学系101は、光軸に直交する方向に移動可能(シフト可能)なシフト素子としてのシフトレンズ群104を含む。

0015

シフトレンズ群104は、手振れ等によるカメラ120の振れ(以下、カメラ振れという)に起因する像振れを光学的に補正(低減)するためにシフト駆動される。このときのシフト駆動を防振駆動という。また、シフトレンズ群104は、動く被写体を流し撮りするユーザによってカメラ120のパンニングが行われた際に該流し撮りをアシストするためにシフト駆動される。このときのシフト駆動を、流し撮りアシスト駆動という。流し撮りアシスト駆動の制御については後述する。

0016

交換レンズ100は、変倍レンズ群103の位置を検出するズームエンコーダ105と、シフトレンズ群104をシフト駆動するシフトドライバ114と、シフトレンズ群104のシフト方向での位置(シフト位置)を検出するシフト位置センサ106とを有する。シフトドライバ114は、ボイスコイルモータ等のアクチュエータと、これを動作させるドライバ回路とにより構成される。

0017

交換レンズ100は、手振れやパンニング等によるカメラ120の動きの角速度を検出する動き検出手段としての角速度センサ111を有する。角速度センサ111の出力は、アンプ112により増幅されてレンズマイクロコンピュータ(以下、レンズマイコンという)113に入力される。また、シフト位置センサ106の出力は、アンプ115により増幅されてレンズマイコン113に入力される。

0018

レンズマイコン113は、角速度センサ111により検出された角速度とシフト位置センサ106からの出力により検出されるシフト位置とに応じてシフトドライバ114を制御することで、シフトレンズ群104の防振駆動を制御する。また、レンズマイコン113は、後述するカメラマイコン132から、シフトレンズ群104のシフト方向とシフト駆動量の情報(以下、シフト制御情報という)を受け取る。そして、レンズマイコン113は、シフト制御情報とシフト位置センサ106からの出力により検出されるシフト位置とに応じてシフトドライバ114を制御することで、シフトレンズ群104の流し撮りアシスト駆動を制御する。

0019

なお、実際のシフトレンズ群104のシフト駆動は、このシフトレンズ群104を横(ヨー)方向と縦(ピッチ)方向である互いに直交する2つのシフト方向に行われ、シフト方向ごとに角速度センサ111やシフトドライバ114が設けられている。ただし、これらシフト方向ごとの角速度センサ111およびシフトドライバ114はそれぞれ同じ構成を有するため、図1では1つのシフト方向に対して設けられた角速度センサ111およびシフトドライバ114のみを示している。

0020

さらに、レンズマイコン113は、防振駆動を制御する防振制御部117と、流し撮りアシスト駆動を制御する流し撮りアシスト制御部118とを有する。これらの他に、レンズマイコン113は、撮像光学系101に含まれる不図示のフォーカスレンズ絞りの駆動を制御する。

0021

交換レンズ100は、カメラ120に対してバヨネット結合されるレンズマウントを有し、該レンズマウントにはマウント接点部116が設けられている。

0022

カメラ120は、シャッタ121と、CMOSセンサ等の撮像素子122とを有する。撮像素子122は、撮像光学系101により形成された被写体像光電変換(撮像)する。シャッタ121は、撮像素子122の露光量を制御する。カメラ120は、アナログ信号処理回路123と、カメラ信号処理回路124と、撮像素子122およびアナログ信号処理回路123の動作タイミングを設定するタイミングジェネレータ125とを有する。アナログ信号処理回路123は、撮像素子122から出力されるアナログ信号デジタル信号に変換し、該デジタル信号に対して各種画像処理を行うことで撮像画像(動画像や静止画像)を生成する。撮像素子122およびアナログ信号処理回路123により、被写体の撮像による画像生成を行う撮像手段が構成される。

0023

また、カメラ120は、電源スイッチ、レリーズ撮像準備/記録)スイッチおよび各種撮影モード設定スイッチ等を含む操作スイッチ131と、カメラ120全体の動作を制御するカメラマイクロコンピュータ(以下、カメラマイコンという)132とを有する。さらに、カメラ120は、シャッタ121のチャージを行うシャッタモータ134と、これを駆動するシャッタドライバ133とを有している。

0024

また、カメラ120は、記録用の撮像画像を半導体メモリ光ディスク等の記録媒体に記録する記録部171と、撮像画像(記録されない動画像であるライブビュー映像も含む)を表示する液晶パネル等の表示部(以下、LCDという)172とを有する。

0025

カメラ120は、前述したように交換レンズ100がバヨネット結合されるカメラマウントを有し、該カメラマウントには、レンズマウントのマウント接点部116と電気的に接続されるマウント接点部161が設けられている。カメラマイコン132とレンズマイコン113は、これらマウント接点部161,116を介して相互に通信(例えば、シリアル通信)を行ったり、カメラ120から交換レンズ100への電源供給を行ったりする。

0026

カメラ信号処理回路124は、被写体抽出部142と動きベクトル検出部(検出手段)141とを有する。被写体抽出部142は、ライブビュー映像内から被写体の画像を含む画像領域である被写体領域を抽出する。動きベクトル検出部141は、被写体領域内で動きベクトルを検出する。

0027

カメラマイコン132は、シャッタドライバ133を通じてシャッタ121を制御するシャッタ制御部151と、後述する流し撮りアシスト連続撮像処理を行う流し撮りアシスト制御部152と、被写体の角速度を算出する被写体角速度算出部153とを有する。

0028

図1において、操作スイッチ131の電源スイッチがユーザにより操作されてカメラ120の電源がONされると、その状態変化をカメラマイコン132が検出する。そして、カメラマイコン132の制御によりカメラ120内の各部への電源供給が開始されるとともに、該各部の初期設定が行われる。また、交換レンズ100への電源供給も開始され、レンズマイコン113の制御によって交換レンズ100内の初期設定が行われる。この際、カメラマイコン132とレンズマイコン113との間での通信も開始される。この通信において、カメラマイコン132からレンズマイコン113へはカメラ120の状態や撮像に関する設定(例えば、流し撮りアシストモードの設定/非設定)状態等を示す情報が送信される。また、レンズマイコン113からカメラマイコン132に、撮像光学系101の焦点距離その他の光学情報が送信される。

0029

流し撮りアシストモードが設定されていない通常撮像モードにおいては、レンズマイコン113は、角速度センサ111により検出された角速度に基づいて、防振制御部117を通じてシフトレンズ群104の防振駆動を制御する。一方、流し撮りアシストモードでは、レンズマイコン113は、前述したカメラマイコン132からのシフト制御情報に応じて、流し撮りアシスト制御部118を通じてシフトレンズ群104の流し撮りアシスト駆動を制御する。

0030

以下、シフトレンズ群104の流し撮りアシスト駆動の制御について説明する。図2のフローチャートには、カメラマイコン132(流し撮りアシスト制御部152)が行う流し撮りアシスト連続撮像処理の流れを示している。シフト素子制御装置(算出手段および制御手段)としてのカメラマイコン132は、コンピュータプログラムとしての流し撮りアシスト連続撮像処理プログラム(シフト素子制御プログラムを含む)に従って本処理を実行する。本処理は、ユーザが撮像を希望する主被写体を含む複数の被写体が互いに異なる速度で同方向に移動するシーンをユーザがカメラ120をパンニングしながら流し撮りする際に、流し撮りアシスト処理を行いつつ複数回の静止画撮像(連続撮像)を行う処理である。また、フローチャートにおける「S」はステップを意味する。

0031

ユーザによって操作スイッチ131内のレリーズスイッチの半押し操作撮像準備指示)がされると、S201において、カメラマイコン132は、被写体抽出部142にライブビュー映像内で被写体領域を抽出させる。被写体抽出部142は、例えば、色検出エッジ検出等による物追跡や被写体認識といった様々な方法によって被写体領域を抽出する。本実施例では、複数の被写体領域が抽出された場合について説明する。なお、半押し操作に応じて、カメラマイコン132は、撮像準備処理として、オートフォーカス測光を行って被写体にピントを合わせるとともに、絞り値やシャッタ速度の設定を行う。

0032

次に、S202において、カメラマイコン132は、動きベクトル検出部141にS201で抽出された被写体領域内の複数点の動きベクトルを検出させる。動きベクトル検出部141は、ライブビュー映像を構成する前後のフレーム画像間でのブロックマッチングを用いた方法等、公知の方法で動きベクトルを検出する。そして、カメラマイコン132は、検出された複数の動きベクトルのヒストグラムを作成する。

0033

図4(a)には、S201で被写体抽出部142がライブビュー映像から抽出した複数(3つ)の被写体領域401のそれぞれに含まれる被写体A、被写体Bおよび被写体Cを示している。以下の説明において、被写体A,B,Cを含む被写体領域401をそれぞれ、被写体領域A、被写体領域Bおよび被写体領域Cともいう。

0034

また、図4(b)には、動きベクトル検出部141がライブビュー映像内で動きベクトルを検出可能な複数の小領域である参照ブロック402を示している。本実施例では、撮像画面内に8×8=64個の参照ブロック402を配置している。動きベクトル検出部141は、これら64個の参照ブロック402のうち被写体領域A,B,Cに重なる複数の検出ブロック403において動きベクトルを検出する。各検出ブロック403から延びる矢印(→)は、その検出ブロック403で検出された動きベクトルの方向と大きさ(速度)を示している。なお、本実施例では、被写体A,B,Cが同方向に移動しているシーンを撮像するため、全ての検出ブロック403で検出された動きベクトルの方向が同じで、大きさが異なる。

0035

図5には、被写体領域401ごとの動きベクトルの出現頻度を示すヒストグラムを示している。ヒストグラムにおける各ビン(bin)は、同じまたは同じとみなせる範囲の大きさ(量)の動きベクトルの出現頻度(個数)を示している。横軸動きベクトル量であり、縦軸は出現頻度である。

0036

501は被写体Aの動きベクトルのヒストグラム(3つのビンで示す:以下、同様)であり、502は被写体Bの動きベクトルのヒストグラムである。503は被写体Cの動きベクトルのヒストグラムである。被写体領域A,B,Cで得られた動きベクトル量(それぞれ3つのビンの横軸方向での位置)は順に大、中、小と互いに差を有する。また、被写体領域A,B,Cで得られた動きベクトルの出現頻度は順に中、大、小と互いに差を有する。

0037

次に、S203において、カメラマイコン132は、ユーザによる操作スイッチ131内のレリーズスイッチの全押し操作撮像記録指示)が行われたか否かを判定する。全押し操作が行われていない場合は、カメラマイコン132はS201およびS202の処理を繰り返す。一方、全押し操作が行われた場合は、カメラマイコン132は、撮像記録処理を行うためにS204に進む。

0038

S204では、カメラマイコン132は、S201で抽出された被写体領域A,B,Cのうち動きベクトル補正処理を行う対象となる被写体領域(以下、補正対象被写体領域という)をS202で作成したヒストグラムに基づいて決定する。具体的には、まずカメラマイコン132は、撮像画面内である割合またはある面積値以上の大きさを有する被写体領域やユーザが選択したフォーカシング領域であるAF領域に重なる又は近い被写体領域等、様々な条件によって補正対象被写体領域を決定する。ここでは、このS204にて複数の被写体領域A,B,Cが補正対象被写体領域として決定されたものとして説明を続ける。

0039

次に、S205では、カメラマイコン132は、S204で決定した複数の補正対象被写体領域のうち流し撮りアシスト連続撮像処理において最も優先する第1の補正対象被写体領域を選択する。このために、カメラマイコン132は、複数の補正対象被写体領域のヒストグラムにおける動きベクトルの出現頻度の差を比較する。ここで比較する出現頻度は、3つのビンで示される出現頻度の合計値最頻値および平均値のいずれでもよい。

0040

具体的には、複数の補正対象被写体領域間で動きベクトルの出現頻度の差が所定の閾値を超えるときは、カメラマイコン132はS206に進み、出現頻度が最も多い補正対象被写体領域を第1の補正対象被写体領域として選択する。これは、被写体領域間の動きベクトルの出現頻度に有意な差がある場合は、最も動きベクトルの出現頻度が多い被写体領域がよりユーザが撮像を希望する主被写体を含む蓋然性が高いと考えられるからである。図5の例では、被写体領域Bが第1の補正対象被写体領域として選択される。

0041

また、複数の補正対象被写体領域間で動きベクトルの出現頻度の差が所定の閾値を超えないときは、カメラマイコン132はS207に進み、AF領域の中心に最も近い補正対象被写体領域を第1の補正対象被写体領域として選択する。これは、ヒストグラムからは主被写体を含む被写体領域を判断することが難しいので、AF領域の中心に近い被写体が主被写体であると推定するためである。図4の例では、被写体領域Bが補正対象被写体領域として選択される。

0042

次に、カメラマイコン132は、S208において、次のステップで行う流し撮りアシスト処理による補正対象となる動きベクトル量をS206またはS207で選択した第1の補正対象被写体領域の動きベクトルのヒストグラムから算出する。補正対象となる動きベクトル量を以下、補正対象動きベクトル量という。例えば、カメラマイコン132は、図5に示したヒストグラムにおける各被写体領域の3つのビンの横軸方向の位置で示される動きベクトル量のうち最も頻度が高い動きベクトル量やこれらの動きベクトル量の平均値を補正対象動きベクトル量として算出する。

0043

次に、S209では、カメラマイコン132は、第1の補正対象被写体領域の補正対象動きベクトル量を用いた流し撮りアシスト処理を行う。この流し撮りアシスト処理の詳細については後述する。

0044

続いて、S210では、カメラマイコン132は、全ての補正対象被写体領域に対する流し撮りアシストが完了したか否かを判定する。全ての補正対象被写体領域に対する流し撮りアシストが完了した場合は、カメラマイコン132はS211に進む。一方、完了していない場合は、カメラマイコン132は、S205〜S209を繰り返して新たに選択した第1の補正対象被写体領域に対する流し撮りアシスト処理を行う。こうして、3つの被写体領域A,B,Cにて検出された動きベクトルのうち出現頻度がより多い動きベクトルに対して算出されたシフト駆動量に応じたシフト駆動がより先に順次行われる。

0045

S211では、カメラマイコン132は、ユーザによるレリーズスイッチの全押し操作が解除されたか否かを判定する。解除されていない場合は、カメラマイコン132はさらにS205〜S209を繰り返して、もう1回ずつ順次選択される第1の補正対象被写体領域に対する流し撮りアシスト処理を行う。

0046

S211にてレリーズスイッチの全押し操作が解除された場合は、カメラマイコン132は、本処理を終了する。

0047

次に、S209でカメラマイコン132が行う流し撮りアシスト処理について、図3のフローチャートを用いて説明する。

0048

S301では、カメラマイコン132は、像面(撮像素子122の撮像面)上での被写体の角速度ωを算出する。そして、算出した角速度ωとS208で算出した第1の補正対象被写体領域の補正対象動きベクトル量とを用いて、この第1の補正対象被写体領域の動きベクトル量が0になるように補正するためのシフトレンズ群104のシフト駆動量を算出する。

0049

本ステップでの被写体の角速度の算出方法について図6を用いて説明する。図6は、被写体がt秒間に点Aから点Bに移動し、これに伴って撮像素子122の撮像面上に結像した被写体像が点Cから点Dに移動したことを示している。

0050

点Cと点Dとの間の距離ν[pixel]とし、撮像光学系101の焦点距離をf[mm]とし、撮像素子122の画素ピッチをp[μm/pixel]とする。このとき、撮像面上での被写体の角速度ω[rad/sec]は以下の式(1)で表わされる。

0051

0052

次に、S302では、カメラマイコン132は、S301で算出したシフトレンズ群104のシフト駆動量とシフト方向(つまりはシフト制御情報)をレンズマイコン113に送信する。さらに、カメラマイコン131は、レンズマイコン113にシフトレンズ群104のシフト駆動(つまりは流し撮りアシスト駆動)を要求する。また、カメラマイコン132は、シャッタドライバ133を通じて、シャッタ121を開き、その後、測光結果により算出した所定時間が経過したときに閉じるように制御する。

0053

次に、S303では、カメラマイコン132は、カメラ信号処理回路124に撮像素子122からの出力を用いて静止画像を生成させ、これを記録部171を通じて記録媒体に記録させる。これにより、今回の第1の補正対象被写体領域に含まれる被写体(例えば被写体B)が静止し、他の被写体(例えばA,C)を含む背景が流れた撮像画像としての静止画像が生成される。

0054

次に、S304で、カメラマイコン132は、シフトレンズ群104をその光軸が撮像光学系101の光軸に一致する位置(中心)にシフト駆動させるようにレンズマイコン113に対して要求を送信する。これは、次の静止画撮像での流し撮りアシスト処理においてシフトレンズ群104を光軸に直交する面内でのいずれの方向にも大きくシフト駆動することができるようにするためである。

0055

以上説明したように、本実施例では、流し撮りアシスト処理を行う連続撮像において、抽出した複数の被写体領域にてそれぞれ動きベクトルを検出する。そして、被写体領域ごとにその被写体領域で検出された動きベクトルを用いた流し撮りアシスト処理を順次行う。これにより、被写体領域ごとに流し撮りアシスト機能の効果を受けた複数の静止画像が生成される。つまり、主被写体を含めて互いに移動速度が異なる複数の移動被写体が存在するシーンを流し取りアシスト機能を用いて撮像する場合に、主被写体に対して適正に流し撮りアシスト機能の効果を受けた静止画像を確実に取得することができる。

0056

以下、本発明の実施例2について説明する。本実施例におけるカメラ120および交換レンズ100の構成は実施例1と同じであり、実施例1と共通する構成要素には実施例1と同符号を付して説明に代える。

0057

実施例1では、流し撮りアシスト連続撮像処理において互いに異なる動きベクトルが検出された被写体領域ごとに順次流し撮りアシスト処理を行いながら撮像を繰り返すことで、主被写体に対する流し撮りアシスト機能の効果を受けた撮像画像を確実に取得できた。しかし、ユーザによるカメラ120のパンニングの角速度が速すぎたり遅すぎたりすることによって1枚目の撮像画像に存在した被写体が2枚目以降に存在しなくなる場合がある。この場合、存在しなくなった被写体がユーザが撮像を希望する主被写体であった場合にその主被写体を含んだ撮像画像を取得できない可能性がある。

0058

図8には、被写体A,B,Cに対する流し撮りアシスト連続撮像処理によって撮像された1枚目と2枚目の撮像画像(静止画像)の例を示す。図8(a)中の太枠801は1枚目の撮像画像の外縁を示し、点線802は流し撮りアシスト処理の対象となっている被写体領域(第1の補正対象被写体領域)を示す。この被写体領域802には被写体Bが含まれており、以下の説明ではこの被写体領域802を被写体領域Bといい、他の被写体A,Cを含む被写体領域も同様とする。

0059

図8(a)では、被写体領域Bで検出される動きベクトルが0になるようにシフトレンズ群104をシフト駆動して撮像が行われることで1枚目の撮像画像が取得された様子を示している。しかし、図8(a)中の2枚目の撮像画像に示すようにパンニングの角速度が速いと、1枚目に存在した被写体領域Cが2枚目の撮像直前の撮像画面内には存在せず、被写体Cを含んだ2枚目の撮像画像を取得できない。

0060

また、図8(b)では、被写体領域Bで検出される動きベクトルが0になるようにシフトレンズ群104をシフト駆動して撮像が行われることで1枚目の撮像画像が取得された様子を示している。しかし、図8(b)中の2枚目の撮像画像に示すようにパンニングの角速度が遅いと、1枚目に存在した被写体領域Aが2枚目の撮像直前の撮像画面内には存在せず、被写体Aを含んだ2枚目の撮像画像を取得できない。

0061

このため、本発明の実施例2であるカメラは、撮像画面内での複数の被写体領域の位置とそれらの移動速度に応じて流し撮りアシスト処理の対象とする被写体領域を選択する。そして、全ての被写体領域に対して順次行われる流し撮りアシスト処理を伴う撮像(1回の連続撮像)中にいずれの被写体領域も撮像画面から外れないことを確認した場合には、動きベクトルのヒストグラムをに基づいて処理対象とする被写体領域を選択する。

0062

図7のフローチャートには、カメラマイコン132が行う流し撮りアシスト連続撮像処理の流れを示している。カメラマイコン132は、コンピュータプログラムとしての流し撮りアシスト連続撮像処理プログラム(シフト素子制御プログラムを含む)に従って本処理を実行する。本処理も、実施例1と同様に、主被写体を含む複数の被写体が互いに異なる速度で同方向に移動するシーンを流し撮りする際に、流し撮りアシスト処理を行いつつ複数回の静止画撮像(連続撮像)を行う処理である。

0063

ユーザによって操作スイッチ131内のレリーズスイッチの半押し操作(撮像準備指示)がされると、カメラマイコン132は、S701〜S704の処理を行う。S701〜S704の処理は、実施例1にて図2に示したS201〜S204の処理と同じである。

0064

次に、S705では、カメラマイコン132は、S704で決定した複数の補正対象被写体領域のいずれかが1回の連続撮像中、つまりは被写体A,B,Cに対する1回ずつの撮像の完了前に撮像画面の右端から外れるか否かを判定する。このため、カメラマイコン132は、被写体領域A,B,Cの撮像画面内での位置を検出するとともに、それらの被写体領域A,B,Cで検出された動きベクトル量が該被写体領域の移動速度を算出する。

0065

図9(a)には、パンニング角速度が各被写体の移動速度よりも速い場合の時間経過と被写体(被写体領域)A,B,Cの撮像画面に対する位置関係とを表している。撮像画面の右端(画面右端)の位置をPr[pixel]とし、撮像画面の左端(画面左端)の位置をPl[pixel]とすると、複数の被写体A,B,Cは時間の経過とともに移動速度V[pixel/sec]で画面右端に近づいていく。

0066

1回の連続撮像における最後の撮像の開始時間をT[sec]とし、画面右端に最も近い被写体Cの初期位置をP0[pixel]とする。このとき、以下の式(2)で表される条件を満足するときに、

0067

0068

最後の撮像が完了する前に被写体Cが画面右端から外れる。したがって、カメラマイコン132は、この式(2)の条件を満足するか否かを判定することで、複数の補正対象被写体領域のいずれかが1回の連続撮像中に画面右端から外れるか否かを判定する。いずれかの被写体(特定の被写体領域)が画面右端から外れると判定した場合はS706に進み、いずれの被写体も画面右端から外れないと判定した場合はS707に進む。

0069

S706では、カメラマイコン132は、ユーザ希望の主被写体である可能性のある画面右端に最も近い被写体Cを含む被写体領域Cを流し撮りアシスト連続撮像処理において最も優先する第1の補正対象被写体領域として選択する。

0070

一方、S707では、カメラマイコン132は、S704で決定した複数の補正対象被写体領域のいずれかが1回の連続撮像中に画面右端から外れるか否かを判定する。

0071

図9(b)には、パンニング角速度が各被写体の移動速度よりも遅い場合の時間経過と被写体(エリア)A,B,Cの撮像画面に対する位置関係とを表している。複数の被写体A,B,Cは時間の経過とともに移動速度V[pixel/sec]で画面左端Pl[pixel]に近づいていく。

0072

1回の連続撮像における最後の撮像の開始時間をT[sec]とし、画面左端に最も近い被写体Aの初期位置をP0[pixel]とする。このとき、以下の式(3)で表される条件を満足するときに、

0073

0074

最後の撮像が完了する前に被写体Aが画面左端から外れる。したがって、カメラマイコン132は、この式(3)の条件を満足するか否かを判定することで、複数の補正対象被写体領域のいずれかが1回の連続撮像中に画面左端から外れるか否かを判定する。いずれかの被写体(特定の被写体領域)が画面左端から外れると判定した場合はS708に進み、いずれの被写体も画面左端から外れないと判定した場合はS709に進む。

0075

S708では、カメラマイコン132は、ユーザ希望の主被写体である可能性のある画面左端に最も近い被写体Aを含む被写体領域Aを流し撮りアシスト連続撮像処理において最も優先する第1の補正対象被写体領域として選択する。

0076

また、S709では、カメラマイコン132は、図2のS206と同様に、S702で作成した被写体領域A,B,Cで検出された動きベクトルのヒストグラムから出現頻度が最も多い補正対象被写体領域を第1の補正対象被写体領域として選択する。

0077

S706,S708およびS709で第1の補正対象被写体領域を選択したカメラマイコン132は、S710に進む。S710では、カメラマイコン132は、図2のS207と同様に、次のステップで行う流し撮りアシスト処理による補正対象となる動きベクトル量(補正対象動きベクトル)を、選択した第1の補正対象被写体領域の動きベクトルのヒストグラムから算出する。

0078

そして、S711では、カメラマイコン132は、図2のS209と同様に、第1の補正対象被写体領域の補正対象動きベクトル量を用いた流し撮りアシスト処理を行う。

0079

続いて、S712では、カメラマイコン132は、全ての補正対象被写体領域に対する流し撮りアシストが完了したか否かを判定する。全ての補正対象被写体領域に対する流し撮りアシストが完了した場合は、カメラマイコン132はS713に進む。一方、完了していない場合は、カメラマイコン132は、S705〜S711を繰り返して新たに選択した第1の補正対象被写体領域に対する流し撮りアシスト処理を行う。

0080

S713では、カメラマイコン132は、ユーザによるレリーズスイッチの全押し操作が解除されたか否かを判定する。解除されていない場合は、カメラマイコン132はさらにS705〜S711を繰り返して、もう1回ずつ順次選択される第1の補正対象被写体領域に対する流し撮りアシスト処理を行う。

0081

S712にてレリーズスイッチの全押し操作が解除された場合は、カメラマイコン132は、本処理を終了する。

0082

以上説明したように、本実施例では、流し撮りアシスト処理を行う連続撮像において、抽出した複数の被写体領域の撮像画面内での位置と移動速度も検出する。そして、1回の連続撮像(複数回の静止画撮像)の完了前に撮影画面の端に近い被写体領域が撮像画面から外れると判定した場合は、その端近傍の被写体領域に対して優先して(先に)流し撮りアシスト処理を行う。つまり、被写体領域の撮像画面内での位置と移動速度(つまりは動きベクトル量)とに応じて流し撮りアシスト処理の対象とする被写体領域の順序を設定する。これにより、パンニング角速度によって主被写体の可能性のある被写体が存在しない撮像画像が取得されてしまうことを防止でき、主被写体に対して適正に流し撮りアシスト機能の効果を受けた静止画像を確実に取得することができる。

0083

なお、このような被写体領域の撮像画面内での位置と動きベクトル量とに応じた流し撮りアシスト処理の対象とする被写体領域の順序の設定は、上述したように端近傍の被写体領域が撮像画面から外れることを防止すること以外の目的に用いることも可能である。

0084

上記実施例1,2では角速度センサ111から得られる角速度の情報を用いることなく流し撮りアシスト処理を行う場合について説明した。しかし、この角速度の変化(つまりはユーザによるパンニングの速度の変化)と補正対象動きベクトル量とを用いてシフトレンズ群104のシフト駆動量を算出してもよい。

0085

また、上記各実施例では、シフトレンズ群104を光軸に対してシフト駆動することにより流し撮りアシスト機能を実現したが、撮像素子122をシフト素子として光軸に対してシフト駆動することにより流し取りアシスト機能を実現してもよい。

0086

さらに、上記各実施例では、カメラ120に設けられたカメラマイコン132が被写体抽出部142および動きベクトル検出部141による抽出/検出結果を用いて交換レンズ100に設けられたシフトレンズ群104のシフト駆動を制御する場合について説明した。しかし、交換レンズ100に設けられたレンズマイコン113がシフト素子制御装置として、カメラ120から上記抽出/検出結果を受け取ってシフトレンズ群104のシフト駆動を制御するように構成してもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

実施例

0087

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

0088

104シフトレンズ群
114シフトドライバ
118 流し撮り制御部
120カメラ(撮像装置)
122撮像素子
132カメラ制御用マイクロコンピュータ
141動きベクトル検出部
142被写体抽出部
153 被写体角速度算出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ