図面 (/)

技術 移動情報取得装置、移動情報取得方法、及び、プログラム

出願人 カシオ計算機株式会社
発明者 真鍋佳嗣
出願日 2015年11月27日 (4年3ヶ月経過) 出願番号 2015-231856
公開日 2017年6月1日 (2年9ヶ月経過) 公開番号 2017-097767
状態 特許登録済
技術分野 カメラレンズの調整 イメージ分析 スタジオ装置
主要キーワード 補間推定 撮像画角内 動き入力 移動検出装置 基本動作プログラム 積み立て ブレ成分 分離精度
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

撮像時の画像の移動の精度を向上させる。

解決手段

移動検出部は、ブレ補正のための座標変換に用いられるブレ行列H(t)を算出する。この際、移動検出部は、フレームを分割したブロック毎にMVを算出し、MVのうち被写体MVを除外する。更に、移動検出部は、MVに基づいてフレーム間のブレを表現するブレ行列H_mvを算出することができない場合には、撮像部の動きに応じたブレを表現するブレ行列H_sensorを算出、調整し、ブレ行列H(t)として確定する。

概要

背景

従来より、デジタルカメラ等の撮像装置には、ブレ補正の機能を有するものがある(例えば、特許文献1参照)。撮像装置は、ブレ補正を行う場合、時間的に連続する複数のフレーム撮像し、これらフレームにおける特徴点を抽出する。更に、撮像装置は、フレーム間における特徴点の移動に応じたモーションベクトル(MV:Motion Vector)からフレーム間のブレ量推定し、このブレ量に基づいて、画像変形処理によりフレーム間の特徴点の位置合わせを行う。

概要

撮像時の画像の移動の精度を向上させる。移動検出部は、ブレ補正のための座標変換に用いられるブレ行列H(t)を算出する。この際、移動検出部は、フレームを分割したブロック毎にMVを算出し、MVのうち被写体MVを除外する。更に、移動検出部は、MVに基づいてフレーム間のブレを表現するブレ行列H_mvを算出することができない場合には、撮像部の動きに応じたブレを表現するブレ行列H_sensorを算出、調整し、ブレ行列H(t)として確定する。

目的

本願発明はこのような問題点に鑑みてなされたもので、撮像時の画像の移動の精度を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

時間的に連続する複数の画像を入力する画像入力手段と、前記画像入力手段によって入力された画像から、撮像時における意図的な撮影方向の移動を検出する検出手段と、前記検出手段によって検出された結果から、意図的でない撮影方向の移動を移動情報として取得する取得手段と、を備えることを特徴とする移動情報取得装置

請求項2

前記取得手段は、前記検出手段によって検出された意図的な撮影方向の移動を除去することにより、前記意図的でない撮影方向の移動を移動情報として取得することを特徴とする請求項1に記載の移動情報取得装置。

請求項3

前記検出手段は、前記時間的に連続する複数の画像の撮像時における撮像装置動きを入力する動き入力手段と、前記動き入力手段によって入力された動きに基づいて、前記意図的な撮影方向の移動を判別する判別手段と、を含むことを特徴とする請求項1又は2に記載の移動情報取得装置。

請求項4

前記動き入力手段によって入力された動きは、所定の行列式で表されるとともに、前記意図的な撮影方向の移動は、前記行列式における所定の成分で表されることを特徴とする請求項3に記載の移動情報取得装置。

請求項5

前記取得手段によって取得された意図的でない撮影方向の移動に基づいて、前記画像入力手段によって入力された複数の画像を補正する補正手段を更に備えることを特徴とする請求項1乃至4の何れか1項に記載の移動情報取得装置。

請求項6

前記補正手段によって補正された結果から得られた複数の画像を記録する記録手段を更に備えることを特徴とする請求項5に記載の移動情報取得装置。

請求項7

時間的に連続する複数の画像を入力する画像入力ステップと、前記画像入力ステップにて入力された画像から、撮像時における意図的な撮影方向の移動を検出する検出ステップと、前記検出ステップにて検出された結果から、意図的でない撮影方向の移動を移動情報として取得する取得ステップと、を含むことを特徴とする移動情報取得方法

請求項8

コンピュータを、時間的に連続する複数の画像を入力する画像入力手段、前記画像入力手段によって入力された画像から、撮像時における意図的な撮影方向の移動を検出する検出手段、前記検出手段によって検出された結果から、意図的でない撮影方向の移動を移動情報として取得する取得手段、として機能させることを特徴とするプログラム

技術分野

0001

本発明は、移動情報取得装置、移動情報取得方法、及び、プログラムに関する。

背景技術

0002

従来より、デジタルカメラ等の撮像装置には、ブレ補正の機能を有するものがある(例えば、特許文献1参照)。撮像装置は、ブレ補正を行う場合、時間的に連続する複数のフレーム撮像し、これらフレームにおける特徴点を抽出する。更に、撮像装置は、フレーム間における特徴点の移動に応じたモーションベクトル(MV:Motion Vector)からフレーム間のブレ量推定し、このブレ量に基づいて、画像変形処理によりフレーム間の特徴点の位置合わせを行う。

先行技術

0003

特開2009−301181号公報

発明が解決しようとする課題

0004

しかしながら、撮像装置が夜景無地の壁を撮像したり、撮像装置が移動する場合には特徴点を抽出しにくいことがあり、ブレ補正の精度が低下することがある。

0005

本願発明はこのような問題点に鑑みてなされたもので、撮像時の画像の移動の精度を向上させることを目的とする。

課題を解決するための手段

0006

上記目的を達成するために、本発明に係る移動情報取得装置は、
時間的に連続する複数の画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像から、撮像時における意図的な撮影方向の移動を検出する検出手段と、
前記検出手段によって検出された結果から、意図的でない撮影方向の移動を移動情報として取得する取得手段と、
を備えることを特徴とする。

発明の効果

0007

本発明によれば、撮像時の画像の移動の精度を向上させることが可能となる。

図面の簡単な説明

0008

本発明の実施形態に係る撮像装置の構成を示す図である。
撮像装置におけるブレ補正処理の動作を示すフローチャートである。
撮像装置におけるブレ量推定処理の動作を示すフローチャートである。
画像の遷移の一例を示す図である。
各画像領域のMVの一例を示す図である。
背景MVと被写体MVとの判定処理の一例を示す図である。
特徴点のブレ補正前の移動量、直流(DC:Direct Current)成分線形の移動量、DC成分非線形の移動量の一例を示す図である。
ブレ想定量と平滑化度合いとの対応関係の一例を示す図である。

実施例

0009

以下、本発明の実施の形態に係る移動検出装置としての撮像装置について説明する。本発明の実施形態に係る撮像装置100は、図1に示すように、制御部102、メモリ104、操作部106、撮像部108、センサ110、表示部112を含んで構成される。撮像装置100は、例えば利用者の頭部に装着され、当該利用者の前方を撮像する。

0010

制御部102は、CPU(Central Processing Unit)を備え、メモリ104に格納されているプログラムに従ってソフトウェア処理を実行し、撮像装置100が具備する各種機能を実現するために機能する。

0011

制御部102内の撮像制御部122は、利用者による操作部106の操作等に応じて、撮像部108による撮像を制御する。画像入力部124は、撮像部108の撮像によって得られた画像信号を入力し、当該画像信号をデジタルデータに変換してフレームを生成する。移動検出部126は、フレーム内の特徴点の移動を検出する。補正部128は、移動検出部126による特徴点の移動の検出結果に基づいてブレ補正を行う。移動検出部126及び補正部128の処理の詳細については後述する。

0012

メモリ104は、例えばワークエリアとなるRAM(Random Access Memory)、基本動作プログラムを記憶するROM(Read Only Memory)である。メモリ104は、撮像装置100における制御等に用いられる各種情報(プログラム等)を記憶する。

0013

操作部106は、ユーザの操作内容を入力するために用いられるインタフェースである。

0014

撮像部108は、レンズ受光素子により構成される。レンズは、ズームレンズ等により構成され、制御部102内の撮像制御部122によるズーム制御及び合焦制御により移動する。撮像部108の撮像画角光学像は、レンズの移動によって制御される。受光素子は、受光面に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、フォトダイオードベイヤー配列カラーフィルター実装し、また若しくは三板式のCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像デバイスである。

0015

撮像部108は、制御部102内の撮像制御部122の制御に応じて撮像を開始し、入光された光学像を所定範囲の撮像画角で撮像(受光)して、その撮像画角内の画像信号を逐次、制御部102へ出力する。

0016

センサ110は、撮像部108の動きとして、撮像装置100の回転に伴って生じる角速度を逐次検出し、制御部102へ出力する。

0017

表示部112は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electro-Luminescence)ディスプレイ等によって構成され、フレームに対応する画像を表示する。

0018

本実施形態において、撮像装置100は、ブレ補正を行う。以下、ブレ補正処理について説明する。図2は、ブレ補正処理の動作を示すフローチャートである。

0019

以下においてブレ補正のための座標変換に用いられるブレ行列H(H_mv、H_sensor、H_mv_iir、H_sensor_iir、H_sensor_adj、H_dc、H_ac、H_final)は、3×3の行列である。ブレ行列Hにより、フレーム内の座標(X,Y)は座標(X´,Y´)に変換される。

0020

制御部102内の撮像制御部122は、利用者による操作部106の操作等に応じて、撮像部108による撮像を制御する。撮像部108は、制御部102内の撮像制御部122の制御に応じて撮像を開始し、画像信号を逐次、制御部102へ出力する。制御部102内の画像入力部124は、撮像部108の撮像によって得られた画像信号を入力し、当該画像信号をデジタルデータに変換してフレームを生成する。フレームはメモリ104に記憶される。

0021

このような撮像が行われてフレームがメモリ104に記憶されている場合、制御部102内の移動検出部126は、時刻tのフレームについて、ブレの量(ブレ量)を推定する処理を行う(ステップS100)。

0022

図3は、ブレ量推定処理の動作を示すフローチャートである。制御部102内の移動検出部126は、時刻tのフレームについて、フレーム間における特徴点の移動を示すモーションベクトル(MV)を算出する(ステップS200)。

0023

具体的には、移動検出部126は、フレームを複数の画像領域ブロック)に分割する。その後、ブロック毎に以下の処理を行う。すなわち、移動検出部126は、時刻tにおけるブロックにおいて特徴点(時刻tにおける特徴点)を探索する。時刻tにおける特徴点を探索することができた場合、更に、移動検出部126は、時刻tにおけるフレーム内のブロックと同一位置にある、1つ前の時刻t−1のフレーム内のブロックにおいて、時刻tにおける特徴点に類似した点(時刻t−1における特徴点)を探索する。時刻t−1における特徴点を探索することができた場合、移動検出部126は、時刻t−1における特徴点を始点とし、時刻tにおける特徴点を終点とするベクトルをMVとする。特徴点の探索方法は周知の方法を用いることができる。

0024

次に、移動検出部126は、撮像部108の動きに応じたブレを表現するブレ行列H_sensorを算出する(ステップS201)。具体的には、移動検出部126は、センサ110から出力される角速度を逐次取得し、当該角速度に基づいてブレ行列H_sensorを算出する。算出方法は問わないが、例えば、ブレ行列H_sensorの要素は、角速度が大きいほど、座標(X,Y)と座標(X´,Y´)との距離が大きくなるように設定される。なお、移動検出部126は、逐次取得した複数の角速度の平均値を算出し、当該平均値に基づいて、ブレ行列H_sensorを算出するようにしてもよい。算出されたブレ行列H_sensorは、例えばメモリ104に記憶される。

0025

次に、移動検出部126は、ステップS200において時刻tのフレームについて算出した複数のMVから被写体を特徴点として算出されたMVである被写体MVを除外する(ステップS202)。

0026

例えば、フレームが図4(A)に示す時刻t−1の状態から、撮像部108と被写体300とが異なる方向に移動して、フレームが図4(B)に示す時刻tの状態となった場合を考える。この場合、例えば、図5に示すように、各ブロックにおいて、被写体300を特徴点とするMV(被写体MV)と被写体以外(背景)を特徴点とするMV(背景MV)が算出されることがある。ここで、被写体300を特徴点とする被写体MVには、撮像装置100の利用者が意図的に撮像部108を移動させた際の移動量も含まれてしまうため、被写体MVをブレ補正に用いるとブレ量が正確ではなくなってしまう。このため、ステップS202では、ステップS200において算出したMVから被写体を特徴点として算出されたMVである被写体MVが除外される。

0027

具体的には、移動検出部126は、ステップS200において算出した各MV毎に、当該MVの始点の座標をステップS201において算出したブレ行列H_sensorを用いて変換する。更に、移動検出部126は、座標変換後のMVの座標と、ステップS200において算出したMVの終点の座標との距離を判別する。移動検出部126は、座標変換後のMVの座標と、ステップS200において算出したMVの終点の座標との距離が所定値以上である場合には、ステップS200において算出したMVを被写体MVと判定し、所定値未満である場合には背景MVと判定する。

0028

例えば、図6(A)、(B)に示すように始点α、終点γとするMVがあり、始点αがブレ行列H_sensorを用いた座標変換により始点βに移動した場合を考える。この場合、図6(A)では、座標変換後の始点βと終点γとの距離Lが短い(所定値未満)であるため、移動検出部126は、MVを背景MVと判定する。一方、図6(B)では、座標変換後の始点βと終点γとの距離Lが長い(所定値以上)であるため、移動検出部126は、MVを被写体MVと判定する。閾値である距離Lは、センサ110の特性、撮像部108の光学系、撮影環境(温度、動きの大きさ)等により決定される。決定方法は問わない。

0029

再び、図3に戻って説明する。移動検出部126は、各ブロックのMVを用いてフレーム間のブレを表現するブレ行列H_mvを算出可能であるか否かを判定する(ステップS203)。具体的には、移動検出部126は、ステップS202においてMVから被写体MVを除外した結果残った背景MVの数が所定数以上である場合には、ブレ行列H_mvを算出可能であると判定し、背景MVの数が所定数未満である場合には、ブレ行列H_mvを算出不可能であると判定する。

0030

ブレ行列H_mvが算出可能である場合(ステップS203;YES)、移動検出部126は、フレーム間のブレを表現するブレ行列H_mvを算出する(ステップS204)。算出方法は問わないが、例えば、ブレ行列H_mvの要素は、各背景MVの長さ及び方向の平均値のベクトルが変換前の座標(X,Y)から変換後の座標(X´,Y´)へ向かうベクトルとなるように算出される。算出されたブレ行列H_mvは、例えばメモリ104に記憶される。

0031

なお、後述するステップS206において第2の方法が採用される場合には、ステップS204において、移動検出部126は、これまでに算出した複数のブレ行列H_mvの各要素の平均レベルである行列H_mv_iirを、IIR(Infinite Impulse Response)平滑化フィルタを用いて算出する。時刻tにおけるH_mvの各要素の平均レベルの行列H_mv_iir(t)は、定数をkとして、H_mv_iir(t)=(((k−1)×H_mv_iir(t−1))+H_mv(t))/kにより算出される。

0032

また、移動検出部126は、これまでに算出した複数のブレ行列H_sensorの各要素の平均レベルである行列H_sensor_iirを、IIR平滑化フィルタを用いて算出する。時刻tにおけるH_sensorの各要素の平均レベルの行列H_sensor_iir(t)は、定数をkとして、H_sensor_iir(t)=(((k−1)×H_sensor_iir(t−1))+H_sensor(t))/kにより算出される。算出された行列H_mv_iir及び行列H_sensor_iirは、例えばメモリ104に記憶される。

0033

次に、移動検出部126は、ステップS204において算出したブレ行列H_mvを、時刻tにおけるブレ行列H(t)として確定する(ステップS205)。ブレ行列H(t)は、例えばメモリ104に記憶される。

0034

一方、ブレ行列H_mvが算出不可能である場合(ステップS203;NO)、移動検出部126は、ブレ行列H_sensorを調整する(ステップS206)。例えば、移動検出部126は、以下の第1の方法及び第2の方法の何れかによりブレ行列H_sensorを調整する。

0035

第1の方法では、移動検出部126は、過去の時刻のフレームについて生成したブレ行列H_mvのうち、直近のものから順に複数のブレ行列H_mvを取得する。ブレ行列H_mvは、例えば、算出される毎にメモリ104に記憶される。更に、移動検出部126は、取得した複数のブレ行列H_mvの各要素を用いて、時刻tにおけるブレ行列H_mv(t)の各要素の補間推定を行う。補間推定の方法は問わないが、例えば、線形補間スプライン補間が用いられる。

0036

次に、移動検出部126は、補間推定したブレ行列H_mv(t)と、ブレ行列H_sensorとを、所定の割合で合成(例えば1:1の割合として平均値を算出したり、2:1の割合として加重平均値を算出)し、調整後のブレ行列H_sensor_adjとする。

0037

第2の方法では、移動検出部126は、直近にステップS204において算出された行列H_mv_iir及び行列H_sensor_iirを用いて、ブレ行列H_sensorを調整したブレ行列H_sensor_adjを、H_sensor_adj=H_sensor+(H_mv_iir−H_sensor_iir)により算出する。

0038

次に、移動検出部126は、ステップS206において算出したブレ行列H_sensor_adjを、時刻tにおけるブレ行列H(t)として確定する(ステップS207)。ブレ行列H(t)は、例えばメモリ104に記憶される。

0039

再び、図2に戻って説明する。移動検出部126は、時間的に連続する複数のブレ行列である、時刻t−nのブレ行列H(t−n)、時刻tのブレ行列H(t)、時刻t+nのブレ行列H(t+n)を取得する(ステップS101)。ここで、時間的に連続する複数のブレ行列とは、時間的に隣接する複数のフレーム毎に生成された複数のブレ行列でもよいし、1つ置き、2つ置き等、時間的に離散する複数のフレーム毎に生成された複数のブレ行列でもよい。

0040

次に、移動検出部126は、時刻tにおけるブレのDC成分の行列である行列H_dc(t)を抽出する(ステップS102)。

0041

具体的には、移動検出部126は、ブレ行列H(t−n)、ブレ行列H(t)、ブレ行列H(t+n)の各要素に対して、時間方向に平滑化フィルタをかけることにより、ブレのDC成分の行列H_dc(t)を抽出する。抽出したブレのDC成分の行列H_dc(t)は、ブレを取り除いた、撮像装置100の利用者が意図的に撮像部108を移動させた際の移動(カメラワーク)の成分(パンチルト等)とすることができる。ここでは、例えば、平滑化フィルタとしてバイラテラルフィルタのような非線形フィルタが採用され、カメラワークが変化した場合に発生するような各要素値の大きな変位に対しては、平滑化効果を弱めるようにする。これにより、カメラワークが変化した際のカメラワーク成分ブレ成分分離精度を高めることができる。

0042

例えば、図7に示すように、DC成分抽出前にブレ成分を含む小刻みな移動が存在する場合、移動検出部126は、線形フィルタ又は非線形フィルタを用いてDC成分を抽出することで、ブレ成分を分離してカメラワーク成分を抽出することができる。ここで、移動検出部126が非線形フィルタを用いる場合には、線形フィルタを用いる場合よりも平滑化効果を弱め、カメラワークの変化をより正確に捉えることができる。

0043

但し、非線形フィルタが用いられる場合には、ブレ量が大きくなるほど、ブレとカメラワークの変化との区別が付きにくくなってしまうことがある。カメラワーク成分とブレ成分との分離精度を上げようとするほど、ブレ成分がカメラワーク成分とみなされやすくなり、ブレ補正の精度が下がってしまう。このため、ブレの大きさに応じて最適なパラメータ設定が必要となる。

0044

例えば、非線形フィルタのパラメータを、想定されるブレの大きさによって変化させる。より具体的には、平滑化を弱める変位量のレベル変位量閾値)を、想定されるブレの大きさレベルによって変化させる。これにより、小さなブレが想定される場合は、ブレを補正し、カメラワーク成分の分離もしやすい変位量閾値が設定され、大きなブレが想定される場合は、カメラワーク成分の分離精度は多少低くなるが、大きいブレまで補正できる変位量閾値が設定される。ブレの大きさの見積もりは、方法は問わないが、例えば、対象フレームに対して過去及び未来のブレ成分の分散を用いる等により行われる。

0045

また、画像には表示領域と当該表示領域の外部における余白領域が設けられ、ブレ補正が行われる場合には、表示領域が余白領域の一部を含むようにする。しかし、余白領域は有限である場合が多く、表示領域が余白領域を超えてしまうような大きなブレを補正することができないことがある。そこで、図8に示すように、閾値以下のブレが想定される場合は、ブレが大きいほど非線形フィルタの平滑化度合いを大きくし、閾値以上の大きなブレが見込まれる場合は、逆に平滑化度合いを抑えてブレ補正の効果を弱める。これにより、表示領域が余白領域を超えないようにかつ、可能な限り精度の高いブレ補正を行うようにする。閾値は、余白領域の大きさ等によって経験的に決定される。

0046

再び、図2に戻って説明する。次に、移動検出部126は、時刻tにおけるブレの交流(AC:Alternating Current)成分の行列である行列H_ac(t)を抽出する(ステップS103)。

0047

具体的には、移動検出部126は、ブレ行列H(t)に、ステップS102において抽出したブレのDC成分の行列H_dc(t)の逆行列乗算することにより、ブレのAC成分の行列H_ac(t)を抽出する。抽出したブレのAC成分の行列H_ac(t)は、ブレ成分のみを表すことになる。

0048

次に、移動検出部126は、ブレのAC成分の行列H_ac(t)を直前のブレ行列H_final(t−n)に積み立てる(行列同士を乗算する)ことにより、時刻tにおける最終的なブレ行列H_final(t)を算出する(ステップS104)。

0049

次に、補正部128は、ブレ行列H_final(t)を用いてブレ補正を行う(ステップS105)。具体的には、補正部128は、ブレ行列H_final(t)とフレーム内の座標(X,Y)を乗算して、ブレ補正後の座標(X´,Y´)を取得する。更に、補正部128は、座標(X,Y)の画素を座標(X´,Y´)に移動させてブレ補正後のフレームを生成し、表示部112に表示させる。

0050

以上説明したように、本実施形態に係る撮像装置100では、制御部102内の移動検出部126は、ブレ補正のための座標変換に用いられるブレ行列H(t)を算出する。この際、移動検出部126は、フレームを分割したブロック毎にMVを算出し、MVのうち被写体MVを除外するとともに、撮像部108の動きに応じたブレを表現するブレ行列H_sensorを算出する。更に、移動検出部126は、除外の結果残った背景MVの数が所定数以上である場合には、フレーム間のブレを表現するブレ行列H_mvを算出してブレ行列H(t)として確定する。一方、移動検出部126は、被写体MVを除外した結果残った背景MVの数が所定数未満である場合には、ブレ行列H_sensorを調整し、調整後のブレ行列H_sensor_adjをブレ行列H(t)として確定する。その後、移動検出部126は、ブレ行列HからDC成分の行列H_dc(t)とAC成分のH_ac(t)を抽出し、ブレのAC成分の行列H_ac(t)を直前のブレ行列H_final(t−n)に積み立てることで、時刻tにおける最終的なブレ行列H_final(t)を算出する。補正部128は、ブレ行列H_final(t)の逆行列とフレーム内の座標(X,Y)を乗算して、ブレ補正後の座標(X´,Y´)を取得し、ブレ補正を行う。

0051

これにより、撮像装置100内の撮像部108が利用者によって意図的に移動する場合には、その移動に対応するカメラワーク成分はブレ量から除外されて利用者が意図しない移動であるブレ成分のみを抽出してブレ補正を行うことができ、ブレ補正の精度を向上させることができる。

0052

また、被写体を特徴点とする被写体MVには、撮像装置100の利用者が意図的に撮像部108を移動させた際の移動量も含まれてしまうことに鑑み、算出されたMVから被写体MVが除外され、背景MVのみがブレ行列の取得に用いられるようにしているため、ブレ補正の精度を向上させることができる。

0053

また、MVを用いたブレ行列H_mvが算出不可能である場合には、ブレ行列H_sensorを調整し、調整後のブレ行列H_sensor_adjをブレ行列H(t)として確定する。このため、特徴点を抽出することができない場合や特徴点の数が少ないためにMVの数が足りず、精度の高いブレ行列H_mvが算出不可能である場合にも、撮像部108の動きに応じたブレを表現するブレ行列H_sensorを調整してブレ行列に用いることで、ブレ補正の精度を向上させることができる。

0054

なお、本発明は、上記実施形態に限定されず、様々な変形及び応用が可能である。例えば、上述した実施形態では、時刻tにおけるブレ行列H_final(t)を算出する際に、図2のステップS101において、時刻tより過去の時刻t−nのブレ行列H(t−n)と、時刻tより未来の時刻t+nのブレ行列H(t+n)が取得されるようにした。時刻tより未来の時刻t+nのブレ行列H(t+n)は、予め撮像のみを行い、その後の画像表示の際にブレ補正を行うような場合には取得可能であるが、撮像と画像表示が並行して行われる場合には取得不能である。このような場合には、移動検出部126は、時刻tのブレ行列H(t)とともに、時刻tより過去の複数の時刻におけるブレ行列を取得して、時刻tにおけるブレ行列H_final(t)の算出に用いるようにしてもよい。

0055

また、上述した実施形態では、センサ110は、撮像部108の動きとして、撮像装置100の回転に伴って生じる角速度を検出したが、撮像装置100の移動に伴って生じる加速度を検出してもよい。この場合、移動検出部126は、センサ110から出力される加速度に基づいてブレ行列H_sensorを算出する。算出方法は問わないが、例えば、ブレ行列H_sensorの要素は、加速度が大きいほど、座標(X,Y)と座標(X´,Y´)との距離が大きくなるように設定される。

0056

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

0057

(付記1)
時間的に連続する複数の画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像から、撮像時における意図的な撮影方向の移動を検出する検出手段と、
前記検出手段によって検出された結果から、意図的でない撮影方向の移動を移動情報として取得する取得手段と、
を備えることを特徴とする移動情報取得装置。

0058

(付記2)
前記取得手段は、前記検出手段によって検出された意図的な撮影方向の移動を除去することにより、前記意図的でない撮影方向の移動を移動情報として取得することを特徴とする付記1に記載の移動情報取得装置。

0059

(付記3)
前記検出手段は、
前記時間的に連続する複数の画像の撮像時における撮像装置の動きを入力する動き入力手段と、
前記動き入力手段によって入力された動きに基づいて、前記意図的な撮影方向の移動を判別する判別手段と、
を含むことを特徴とする付記1又は2に記載の移動情報取得装置。

0060

(付記4)
前記動き入力手段によって入力された動きは、所定の行列式で表されるとともに、前記意図的な撮影方向の移動は、前記行列式における所定の成分で表されることを特徴とする付記3に記載の移動情報取得装置。

0061

(付記5)
前記取得手段によって取得された意図的でない撮影方向の移動に基づいて、前記画像入力手段によって入力された複数の画像を補正する補正手段を更に備えることを特徴とする付記1乃至4の何れか1つに記載の移動情報取得装置。

0062

(付記6)
前記補正手段によって補正された結果から得られた複数の画像を記録する記録手段を更に備えることを特徴とする付記5に記載の移動情報取得装置。

0063

(付記7)
時間的に連続する複数の画像を入力する画像入力ステップと、
前記画像入力ステップにて入力された画像から、撮像時における意図的な撮影方向の移動を検出する検出ステップと、
前記検出ステップにて検出された結果から、意図的でない撮影方向の移動を移動情報として取得する取得ステップと、
を含むことを特徴とする移動情報取得方法。

0064

(付記8)
コンピュータを、
時間的に連続する複数の画像を入力する画像入力手段、
前記画像入力手段によって入力された画像から、撮像時における意図的な撮影方向の移動を検出する検出手段、
前記検出手段によって検出された結果から、意図的でない撮影方向の移動を移動情報として取得する取得手段、
として機能させることを特徴とするプログラム。

0065

100…撮像装置、102…制御部、104…メモリ、106…操作部、108…撮像部、110…センサ、112…表示部、122…撮像制御部、124…画像入力部、126…移動検出部、128…補正部、300…被写体

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ