図面 (/)

技術 動きぼけを低減させる方法、システム、およびコンピュータプログラム

出願人 ソニー株式会社ソニーミュージックエンターテインメントインターナショナルサービスィーズゲゼルシャフトミットベシュレンクテルハフツング
発明者 シディキムハンマドクレシハルーンファルーククラウスツィマーマン
出願日 2010年8月27日 (9年8ヶ月経過) 出願番号 2010-190583
公開日 2011年3月10日 (9年1ヶ月経過) 公開番号 2011-048830
状態 特許登録済
技術分野 画像処理 FAX画像信号回路 スタジオ装置
主要キーワード 高周波数値 露出パターン 動き測定 反転性 修正点 ボックスフィルタ 正規化周波数 シーケンス値
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年3月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

画像データにおける動きぼけを低減させる方法と、当該方法のステップを実行するためのコンピュータプログラムと、画像データにおける動きぼけを低減させるシステムと、動きぼけを低減させるシステムを備える撮像装置とを提供する。

解決手段

動きぼけを低減させる方法であって、少なくとも2つの画像フレーム撮像するステップと、値のシーケンスを提供するステップと、撮像された各フレームに1つのシーケンス値次々と関連させることによって、撮像された各フレームを処理するステップと、撮像され処理されたフレームすべてを累算するステップと、累算されたフレームにデコンボリューションを行うステップとを含む方法を提供する。

概要

背景

カメラで画像を撮像すると、画像はある単一の瞬間を表すのではなく、ある時間にわたるシーンを表す。そのため、カメラに対して動いている被写体があれば、例えばボックスフィルタブロードバンドフィルタなどのPSF(point spread function:点像分布関数)でのコンボリューションの後に、画像がぼけてしまう。画像の撮像中における不安定な手の移動や被写体の動きによって、動きぼけが起こることがあり、画像には相対運動の方向に沿ってスミアが発生してしまう。

動きぼけは、以下の3つの方法で対処することができる。
1.短露出時間撮像
2.従来のカメラ手法を用いた画像ぼけ除去
3.フラッタシャッタ手法を用いた画像ぼけ除去

短露出時間撮像の場合、個々のフレームはそれぞれノイズが多くなってしまうことがある。露出時間を短くすればするほど、センサに到達する光子の数が少なくなり、撮像した画像はノイズが多くなる。センサが十分な光を捉えることができないため、カラートーンも失われる。

上述した第2の方法である、従来のカメラ手法を用いた画像ぼけ除去の場合、図1に示すようにカメラの露出パターン箱型になるという性質があるため、高い空間周波数が失われてしまう。図1では、時間をx軸に示し、シャッタ開閉をy軸に示している。このようなレスポンスで画像のコンボリューションを行うと、画像は高周波数の内容にスミアが発生する。

そのため、帯域が限られたレスポンスの場合、フーリエ領域のPSFの範囲は不完全であり、情報は失われる。したがって、フラットなぼけと動きぼけとが起こり、連続したスミアが発生してしまう。これについては、図2を参照しながら、より詳細に説明する。図2はPSFのフーリエスペクトルを示している。x軸に正規化周波数を示し、y軸にマグニチュードをdB単位で示している。ここで、フーリエスペクトルが、スペクトル内に30と示したゼロをいくつか含んでいることがわかる。図2に示すようにPSFのフーリエスペクトルがスペクトル内にゼロを含んでいる場合、逆フィルタリングがノイズを増幅し、デコンボリューションにおいて良くない問題を引き起こす。

ここで、上述した第3の方法である、フラッタシャッタ手法を用いたぼけ除去の可能性を説明する。この手法については非特許文献1に記載されており、非特許文献1を引用することによって本明細書に組み入れたものとする。シャッタは、非特許文献2に記載の例のようにランダム2進符号化シーケンスにしたがって、ある単一の露出時間にわたって開閉を行う。シーケンスについては、得られる動きぼけPSFがフラットな周波数スペクトルを有し、高い空間周波数が保存されるように選択する。図3は、このシステムブロック図を示している。

システム100は符号化露出カメラ101を備えており、符号化露出カメラ101はフラッタシャッタ手法を用いていくつかのフレームを撮像する。すると、ぼけた画像111がPSF推定部103へ提出される。ユーザとのやり取りによって受け取った情報120もPSF推定部103へ提出され、PSFが定められる。そして、この情報113がデコンボリューション部105へ提出され、ぼけが除去された最終画像115が出力される。

概要

画像データにおける動きぼけを低減させる方法と、当該方法のステップを実行するためのコンピュータプログラムと、画像データにおける動きぼけを低減させるシステムと、動きぼけを低減させるシステムを備える撮像装置とを提供する。動きぼけを低減させる方法であって、少なくとも2つの画像フレームを撮像するステップと、値のシーケンスを提供するステップと、撮像された各フレームに1つのシーケンス値次々と関連させることによって、撮像された各フレームを処理するステップと、撮像され処理されたフレームすべてを累算するステップと、累算されたフレームにデコンボリューションを行うステップとを含む方法を提供する。

目的

本発明が目的とする

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動きぼけを低減させる方法であって、少なくとも2つの画像フレーム撮像するステップと、値のシーケンスを提供するステップと、撮像された各フレームに1つのシーケンス値次々と関連させることによって、撮像された各フレームを処理するステップと、撮像され処理されたフレームすべてを累算するステップと、累算されたフレームにデコンボリューションを行うステップとを含む方法。

請求項2

関連させるステップは、前記シーケンス値によって、撮像されたフレームをドロップすべきか、または保持すべきかを判定すること、および/または、前記シーケンス値によって、撮像されたフレームの重み付けを行うこと、を含む、請求項1に記載の方法。

請求項3

前記シーケンスは、撮像されたフレームの数と同数の値、または撮像されたフレームの数よりも多くの値を含み、各フレームは割り当てられた値を有する、請求項1または2のに記載の方法。

請求項4

前記シーケンスは連続した値を含む、請求項1、2、または3に記載の方法。

請求項5

前記シーケンスは、1に等しい有理数、または1よりも小さな有理数を含む、請求項1〜4のいずれか1項に記載の方法。

請求項6

処理するステップは、撮像された各フレームに1つのシーケンス値を次々と乗算することを含む、請求項1〜5のいずれか1項に記載の方法。

請求項7

前記シーケンスは、値0と値1とを含む2進符号化シーケンスであり、0はフレームをドロップすべきことを、1はフレームを保持すべきことを示す、請求項1〜5のいずれか1項に記載の方法。

請求項8

動き推定に基づいて、または動き測定センサによって提出されるデータに基づいて、点像分布関数推定するステップをさらに含む、請求項1〜7のいずれか1項に記載の方法。

請求項9

累算においては、処理されたフレームすべてを合計し、合計したフレームの数で除算する、請求項1〜8のいずれか1項に記載の方法。

請求項10

第1のフレームを保持することを含む、請求項1〜9のいずれか1項に記載の方法。

請求項11

累算においては、前記第1のフレームと、所定数後続の処理されたフレームとを合計し、合計したフレームの数で除算し、中間フレームを得る、請求項10に記載の方法。

請求項12

累算においては、累算された最終的なフレームが得られるまで、以前に得られた各中間フレームと、所定数の後続の処理されたフレームとを合計し、合計したフレームの数で除算する、請求項11に記載の方法。

請求項13

実際の設定および/または画像の内容に応じて、前記シーケンスを動的に生成するステップをさらに含む、請求項1〜12のいずれか1項に記載の方法。

請求項14

実際の設定および/または画像の内容に応じて、ルックアップテーブルに記憶されたシーケンスを選択するステップをさらに含む、請求項1〜13のいずれか1項に記載の方法。

請求項15

動きぼけを低減させるシステムであって、少なくとも2つの画像フレームを撮像するフレーム撮像部と、値のシーケンスを提供するシーケンス提供部と、撮像された各フレームに1つのシーケンス値を次々と関連させることによって、撮像された各フレームを処理するフレーム処理部と、撮像され処理されたフレームすべてを累算するフレーム累算部と、累算されたフレームにデコンボリューションを行うデコンボリューション部とを備えるシステム。

請求項16

前記フレーム処理部は、前記シーケンス値によって、撮像されたフレームをドロップすべきか、または保持すべきかの判定、および/または、前記シーケンス値によって、撮像されたフレームの重み付けを行う、請求項15に記載のシステム。

請求項17

前記シーケンス提供部は、撮像されたフレームの数と同数の値、または撮像されたフレームの数よりも多くの値を含むシーケンスを提供し、各フレームは割り当てられた値を有する、請求項15または16のいずれか1項に記載のシステム。

請求項18

前記シーケンス提供部は、連続した値を含むシーケンスを提供する、請求項15、16、または17のいずれか1項に記載のシステム。

請求項19

前記シーケンス提供部は、1に等しい有理数、または1よりも小さな有理数を含むシーケンスを提供する、請求項15〜18のいずれか1項に記載のシステム。

請求項20

フレーム処理部は、撮像された各フレームに1つのシーケンス値を次々と乗算することを含む、請求項15〜19のいずれか1項に記載のシステム。

請求項21

前記シーケンス提供部は、値0と値1とを含む2進符号化シーケンスを提供し、0はフレームをドロップすべきことを、1はフレームを保持すべきことを示す、請求項15〜19のいずれか1項に記載のシステム。

請求項22

動き推定に基づいて、または動き測定センサによって提出されるデータに基づいて、点像分布関数を推定する点像分布関数推定部をさらに含む、請求項15〜21のいずれか1項に記載のシステム。

請求項23

前記フレーム累算部は、累算において、処理されたフレームすべてを合計し、合計したフレームの数で除算する、請求項15〜22のいずれか1項に記載のシステム。

請求項24

前記フレーム累算部は第1のフレームを保持する、請求項15〜23のいずれか1項に記載のシステム。

請求項25

前記フレーム累算部は、累算において、前記第1のフレームと、所定数の後続の処理されたフレームとを合計し、合計したフレームの数で除算し、中間フレームを得る、請求項24に記載のシステム。

請求項26

前記フレーム累算部は、累算において、累算された最終的なフレームが得られるまで、以前に得られた各中間フレームと、所定数の後続の処理されたフレームとを合計し、合計したフレームの数で除算する、請求項25に記載のシステム。

請求項27

前記シーケンス提供部は、実際の設定および/または画像の内容に応じて、前記シーケンスを動的に生成する、請求項15〜26のいずれか1項に記載のシステム。

請求項28

前記シーケンス提供部は、実際の設定および/または画像の内容に応じて、ルックアップテーブルに記憶されたシーケンスを選択する、請求項1〜13のいずれか1項に記載の方法。

請求項29

好ましくはバーストショットモードがあるカメラ、またはビデオカメラである装置であって、請求項15〜28のいずれか1項に記載のシステムを備える装置。

請求項30

動きぼけを低減させるシステムであって、少なくとも2つの画像フレームを撮像する手段と、値のシーケンスを提供する手段と、撮像された各フレームに1つのシーケンス値を次々と関連させることによって、撮像された各フレームを処理する手段と、撮像され処理されたフレームすべてを累算する手段と、累算されたフレームにデコンボリューションを行う手段とを備えるシステム。

請求項31

コンピュータ読出可能媒体に記憶されるコンピュータプログラムであって、少なくとも2つの画像フレームを撮像するステップ、値のシーケンスを提供するステップ、撮像された各フレームに1つのシーケンス値を次々と関連させることによって、撮像された各フレームを処理するステップ、撮像され処理されたフレームすべてを累算するステップ、累算されたフレームにデコンボリューションを行うステップをコンピュータに行わせるコンピュータプログラム。

技術分野

0001

本発明は、符号化露出写真技術の分野に関する。より具体的には、本発明は、画像データにおける動きぼけを低減させる方法と、当該方法のステップを実行するためのコンピュータプログラムと、画像データにおける動きぼけを低減させるシステムと、動きぼけを低減させるシステムを備える撮像装置とに関する。

背景技術

0002

カメラで画像を撮像すると、画像はある単一の瞬間を表すのではなく、ある時間にわたるシーンを表す。そのため、カメラに対して動いている被写体があれば、例えばボックスフィルタブロードバンドフィルタなどのPSF(point spread function:点像分布関数)でのコンボリューションの後に、画像がぼけてしまう。画像の撮像中における不安定な手の移動や被写体の動きによって、動きぼけが起こることがあり、画像には相対運動の方向に沿ってスミアが発生してしまう。

0003

動きぼけは、以下の3つの方法で対処することができる。
1.短露出時間撮像
2.従来のカメラ手法を用いた画像ぼけ除去
3.フラッタシャッタ手法を用いた画像ぼけ除去

0004

短露出時間撮像の場合、個々のフレームはそれぞれノイズが多くなってしまうことがある。露出時間を短くすればするほど、センサに到達する光子の数が少なくなり、撮像した画像はノイズが多くなる。センサが十分な光を捉えることができないため、カラートーンも失われる。

0005

上述した第2の方法である、従来のカメラ手法を用いた画像ぼけ除去の場合、図1に示すようにカメラの露出パターン箱型になるという性質があるため、高い空間周波数が失われてしまう。図1では、時間をx軸に示し、シャッタ開閉をy軸に示している。このようなレスポンスで画像のコンボリューションを行うと、画像は高周波数の内容にスミアが発生する。

0006

そのため、帯域が限られたレスポンスの場合、フーリエ領域のPSFの範囲は不完全であり、情報は失われる。したがって、フラットなぼけと動きぼけとが起こり、連続したスミアが発生してしまう。これについては、図2を参照しながら、より詳細に説明する。図2はPSFのフーリエスペクトルを示している。x軸に正規化周波数を示し、y軸にマグニチュードをdB単位で示している。ここで、フーリエスペクトルが、スペクトル内に30と示したゼロをいくつか含んでいることがわかる。図2に示すようにPSFのフーリエスペクトルがスペクトル内にゼロを含んでいる場合、逆フィルタリングがノイズを増幅し、デコンボリューションにおいて良くない問題を引き起こす。

0007

ここで、上述した第3の方法である、フラッタシャッタ手法を用いたぼけ除去の可能性を説明する。この手法については非特許文献1に記載されており、非特許文献1を引用することによって本明細書に組み入れたものとする。シャッタは、非特許文献2に記載の例のようにランダム2進符号化シーケンスにしたがって、ある単一の露出時間にわたって開閉を行う。シーケンスについては、得られる動きぼけPSFがフラットな周波数スペクトルを有し、高い空間周波数が保存されるように選択する。図3は、このシステムのブロック図を示している。

0008

システム100は符号化露出カメラ101を備えており、符号化露出カメラ101はフラッタシャッタ手法を用いていくつかのフレームを撮像する。すると、ぼけた画像111がPSF推定部103へ提出される。ユーザとのやり取りによって受け取った情報120もPSF推定部103へ提出され、PSFが定められる。そして、この情報113がデコンボリューション部105へ提出され、ぼけが除去された最終画像115が出力される。

先行技術

0009

R.ラスカー(R. Raskar)、他著、「符号化露出写真技術:フラッタシャッタを用いた動きぼけ除去(Coded Exposure Photography: Motion Deblurring using Fluttered Shutter)」
A.アグラワル(A. Agrawal)、他著、「符号化露出ぼけ除去:PSF推定および反転性に対して最適化した符号(Coded Exposure Deblurring: Optimized Codes for PSF Estimation and Invertibility)」

発明が解決しようとする課題

0010

したがって、本発明が目的とする課題は先行技術を改善することである。より具体的には、本発明の目的は、先行技術が引き起こす問題を減らすことである。

課題を解決するための手段

0011

この目的は、独立請求項の特徴によって達成される。

0012

従属請求項において、さらなる特徴および効果を記載する。

図面の簡単な説明

0013

従来の露出パターンを示す。
従来技術で得られたPSFの周波数スペクトルを示す。
先行技術によるシステムの概略ブロック図を示す。
本発明の実施形態に係るシステムの概略ブロック図を示す。
本発明の実施形態に係る方法で得られたPSFの周波数スペクトルを示す。
本発明の第1実施形態の方法に係る処理ステップのフローチャートを示す。
本発明の第2実施形態に係る処理ステップのフローチャートを示す。

実施例

0014

ここで、図面に関連した好ましい実施形態についての以下の説明において、本発明をより詳細に説明する。

0015

動きぼけとは、通常、画像を撮像する間に時間領域において起こり得る現象である。動きぼけは、被写体が動いている場合や、カメラの動き、カメラの手ぶれによって起こる。そのため、かかる動きぼけを補うために、様々な手法を用いることができる。帯域が限られた露出時間の従来のカメラを用いて、ぼけた画像のぼけ除去を行うことは、それ自体良くない問題である。この手法では、露出時間が一時的なボックスフィルタのように作用するため、入力画像でコンボリューションを行うと、ぼけた画像において、動いている被写体にスミアが発生し、高い空間周波数が失われる。これにより、デコンボリューションによる従来のカメラを用いたぼけ除去は良くない問題となるが、フラッタシャッタ手法ではデコンボリューションは良好な問題となる。

0016

フラッタシャッタ手法では、一定の露出時間を用いる代わりに、2進符号化シーケンスによって露出時間全体の中でカメラシャッタが開閉を行うため、ボックスフィルタの作用を、高い空間周波数を保持する方法を提供するブロードバンドフィルタへ変換する。つまり、ぼけた画像自体高周波数値を保持することになる。この手法の問題の1つは、2進符号にしたがった画像の撮像である。このため、外部ハードウェアや、特別な駆動モードがあるカメラが必要であり、そのシャッタは電子制御できるものとする。すなわちカメラシャッタを制御しなければ、またカメラを駆動させなければ、符号化シーケンスにしたがって画像を撮像することができない。このため、駆動ソース/装置が必要である。カメラ間処理におけるPSFの推定は非常に困難である。この手法はユーザとのやり取りに依存してPSFを推定するため、これがこの方法の別の問題である。画像を正確に再生するために、PSF推定は非常に重要である。この手法における第3の問題は、符号化シーケンスが画像の内容によって最適化できないことである。

0017

したがって、本発明の実施形態においては、所定の符号化シーケンスにしたがって、撮像したフレームの一部をドロップおよび/または重み付けするフレーム処理技術を提案する。本発明の実施形態では、PSFの推定に動き推定を用いることができる。フレームのドロップ/重み付けを定める符号は最適化可能であり、外部ハードウェアや特別なシャッタ時間制御のカメラはもはや必要ない。本発明の実施形態においては、符号化露出手法の効果は保持されるが、実装単純化される。

0018

図4は、本発明の実施形態に係るシステムのブロック図を示している。システム10はフレーム撮像部1を備えており、フレーム撮像部1はn個のフレームを撮像するものであり、nは1より大きな整数とする。本発明の実施形態においては、フレームの撮像に、シャッタ制御機能を考慮せずにいかなる種類のカメラを用いてもよく、何か他のハードウェアを変更してもよい。例えば、バーストショットモードセーフシャッタスピードを有する)やビデオ撮影機能があるカメラなどを用いて、画像を撮像することが可能である。本発明の実施形態によれば、画像フレームは、画像全体を含んだものとすることもできれば、画像の一部を含んだものとすることもできる。本出願において使用する画像という用語は、静止画とすることもできれば、ビデオを構成する動画のシーケンスにおける1画像とすることもできる。

0019

そして、撮像したフレーム11はフレーム処理部2とPSF推定部3とへ提出される。ここでPSF推定部3は点像分布関数を推定し、点像分布関数13をデコンボリューション部5へ提出する。ここで、PSF推定部は、いかなる周知のPSF推定方法を用いてもよい。好ましい実施形態においては、PSF推定部は、動き推定および/または動き測定センサ33が提出するデータに基づいて、点像分布関数を推定する。動き測定センサ33としては、例えばジャイロスコープ加速度計などが挙げられる。

0020

フレーム撮像部1が撮像したすべてのフレームから、フレーム処理部2は、シーケンス提供部6が提出する符号化シーケンスEの値を撮像フレームの各々に次々と関連させることによって、各フレームを処理する。これによって、フレーム処理部2は、フレームを保持するか、またはドロップするかという選択を、および/または撮像フレームの重み付けを達成する。符号化シーケンス提供部6およびフレーム処理部2の機能については、後で詳細に説明する。

0021

符号化シーケンス提供部6が提供する符号化シーケンスは、実際の設定および/または画像プロパティに基づいて動的に決定されるものとすることもできれば、処理量を削減するため、ルックアップテーブル66を提供して、様々な符号化シーケンスを記憶しておき、実際の必要性に応じて選択するようにすることもできる。

0022

処理後のフレーム12、すなわち保持および/または重み付けしたフレームは、フレーム累算部4へ提出される。フレーム累算部4は、所定のスキームにしたがって、処理後のフレームすべてを累算する。所定のスキームについても後述する。そして、フレーム累算部4は累算後のフレーム14をデコンボリューション部5へ提出する。デコンボリューション部5は、PSF推定部3が提出した点像分布関数13にしたがって、累算後のフレーム14に対してデコンボリューションを実行する。

0023

そして、ぼけ除去済みの最終画像15がデコンボリューション部5によって出力される。本発明の実施形態によれば、デコンボリューション後に、その他の種類の画像補正画像処理を行うことも可能である。

0024

図5は、提案するフレーム処理手法を用いて得られる周波数スペクトルを示している。提案する技術においてわかるように、スペクトルにゼロがなく、高い空間周波数は保持され、最適なぼけ除去済みの画像が得られる。

0025

以下では、図6を参照しながら、本発明の第1実施形態についてより詳細に説明する。この第1実施形態では、撮像した各フレームに1つのシーケンス値乗算する。すなわち、フレームの各ピクセルを乗算する。シーケンス値に応じて、乗算後のフレームはドロップされたり(シーケンスに0がある場合)、変化なく保持されたり(シーケンスに1がある場合)、別の重み付けで保持されたり(シーケンスに0や1以外の値がある場合)する。

0026

ステップS0において処理は開始する。続くステップS1において、フレーム撮像部1によってn個のフレームが撮像される。

0027

ステップS2において、符号化シーケンス提供部6によってシーケンスE(i)が提供される。シーケンスEは、撮像したフレームの数と同数の値、または撮像したフレームの数よりも多くの値を含んでおり、撮像した各フレームには1つの値が割り当てられる。しかしながら、シーケンスが含む値を、撮像したフレームの数よりも少なく提供し、撮像したフレームに同一シーケンスを2度以上用いるものとすることも可能である。

0028

ある実施形態では、シーケンスEは、例えば1と等しい有理数、1よりも大きな有理数、または1よりも小さな有理数とすることが可能な連続した値を含む。シーケンスは0を含むものとすることもできれば、0を含まないものとすることもできる。0が提供される場合、対応するフレームは、0を乗算され、これ以上の処理は行われない。すなわち、対応するフレームはドロップされる。

0029

シーケンスEは、例えば0と1との間の任意の値を含んだものとすることが可能であり、フレームに対応する値を乗算することで、フレームの重み付けも可能となる。

0030

好ましい実施形態では、シーケンスは、値0と値1とを含む2進符号化シーケンスであり、0はフレームFiをドロップすべきことを、1はフレームFiを保持すべきことを示している。

0031

しかしながら、本発明は、上で定めたシーケンスに限定されるものではなく、撮像したフレームのドロップおよび/または重み付けが可能であればいかなる種類のシーケンスを含むことができるものである。

0032

次のステップS3において、反復処理、すなわち、撮像したフレームFiすべてに対して反復される処理が開始する。ステップS4において、各フレームFiにシーケンスの値E(i)を次々と乗算して、m個の乗算済みのフレームFj(j=1,……,m)を得る。mは、撮像した画像フレームの数であるnと等しいか、またはnよりも小さいものである。

0033

シーケンス内に0がある場合、対応するフレームがドロップされることは明らかである。同様に、シーケンス内にいくつかの異なる値を提供すれば、フレームの重み付けが可能である。

0034

次のステップにおいて、乗算済みの撮像フレームは累算される。これについては、後で詳細に説明する。

0035

そしてステップS6において、累算したフレームにデコンボリューションを行うことによって、最終画像が得られる。

0036

ここで、本発明の第2実施形態を説明する。この実施形態では、フレームにシーケンス値を乗算することはせず、シーケンス値は、撮像したフレームの処理の種類を定める識別子やフラグとして用いる。好ましい実施形態では、シーケンスは0および1の値を含んでおり、そのためこのシーケンスで、フレームをドロップすべきか、または保持すべきかが定められている。

0037

ステップS10において処理が開始する。続くステップS11において、フレーム撮像部1によってn個のフレームが撮像される。

0038

本発明の好ましい実施形態によれば、第1フレームF1は常に保持されるものであり、したがって、続くステップS12では第1フレームF1を読み出す。

0039

すでに説明したように、シーケンスEは、撮像したフレームをドロップすべきか、または保持すべきかを定めている。好ましい実施形態では、撮像したフレームの数と同数のシンボル、または撮像したフレームの数よりも多くのシンボルがシーケンスに含まれており、各フレームに対して1つのシンボルを割り当てることができる。シンボルの種類に応じて、対応するフレームを保持すべきか、またはドロップすべきかが定められている。

0040

ある実施形態では、シーケンスは、シンボル0とシンボル1とを含む2進符号化シーケンスであり、0はフレームをドロップすべきことを、1はフレームを保持すべきことを示している。

0041

したがって、本発明の実施形態に係るこの符号化シーケンスEは、すべてのi=1,……,nについて、次式のように定めることができる。

0042

0043

つまり、Eは、シンボルが各フレームに割り当てられるシーケンスである。あるフレームに0が割り当てられた場合にはこのフレームはドロップされ、あるフレームに1が割り当てられた場合にはこのフレームは保持される。

0044

しかしながら、本発明は2進符号化シーケンスに限られるものではなく、任意の種類のシンボルを含んだ他種のシーケンスを用いることも可能である。これらのシンボルは識別子やフラグとしてフレーム処理部2によって認識され、それに応じてフレームが処理される。ここで、シーケンス値と処理ステップとの間の関係は、どのようなものであってもよい。

0045

第1フレームF1を読み出して保持した後、続くステップS13において、以降のフレームF2からフレームFnまでのすべてのフレームFiについて、反復が開始する。

0046

次のステップS14において2進符号化シーケンスE(i)をチェックし、次のステップS15では、目下検討中のフレームについて、符号化シーケンスが1に等しいかチェックする。等しくない場合、すなわちシーケンスが0に等しい場合は、ステップS16において対応するフレームFiはドロップされ、次のフレームに対してステップS3へと処理が続く。

0047

そうではなく、ステップS15でシーケンスE(i)が1に等しいことがわかれば、続くステップS17において、目下検討中のフレームは保持され、読み出される。

0048

ステップS18において、第1フレームF1、および保持したフレームすべてを累算する。

0049

すべてのフレームがドロップされるか、または保持されるかして、累算された後は、ステップS19において最終画像が得られる。

0050

ここで、累算ステップについてより詳細に説明する。フレームを累算するには、様々な機構が可能である。ある機構においては、すべてのフレームが処理されるまで待ち処理済みの撮像フレームすべての合計を計算し、この合計を処理済みのフレームの数で除算する。

0051

よりわかりやすくすると、p個の処理済みのフレームを累算する第1の累算方法は、次式によって、累算済みフレームFAを得る。

0052

0053

別の可能性としては、第1の処理済みフレームと所定数後続の処理済みフレームとを合計し、合計したフレームの数でこの合計を除算することによって、累算済みフレームを帰納的に定めることもできよう。このステップにおいては、第1中間フレームが得られ、この中間フレームを所定数の後続の処理済みフレームと合計し、合計したフレームの数で除算すれば、第2中間フレームが得られる。このようなステップをすべてのフレームが累算されるまで反復する。

0054

提案する技術においては、外部ハードウェアを必要とすることなく、外部ハードウェアに制限されることもなく、またいかなる駆動モードを必要することもなく、バーストショットモードがあるどのようなカメラや、ビデオカメラを用いて、画像を撮像することも可能である。特別な駆動モードがある追加の外部ハードウェアやカメラも、これ以上必要ない。

0055

提案する技術においては、動き推定を用いて、または例えばジャイロスコープや加速度計などの動き測定センサを用いて、PSFを推定することができる。これによって、本発明の実施形態に係る符号化シーケンスを用いることがまた可能となる。また、これによって、本発明の実施形態に係るPSF推定は、周知の方法と比較して、より強固となる。具体的に言えば、ブラインドPSF推定を実行する必要がない。

0056

提案する技術においては、実際の設定および/または画像の内容にしたがって、符号化シーケンスを最適化することができる。符号化シーケンスは、例えば被写体の幅に基づくものとすることができる。被写体が例えば厚さ1ピクセルしかなければ、符号化シーケンスを最適化して、最小スミアリングを得ることができる。一方で、被写体が厚さ数ピクセルであれば、符号化シーケンスを最適化して、より厚い被写体を保存することができる。

0057

また、ノイズ対ゲイン特性輝度設定などを用いて、符号化シーケンスを調整することも可能である。

0058

当該システム、方法、コンピュータプログラムは、非ストロボ表示装置、特に液晶ディスプレイ(LCD:Liquid Crystal Display)パネル薄膜トランジスタディスプレイ(TFT:Thin Film Transistor)ディスプレイ、カラーシーケンシャルディスプレイ、プラズマディスプレイパネル(PDP:Plasma Display Panel)、デジタルマイクロミラーデバイス有機発光ダイオード(OLED:Organic Light Emitting Diode)ディスプレイで画像を表示する場合に用いることができる。

0059

本発明の好ましい実施形態についての以上の説明は、例示および説明を目的として与えたものである。本発明について、網羅したつもりもなければ、開示した特定の形態に限定するつもりもない。当業者に対して多くの修正点変更点が明らかなものとなろう。実施形態については、本発明の原理およびその実際の応用を最も良く説明するために選択して説明したものであり、これによって、当業者が、本発明および様々な実施形態について、具体的な用途に適した様々な修正点を考慮の上で理解することが可能となる。

0060

構造的特徴および/または方法論的ステップに特有言葉で本発明を説明したが、添付の特許請求の範囲に記載の本発明は、説明した特定の特徴やステップに必ずしも限定されるものではないということが理解されよう。むしろ、この特定の特徴やステップは、請求する発明を実施する好ましい形態として開示している。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 川口豊の「 車両」が 公開されました。( 2020/02/13)

    【課題】表示手段に表示される画像を運転者が確認しやすい車両を提供する。【解決手段】フロントガラスが設けられていない無窓化された車体3を備えている。この車体3に、運転の際における少なくとも前方視界に相当... 詳細

  • ジャパンモード株式会社の「 メイクアップ支援システム、及びメイクアップ支援方法」が 公開されました。( 2020/02/13)

    【課題】 ユーザ端末と接続した状態でメイクアップの施術に関するアドバイスを行い、施術すべきメイクアップに応じたメイクアップ支援システムを提供する。【解決手段】ユーザ端末5と専門員装置3とを接続した状... 詳細

  • ソニーセミコンダクタソリューションズ株式会社の「 固体撮像装置および電子機器」が 公開されました。( 2020/02/13)

    【課題】イメージセンサのチップ内でより複雑な処理を実行することを課題とする。【解決手段】固体撮像装置は、画像データを取得する撮像部と、画像データを取得する撮像部と、前記撮像部から取得される画像データに... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ