図面 (/)

技術 撮像装置、撮像方法、撮像プログラム、画像処理装置、画像処理方法および画像処理プログラム

出願人 キヤノン株式会社
発明者 古賀悠修
出願日 2014年11月20日 (4年9ヶ月経過) 出願番号 2014-235208
公開日 2016年5月30日 (3年2ヶ月経過) 公開番号 2016-100700
状態 特許登録済
技術分野 スタジオ装置
主要キーワード 正則化項 画像取得プログラム 高速度撮像 撮像時間間隔 全変動 切り替え速度 高速度カメラ 符号化パターン
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

画素かつ高解像度の画像を速い撮像速度で取得する。

解決手段

撮像装置は、結像光学系111により形成された光学像符号化パターンで符号化して符号化像を生成する符号化手段114と、該符号化像を撮像する撮像素子113と、第1の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分重畳した第1の画像を生成する画像生成手段170とを有する。第1の画像から該複数の画像成分を分離して複数の第2の画像を生成する処理を行うことができる。

概要

背景

高速移動する被写体や高速変化する現象を連続的に撮像するために行われる高速度撮像では、1秒間あたり連続撮像回数露光時間と撮像素子の全画素画素情報電荷)の読み出し時間によって決まる。このうち、全画素の画素情報の読み出し時間が1秒間あたりの連続撮像回数を制限する。

全画素の画素情報の読み出し時間を短くするための手法として、画素数自体を少なくする手法や、特許文献1および特許文献2にて開示されているように高速度撮像時に画素情報を読み出す画素を間引く手法が知られている。また、特許文献1には、高速度撮像時に各単位画素における露光時間が短縮されて単位画素の実効的な感度が低減するのを回避するために、複数の画素の画素情報を加算してから読み出す手法も開示されている。一方、特許文献2には、画素情報を読み出す画素を間引くことで出力画像の画素数が減少するのを回避するために、画素ライン単位で間引いて画素情報を読み出した後に、間引いた画素ラインの画素情報を復元する方法も開示されている。

概要

高画素かつ高解像度の画像を速い撮像速度で取得する。撮像装置は、結像光学系111により形成された光学像符号化パターンで符号化して符号化像を生成する符号化手段114と、該符号化像を撮像する撮像素子113と、第1の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分重畳した第1の画像を生成する画像生成手段170とを有する。第1の画像から該複数の画像成分を分離して複数の第2の画像を生成する処理を行うことができる。

目的

本発明は、高画素かつ高解像度の画像を速い撮像速度で取得することができるようにした撮像装置および撮像方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

結像光学系により形成された光学像符号化パターンで符号化して符号化像を生成する符号化手段と、該符号化像を撮像する撮像素子と、第1の画像を取得するための前記撮像素子の露光時間内において、互いに異なる前記符号化パターンで符号化された複数の前記符号化像を順次形成しながら前記撮像素子により撮像を行うことで、前記複数の符号化像のそれぞれに対応する複数の画像成分重畳した前記第1の画像を生成する画像生成手段とを有することを特徴とする撮像装置

請求項2

前記第1の画像から前記複数の画像成分を分離して複数の第2の画像を生成する画像分離手段を有することを特徴とする請求項1に記載の撮像装置。

請求項3

前記撮像素子の画素数をM×Nとし、前記露光時間をL個の分割露光時間に分割したときの該分割露光時間をTk(k=1,2,…,L)とし、各分割露光時間Tkにおける前記符号化パターンをfk(i,j)(i=1,2,…,M、j=1,2,…,N)とするとき、前記符号化パターンfk(i,j)は、なる条件を満足することを特徴とする請求項1または2に記載の撮影装置

請求項4

前記撮像素子の画素数をM×Nとし、前記露光時間をL個の分割露光時間に分割したときの該分割露光時間をTk(k=1,2,…,L)とし、各分割露光時間Tkにおける前記符号化パターンをfk(i,j)(i=1,2,…,M、j=1,2,…,N)とするとき、互いに隣り合う前記分割露光時間Tk1 ,Tk2における前記符号化パターンfk1(i,j),fk2(i,j)は、Rk1,k2を、とするとき、なる条件を満足することを特徴とする請求項1から3のいずれか一項に記載の撮像装置。

請求項5

前記符号化パターンは、前記結像光学系から前記撮像素子に向かう光に対する透過率または反射率分布であり、前記撮像素子の画素数をM×Nとし、前記露光時間をL個の分割露光時間に分割したときの該分割露光時間をTk(k=1,2,…,L)とし、該分割露光時間Tkのそれぞれにおける前記符号化パターンfk(i,j)(i=1,2,…,M、j=1,2,…,N)のうち前記透過率または前記反射率が最小および最大である符号化パターンの透過率または反射率をそれぞれmin(fk(i,j))およびmax(fk(i,j))とするとき、なる条件を満足することを特徴とする請求項1から4のいずれか一項に記載の撮像装置。

請求項6

前記符号化パターンは、前記結像光学系から前記撮像素子に向かう光に対する透過率または反射率の分布であり、前記符号化パターンにおける前記透過率または前記反射率が最小および最大となる部分に対応する前記撮像素子の画素の数をそれぞれPminおよびPmaxとするとき、なる条件を満足することを特徴とする請求項1から5のいずれか一項に記載の撮像装置。

請求項7

前記分割露光時間は、前記露光時間を等分割した時間であることを特徴とする請求項3から6のいずれか一項に記載の撮像装置。

請求項8

前記符号化手段は、前記撮像素子の複数の画素に対応する複数の光変調部を有する空間光変調器であり、前記複数の光変調部を駆動することで前記符号化パターンを異ならせることを特徴とする請求項1から7のいずれか一項に記載の撮像装置。

請求項9

前記符号化手段は、符号化マスクであり、該符号化マスクを前記撮像素子に対して変位させることで前記符号化パターンを異ならせることを特徴とする請求項1から7のいずれか一項に記載の撮像装置。

請求項10

前記符号化手段は、符号化マスクであり、該符号化マスクおよび前記撮像素子に対して前記結像光学系の全体または一部を変位させることにより前記符号化パターンを異ならせることを特徴とする請求項1から9のいずれか一項に記載の撮像装置。

請求項11

前記符号化パターンを保持する記憶手段を有し、前記画像分離手段は、前記記憶手段に保持された前記符号化パターンを用いて、前記第1の画像から前記複数の画像成分を分離して前記複数の第2の画像を生成することを特徴とする請求項2に記載の撮像装置。

請求項12

前記第2の画像は、前記第1の画像と同じ画素数を有することを特徴とする請求項2または11に記載の撮像装置

請求項13

前記画像分離手段は、前記第2の画像を生成する際に、前記符号化手段による符号化によって欠落した画素情報を補間する処理を行うことを特徴とする請求項2,11または12に記載の撮像装置。

請求項14

前記補間処理は、Total Variation を用いることを特徴とする請求項13に記載の撮像装置。

請求項15

結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像する撮像方法であって、第1の画像を取得するための前記撮像素子の露光時間内において、互いに異なる前記符号化パターンで符号化された複数の前記符号化像を順次形成しながら前記撮像素子により撮像を行うことで、前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した前記第1の画像を生成することを特徴とする撮像方法。

請求項16

前記第1の画像から前記複数の画像成分を分離して複数の第2の画像を生成することを特徴とする請求項15に記載の撮像方法。

請求項17

結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像する撮像装置のコンピュータに、第1の画像を取得するための前記撮像素子の露光時間内において、互いに異なる前記符号化パターンで符号化された複数の前記符号化像を順次形成しながら前記撮像素子により撮像を行うことで、前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した前記第1の画像を生成する処理を行わせるコンピュータプログラムであることを特徴とする撮像プログラム

請求項18

前記第1の画像から前記複数の画像成分を分離して複数の第2の画像を生成する処理を含むことを特徴とする請求項17に記載の撮像プログラム。

請求項19

請求項1に記載の撮像装置により生成された前記第1の画像から前記複数の画像成分を分離して前記複数の第2の画像を生成する処理を行うことを特徴とする画像処理装置

請求項20

請求項1に記載の撮像装置により生成された前記第1の画像から前記複数の画像成分を分離して前記複数の第2の画像を生成する処理を行うことを特徴とする画像処理方法

請求項21

コンピュータプログラムであって、コンピュータに、請求項1に記載の撮像装置により生成された前記第1の画像から前記複数の画像成分を分離して前記複数の第2の画像を生成する処理を行わせることを特徴とする画像処理プログラム

技術分野

0001

本発明は、高速度撮像に好適な撮像技術に関する。

背景技術

0002

高速移動する被写体や高速変化する現象を連続的に撮像するために行われる高速度撮像では、1秒間あたり連続撮像回数露光時間と撮像素子の全画素画素情報電荷)の読み出し時間によって決まる。このうち、全画素の画素情報の読み出し時間が1秒間あたりの連続撮像回数を制限する。

0003

全画素の画素情報の読み出し時間を短くするための手法として、画素数自体を少なくする手法や、特許文献1および特許文献2にて開示されているように高速度撮像時に画素情報を読み出す画素を間引く手法が知られている。また、特許文献1には、高速度撮像時に各単位画素における露光時間が短縮されて単位画素の実効的な感度が低減するのを回避するために、複数の画素の画素情報を加算してから読み出す手法も開示されている。一方、特許文献2には、画素情報を読み出す画素を間引くことで出力画像の画素数が減少するのを回避するために、画素ライン単位で間引いて画素情報を読み出した後に、間引いた画素ラインの画素情報を復元する方法も開示されている。

先行技術

0004

特開2005−278135号公報
特開2008−147904号公報

発明が解決しようとする課題

0005

しかしながら、特許文献1にて開示された手法では、画素情報が読み出される画素数が少なくなるために、撮像により得られる画像の画素数も減少する。また、特許文献2にて開示された手法では、間引いた画素ラインの画素情報を復元するために得られる画像の画素数が減少することを防ぐことはできる。しかし、画素ライン単位で画素情報を間引くことによる実質的なサンプリング周波数の低下により、間引いた画素情報を復元しても高解像度な画像を得ることができない。したがって、これら特許文献1,2に開示された手法では、高画素かつ高解像度の画像を速い撮像速度で取得することが難しい。

0006

本発明は、高画素かつ高解像度の画像を速い撮像速度で取得することができるようにした撮像装置および撮像方法を提供する。

課題を解決するための手段

0007

本発明の一側面としての撮像装置は、結像光学系により形成された光学像符号化パターンで符号化して符号化像を生成する符号化手段と、該符号化像を撮像する撮像素子と、第1の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分重畳した第1の画像を生成する画像生成手段とを有することを特徴とする。

0008

また、本発明の他の一側面としての撮像方法は、結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像する撮像方法であって、第1の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第1の画像を生成することを特徴とする。

0009

さらに、本発明の他の一側面としての撮像プログラムは、結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像する撮像装置のコンピュータに、第1の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第1の画像を生成する処理を行わせることを特徴とする。

0010

なお、上記第1の画像から複数の画像成分を分離して複数の第2の画像を生成する処理を行う画像処理装置および画像処理方法や、該処理をコンピュータに行わせる画像処理プログラムも本発明の他の一側面を構成する。

発明の効果

0011

本発明によれば、互いに異なる符号化パターンによって符号化された複数の符号化像を1回の露光時間内で撮像して第1の画像を生成するので、該第1の画像から高画素かつ高解像度の複数の連続した画像(第2の画像)を分離することができる。すなわち、速い撮像速度で高画素かつ高解像度の複数の連続画像を取得することができる。

図面の簡単な説明

0012

本発明の実施例1である高速度撮像装置の構成を示すブロック図。
実施例1における高速度撮像方法によるシミュレーション結果と高速度撮像方法の工程を説明する図。
実施例1における高速度撮像方法における露光および読み出しスケジュールを説明する図。
実施例1における分離画像生成工程を説明する図。
実施例1における符号化パターンの例を示す図。
実施例1における符号化パターンの別の例を示す図。
実施例1における符号化パターンのさらに別の例を示す図。
本発明の実施例2である高速度撮像装置の構成を示すブロック図。
本発明の実施例3である高速度撮影装置の構成を示すブロック図。
実施例1における高速度撮像方法による別のシミュレーション結果を示す図。
本発明の実施例4である高速度撮像装置の構成を示すブロック図。
本発明の実施例5である高速度撮影装置の構成を示すブロック図。

0013

以下、本発明の実施例について図面を参照しながら説明する。

0014

図1には、本発明の実施例1である高速度撮像装置(以下、高速度カメラという)100の構成を示す。高速度カメラ100は、画像を取得するための画像取得部110を有する。画像取得部110は、結像光学系111と、開口絞り112と、撮像素子113と、空間光変調器114とを有する。画像取得部110の各要素は、駆動制御部180、状態検知部190およびシステムコントローラ170により制御される。

0015

結像光学系111は、不図示の被写体からの光を結像させて被写体像(光学像)を形成する。符号化手段としての空間光変調器114は、結像光学系111と撮像素子113と間(撮像素子113の前側)に配置され、被写体像を符号化する。空間光変調器114は、撮像素子113の複数の画素と同じ数の複数の光変調部を有する透過型液晶パネルにより構成され、光変調部ごとに光の透過率を変化させるように駆動することができる。なお、空間光変調器114として、透過型液晶パネル以外のものを用いてもよい。

0016

撮像素子113は、複数の画素を有し、空間光変調器114により符号された被写体像(以下、符号化像という)の光電変換、すなわち撮像を行う。撮像素子113としては、CCDセンサCMOSセンサ等の光電変換素子を用いることができる。

0017

画像生成手段としてのシステムコントローラ170は、画像取得工程として、単一の第1の画像としての撮影画像を生成するための撮像素子113の露光時間内に空間光変調器114の符号化パターンを順次変更する。これにより、該露光時間内において互いに異なる符号化パターンに対応する複数の符号化像が撮像素子113上に順次形成される。撮像素子113は、このようにして順次形成される複数の符号化像を露光時間内で続けて撮像することで、複数の符号化像に対応する画像成分が重畳された撮影画像のアナログ画像信号を出力する。

0018

撮像素子113から出力された撮影画像のアナログ画像信号は、A/Dコンバータ120によりデジタル画像信号に変換される。画像分離手段としての画像処理部130は、デジタル画像信号に変換された撮影画像(第1の画像)から、重畳された複数の符号化像に対応する画像成分を分離して複数の静止画像(第2の画像:以下、分離画像という)を生成する。この分離画像生成工程では、画像取得工程(撮像時)における符号化パターンの情報を必要とするが、この情報は予め記憶部(記憶手段)140に保持(記憶)されている。生成された複数の分離画像は半導体メモリ等の記憶媒体150に記憶され、またLCD等の表示部160を通して確認することができる。

0019

本実施例では、上述のように画像取得工程と分離画像生成工程の2つの工程を有している。図2を用いてこれらの工程をより具体的に説明する。図2には、被写体である車が高速に移動(走行)するシーンを高速度撮像する場合のシミュレーション結果を示している。

0020

図2において、ok(i,j)は、第1の画像である撮影画像を取得するための撮像素子113の露光時間(以下、全露光時間という)TexpoをL個に均等に分割したときの時間Texpo/Lに相当する分割露光時間Tkにおける符号化前の被写体像を示している。i=1,2,…,M、j=1,2,…,N、k=1,2,…,Lである。MおよびNは撮像素子113の縦横の画素数であり、図2の例では、M×N=1024×1024である。Lは重畳する被写体像(符号化像)の数であり、図2ではL=4である。

0021

本実施例では、各分割露光時間Tkにおける被写体像ok(i,j)を符号化パターンfk(i,j)で符号化して符号化像を形成する。ここで、符号化パターンfk(i,j)は透過率分布であり、符号化像はfk(i,j).*ok(i,j)と表される。「.*」は、配列の要素ごとの積を行うことを意味する演算子である。画像取得工程で取得される第1の画像としての撮影画像g(i,j)は、全てのfk(i,j).*ok(i,j)の和で表される。

0022

次に、分離画像生成工程について説明する。分離画像生成工程では、撮影画像g(i,j)からL個の分離画像pk(i,j)を生成する。このとき、画像取得工程における符号化パターンの情報を用いた画像推定処理を行うことにより、被写体像Ok(i,j)に近い分離画像pk(i,j)を得る。本実施例では、分離画像pk(i,j)が撮影画像g(i,j)と同じ画素数を有するという特徴を有する。

0023

次に、本実施例の高速度カメラと従来の高速度カメラにおける露光および読み出しスケジュールを比較しながら説明する。図3(a)には、従来の高速度カメラにおける露光および読み出しスケジュールを示している。従来の高速度カメラでは、被写体像による撮像素子の露光が行われた後、該撮像素子からの画像信号の読み出しが行われる。露光時間をTexpoとし、読み出し時間をTreadとすると、1つの撮影画像を得るための撮像に要する時間(以下、全撮像時間という)はT=(Texpo+Tread)となる。したがって、1秒間で撮像により取得できる撮影画像の画像数は1/T画像となる。

0024

従来の高速度カメラでは、読み出し時間Treadがボトルネックとなり、高速度撮像に限界がある。また、連続した2つの撮影画像を取得するための2回の撮像間の時間間隔(以下、撮像時間間隔という)Tintが全撮像時間Tと等しいために、被写体が高速移動する場合には連続撮像により取得された撮影画像間での被写体の動きが滑らかにならない。

0025

図3(b)には、本実施例の高速度カメラにおける露光および読み出しスケジュールを示している。ここでは、図2に示したように1つの撮影画像に4つの符号化像(画像成分)が重畳される場合のスケジュールを示している。各分割露光期間Tk(k=1,2,3,4)では、図2に示した被写体像ok(i,j)をfk(i,j)で示した符号化パターンで符号化された符号化像による撮像素子113の露光が行われる。全ての符号化像による露光が終わった後、撮像素子113からの画像信号の読み出しが行われる。

0026

本実施例では、1つの撮影画像を取得するための露光中に撮像素子113上に複数の被写体像(符号化像)を順次形成し、これら複数の符号化像に対応する画像成分が重畳された後に撮像素子113からの画像信号の読み出しを行う。このため、読み出し時間Treadにかかわらず、連続した2つの被写体像(符号化像)のうち一方による露光と他方による露光の間の時間間隔としての撮像時間間隔Tint(=Tint_min)を短く、望ましくは最小にすることができる。したがって、撮影画像をそれぞれの符号化像に対応する複数の分離画像に分離することで、高速移動する被写体の動きが滑らかな複数の画像(分離画像)を取得することができる。なお、本実施例において、撮像時間間隔Tint_minは符号化の切り替え速度に応じて変更される。

0027

また、分離画像生成工程で撮影画像から分離される分離画像は、前述したように撮影画像と同じ画素数を有するため、高画素かつ高解像度の画像である。したがって、本実施例によれば、速い撮像速度で高画素かつ高解像度の複数の連続画像(分離画像)を取得することができる。

0028

なお、図3(b)に示した露光および読み出しスケジュールは例にすぎず、他のスケジュール、例えば分割露光期間TkとTk+1と間に露光しない時間を設けてもよい。また、各分割露光期間Tkは全露光時間Texpoを等分割した時間でなくてもよい。ただし、各分割露光期間Tkを同じとすることで、分離画像pk(i,j)に対する露光条件を均一にすることができる。

0029

次に、分離画像生成工程において、撮影画像g(i,j)から分離画像pk(i,j)を画像推定処理により生成(出力)する方法について説明する。撮影画像g(i,j)は、被写体像をok(i,j)とし、符号化パターンをfk(i,j)とするととき、以下の式(1)のように表すことができる。

0030

0031

ここで、η(i,j)はノイズである。本実施例では、以下の式(2)で示す評価関数を最小にする推定分離画像pk(i,j)を、分離画像pk(i,j)として出力する。

0032

0033

ただし、φpkは正則化項である。また、γは正則化項の効果を調整するパラメータであり、符号化により間引きされたpk(i,j)の画素を補間する効果を有する。

0034

なお、式(2)の第一項はL2−ノルムに限らず、撮像時の符号化パターンfk(i,j)を用いていれば、L1?ノルムでも構わない。また、式(2)の第二項の正則化項φ(pk)としては、例えば以下の式(3)に示すTV(Total Variation:全変動)ノルム正則化項が挙げられる。

0035

0036

ただし、これ以外の正則化項φpkを用いてもよい。

0037

次に、図4フローチャートを用いて、画像取得工程(画像取得方法)と分離画像生成工程(画像処理方法)を含む撮像工程(撮像方法)の流れを詳細に説明する。画像取得工程は、コンピュータとしてのシステムコントローラ170によってコンピュータプログラムとしての画像取得プログラムに従って行われる。また、分離画像生成工程は、コンピュータとしての画像処理部130によってコンピュータプログラムとしての画像処理プログラムに従って行われる。画像取得プログラムと画像処理プログラムとにより撮像プログラムが構成される。

0038

まず、ステップs101では、システムコントローラ170は、画像取得工程を行う。すなわち、図3(b)にて説明したスケジュールにて複数の符号化像を撮像素子113上に順次形成しながら撮像を行い、複数の符号化像に対応する画像成分が重畳された撮影画像gを取得する。

0039

次に、ステップs102では、画像処理部130は、推定分離画像pkの初期値を与える。その後、ステップs103では、画像処理部130は、推定分離画像pkについて、式(2)で与えられる評価関数の値を計算する。この際、撮像時の符号化パターンfkは記憶部140に予め記憶されており、画像処理部130は、記憶部140から該符号化パターンfkを読み出す。

0040

次に、ステップs104では、画像処理部130は、ステップs103で計算した評価関数値が予め設定された閾値よりも小さいか否かを判断する。評価関数値が閾値より小さい場合は、画像処理部130は、推定分離画像pkが確からしいと見なして該推定分離画像pkを仮の出力用の分離画像とする。ただし、この仮の出力用分離画像には、被写体像の符号化により画素情報が欠落した画素が含まれる。このため、画像処理部130は、仮の出力用分離画像において欠落した画素情報を補間する補間処理を行って最終的な出力用の分離画像を生成し、これを出力する。

0041

一方、評価関数値が閾値より大きい場合は、画像処理部130は、推定分離画像pkの推定が不十分と見なしてステップs105に進む。

0042

ステップs105では、画像処理部130は推定処理ループ数カウントし、カウントしたループ数が予め設定されたループ数に達した場合は、推定処理を終了する。ループ数が設定ループ数に達しない場合はステップs106に進む。

0043

ステップs106では、画像処理部130は、推定分離画像pkを更新する。これ以降、最終的に処理が終了するまで、ステップs103〜ステップs106を繰り返し、全ステップが終了した時点での推定分離画像pkを仮の出力用の分離画像とし、上述した補間処理を行ってから最終的な出力用の分離画像として出力する。全ステップが終了した時点で評価関数値が閾値より小さくならなかった場合は、分離画像pkを出力しないように設定してもよい。

0044

なお、図4に示す一連の画像推定処理を行うに際して、TwISTアルゴリズム(参考文献1参照)等、高速な画像推定処理アルゴリズムを用いてもよい。図2および図10に示すシミュレーションでは同手法を用いている。

0045

参考文献1 J. M. Bioucas-Dias and M. A. T. Figueiredo, “A new TwIST: two-stepiterative shrinkage/thresholding algorithms for image restoration,”IEEE Trans. on Image Processing, vol. 16, Dec. 2007.
図4を用いて説明した撮影画像gから分離画像pkを生成する工程では、撮像時の符号化パターンfkが既知であることを利用して被写体像okを推定する。この場合、高画質な画像を精度良く推定するために、符号化パターンfkは以下の式(4),(5),(7),(8)で示す条件のうち少なくとも1つを満足することが望ましい。

0046

式(4)は、k番目(k=1,2,…,L)の分割露光時間Tkにおける符号化パターンをfkとしたときの条件を示す。この条件を満足することにより、高解像度かつ高フレームレートでありながら、撮像素子113の露光量(受光量)を増やすことができ、ノイズの少ない画像を取得することができる。

0047

0048

式(4)の下限値を下回ると、露光量が低下して画像中のノイズが増加する。一方、式(4)の上限値を超えると、露光量は増加するものの、生成された分離画像pkは被写体像okからかけ離れた画像となる。したかって、十分な露光量を確保しつつ、分離画像の推定を正しく行うためには、式(4)の条件を満足することが望ましい。

0049

なお、さらに好ましくは、式(4)の範囲を以下の範囲とするとよい。

0050

0051

以下の式(5)は、k番目(k=1,2,…,L)の分割露光時間Tkにおける符号化パターンをfkとしたときの条件を表している。ただし、Rk1,k2は式(6)にて表されるように、互いに隣り合う分割露光時間Tk1,Tk2での符号化パターンfk1,fk2の相互相関を表す。

0052

0053

0054

式(5)は、符号化パターンfk1,fk2間の相互相関の平均値を表しており、Rk1,k2の相互相関が全く無いときには0.5の値をとり、正の相関が強いほど1.0に近づき、負の相関が強いほど0.0に近づく。

0055

式(5)の下限値を下回ると、分離画像pkの生成は容易になるが、生成された分離画像の解像度が低下する。一方、式(5)の上限値を超えると、生成された分離画像pkは被写体像okからかけ離れた画像となるため好ましくない。

0056

なお、さらに好ましくは、式(5)の条件の範囲を以下の範囲とするとよい。

0057

0058

図5には、画素数がM×N=64×64で、重畳される符号化像(画像成分)の数がL=4である場合の符号化パターンの例を示す。図5に示した符号化パターンにおいて、黒い部分が、空間光変調器114において透過率が最小の光変調部に対応する部分(以下、最小透過率部という)である。また、符号化パターンにおいて、白い部分が、空間光変調器114において透過率が最大の光変調部に対応する部分(以下、最大透過率部という)を示している。図5では、符号化パターンfkを乱数により決定している。このときの式(5)の値は0.5011となり、符号化パターン間に相互相関はほとんど見られない。

0059

本実施例では、図5に示すような周期性が無い符号化パターンで被写体像を符合化するため、符合化による実質的なサンプリング周波数の低下を抑制することができ、この結果、図4にて説明した分離画像生成工程により高解像度の分離画像を得ることができる。したがって、本実施例によれば、高画素かつ高解像度の複数の連続画像を速い撮像速度で取得することができる高速度カメラおよび高速度撮像方法を実現することができる。

0060

図6には、画素数がM×N=64×64で、重畳される符号化像の数がL=4である場合の符号化パターンの別の例を示す。図6の左側には符号化パターンを、右側には左側の符号化パターン中に示した水平方向に延びる直線上での透過率(0〜1)のプロファイルを示している。図6の符号化パターンのうち黒い部分が最小透過率部(透過率は0)を、グレーの部分が透過率が最大と最小の間の値である中間透過率部(透過率は0.6)を、白い部分が最大透過率部(透過率は1)を示している。

0061

符号化パターンfkにおける最小透過率部の透過率は、図6(a)に示すように0に限られず、図6(b)や図6(c)に示すように0より高い透過率であってもよい。また、符号化パターンfkは、図6(d)に示すように多諧調の透過率分布を持っていてもよい。

0062

図6(b),(c)に示すような透過率分布を与えることにより、撮像素子113の露光量をより多くすることが可能になる。ただし、あまり露光量を多くすると、生成される分離画像pkが被写体像okからかけ離れた画像となるために好ましくない。

0063

したがって、ここでは複数(L個)の符号化パターンfkのうち符号化パターン全体としての透過率が最小および最大である符号化パターンの該透過率をそれぞれmin(fk(i,j))およびmax(fk(i,j))とする。このとき、min(fk(i,j))とmax(fk(i,j))との比が、以下の式(7)で示す条件を満足することが望ましい。

0064

0065

図7には、画素数がM×N=64×64で、重畳される符号化像の数がL=4である場合の符号化パターンのさらに別の例を示す。図5と同様に、図7に示した符号化パターンにおいても、黒い部分が最小透過率部であり、白い部分が最大透過率部である。

0066

ここで、符号化パターンにおける最小透過率部(つまりは撮像素子113上において受光量が最小となる画素)の数をPminとし、最大透過率部(撮像素子113上において受光量が最大となる画素)の数をPmaxとする。このとき、図7(a)はPmax/Pmin=0.25の符号化パターンfkを、図7(b)はPmax/Pmin=1の符号化パターンfkを、図7(c)はPmax/Pmin=4の符号化パターンfkをそれぞれ示している。Pmax/Pminを大きくするとより多くの露光量が得られるが、あまり露光量が多すぎると、生成される分離画像pkが被写体像okからかけ離れた画像となるために好ましくない。したがって、Pmax/Pminは、以下の式(8)で示す条件を満足することが望ましい。

0067

0068

ただし、本実施例にいう符号化パターンにおける透過率は、被写体像の符合化を行う際の誤差を考慮して±10%の公差を含む。

0069

図10には、本実施例の高速度カメラによる高速度撮像の別のシミュレーション結果を示している。この図では、被写体であるサッカーボールが回転しながら移動するシーンを高速度撮像するシミュレーション例を示す。このように、本実施例によれば、被写体の移動軌跡や該移動軌跡の周期性にかかわらず、高速度撮像を行うことができる。

0070

なお、図10および図2には分離画像としてモノクロ画像を取得する場合のシミュレーション例を示しているが、本実施例で説明した高速度カメラ(高速度撮像方法)によってカラー画像を取得することもできる。このことは、後述する他の実施例についても同じである。

0071

図8には、本発明の実施例2である高速度カメラ200の構成を示している。実施例1の高速度カメラ100と同じ構成要素には、実施例1と同符号を付して説明に代える。実施例1では、符号化パターンを生成するために撮像素子113の前側に空間光変調器114を用いたが、本実施例では、撮像素子113の前側に符号化マスク115を配置している。

0072

符号化マスク115は、例えば図7(b)に示すような透過率分布を有する。符号化マスク115が符号化マスク駆動部116によって分割露光時間Tkごとに結像光学系111の光軸に直交する方向に変位(移動)されることにより、実施例1と同様に、被写体像を符号化するための符号化パターンを順次変更することができる。これにより、分割露光時間Tkごとに、互いに異なる符号化パターンに対応する符号化像が撮像素子113上に順次形成され、撮像素子113はこれら符号化像を重畳させながら撮像を行う。

0073

図9には、本発明の実施例3である高速度カメラ300の構成を示している。実施例1,2の高速度カメラ100と同じ構成要素には、実施例1と同符号を付して説明に代える。

0074

本実施例では、実施例2と同じ符号化マスク115を撮像素子113の前側に配置するが、さらに結像光学系111の一部に偏心ユニット117を設けている。本実施例では、実施例2のように符号化マスク115を光軸に直交する方向に変位させず、分割露光時間Tkごとに偏心ユニット117を偏心ユニット駆動部118を通じて光軸に直交する方向に変位させる。これにより、実施例1,2と同様に、被写体像を符号化するための符号化パターンを順次変更することができ、この結果、分割露光時間Tkごとに互いに異なる符号化パターンに対応する符号化像が撮像素子113上に順次形成される。撮像素子113はこれら符号化像を重畳させながら撮像を行う。

0075

なお、本実施例では、結像光学系111の一部として設けた偏心ユニット117を光軸に直交する方向に変位させる場合について説明したが、結像光学系の全体を光軸に直交する方向に変位させて符号化パターンを順次異ならせるようにしてもよい。

0076

また、上記各実施例では、空間光変調器114や符号化マスク115を結像光学系111からの光を撮像素子113に向けて透過させる部材とし、符号化パターンを透過率分布とした場合について説明した。しかし、空間光変調器や符号化マスクを結像光学系111からの光を撮像素子113に向けて反射する部材とし、符号化パターンを反射率分布としてもよい。この場合も、前述した式(4),(5),(7),(8)の条件のうち少なくとも1つを満足することが望ましい(式(7)や式(8)では透過率を反射率と読み替える)。

0077

図11には、本発明の実施例4である高速度カメラ400の外観を示している。実施例1〜3にて説明した構成を、コンパクトデジタルカメラのように小型の高速度カメラ400の内部に収めることができる。

0078

図12には、本発明の実施例5である高速度撮像装置(高速度撮像システム)500の構成を示している。本実施例では、実施例1〜3で説明した画像取得部110としてのカメラ510と、画像処理部130としてのパーソナルコンピュータ(画像処理装置)131とが別々の装置として構成されている。

0079

カメラ510は、その内部に撮像素子(図1等における113)を有し、分割露光時間Tkごとに異なる符号化パターンで符号化した被写体像(符号化像)を重畳させながら撮像を行う。カメラ510は、ケーブルまたは半導体メモリ等の記憶媒体151を介してパーソナルコンピュータ131に撮影画像のデータを送信する。パーソナルコンピュータ131は、これにインストールされたコンピュータプログラムである画像処理プログラムによって、図4に示した分離画像生成処理を行い、複数の分離画像を生成(出力)する。分離画像は、モニタ161上に表示されたりプリンタ等の画像出力装置171により印刷されたりする。

0080

このように分離画像生成処理を処理能力が高いパーソナルコンピュータ131で行ったり、クラウドコンピューティングを用いて行ったりすることで、カメラ510に高性能なCPUを用いた画像処理部を設けることなく、手軽に高速度撮像を行うことができる。

実施例

0081

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

0082

100,200,300,400高速度カメラ
111結像光学系
113撮像素子
114空間光変調器
115符号化マスク
117偏心ユニット
130画像処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ