図面 (/)

技術 間歇的トラッキング撮影装置

出願人 国立大学法人広島大学株式会社フォトロン
発明者 石井抱井上満晶布施信夫田嶋健司
出願日 2016年3月28日 (4年7ヶ月経過) 出願番号 2016-063867
公開日 2017年10月5日 (3年1ヶ月経過) 公開番号 2017-183804
状態 特許登録済
技術分野 写真撮影方法及び装置 カメラレンズの調整 スタジオ装置
主要キーワード 追従期間 プログラマブル制御 時間変化曲線 シャッタ開放期間 可動角度 運動対象 線形駆動 制御レート
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年10月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

カメラ側シャッタ開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物撮影することができる間歇的トラッキング撮影装置を提供する。

解決手段

本発明の一実施形態に係る間歇的トラッキング撮影装置は、所定の周波数共振運動するミラーに映った対象物を撮影する撮像素子と、前記ミラーの前記所定の周波数に同期するように、かつ、前記撮像素子の視点運動に対応する前記ミラーの運動の方向が、前記ミラーに映った前記対象物の移動速度を低減する方向である追従期間内にのみ前記撮像素子のシャッタを開放するように、前記撮像素子のシャッタの開閉を制御するシャッタ制御部と、を備える。

概要

背景

撮影装置に対して相対的に動いている対象物を撮影装置で撮影すると、モーションブラーと呼ばれる被写体ぶれが生じる。特に、高速で移動する撮影装置から静止している対象物を撮影する場合や、高速で移動する対象物を静止している撮影装置で撮影する場合など、撮影装置に対する相対速度が高い対象物(以下、高速対象物という)を撮影する場合には、モーションブラーはより顕著となる。

従来、この種の高速対象物を撮影するための技術として、1フレーム期間内シャッタ開放時には、撮影装置のイメージセンサと高速対象物との相対速度を打ち消すようにピエゾアクチュエータなどの高速アクチュエータを用いてイメージセンサを高速で移動させ、シャッタ閉鎖時には、高速アクチュエータを用いてイメージセンサを所定のホームポジションに戻す技術がある。この種の技術によれば、撮影装置本体を動かすことなく各フレームのシャッタ開放時ごとに高速対象物をトラッキングすることができる。

概要

カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物を撮影することができる間歇的トラッキング撮影装置を提供する。本発明の一実施形態に係る間歇的トラッキング撮影装置は、所定の周波数共振運動するミラーに映った対象物を撮影する撮像素子と、前記ミラーの前記所定の周波数に同期するように、かつ、前記撮像素子の視点運動に対応する前記ミラーの運動の方向が、前記ミラーに映った前記対象物の移動速度を低減する方向である追従期間内にのみ前記撮像素子のシャッタを開放するように、前記撮像素子のシャッタの開閉を制御するシャッタ制御部と、を備える。

目的

本発明は、上述した事情を考慮してなされたもので、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物を撮影することができる間歇的トラッキング撮影装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定の周波数共振運動するミラーに映った対象物撮影する撮像素子と、前記ミラーの前記所定の周波数に同期するように、かつ、前記撮像素子の視点運動に対応する前記ミラーの運動の方向が、前記ミラーに映った前記対象物の移動速度を低減する方向である追従期間内にのみ前記撮像素子のシャッタ開放するように、前記撮像素子のシャッタの開閉を制御するシャッタ制御部と、を備えた間歇的トラッキング撮影装置

請求項2

前記ミラーの共振運動の振れ角の時間変化は前記所定の周波数の正弦曲線をなし、前記シャッタ制御部は、前記追従期間ごとに、前記追従期間における前記正弦曲線の傾きの絶対値が最大となる最大傾斜時刻を中心とする期間を前記シャッタの開放期間に設定するとともに、隣あう前記シャッタの開放期間の中心間の期間が前記所定の周波数の逆数と等しい一定値となるように前記シャッタの閉鎖期間を設定する、請求項1記載の間歇的トラッキング撮影装置。

請求項3

前記シャッタ制御部は、前記最大傾斜時刻における前記正弦曲線の接線と、前記正弦曲線と、の前記シャッタの開放期間の開始時刻および終了時刻における差の絶対値が閾値以下となるように、前記最大傾斜時刻を中心とする前記シャッタの開放期間を設定する、請求項2記載の間歇的トラッキング撮影装置。

請求項4

前記撮像素子により撮影された前記対象物の輝度を算出する輝度算出部と、隣あう前記シャッタの開放期間の中心間の期間に対する前記シャッタの開放期間の割合を、前記輝度に応じてフレームごとに変化させるように、前記シャッタの開放期間の長さをフレームごとに求めて前記シャッタ制御部に与える露光制御部と、をさらに備え、前記シャッタ制御部は、前記最大傾斜時刻を中心とする前記露光制御部から受けた長さの期間を次フレームの前記シャッタの開放期間として設定するとともに、隣あう前記シャッタの開放期間の中心間の期間が前記所定の周波数の逆数と等しい一定値となるように前記シャッタの閉鎖期間を設定する、請求項2または3に記載の間歇的トラッキング撮影装置。

請求項5

前記ミラーは、前記所定の周波数で共振運動するようアクチュエータにより駆動され、前記シャッタ制御部は、前記アクチュエータが出力するタイミング信号に応じて前記シャッタの開閉を制御する、請求項1ないし4のいずれか1項に記載の間歇的トラッキング撮影装置。

請求項6

前記ミラーに映った前記対象物を前記追従期間内においてトラッキングするように、前記ミラーの振れ角の振幅を求める振幅算出部と、前記振幅算出部により求められた振幅で前記ミラーを共振運動させるよう前記アクチュエータを制御する振幅制御部と、をさらに備えた請求項5記載の間歇的トラッキング撮影装置。

請求項7

前記振幅算出部は、前記撮像素子により撮影された前記対象物の画像から、前記ミラーに映った前記対象物の移動速度を求め、求めた移動速度に応じて前記ミラーに映った前記対象物を前記追従期間内においてトラッキングするように前記ミラーの振れ角の振幅を求める、請求項6記載の間歇的トラッキング撮影装置。

請求項8

前記振幅算出部は、前記撮像素子により撮影された前記対象物の画像から、前記対象物のエッジ強度を求め、求めたエッジ強度に応じて前記ミラーに映った前記対象物を前記追従期間内においてトラッキングするように前記ミラーの振れ角の振幅を求める、請求項6または7に記載の間歇的トラッキング撮影装置。

請求項9

前記振幅算出部は、ユーザから入力部を介して前記対象物と自装置との相対速度に係る情報を受けると、この情報を用いて前記ミラーに映った前記対象物を前記追従期間内においてトラッキングするように前記ミラーの振れ角の振幅を求める、請求項6ないし8のいずれか1項に記載の間歇的トラッキング撮影装置。

請求項10

前記ミラーをさらに備えた請求項1ないし9のいずれか1項に記載の間歇的トラッキング撮影装置。

技術分野

0001

本発明の実施形態は、自装置に対する相対速度が高い対象物撮影する間歇的トラッキング撮影装置に関する。

背景技術

0002

撮影装置に対して相対的に動いている対象物を撮影装置で撮影すると、モーションブラーと呼ばれる被写体ぶれが生じる。特に、高速で移動する撮影装置から静止している対象物を撮影する場合や、高速で移動する対象物を静止している撮影装置で撮影する場合など、撮影装置に対する相対速度が高い対象物(以下、高速対象物という)を撮影する場合には、モーションブラーはより顕著となる。

0003

従来、この種の高速対象物を撮影するための技術として、1フレーム期間内シャッタ開放時には、撮影装置のイメージセンサと高速対象物との相対速度を打ち消すようにピエゾアクチュエータなどの高速アクチュエータを用いてイメージセンサを高速で移動させ、シャッタ閉鎖時には、高速アクチュエータを用いてイメージセンサを所定のホームポジションに戻す技術がある。この種の技術によれば、撮影装置本体を動かすことなく各フレームのシャッタ開放時ごとに高速対象物をトラッキングすることができる。

先行技術

0004

特開2015−222913号公報

発明が解決しようとする課題

0005

上記の高速アクチュエータを用いてイメージセンサを移動させる技術では、まず、イメージセンサ側(すなわちカメラ側)のシャッタの開閉タイミングが決定された後に、この開閉タイミングに主導されて、開閉タイミングにあわせるように高速アクチュエータの動作の開始制御および停止制御をフレームごとに行なう必要がある。しかし、ピエゾアクチュエータなどの高速アクチュエータは、機械的な動作を伴うために、そもそも動作の開始制御および停止制御を高速かつ高精度に行なうことが非常に難しい。

0006

本発明は、上述した事情を考慮してなされたもので、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物を撮影することができる間歇的トラッキング撮影装置を提供することを目的とする。

課題を解決するための手段

0007

本発明の一実施形態に係る間歇的トラッキング撮影装置は、上述した課題を解決するために、所定の周波数共振運動するミラーに映った対象物を撮影する撮像素子と、前記ミラーの前記所定の周波数に同期するように、かつ、前記撮像素子の視点運動に対応する前記ミラーの運動の方向が、前記ミラーに映った前記対象物の移動速度を低減する方向である追従期間内にのみ前記撮像素子のシャッタを開放するように、前記撮像素子のシャッタの開閉を制御するシャッタ制御部と、を備えたものである。

発明の効果

0008

本発明に係る間歇的トラッキング撮影装置によれば、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物を撮影することができる。

図面の簡単な説明

0009

(a)は本発明の一実施形態に係る間歇的トラッキング撮影装置の第1の応用例を示す説明図、(b)は第2の応用例を示す説明図。
本発明の第1の実施形態に係る間歇的トラッキング撮影装置の一構成例を示すブロック図。
第1の従来の撮影装置においてモーションブラーが発生する様子の一例を示す説明図。
第2の従来の撮影装置においてモーションブラーが発生する様子の一例を示す説明図。
図4に示す第2の従来の撮影装置の問題点を説明するための図。
追従期間における本実施形態に係るミラーの運動と撮像素子の視点運動との関係の一例を示す説明図。
(a)は、ミラーの配置位置の一例を示す説明図、(b)はミラーの配置位置の他の例を示す説明図。
第1実施形態に係るミラーの振れ角x(t)とシャッタ開閉イミングとの関係の一例を示す説明図。
シャッタ開放期間τ相対誤差εとの関係の一例を示す説明図。
時間開口率rと相対誤差εの関係を示すグラフ
本発明の第2の実施形態に係る間歇的トラッキング撮影装置の一構成例を示すブロック図。
第2実施形態に係るミラーの振れ角x(t)とシャッタ開閉タイミングとの関係の一例を示す説明図。
(a)はプロトタイプ外観の一例を示す斜視図、(b)は検証実験の様子の一例を示す説明図。
プロトタイプを用いた検証実験で撮像された画像の一例を示す説明図。

実施例

0010

本発明に係る間歇的トラッキング撮影装置の実施の形態について、添付図面を参照して説明する。

0011

まず、本発明の一実施形態に係る間歇的トラッキング撮影装置10の応用例について説明する。図1(a)は、本発明の一実施形態に係る間歇的トラッキング撮影装置10の第1の応用例を示す説明図であり、(b)は本発明の一実施形態に係る間歇的トラッキング撮影装置10の第2の応用例を示す説明図である。

0012

第1の応用例は、図1(a)に示すように、たとえば、時速300kmで移動する高速移動体新幹線など)から、トンネル内壁クラックなどの接近した撮影対象を撮影する場面に間歇的トラッキング撮影装置10を応用する例である。時速300kmは、83m/s、または83mm/msの速度に該当する。シャッタの開放期間露光時間)を0.1msと仮定したとしても、この間の移動量は画素ピッチに比べてはるかに大きく、その結果大きなモーションブラーが発生する。したがって、トンネル内壁のクラックなどを、従来の撮影装置で撮影した画像を用いて検査するのは事実上困難である。従来の撮影装置で撮影した画像を用いて検査する場合は、たとえば、夜間などに交通を一時的に遮断し、車両をゆっくり走らせながら、または移動と停止を繰り返しながら、道路鉄道トンネルなどを検査する方法をとらざるを得ず、膨大な時間とコストを要することになる。

0013

このような場面において、本発明の一実施形態に係る間歇的トラッキング撮影装置10を応用すれば、高速で移動する車両に搭載した状態でもモーションブラーのない画像が得られる。このため、交通を閉鎖することなく、道路や鉄道のトンネルや周辺設備などのインフラ検査が可能となる。

0014

第2の応用例は、図1(b)に示すように、たとえば流路径が50〜80μmのマイクロ流路内を流れる細胞を、顕微鏡型の撮影装置で撮影する場面に間歇的トラッキング撮影装置10を応用する例である。近年、再生医療などの分野において、細胞を検査し分類する技術の重要性が高まっている。このような検査において、マイクロ流路内を流れる細胞を撮影した画像から個々の細胞の形状を認識したいというニーズがある。マイクロ流路を流れる細胞の流速が、たとえば1m/sであったとしても、細胞の形状が認識できる程度に顕微鏡で拡大すると画素ピッチに対する移動速度は大きく、従来の撮影装置ではモーションブラーが発生し、細胞形状を明瞭に認識することは困難である。

0015

このような場面に本発明の一実施形態に係る間歇的トラッキング撮影装置10を応用すれば、細胞がマイクロ流路内を流れている状態で細胞の形状などをモーションブラーなく撮影することができる。この結果、たとえば、大量の細胞の中から細胞の良否を短時間で判定することができ、細胞の検査を高スループットで実施することが可能となる。

0016

また、これらは単なる一例であり、たとえば高速搬送ライン上を高速移動する対象物を止めずに検査をしたい場合など、高速対象物(撮影装置に対する相対速度が高い対象物)を撮影する場合であれば、本発明の一実施形態に係る間歇的トラッキング撮影装置10を用いることにより、モーションブラーなく明瞭な画像を得ることができる。また、民生用のビデオカメラなどに本装置を適用して、手ぶれを防止するとともに、ゴルフスウィングや、高速で移動する車両を所望の輝度で、かつ、モーションブラーなく撮影することができる。

0017

(1)第1の実施形態
図2は、本発明の第1の実施形態に係る間歇的トラッキング撮影装置10の一構成例を示すブロック図である。図2には、間歇的トラッキング撮影装置10に対して図中左から右に相対的に高速移動する高速対象物100を間歇的トラッキング撮影装置10で撮影する場合の例について示した。また、本実施形態において、シャッタ開放期間の長さは撮影中一定である。

0018

間歇的トラッキング撮影装置10は、図2に示すように、共振型スキャナ20、撮像素子30、入力部40および主制御部50を有する。

0019

共振型スキャナ20は、たとえばレゾナントスキャナなどにより構成され、ミラー21、軸22およびアクチュエータ23を有する。共振型スキャナ20がレゾナントスキャナである場合、ミラー21はいわゆるレゾナントミラーである。

0020

ミラー21は、所定の周波数f0で軸22を中心に共振運動するよう、軸22を介してアクチュエータ23により駆動される。ミラー21の共振運動の振れ角x(t)の時間変化曲線は、周波数f0の正弦波をなす。ミラー21の運動にともない、撮像素子30の光軸がミラー21に反射される角度(以下、カメラ視点という)は2x(t)で時間変化し、正弦波軌道上を周期T=1/f0で往復運動する。すなわち、カメラ視点は、ミラー21の2倍の角振幅かつ同一周期で運動する。

0021

アクチュエータ23は、共振現象を利用してミラー21を正弦波駆動する。アクチュエータ23は、固定周波数f0の安定した正弦波軌道で極めて高速にミラー21を動作させることができる。

0022

共振現象を利用する都合上、ミラー21が駆動される周波数f0は、設計値に固定される。一方、ミラー21の振れ角x(t)の振幅A(t)は、この固定周波数f0に応じて決定される最大駆動角以内で、アクチュエータ23の駆動電圧を制御することにより制御可能である。また、アクチュエータ23は、主制御部50に対してタイミング信号を出力する。タイミング信号は、主制御部50がミラー21の共振周波数f0と同期するように撮像素子30のシャッタ開閉制御することができる信号であればよく、たとえばミラー21の現在の振れ角を示す信号であってもよいし、ミラー21が所定の位置を通過するたびに出力されるパルス状のTTL信号などであってもよい。

0023

高速対象物100と撮像素子30との相対的な運動が2次元的な動き(たとえばカメラ視点方向に直交する面をXY面としたときのXY面内における2次元的な動き)として想定される場合は、X方向のトラッキング用の共振型スキャナ20およびY方向のトラッキング用の共振型スキャナ20を設けてもよい。また、たとえば図1(b)に示す例のように高速対象物100と撮像素子30との相対的な運動が主に1次元な動き(運動方向が1方向にほぼ固定される動き)として想定さる場合は、当該方向については共振型スキャナ20を用いてトラッキングする一方、この方向に直交する他の方向のトラッキングについては、一般的なサーボモータなどを用いて専用のミラーまたはミラー21を並進、回転等させることにより行ってもよい。

0024

撮像素子30は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサにより構成され、ミラー21に映った高速対象物100を撮影して画像データを生成し、主制御部50に与える。撮像素子30は、2次元配列されたフォトダイオードなどの受光素子を有する。なお、図2では、撮像素子30の前方に設けられるレンズなどの光学系の図示を省略した。これらの光学系には、広画角撮像を可能とするよう広角レンズ魚眼レンズが含まれてもよい。

0025

入力部40は、たとえばキーボードタッチパネルテンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を主制御部50に出力する。たとえば、ユーザは、間歇的トラッキング撮影装置10の速度および高速対象物100の速度の少なくとも一方の情報などの、間歇的トラッキング撮影装置10と高速対象物100との相対速度に係る情報を、入力部40を介して主制御部50に与えることができる。

0026

主制御部50は、プロセッサおよびRAMならびにROMをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って間歇的トラッキング撮影装置10の処理動作を制御する。

0027

主制御部50のプロセッサは、ROMをはじめとする記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをRAMへロードし、このプログラムに従って、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物100を撮影するための処理を実行する。また、たとえばプロセッサがFPGA(Field Programmable Gate Array)である場合は、FPGAは画像処理プログラムを読み出して上記処理を実行する。

0028

主制御部50のRAMは、プロセッサが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。主制御部50のROMをはじめとする記憶媒体は、間歇的トラッキング撮影装置10の起動プログラム、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。なお、ROMをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録回路を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は、ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。

0029

ここで、従来の技術の問題点について図3図5を用いて簡単に説明する。

0030

図3は、第1の従来の撮影装置においてモーションブラーが発生する様子の一例を示す説明図である。また、図4は、第2の従来の撮影装置においてモーションブラーが発生する様子の一例を示す説明図である。

0031

図3に示す第1の従来の撮影装置は、撮像素子の位置が固定されたものである。図3上段には、フレーム#N、フレーム#(N+1)、フレーム#(N+2)の3つのフレームにおける撮像素子の位置を示している。第1の従来の撮影装置は、撮像素子の位置は固定される。各撮像素子は、2次元の撮像素子の上側面を上方から見た図として表しており、各撮像素子の図の下側が高速対象物に向かって左側(L)に対応し、図の上側が右側(R)に対応する。

0032

図3中段に示す図は、横軸が時間、縦軸が撮像素子の位置を表わすグラフを、フレーム#N、フレーム#(N+1)、フレーム#(N+2)の3つのフレームに対して示すものである。第1の従来の撮影装置は、撮像素子の位置は固定であるため、撮像素子の位置はどの時刻においてもホームポジションにある。図3下段には、フレーム#N、フレーム#(N+1)、フレーム#(N+2)のそれぞれのフレームで得られる画像の一例を示した。

0033

図3の上段の図からわかるように、高速対象物は、フレーム内のシャッタ開放時間の間にも当然移動する。たとえば、フレーム#Nのシャッタ開放期間の開始時刻から終了時刻の間に、位置P1からP2に移動する。そして、この移動距離が、撮像素子の画素換算したときに複数の画素に亘るとき、モーションブラーが発生する。

0034

図3の下段に示すように、モーションブラーは、フレーム#N、フレーム#(N+1)、フレーム#(N+2)のどのフレームでも発生する。その結果、各フレームで得られる画像は、元々円形黒丸)であった高速対象物の形状が、移動方向に伸びた(今の例では左から右に伸びた)、ぼけた画像となってしまう。

0035

図4に示す第2の従来の撮影装置は、1フレーム期間内のシャッタ開放時には撮像素子と高速対象物との相対速度を打ち消すように撮像素子を高速で移動させ、シャッタ閉鎖時には撮像素子を所定のホームポジションに戻すものである。図4の上段、中段、下段の各図は、図3の上段、中段、下段の各図にそれぞれ対応する。なお、以下の説明では、フレームごとにシャッタ開放期間にのみトラッキングすることを、適宜、瞬時間歇的トラッキングする、というものとする。

0036

図4の中段に示すように、第2の従来の撮影装置は、シャッタ開放時において、撮像素子と高速対象物との相対速度が、速度ゼロ目標値)となるように、アクチュエータにより撮像素子の位置を制御している。たとえば、高速対象物が一定速度で移動している場合には、撮像装置を一定速度で移動させるようにアクチュエータを制御する。この結果、シャッタ開放時には、撮像装置の位置は直線状に変化しながら高速対象物をトラッキングする。

0037

一方、シャッタ閉鎖時には、撮像装置はホームポジションに戻される。このため、シャッタが閉鎖されると、撮像装置はホームポジションに向かって移動し、ホームポジションに達するとその位置を保持する。そして、次のシャッタ開放時には、高速対象物の動きに応じて撮像装置の位置が変化し、高速対象物をトラッキングする。この結果、高速対象物が一定の速度で移動する場合、撮像素子30の位置は、図4の中段に示すように鋸歯状の動きを示す。このため、たとえば高速対象物がフレーム#Nのシャッタ開放期間の開始時刻から終了時刻の間に位置P1からP2に移動したとしても、この動きに追随して撮像素子の位置も移動する。

0038

したがって、撮像素子上では、シャッタ開放期間の開始から終了までの間、常に同じ画素が高速対象物を捉え続けることになり、モーションブラーが発生しない。そして、このトラッキング動作は、フレームごとに行われる。このため、第2の従来の撮影装置によれば、第1の従来の撮影装置にくらべ、どのフレームにおいても、モーションブラーの無い鮮明な画像が得られる(図4下段参照)。また、各フレーム画像連続再生することにより、高速対象物の形状が正確に維持された動画を提供することができる。なお、図4の下段に示す画像の例では、説明の便宜上、隣接するフレーム間での高速対象物(黒丸)の位置の差を大きくしているが、これは時間分解能の問題であり、フレームレートを上げることにより、時間分解能を高めることができる。

0039

第2の従来の撮影装置は、カメラ主導でアクチュエータを制御する撮影装置である。しかし、第2の従来の撮影装置は、シャッタの開閉タイミングが決定された後に、この開閉タイミングに主導されて、開閉タイミングにあわせるように高速アクチュエータの動作の開始制御および停止制御をフレームごとに間歇的に行なう必要がある。

0040

このため、第2の従来の撮影装置には、シャッタの開閉タイミング主導で制御対象とされるアクチュエータの動作限界に起因する問題が生じてしまう。なお、この第2の従来の撮影装置で採用された方法を、以下の説明では、適宜、カメラ駆動型瞬時的間歇的トラッキング法というものとする。

0041

図5は、図4に示す第2の従来の撮影装置の問題点を説明するための図である。図5には、高速パンチルトミラーを用いた第2の従来の撮影装置の動作の一例として、フレームレート125fps、シャッタ開放期間(露光時間)4msで瞬時間歇的トラッキングを行った場合に、30×30×5mm、20gのアルミミラーを装着したチルトピエゾステージ(PT1M36−500S−N、ナノコントロール社製)を最大可動角度で動作させた場合におけるパン角時間変化の一例を示した。

0042

図5に示すように、第2の従来の撮影装置のカメラ駆動型瞬時的間歇的トラッキング法では、シャッタの開閉タイミング主導で制御対象とされるアクチュエータの動作限界に起因して、大きく次の2点の問題が生じる。

0043

第1の問題点は、アクチュエータの可動範囲限界に起因する問題である。ピエゾアクチュエータで代表される高速アクチュエータは、一般に周波数特性と可動範囲にトレードオフの関係があり、周波数が高くなると繰り返し動作の振幅は小さくなる。たとえば、図5に示す例で用いたチルトピエゾステージは、ミラー装着時での共振周波数が1kHz前後と高い周波数特性を持つ一方で、最大駆動角度は0.173度と小さい。このため、数十度といった画角を持つ広角レンズへの適用が難しく、顕微鏡撮影ズーム撮影といった、高倍率の光学系への使用に限定される。

0044

また、画像内で見かけの速度v[pix/sec]で運動する高速対象物を、瞬時間歇的トラッキング法で撮影してモーションブラーをキャンセルするためには、シャッタ開放期間τの間に高速対象物を追跡し続ける必要がある。このため、シャッタ開放期間における高速対象物の画像内での移動距離A=vτが、アクチュエータの可動範囲内である必要がある。

0045

このため、瞬時間歇的トラッキング法において、アクチュエータの可動範囲の限界は、トラッキング可能な高速対象物の速度の範囲に制限を与えるとともに、シャッタ開放期間にも制限を与えてしまう。この可動範囲の限界に起因する問題のため、特に大きな露光時間によるモーションブラーフリー撮影が難しくなってしまう。

0046

第2の問題点は、アクチュエータの慣性によりアクチュエータの制御対象物動作軌跡リップルを伴ってしまうことに起因する問題である。カメラ駆動型瞬時間歇的トラッキングでは、前フレームまでに推定された高速対象物の速度にもとづいて、カメラ視線を高速対象物と同一速度で動かすために、高速対象物と撮像素子との相対速度をゼロに近づけるように撮像素子そのものをアクチュエータにより高速で移動させる。

0047

図5の斜めの点線で示すように、チルトピエゾステージのパン角時間変化の傾きは、高速対象物の速度に応じた直線的な傾きであることが好ましい。しかし、ピエゾアクチュエータをはじめとした高速アクチュエータは、アクチュエータの共振等が発生すると、その減衰に時間を要する。

0048

特に、カメラ駆動型瞬時間歇的トラッキングでは、ミリ秒オーダーまたはそれ以下といった、アクチュエータの減衰時間に比べ小さなシャッタ開放期間での線形駆動性が要求される。このため、カメラ駆動型瞬時間歇的トラッキングでは、減衰時間に比べ小さなフレーム間隔に主導されて間歇的に駆動されることによる共振の影響により、図5に示すように、シャッタ開放期間中のアクチュエータ動作に共振に伴うリップルが残ってしまう非直線性の問題が生じる。

0049

kHzオーダーの高周波数共振特性を持つアクチュエータに対しても、数十kHzの制御レートを実現した上で過大なトルク指令をアクチュエータに与えることにより、センサフィードバック制御による共振抑制原理的には可能である。しかし、実際には、入力トルク制限等のアクチュエータの物理的制限により、より高フレームレート化した瞬時間歇的トラッキングでは、共振の影響により生じたリップルの完全な除去は難しい。

0050

このように、第2の従来の撮影装置のカメラ駆動型瞬時間歇的トラッキング法では、可動範囲を広げるため、あるいはリップルが生じないようにするためには、駆動周波数を落とす必要があり、アクチュエータの動的特性最大限に利用することが難しい。また、駆動周波数を落とすためには、フレームレートを低下させる必要があった。これは、従来のカメラ駆動型瞬時間歇的トラッキング法では、アクチュエータの制御能力が十分に高く、フレームタイミング追従してアクチュエータの動作の開始制御および停止制御を行なうことができることを前提としていることが原因である。

0051

実際には、この前提とは異なり、シャッタの開閉タイミング制御信号処理により高速かつ高精度に制御可能であるのに対し、ピエゾアクチュエータなどの高速アクチュエータの制御は、機械的な動作を伴うために高速な制御が難しい。アクチュエータの動的特性を引き出し、フレームレートを高めてより高速対象物のモーションフリー撮影を可能にするためには、アクチュエータに比べて遥かに高い周波数で動作する電子シャッタ画像処理系の高速性、プログラマビリティを十分に生かすことが鍵となる。

0052

そこで、本実施形態に係る間歇的トラッキング撮影装置10の主制御部50は、高周波数での大振幅動作によるカメラ視点の移動を実現するために、レゾナントミラーをはじめとする共振現象を用いた高速アクチュエータの振動に主導されて、アクチュエータの動きに同期する形で、フレームレートおよびシャッタ開閉タイミングを制御する方法(以下、適宜、アクチュエータ駆動型瞬時的間歇トラッキング法という)を用いる。

0053

また、モーションブラーフリー撮影のためには、高速対象物の画像内での速度をゼロに近づけることができればよく、必ずしも高速対象物と撮像素子そのものとの相対速度をゼロに近づけなくてもよく、カメラ視点を高速に移動させれば足りる。本実施形態に係る間歇的トラッキング撮影装置10は、撮像素子30が高速対象物100を見込むミラー21を用い、このミラー21を動かすことによってカメラ視点を動かし、結果として高速対象物100の画像内での速度をゼロに近づける。

0054

アクチュエータ駆動型瞬時的間歇トラッキング法を実現するため、図2に示すように、主制御部50のプロセッサは、画像処理プログラムによって、少なくともシャッタ制御部51、画像生成部52、振幅算出部53および振幅制御部54として機能する。これらの各機能実現部は、それぞれプログラムの形態で記憶回路に記憶されている。

0055

シャッタ制御部51は、正弦波軌道を運動し続けるミラー21の所定の固定周波数f0に主導されて、この周波数f0に同期するように、かつ、撮像素子30の視点運動に対応するミラー21の運動の方向が、ミラー21に映った高速対象物100の移動速度を低減する方向である追従期間内にのみ撮像素子30のシャッタ(電子シャッタ)を開放するように、撮像素子30のシャッタ(電子シャッタ)の開閉を制御する。具体的には、シャッタ制御部51は、アクチュエータ23が出力するタイミング信号に応じてシャッタ制御信号を出力することにより、シャッタの開閉を制御する。

0056

図6は、追従期間における本実施形態に係るミラー21の運動と撮像素子30の視点運動との関係の一例を示す説明図である。図6に示すように、追従期間におけるミラー21の運動方向は、撮像素子30を構成する受光素子30aの視点が高速対象物100の移動にあわせて移動する方向である。このため、撮像素子30は、追従期間において、移動する同一対象を同一の受光素子でトラッキングすることができる。

0057

なお、ミラー21の振れ角と撮像素子30の視線方向とは一対一の関係にある。このため、シャッタ制御部51は、画像生成部52より生成される画像にもとづいて現在の撮像素子の視線方向を求め、この視線方向を、アクチュエータ23が出力するタイミング信号にかえて用いて、またはタイミング信号の補助として用いて、シャッタの開閉を制御してもよい。画像から撮像素子の視線方向を求める方法としては、画像内に映ったミラーの輪郭形状にもとづいて視線方向を求める方法や、ミラー21上またはミラー近傍に設けたマーカの画像内における位置にもとづいて視線方向を求める方法などが考えられる。

0058

図7(a)は、ミラー21の配置位置の一例を示す説明図であり、(b)はミラー21の配置位置の他の例を示す説明図である。

0059

図7(a)に示すように、撮像素子30と、撮像素子30の前方に設けられるレンズ31との間の光路上にミラー21を設けてもよい。この場合、図7(a)に示すように、撮像素子30を内包する第1の筐体36と、レンズ31を内包する第2の筐体37と、を、ミラー21を内包する第3の筐体26が、レンズ31を透過した光がミラー21で反射されて撮像素子30に導かれるように連結することにより、レンズ31、ミラー21および撮像素子30の位置関係を規定するとよい。

0060

また、間歇的トラッキング撮影装置10を顕微鏡に適用する場合は、レンズ31(対物レンズ)と撮像素子30の間に新たに光学系を追加する構成(図7(a)参照)とするよりも、図7(b)に示すように、レンズ31を内包する顕微鏡筐体38の前方にミラー21を配置する構成が好適である。

0061

画像生成部52は、撮像素子30が出力した画像データにもとづいて、少なくともミラー21に映った高速対象物100の画像をフレームごとに生成し、振幅算出部53に与える。また、画像生成部52は、生成した画像を外部に出力してもよい。外部に出力された画像は、たとえば図示しない外部の表示部に与えられて表示され、あるいは外部の記憶回路に格納される。

0062

振幅算出部53は、ミラー21に映った高速対象物100を、追従期間内においてトラッキングするように、カメラ視点、すなわちミラー21の振れ角x(t)の角振幅A(t)を求める。ミラー21の周波数f0が固定されているため、間歇的トラッキング撮影装置10はミラー21の振幅A(t)を変更することにより高速対象物100の速度に対応する。

0063

振幅制御部54は、振幅算出部53により求められた振幅A(t)でミラー21を共振運動させるよう、アクチュエータ23の駆動電圧を制御する。

0064

次に、本実施形態に係る間歇的トラッキング撮影装置10の動作の一例について説明する。なお、以下の説明では、高速対象物100と撮像素子30との相対的な運動が1次元的な動きであり、この1次元の方向をトラッキングするために1つの共振型スキャナ20を用いる場合(図2図6参照)の例について示す。

0065

まず、シャッタ開放期間の設定方法概要について簡単に説明する。

0066

図8は、第1実施形態に係るミラー21の振れ角x(t)とシャッタ開閉タイミングとの関係の一例を示す説明図である。

0067

一次元のカメラ視点運動の場合、時刻tでのミラー21の振れ角x(t)は、アクチュエータ共振周波数をf0、振幅をA(t)として、次の式(1)に示すように正弦波軌道上を周期T=1/f0で往復する。

0068

0069

本発明の一実施形態に係る間歇的トラッキング撮影装置10は、カメラ視点の正弦波軌道のうち、追従期間(撮像素子30の視点運動に対応するミラー21の運動の方向が、ミラー21に映った高速対象物100の移動速度を低減する方向である期間)内の直線性の高い範囲を、露光すべき時間(シャッタ開放期間)として考え、カメラ視点位置にもとづいてフレームk(ただしkは2以上の整数)におけるシャッタ開放期間の開始時刻t=tOkおよびシャッタ開放期間の終了時刻、すなわちシャッタ閉鎖期間の開始時刻t=tckを制御する。

0070

また、シャッタ制御部51は、カメラ視点の正弦波軌道のうち直線性の高い範囲を効率よくシャッタ開放期間に設定するように、シャッタの開放期間を、追従期間における正弦曲線の傾きの絶対値が最大となる時刻を中心とする期間となるように設定する。

0071

また、シャッタ制御部51は、アクチュエータ23のタイミング信号を用いて、フレーム周期Tが、振れ角x(t)の周期T=1/f0と同一の一定値となるようにシャッタ開放期間の開始時刻t=tOkおよび終了時刻t=tckを制御する。

0072

なお、本実施形態において、フレーム周期Tとは、隣あうシャッタの開放期間の中心間の期間をいうものとする。本実施形態および後述する第2の実施形態において、この隣あうシャッタの開放期間の中心間の期間で定義されるフレーム周期Tは、シャッタ開閉タイミングによらず、ミラー21の振動周波数f0の逆数と等しい一定値をとる。

0073

振幅制御部54は、モーションブラーを抑えるため、追従期間内のシャッタ開放期間中の正弦波軌道に対する近似直線の傾き、つまりカメラ視点の平均速度と、フレームk−1までに推定された高速対象物100の速度とを一致させるよう、フレームkにおけるミラー21の振幅A(t)を制御する。

0074

本実施形態に係る間歇的トラッキング撮影装置10のアクチュエータ駆動型瞬時間歇的トラッキング法では、自由振動するアクチュエータの振動周波数f0に主導されて、アクチュエータの機械的な動きを直接制御することなく、サブマイクロ秒オーダーのプログラマブル制御が可能な電気信号レベルでシャッタ開閉タイミングを制御することにより、モーションブラー除去を実現することができる。このため、本実施形態に係る間歇的トラッキング撮影装置10によれば、広角レンズ撮影や高速運動対象に対する高フレームレート撮影であっても、的確に高速対象物100をトラッキングすることができる。

0075

なお、共振型スキャナ20を用いる場合、以下の特徴に留意するとよい。まず、共振現象における振幅制御の応答性レゾナントミラー等の共振型アクチュエータでは、駆動電圧を指令値として、共振現象の振幅値を制御できる一方で、高周波数駆動を継続するために減衰率が非常に小さいため、振幅制御の時間応答性は高くない。また振幅が小さいと、摩擦力の影響により、理想的な正弦波軌道とはかけ離れた大きなヒステリシスを持つ不安定な動作になる場合がある。このため、大きな速度変化を伴うシーンや低速対象をターゲットとしたモーションブラーフリー撮影時において、モーションブラー除去に必要とされるトラッキング追従性が必ずしも十分ではない場合がある。

0076

また、アクチュエータ駆動型瞬時間歇的トラッキングでは、カメラ視点軌道が共振現象にもとづく正弦波軌道であり、この軌道上で直線近似できる領域をシャッタ開放期間に設定する。このため、シャッタ開放期間の上限が決まってしまい、高速対象物100が暗い場合に十分な露光が得られない場合がある。

0077

次に、シャッタ開放期間の設定方法について詳細に説明する。

0078

図9は、シャッタ開放期間τと相対誤差εとの関係の一例を示す説明図である。本実施形態において、シャッタ開放期間τは撮影中一定である。このため、フレームk−1のシャッタ開放期間の開始時刻t=tOk−1とフレームkのシャッタ開放期間の開始時刻t=tOkとの間の期間は、撮影中一定であり、フレーム周期Tに等しい。図9に示すように、フレーム周期Tは、たとえばフレームk−1のシャッタ開放期間の中心t=tk−1とフレームkのシャッタ開放期間の中心t=tkとの間の期間など、隣あうシャッタの開放期間の中心間の期間である。このとき、フレームkのシャッタ開放期間の開始時刻はtOk=tk−τ/2、終了時刻はtck=tk+τ/2でそれぞれ表される。

0079

共振現象の正弦波軌道を利用したモーションブラーフリー撮影では、シャッタ開放期間τが大きくなると、正弦波軌道と高速対象物100の速度を傾きとする近似直線との相対誤差εが大きくなる。このため、シャッタ制御部51は、相対誤差εが許容誤差閾値εth以下となるようにシャッタ開放期間τを設定するとよい。

0080

たとえば、フレームkの撮影を、シャッタ開放期間τで行なう場合を考える。この場合、露光は時刻tOk=tk−τ/2で開始され、tck=tk+τ/2で終了される。シャッタ開放期間の中心t=tkは、フレームkに対応して正弦波軌道が最大の傾きを持つ時刻であり、式(1)の正弦波軌道に対し次式を満たす。

0081

正弦波軌道に対する近似直線lk(t)をt=tkでの接線

0082

0083

とすると、正弦波軌道x(t)と近似直線lk(t)の差が最大となる時刻開始時刻t=tOkおよび終了時刻t=tckにおける相対誤差εは、フレーム周期T(シャッタの開放期間の中心間の期間)に対するシャッタの開放期間τの割合τ/Tを、時間開口率rと定義すると、次の式(4)のように書ける。

0084

0085

式(4)より、時間開口率rは、振幅A(t)やフレーム周期Tなどの正弦波パラメータに依存しない、相対誤差εの関数として、次の式(5)で表される。

0086

0087

図10は、時間開口率rと相対誤差εの関係を示すグラフである。たとえば、許容誤差閾値εthが1%、5%、10%である場合、時間開口率rの上限は、それぞれr(0.01)=0.08、r(0.05)=0.18、r(0.1)=0.25、と定数表現が可能となる。

0088

このことは、許容できる誤差範囲が与えられれば、図10のr(ε)をルックアップテーブルとして、共振周波数f0(=1/T)のアクチュエータと同期するようにシャッタ開放期間の長さτ=r(ε)Tの値を自動的に決定することができることを意味する。シャッタ開放期間τが決定されれば、シャッタの開閉タイミングtOk=tk−τ/2、tck=tk+τ/2を自動設定できる。また、本実施形態に示す例のようにシャッタ開放期間τを一定とする場合、高速対象物100の速度に合わせて制御される振幅A(t)に依存することなく、アクチュエータからの同期信号のみで、モーションブラーフリー撮影のためのシャッタ制御信号を生成することができる。

0089

次に、振幅算出部53が行う振幅A(t)の算出方法について説明する。

0090

振幅算出部53は、シャッタ開放期間において高速対象物100をトラッキングすることができるように、高速対象物100の移動速度に応じて振幅A(t)を求める。振幅A(t)の算出方法としては、たとえば次の3つの方法が考えられる。

0091

第1の振幅A(t)の算出方法は、画像生成部52により生成される画像内におけるミラー21に映った高速対象物100の移動速度v[pix/sec]を求め、この速度vを用いて振幅A(t)を求める方法である。

0092

いま、画像生成部52から振幅算出部53に入力される入力画像における画素(X、Y)の画素値をI(X、Y、t)と表す。第1の振幅A(t)の算出方法では、振幅算出部53は、まずこの入力画像を閾値θで二値化する。二値化画像の画素値をB(X、Y、t)とすると、B(X、Y、t)は次の式(6)で表せる。

0093

0094

次に、振幅算出部53は、この二値化画像B(X、Y、t)のモーメント特徴を計算する。モーメント特徴とは、画素の位置に重み付けをして合計した数値である。モーメント特徴は、pq次モーメントM(pq)を用いて、一般に次の式(7)で表される。

0095

0096

ここで、i、jはそれぞれX軸、Y軸で黒画素のある位置である。M(0、0)は、黒画素があると1を加算することになるため図形の面積となる。また、M(1、0)は、X軸での1次モーメントで、M(1、0)/M(0、0)は重心のX軸上の位置を示す。同様に、M(0、1)/M(0、0)は重心のY軸上の位置を示す。したがって、二値化画像における連結成分の重心位置c(t)は次の式(8)のように書ける。

0097

0098

振幅算出部53は、時刻tでの重心位置c(t)と、1フレーム前の時刻(t−τ)での重心位置c(t−τ)にもとづいて、高速対象物100の画像内の速度v(t)[pix/sec]を、次の式(9)を用いて求める。

0099

0100

振幅算出部53は、この速度v(t)に応じて、ミラー21に映った高速対象物100を追従期間内においてトラッキングするように、ミラー21の次フレームの振幅A(t)を求める。振幅制御部54は、振幅算出部53が求めた振幅A(t)に応じてアクチュエータ23の駆動電圧を制御する。この電圧制御は、シャッタの閉鎖期間に行われて次のフレームのシャッタ開放期間に備えることが好ましい。

0101

なお、画像内における物体の速度を求める方法としては、モーメント特徴を用いる方法の他にも動きベクトルを用いる方法など従来各種のものが知られており、これらのうち任意のものを用いることができる。

0102

第2の振幅A(t)の算出方法は、画像生成部52により生成される画像内におけるミラー21に映った高速対象物100のエッジ強度を用いて振幅A(t)を求める方法である。

0103

第2の振幅A(t)の算出方法では、振幅算出部53は、画像内における高速対象物100のエッジ強度を求める。エッジ強度を求めるためにエッジを抽出する方法としては、微分フィルタソーベルフィルタラプラシアンフィルタなど、従来各種のものが知られており、これらのうち任意のものを用いることができる。たとえば微分フィルタを用いてエッジを抽出する場合、エッジ強度は画素値の勾配の大きさで定義される。

0104

モーションブラーが大きい画像では、高速対象物100の輪郭はぼやけており、エッジ強度は小さくなる。一方、モーションブラーが小さい画像では、高速対象物100の輪郭は鮮明に描き出され、エッジ強度は大きくなる。そこで、第2の振幅A(t)の算出方法では、振幅算出部53は、エッジ強度を求め、エッジ強度に応じて、ミラー21に映った高速対象物100を追従期間内においてトラッキングするように、すなわちエッジ強度が最大となるように、ミラー21の次フレームの振幅A(t)を求める。具体的には、たとえば、振幅算出部53は、求めたエッジ強度と所定のエッジ強度最大値とを比較し、エッジ強度最大値に近づくように振幅A(t)を求める。

0105

なお、第1および第2の振幅A(t)の算出方法は、組み合わせてもよい。この場合、振幅算出部53は、速度vとエッジ強度の両方を求め、これらの値にもとづいて振幅A(t)を求める。

0106

第3の振幅A(t)の算出方法は、入力部40を介して受け付けた高速対象物100と撮像素子30との相対速度に係る情報を用いて振幅A(t)を求める方法である。

0107

第3の振幅A(t)の算出方法では、たとえばユーザにより入力部40を介して、高速対象物100と撮像素子30との相対速度に係る情報が振幅算出部53に与えられる。相対速度に係る情報としては、相対速度そのもの、高速対象物100の実空間での移動速度、撮像素子30の実空間での移動速度、撮像素子30と高速対象物100との距離、またはこれらの組み合わせなどが挙げられる。振幅算出部53は、この相対速度に係る情報を用いて高速対象物100の移動速度v[pix/sec]を求め、この速度vを用いて振幅A(t)を求めることができる。第3の方法では、画像処理による速度算出エッジ強度算出が不要となるため、全体としての処理が簡素化される。

0108

なお、第3の振幅A(t)の算出方法は、第1および第2の振幅A(t)の算出方法と組み合わせてもよい。たとえば、第3の振幅A(t)の算出方法を第1の振幅A(t)の算出方法と組み合わせる場合、振幅算出部53は、まず入力部40を介した情報にもとづいて速度vの初期値を設定し、画像から求めた速度vがこの初期値から大きく外れている場合はエラー値として振幅制御には用いないようにしてもよい。また、第3の振幅A(t)の算出方法を用いない場合は、間歇的トラッキング撮影装置10は入力部40を備えずともよい。

0109

本実施形態に係る間歇的トラッキング撮影装置10は、アクチュエータ駆動型瞬時的間歇トラッキング法を用いる。このため、自由振動するアクチュエータの動きに主導されて、機械的な動きを直接制御することなく、サブマイクロ秒オーダーのプログラマブル制御が可能な電気信号レベルでシャッタの開閉を制御することにより、モーションブラーを低減した鮮明な高速対象物画像を得ることができる。

0110

(2)第2の実施形態
次に、本発明に係る間歇的トラッキング撮影装置の第2実施形態について説明する。

0111

図11は、本発明の第2の実施形態に係る間歇的トラッキング撮影装置10Aの一構成例を示すブロック図である。この第2実施形態に示す間歇的トラッキング撮影装置10Aは、輝度算出部61および露光制御部62をさらに備え、シャッタ制御部51Aが露光制御部62により制御可能に構成される点で第1実施形態に示す間歇的トラッキング撮影装置10Aと異なる。他の構成および作用については図2に示す間歇的トラッキング撮影装置10Aと実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。

0112

図11に示すように、第2実施形態に係る主制御部50Aのプロセッサは、画像処理プログラムによって、少なくともシャッタ制御部51A、画像生成部52、振幅算出部53、振幅制御部54、輝度算出部61および露光制御部62として機能する。これらの各機能実現部は、それぞれプログラムの形態で記憶回路に記憶されている。

0113

輝度算出部61は、画像生成部52により生成される画像内におけるミラー21に映った高速対象物100の輝度を算出する。

0114

露光制御部62は、時間開口率rを、輝度算出部61が求めた輝度に応じてフレームごとに変化させるように、次フレームk+1のシャッタ開放期間の長さτk+1をフレームkごとに求めてシャッタ制御部51Aに与える。

0115

図12は、第2実施形態に係るミラー21の振れ角x(t)とシャッタ開閉タイミングとの関係の一例を示す説明図である。

0116

シャッタ制御部51Aは、第1の実施形態に係るシャッタ制御部51の機能に加えてさらに、最大傾斜時刻t=tk;1を中心とし露光制御部62から受けた長さτk+1の期間を次フレームk+1のシャッタ開放期間として設定する。具体的には、シャッタ制御部51Aは、フレームk+1のシャッタ開放期間の開始時刻t=tOk+1および終了時刻t=tck+1を、それぞれtOk+1=tk+1−τk+1/2、tck+1=tk+1+τk+1/2に設定する。このとき、第1の実施形態と同様に、シャッタ制御部51Aは、追従期間内にのみ撮像素子30のシャッタを開放するように、かつフレーム周期Tが、振れ角x(t)の周期T=1/f0と同一の一定値となるように制御する。

0117

図12に示すように、第2実施形態においても、隣あうシャッタの開放期間の中心間の期間で定義されるフレーム周期Tは、シャッタ開閉タイミング(換言すれば、シャッタの開放期間と閉鎖期間との比率)によらず、ミラー21の振動周波数f0の逆数と等しい一定値をとる。一方、第2実施形態においては、隣あうシャッタの開放期間の開始時刻間の期間は、必ずしも一定とはならない。

0118

第2の実施形態で行う露光制御は、フレーム周期Tは一定としつつ、時間開口率rを変更することによって露光制御する。たとえば、高速対象物100が急に明るくなった場合には、図12のフレームk、k+1、k+2に示すように、高速対象物100の輝度に応じてシャッタ開放期間τk、τk+1、τk+2を短くする。逆に、高速対象物100が急に暗くなった場合には、図12のフレームk−3、k−2、k−1に示すように、シャッタ開放期間τk−3、τk−2、τk−1を長くする。

0119

第2の実施形態に係る間歇的トラッキング撮影装置10Aは、第1実施形態に係るアクチュエータ駆動型瞬時的間歇トラッキング法を実行するととともに露光制御を行なう。このため、たとえば、高速対象物100が明るく、かつ移動速度が遅い場合は、シャッタ開放期間が短くなるとともに振幅A(t)が小さくなる。また、たとえば、高速対象物100が暗く、移動速度が速い場合は、シャッタ開放期間が長くなるとともに振幅A(t)が大きくなる。

0120

輝度算出の方法自体は特に限定するものでない。たとえば、高速対象物100のフレーム画像からフレームごとの輝度ヒストグラムを輝度算出部61で算出する。露光制御部62は、基準輝度ヒストグラムと、算出されたフレームごとの輝度ヒストグラムとを比較し、両者の差異の大きさを表わす指標を算出する。そして、算出されたフレームごとの輝度ヒストグラムが基準輝度ヒストグラムに近づくように、露光制御部62は、算出した指標にもとづいてシャッタ開口期間τk+1を求める。フレーム周期Tは一定であるため、シャッタ開口期間τk+1が定まれば、時間開口率rも定まる。

0121

本実施形態に係る間歇的トラッキング撮影装置10Aは、第1実施形態に係る間歇的トラッキング撮影装置10と同様の効果を奏するほか、画像輝度にもとづいてフレームごとにシャッタ開放期間を変更することができるため、より鮮明な画像を得ることができる。
(3)検証実験

0122

上記実施形態のアクチュエータ駆動型瞬時的間歇トラッキング法を用いる間歇的トラッキング撮影装置10の効果を確認するため、レゾナントミラーとオフライン高速度カメラを用いてプロトタイプを制作して検証実験を行った。

0123

図13(a)はプロトタイプの外観の一例を示す斜視図であり、(b)は検証実験の様子の一例を示す説明図である。また、図14は、プロトタイプを用いた検証実験で撮像された画像の一例を示す説明図である。

0124

共振型スキャナとしては、ミラーサイズ23×23mm、動作周波数750HzのElectro−Optical Products 社のレゾナントスキャナSC30を用いた。使用するレゾナントミラーは、ミラー角度を750Hzの正弦波軌道にもとづいて往復させることができ、振幅を0.0025度から0.5度まで変えることが可能である。振幅値はレゾナントミラードライバに対する0V〜5Vの電圧指令により外部制御可能であり、ミラーの共振振動に対する同期用TTL信号が外部出力されている。

0125

オフライン高速度カメラには、フォトロン社のFASTCAM SAX2を用いた。このオフライン高速度カメラは、12ビット濃淡1024×1024画像を最高12500fpsで記録可能なシステムであり、外部同期信号による同期撮影が可能である。検証実験では、f=100mmのCマウントレンズを装着し、レンズ前方20mmの位置に設置されたレゾナントミラーにより、水平方向にカメラ視点が動くように設定した。

0126

オフライン高速度カメラは、レゾナントミラーの同期TTL信号に対し、FPGA(Field Programmable Gate Array)ボード(DE0−Nano、Terasic社)でのタイミング調整を加えた上で、モーションブラーフリー撮影に対応する形でレゾナントミラーと同期する。検証実験では、レゾナントミラーによる共振周波数f0=750Hz(周期T=1.33ms)の正弦波軌道に同期する形で、露光時間をτ=0.33msに固定した形でアクチュエータ駆動型瞬時間歇的トラッキングを実現した。実験設定では、時間開口率r=0.25、直線近似における相対誤差はε=0.20である。

0127

このプロトタイプを用いて、ミラー前方830mmで水平方向に移動する対象に対する撮影実験を行った。図13(b)に示すように、対象は大きさ3mmの文字が多数印刷された平面パターンであり、手動により約2.9m/s、6.3m/s、9.7m/sの速度でそれぞれ動かした。正弦波軌道の振幅を決めるレゾナントミラードライバへの電圧指令は、0.4V、0.9V、1.4Vの3つの設定を用いており、それぞれの電圧指令は撮影対象の速度が約2.9m/s、6.3m/s、9.7 m/sにそれぞれ対応している。

0128

これらの条件下で撮影された画像を図14に示した。なお図14には、モーションブラーの有無を拡大表示するために、1024×1024画素の画像から768×768画素の画像を切り出したものを示した。対象速度2.9m/s、6.3m/s、9.7m/sに対し、それぞれ、電圧指令値0.4V、0.9V、1.4Vでの撮影画像でモーションブラーが最も低減され、それ以外の撮影画像では大きなモーションブラーが発生した。

0129

この結果から、電圧指令値0.4V、0.9V、1.4Vが、ミラー前方830mmにおける速度が2.9m/s、6.3m/s、9.7m/sの運動対象に対するモーションブラーフリー撮影に適切な設定であること、および上記実施形態で説明したアクチュエータ駆動型間歇的瞬時トラッキング法をプロトタイプで実行することで、モーションブラーフリー撮影機能が正しく動作することが確認できた。

0130

このように、検証実験によっても、上記実施形態に係る間歇的トラッキング撮影装置10および10Aによってモーションブラーが大幅に抑制されることが検証された。

0131

以上説明した少なくとも1つの実施形態によれば、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物100を撮影することができる。

0132

なお、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、または、特定用途向け集積回路(Application Specific IntegratedCircuit:ASIC)、プログラマブル論理デバイス(たとえば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびFPGA)等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

0133

また、上記実施形態では主制御部の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて主制御部を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、1つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

0134

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。たとえば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

0135

10、10A…間歇的トラッキング撮影装置
21…ミラー
23…アクチュエータ
26…第3の筐体
30…撮像素子
31…レンズ
36…第1の筐体
37…第2の筐体
40…入力部
51、51A…シャッタ制御部
53…振幅算出部
54…振幅制御部
61…輝度算出部
62…露光制御部
100…高速対象物

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ