図面 (/)

技術 画像高解像度化方法および動画撮像装置

出願人 株式会社日立製作所
発明者 本間一樹
出願日 2008年6月18日 (11年6ヶ月経過) 出願番号 2008-159538
公開日 2010年1月7日 (9年11ヶ月経過) 公開番号 2010-004161
状態 未査定
技術分野 スタジオ装置 イメージ入力 画像処理
主要キーワード 回転制御ステップ 最適位置情報 正対位置 位置制御ステップ 画像フレーム情報 パン移動 最適角度 動画位置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年1月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

複数枚入力画像フレームを合成することにより、画像フレームを構成する画素数を増加して出力画像フレームを得ることを特徴とする出力画像フレーム生成方式に対して、好適な入力画像フレームを準備することで、効率の良い高解像度化処理を実現可能とする。

解決手段

動画記録装置10がある方向へ動いた際には、その動きに応じて、好適な画像フレームを記録可能となる位置へCCD200を移動させて画像フレームをサンプリングし、動画を記録する際に該CCD200を移動させた分だけ画像フレーム位置補正することで、上述の高解像度化処理に好適な入力画像フレームを得ることが可能となる。

概要

背景

近年のテレビ受像機器の大画面化に伴い、放送通信あるいは蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向画素数を増やしながら高解像度化して表示することが一般的に行われて来ている。

例えば特許文献1に示される、動画を高解像度化する手法においては、n枚(nは2以上の整数)の入力画像フレームを合成することにより、画像フレームを構成する画素数をn倍に増加して出力画像フレームを得ることが可能である。ここで入力画像フレームとは、放送や通信あるいは蓄積媒体などから入力された画像信号のことであり、出力画像フレームを再構成する以前に、動画記録装置等により時間軸上の異なる時刻の画像フレームとして記録された場合もある。

一方、動画像撮像する撮像部においては、レンズ群とCCD(Charge Coupled Device)をはじめとする撮像素子との水平・垂直方向の相対的な位置関係は、多くの場合は固定されているが可動なこともある。例えば特許文献2ではCCDとレンズ群は、ある範囲内で互いに水平・垂直方向へ可動な様に支持されている。これは撮像中の手ぶれなどによる画像のゆれを補正するためのものである。

特開2007−324789号公報
特開2008−020716号公報

概要

複数枚の入力画像フレームを合成することにより、画像フレームを構成する画素数を増加して出力画像フレームを得ることを特徴とする出力画像フレーム生成方式に対して、好適な入力画像フレームを準備することで、効率の良い高解像度化処理を実現可能とする。動画記録装置10がある方向へ動いた際には、その動きに応じて、好適な画像フレームを記録可能となる位置へCCD200を移動させて画像フレームをサンプリングし、動画を記録する際に該CCD200を移動させた分だけ画像フレーム位置を補正することで、上述の高解像度化処理に好適な入力画像フレームを得ることが可能となる。

目的

本発明の目的は前記の課題を解決するためのものであり、n枚の入力画像フレームを合成することにより、画像フレームを構成する画素数をn倍に増加して出力画像フレームを得ることを特徴とする出力画像フレーム生成方式に対して、好適な入力画像フレームを提供することで、効率の良い高解像度化処理を実現可能にすることにある。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動画撮像装置撮像素子撮像した映像情報解像度を高くするための画像高解像度化方法であって、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出ステップと、前記動き検出ステップにより検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記撮像素子の垂直および水平方向への最適な移動量を算出する撮像素子最適位置の算出ステップと、前記撮像素子最適位置の算出ステップの算出結果に応じて、前記撮像素子の位置を制御する位置制御ステップと、前記撮像素子にて映像撮影する撮像ステップと、前記撮像素子の垂直および水平方向への移動量に応じて位置を補正した画像フレームを生成する動画位置補正ステップとを有し、前記画像フレームを複数枚用いて画像合成することで高解像度化を行うことを特徴とする画像高解像度化方法。

請求項2

請求項1に記載の画像高解像度化方法において、前記撮像素子最適位置の算出ステップは前記動き検出ステップが動画撮像装置の動きを検出しない場合においても、前記撮像素子の垂直および水平方向への移動量を算出し、前記位置制御ステップは前記撮像素子最適位置の算出ステップの算出結果に応じて、前記撮像素子の位置を制御することを特徴とする画像高解像度化方法。

請求項3

請求項1または2に記載の画像高解像度化方法において、前記撮像素子での垂直および水平方向の画素の間隔をdとして、前記撮像素子最適位置の算出ステップは前後n個(n≧2の整数)の画像フレームが、前記撮像素子上で互いに垂直および水平方向にmd/n(m<nの整数)ずれた位置の画素から構成されるよう算出することを特徴とする画像高解像度化方法。

請求項4

動画撮像装置のレンズ群と撮像素子で撮像した映像情報の解像度を高くするための画像高解像度化方法であって、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出ステップと、前記動き検出ステップにより検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記レンズ群の垂直および水平方向への最適な移動量を算出するレンズ群最適位置の算出ステップと、前記レンズ群最適位置の算出ステップの算出結果に応じて、前記レンズ群の位置を制御する位置制御ステップと、前記撮像素子にて映像を撮影する撮像ステップと、前記レンズ群の垂直および水平方向への移動量に応じて位置を補正した画像フレームを生成する動画位置補正ステップとを有し、前記画像フレームを複数枚用いて画像合成することで高解像度化を行うことを特徴とする画像高解像度化方法。

請求項5

請求項4に記載の画像高解像度化方法において、前記レンズ群最適位置の算出ステップは前記動き検出ステップが動画撮像装置の動きを検出しない場合においても、前記レンズ群の垂直および水平方向への移動量を算出し、前記位置制御ステップは前記レンズ群最適位置の算出ステップの算出結果に応じて、前記レンズ群の位置を制御することを特徴とする画像高解像度化方法。

請求項6

請求項4または5に記載の画像高解像度化方法において、前記撮像素子での垂直および水平方向の画素の間隔をdとして、前記レンズ群最適位置の算出ステップは前後n個(n≧2の整数)の画像フレームが、前記撮像素子上で互いに垂直および水平方向にmd/n(m<nの整数)ずれた位置の画素から構成されるよう算出することを特徴とする画像高解像度化方法。

請求項7

動画撮像装置の撮像素子で撮像した映像情報の解像度を高くするための画像高解像度化方法であって、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出ステップと、前記動き検出ステップにより検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記撮像素子の最適な回転方向回転角度を算出する撮像素子最適角度の算出ステップと、前記撮像素子最適角度の算出ステップの算出結果に応じて、前記撮像素子の角度を制御する回転制御ステップと、前記撮像素子にて映像を撮影する撮像ステップと、前記撮像素子の回転方向と回転角度に応じて位置を補正した画像フレームを生成する動画位置補正ステップとを有し、前記画像フレームを複数枚用いて画像合成することで高解像度化を行うことを特徴とする画像高解像度化方法。

請求項8

請求項7に記載の画像高解像度化方法において、前記撮像素子最適角度の算出ステップは前記動き検出ステップが動画撮像装置の動きを検出しない場合においても、前記撮像素子の回転方向と回転角度を算出し、前記回転制御ステップは前記撮像素子最適角度の算出ステップの算出結果に応じて、前記撮像素子の角度を制御することを特徴とする画像高解像度化方法。

請求項9

撮像素子で撮像した映像情報を処理する動画撮像装置であって、垂直および水平方向へ移動可能である撮像素子と、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出回路と、前記動き検出回路により検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記撮像素子の垂直および水平方向への最適な移動量を算出する撮像素子最適位置の算出回路と、前記撮像素子最適位置の算出回路の算出結果に応じて、前記撮像素子の位置を制御する位置制御回路と、前記撮像素子の垂直および水平方向への移動量に応じて位置を補正した画像フレームを生成する動画位置補正回路とを有したことを特徴とする動画撮像装置。

請求項10

レンズ群と撮像素子で撮像した映像情報を処理する動画撮像装置であって、垂直および水平方向へ移動可能であるレンズ群と、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出回路と、前記動き検出回路により検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記レンズ群の垂直および水平方向への最適な移動量を算出するレンズ群最適位置の算出回路と、前記レンズ群最適位置の算出回路の算出結果に応じて、前記レンズ群の位置を制御する位置制御回路と、前記レンズ群の垂直および水平方向への移動量に応じて位置を補正した画像フレームを生成する動画位置補正回路とを有したことを特徴とする動画撮像装置。

請求項11

撮像素子で撮像した映像情報を処理する動画撮像装置であって、特定の軸を中心として回転移動が可能である撮像素子と、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出回路と、前記動き検出回路により検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記撮像素子の最適な回転方向と回転角度を算出する撮像素子最適角度の算出回路と、前記撮像素子最適角度の算出回路の算出結果に応じて、前記撮像素子の角度を制御する回転制御回路と、前記撮像素子の回転方向と回転角度に応じて位置を補正した画像フレームを生成する動画位置補正回路とを有したことを特徴とする動画撮像装置。

技術分野

0001

本発明は、画像信号高解像度化するための技術に関し、特に複数の画像フレームを合成することにより、画像フレームを構成する画素数を増やすことで高解像度化を行う方法およびこれを用いた装置に関する。

背景技術

0002

近年のテレビ受像機器の大画面化に伴い、放送通信あるいは蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やしながら高解像度化して表示することが一般的に行われて来ている。

0003

例えば特許文献1に示される、動画を高解像度化する手法においては、n枚(nは2以上の整数)の入力画像フレームを合成することにより、画像フレームを構成する画素数をn倍に増加して出力画像フレームを得ることが可能である。ここで入力画像フレームとは、放送や通信あるいは蓄積媒体などから入力された画像信号のことであり、出力画像フレームを再構成する以前に、動画記録装置等により時間軸上の異なる時刻の画像フレームとして記録された場合もある。

0004

一方、動画像撮像する撮像部においては、レンズ群とCCD(Charge Coupled Device)をはじめとする撮像素子との水平・垂直方向の相対的な位置関係は、多くの場合は固定されているが可動なこともある。例えば特許文献2ではCCDとレンズ群は、ある範囲内で互いに水平・垂直方向へ可動な様に支持されている。これは撮像中の手ぶれなどによる画像のゆれを補正するためのものである。

0005

特開2007−324789号公報
特開2008−020716号公報

発明が解決しようとする課題

0006

まず図面を用いて動画記録装置の構成例を説明する。

0007

図1の動画記録装置1において、記録される被写体はレンズ群100を経由してCCD(Charge Coupled Device)200(後述)へ投影される。被写体が投影される際の媒介は光が一般的であるが、特に光に限られる物では無く他の媒介、例えば電子を用いても良い。投影された被写体はCCD200により時間軸上のある一定期間毎(フレームレート)の画像フレーム情報としてその都度、画像フレーム情報伝達経路201を介して動画処理手段310へ伝達される。なお、一般的な構成としてレンズ群100およびCCD200は動画記録装置1にある図示しない手段を用いて固定されているものとする。

0008

201を介して送られた画像フレーム情報は動画処理手段310により、記録のための処理が加えられる。310で実施される処理は、例えば一般的なデジタル動画記録装置で実施されている様な量子化→符号化→圧縮といった手順を踏んだものである。この様にして処理された各画像フレーム情報は動画記録情報伝達経路311を介して動画記録手段320へ伝達される。

0009

動画記録手段320は311を介して伝達された処理済の各画像フレーム情報を、動画を記録するのに好適な媒体(例えば固定ディスク装置磁気テープ光学ディスク等のメディア)を用いて記録する。あるいは、動画記録手段320は動画を伝送するのに好適な媒体(例えば放送波など)を介して、各画像フレーム情報を送出しても良い。

0010

図2にCCD200の構成例を示す。

0011

CCD200は投影される被写体を、あるフレームレートに従って画像フレーム情報に変換するためのCCDセンサ210の並びで構成される。ここでCCDセンサ210は例えば図2に示す様に、横方向(x方向)および縦方向(y方向)へ一定の間隔(距離d)で並んでいる格子線220の各格子点上に配置される。各格子点上に配置されたCCDセンサ210は被写体が投影されると、あるフレームレートに従って被写体を画素情報へ変換(サンプリング)することで、動画処理手段310以降で処理が可能な画像フレーム情報を生成する。

0012

図3を用いて画像フレーム情報生成の流れについて説明する。
前述の通り、CCD200は投影される被写体を、あるフレームレートに従って画像フレーム情報に変換する。ここでは、あるフレームレートにおけるi番目の画像フレーム情報であるフレーム(i)と、i+1番目の画像フレーム情報であるフレーム(i+1)の変換の流れについて説明する。なおiは0より大きい整数である。またここでのフレームレートは任意であり、かつフレーム(i+1)はフレーム(i)に対して時間軸上必ずしも次のフレームである必要はない。

0013

時間軸上のある時刻tにおいて、CCD200が動画記録対象である被写体に対して240の位置にあったとする。この時のCCD200上のCCDセンサ210の位置は241で示される。よって、時刻tにおけるフレーム(i)での画像フレーム情報は、241でのCCDセンサ位置によって画素情報としてサンプリングされ生成される。

0014

次に時刻tからある時間だけ経過した時刻t+1において、動画記録装置1が水平方向(x方向)へ距離d/2だけ右に水平移動し、CCD200が動画記録対象である被写体に対して250の位置にあったとする。これは、例えば動画記録装置1を保持している動画撮影者が、動画記録装置1を水平方向へ移動(パン移動)した場合などを想定すると良い。なお、時刻t+1は例えば前述のフレームレート等により、時刻tに対して任意に設定が可能な時刻である。この時刻t+1でのCCD200上のCCDセンサ210の位置は251で示される。よって、時刻t+1におけるフレーム(i+1)での画像フレーム情報は、251でのCCDセンサ位置によって画素情報としてサンプリングされ生成される。

0015

これらの手順により生成されたフレーム(i)での画像フレーム情報、およびフレーム(i+1)での画像フレーム情報は、前述の通り画像フレーム情報伝達経路201を介して動画処理手段310へ伝達され、動画処理手段310により、記録のための処理が加えられ、動画記録手段320により動画を記録するのに好適な媒体に記録される。

0016

しかし、図3に示した手順によって記録された動画情報を、動画再生装置において再生する際に、複数枚の入力画像フレームを用いて出力画像フレームを高解像度化しようとする場合に、期待通りの効果を得られないことがある。

0017

すなわち、図3の例で示した様に、例えば動画記録装置1が水平方向へ移動したことにより、動画記録装置1内のCCD200が水平方向へ移動した場合、CCD200上の各CCDセンサ210も水平方向へ移動する。この時、フレーム(i)におけるCCDセンサ位置241、およびフレーム(i+1)におけるCCDセンサ位置251では、水平方向(x方向)についてのみ位置が異なり、垂直方向(y方向)については位置が同じである。これは図3においてフレーム(i)とフレーム(i+1)の間で、垂直方向の格子線220のみ位置が異なり、水平方向の格子線220が重なっていることからも分かる。

0018

つまり、これら2枚のフレーム(i)およびフレーム(i+1)においてCCDセンサ210によってサンプリングされた画素情報間では、水平方向(x方向)のみ画素情報が増加しており、垂直方向(y方向)については画素情報が変化していないことになる。この様にして得られたフレーム(i)およびフレーム(i+1)の2枚の入力画像フレームを用いて、出力画像フレームを高解像度化しようとしても、水平方向(x方向)についてのみ2倍に高解像度化され、垂直方向(y方向)については高解像度化されないという状況が発生する。

0019

また、図3に示した例では動画記録装置1が水平方向へ移動した場合について示しているが、動画記録装置1が垂直方向へ移動した場合についても同様の問題が発生することは自明である。この場合は前述の説明と同様の事由により、垂直方向にのみ出力画像フレームが高解像度化され、水平方向には高解像度化されないという状況が発生する。

0020

なお、図3に示した例では、入力画像フレーム2枚を用いることで高解像度化する手法に関する課題を示しているが、一般的にn枚(nは2以上の整数)の入力画像フレームを用いることで高解像度化する手法についても課題の本質が同様であることは自明である。

0021

本発明の目的は前記の課題を解決するためのものであり、n枚の入力画像フレームを合成することにより、画像フレームを構成する画素数をn倍に増加して出力画像フレームを得ることを特徴とする出力画像フレーム生成方式に対して、好適な入力画像フレームを提供することで、効率の良い高解像度化処理を実現可能にすることにある。

課題を解決するための手段

0022

前述の目的を達成するために本発明は、動画撮像装置の撮像素子で撮像した映像情報解像度を高くするための画像高解像度化方法であって、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出ステップと、前記動き検出ステップにより検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記撮像素子の垂直および水平方向への最適な移動量を算出する撮像素子最適位置の算出ステップと、前記撮像素子最適位置の算出ステップの算出結果に応じて、前記撮像素子の位置を制御する位置制御ステップと、前記撮像素子にて映像撮影する撮像ステップと、前記撮像素子の垂直および水平方向への移動量に応じて位置を補正した画像フレームを生成する動画位置補正ステップとを有し、前記画像フレームを複数枚用いて画像合成することで高解像度化を行うことを特徴としている。

0023

また、動画撮像装置のレンズ群と撮像素子で撮像した映像情報の解像度を高くするための画像高解像度化方法であって、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出ステップと、前記動き検出ステップにより検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記レンズ群の垂直および水平方向への最適な移動量を算出するレンズ群最適位置の算出ステップと、前記レンズ群最適位置の算出ステップの算出結果に応じて、前記レンズ群の位置を制御する位置制御ステップと、前記撮像素子にて映像を撮影する撮像ステップと、前記レンズ群の垂直および水平方向への移動量に応じて位置を補正した画像フレームを生成する動画位置補正ステップとを有し、前記画像フレームを複数枚用いて画像合成することで高解像度化を行うことを特徴としている。

0024

また、動画撮像装置の撮像素子で撮像した映像情報の解像度を高くするための画像高解像度化方法であって、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出ステップと、前記動き検出ステップにより検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記撮像素子の最適な回転方向回転角度を算出する撮像素子最適角度の算出ステップと、前記撮像素子最適角度の算出ステップの算出結果に応じて、前記撮像素子の角度を制御する回転制御ステップと、前記撮像素子にて映像を撮影する撮像ステップと、前記撮像素子の回転方向と回転角度に応じて位置を補正した画像フレームを生成する動画位置補正ステップとを有し、前記画像フレームを複数枚用いて画像合成することで高解像度化を行うことを特徴としている。

0025

さらに、撮像素子で撮像した映像情報を処理する動画撮像装置であって、垂直および水平方向へ移動可能である撮像素子と、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出回路と、前記動き検出回路により検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記撮像素子の垂直および水平方向への最適な移動量を算出する撮像素子最適位置の算出回路と、前記撮像素子最適位置の算出回路の算出結果に応じて、前記撮像素子の位置を制御する位置制御回路と、前記撮像素子の垂直および水平方向への移動量に応じて位置を補正した画像フレームを生成する動画位置補正回路とを有したことを特徴としている。

0026

また、レンズ群と撮像素子で撮像した映像情報を処理する動画撮像装置であって、垂直および水平方向へ移動可能であるレンズ群と、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出回路と、前記動き検出回路により検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記レンズ群の垂直および水平方向への最適な移動量を算出するレンズ群最適位置の算出回路と、前記レンズ群最適位置の算出回路の算出結果に応じて、前記レンズ群の位置を制御する位置制御回路と、前記レンズ群の垂直および水平方向への移動量に応じて位置を補正した画像フレームを生成する動画位置補正回路とを有したことを特徴としている。

0027

また、撮像素子で撮像した映像情報を処理する動画撮像装置であって、特定の軸を中心として回転移動が可能である撮像素子と、前記動画撮像装置が移動した際に、その方向と移動量を検出する動き検出回路と、前記動き検出回路により検出された前記動画撮像装置の移動した方向と移動量に応じて、前記動画撮像装置に対する前記撮像素子の最適な回転方向と回転角度を算出する撮像素子最適角度の算出回路と、前記撮像素子最適角度の算出回路の算出結果に応じて、前記撮像素子の角度を制御する回転制御回路と、前記撮像素子の回転方向と回転角度に応じて位置を補正した画像フレームを生成する動画位置補正回路とを有したことを特徴としている。

発明の効果

0028

本発明によれば、複数個の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法において、より好適な入力画像フレームを与えることができ、効率の良い高解像度の出力画像フレームを得ることが可能となり、使用者に対して高画質な画像を提供できるという効果がある。

発明を実施するための最良の形態

0029

以下、本発明の実施例について図面を用いて説明する。

0030

図4に本発明の実施形態の例を示す。
図4の動画記録装置10において、記録される被写体はレンズ群100を経由してCCD200へ投影される。なおCCD200は、図2を用いて前述した通りの構成であって良い。これはCCDに限らずMOS(Metal Oxide Semiconductor)などの撮像素子を使用することもでき、いずれも本発明の範疇にあるが、ここではCCDを使用するものとして記述する。被写体が投影される際の媒介は光が一般的であるが、特に光に限られる物では無く他の媒介、例えば電子を用いても良い。投影された被写体はCCD200により時間軸上のある一定期間毎(フレームレート)の画像フレーム情報としてその都度、画像フレーム情報伝達経路201を介して動画位置補正手段300へ伝達される。なお、一般的な構成としてレンズ群100は動画記録装置10にある手段を用いて固定されているものとする。またCCD200は動画記録装置内で、レンズ群100に対してある範囲内で水平・垂直方向へ可動な様に、支持されている。

0031

また動画記録装置10は、装置全体が動いた方向および移動量を検出するための、動き検出手段400を持つ。400は動画記録装置10内部に設置しても、または外部に設置しても良い。動き検出手段400によって検出された動画記録装置10の動いた方向およびその移動量は動き伝達手段401を介して、CCD最適位置算出手段410へ伝達される。

0032

CCD最適位置検出手段410は、401を介して伝達された動画記録装置10の動いた方向およびその移動量を元に、複数の入力画像フレームを合成することで画像フレームの画素数を増加して出力画像フレームを得る高解像度化手法に対して、好適な入力画像フレームを供給可能な様にCCD200の位置を算出し、CCD位置制御手段420および動画位置補正手段300に対して位置伝達経路411を介してその最適位置情報を伝える。この最適位置算出の流れについては後述する。

0033

CCD位置制御手段420は、411を介して伝えられた最適位置情報を用いてアクチュエータ421を制御して、CCD200を最適な位置へ移動する。

0034

201を介して動画位置補正手段300へ送られた画像フレーム情報は、411を介して伝えられる最適位置情報を元に、当該画像フレームが本来の位置(正対位置)からどれだけ移動したものであるかを考慮して、その位置を補正する。補正された画像フレーム情報は補正画像フレーム情報伝達経路301を介して、動画処理手段310へ伝達される。この画像フレーム位置補正の流れについては後述する。

0035

301を介して送られた補正後の画像フレーム情報は動画処理手段310により、記録のための処理が加えられる。310で実施される処理は、例えば一般的なデジタル動画記録装置で実施されている様な量子化→符号化→圧縮と言った手順を踏んだものである。この様にして処理された各画像フレーム情報は動画記録情報伝達経路311を介して動画記録手段320へ伝達される。

0036

動画記録手段320は311を介して伝達された処理済の各画像フレーム情報を、動画を記録するのに好適な媒体(例えば固定ディスク装置や磁気テープ、光学系ディスク等のメディア)を用いて記録する。あるいは、動画記録手段320は動画を伝送するのに好適な媒体(例えば放送波など)を介して、各画像フレーム情報を送出しても良い。

0037

次に、CCD200の最適位置算出および画像フレーム位置補正の流れについて説明する。なお以下で説明する内容は、2枚の入力画像フレームを用いることを想定したものである。

0038

前述の図3に示した様に、時間軸上のある時刻tにおいて、CCD200が動画記録対象である被写体に対して240の位置にあったとする。この時のCCD200上のCCDセンサ位置は241で示されており、レンズ群100に対してCCD200が水平・垂直方向に全く移動していない位置(正対位置)にあるとする。よって時刻tにおけるフレーム(i)での画像フレーム情報は、241でのCCDセンサ位置(正対位置)によって画素情報へサンプリングされ、対応する画像フレーム情報が201を介して動画位置補正手段300へ伝えられる。

0039

ここでのフレーム(i)に対する画像フレーム情報は、前述の通りCCD200が正対位置でサンプリングされたものであるため、動画位置補正手段300は201を介して伝えられた画像フレーム情報の位置を補正することなく、そのまま301を介して動画処理手段310へ伝える。310以降における処理については、前述の説明と同様である。

0040

次に時刻tからある時間だけ経過した時刻t+1において、動画記録装置10が水平方向(x方向)へ距離d/2だけ右に水平移動し、CCD200が動画記録対象である被写体に対して250の位置にあったとする。この時、動き検出手段400は動画記録装置10が水平方向(x方向)へ距離d/2だけ右に移動したことを検出するとともに、401を介してその動いた方向および移動量をCCD最適位置算出手段410へ伝える。

0041

CCD最適位置算出手段410は、動画記録装置10が水平方向(x方向)へ距離d/2だけ右へ移動したことを受け、フレーム(i)とフレーム(i+1)との間でのCCDセンサによるサンプリング位置に関して、水平方向(x方向)については高解像度化にとって好適であるが、垂直方向(y方向)については画素情報が変化しておらず高解像度化にとって不適であると判断する。

0042

そこでCCD最適位置算出手段410は、図5の260で示される水平方向および垂直方向双方にとって画素情報が増加する好適なCCD位置でフレーム(i+1)がサンプリングされる様に、図3の250で示されるCCD位置、すなわち正対位置から、d/2だけ垂直方向(y方向)へCCDを移動させる様に、CCDの最適位置情報を位置伝達経路411を介してCCD位置制御手段420へ伝達する。同時にCCD最適位置算出手段410は、411を介して動画位置補正手段300に対して、フレーム(i+1)はd/2だけ垂直方向(y方向)へCCDを移動させてサンプリングした画像フレーム情報であることを伝える。これは動画位置補正手段300にて画像フレーム情報の位置を補正するために用いられる。

0043

CCD位置制御手段420は411を介して送られた最適位置情報に従って、アクチュエータ421を用いてCCD200を指定される位置へ移動する。CCD200はアクチュエータ421による移動が完了するとフレーム(i+1)における画像情報をサンプリングし、201を介して画像フレーム情報を動画位置補正手段300へ伝える。

0044

フレーム(i+1)に対する画像フレーム情報は、前述の通りCCD200が動画記録装置10に対してd/2だけ垂直方向(y方向)へ移動した状態でサンプリングされたものであることが411を介して伝えられるため、動画位置補正手段300は201を介して伝えられた画像フレーム情報の位置を、d/2だけ垂直方向(y方向)へ補正して、CCD200の移動した分を相殺した画像フレーム情報を生成し、301を介して動画処理手段310へ伝える。310以降における処理については、前述の説明と同様である。

0045

次に、CCD200の最適位置算出および画像フレーム位置補正の流れについて別の例を挙げて説明する。なお以下で説明する内容は、2枚の入力画像フレームを用いることを想定したものである。

0046

図6に示した様に、時間軸上のある時刻tにおいて、CCD200が動画記録対象である被写体に対して240の位置にあったとする。この時のCCD200上のCCDセンサ位置は241で示されており、レンズ群100に対してCCD200が水平・垂直方向に全く移動していない位置(正対位置)にあるとする。よって時刻tにおけるフレーム(i)での画像フレーム情報は、241でのCCDセンサ位置(正対位置)によって画素情報へサンプリングされ、対応する画像フレーム情報が201を介して動画位置補正手段300へ伝えられる。

0047

ここでのフレーム(i)に対する画像フレーム情報は、前述の通りCCD200が正対位置でサンプリングされたものであるため、動画位置補正手段300は201を介して伝えられた画像フレーム情報の位置を補正することなく、そのまま301を介して動画処理手段310へ伝える。310以降における処理については、前述の説明と同様である。

0048

次に時刻tからある時間だけ経過した時刻t+1において、動画記録装置10が水平方向(x方向)へ距離d+δ(但しδ<d/2)だけ右に水平移動し、CCD200が動画記録対象である被写体に対して270の位置にあったとする。この時、動き検出手段400は動画記録装置10が水平方向(x方向)へ距離d+δだけ右に移動したことを検出するとともに、401を介してその動いた方向および移動量をCCD最適位置算出手段410へ伝える。

0049

CCD最適位置算出手段410は、動画記録装置10が水平方向(x方向)へ距離d+δだけ右へ移動したことを受け、フレーム(i)とフレーム(i+1)との間でのCCDセンサによるサンプリング位置に関して、水平方向(x方向)については、241で示されるフレーム(i)でのCCDセンサ位置と271で示されるフレーム(i+1)でのCCDセンサ位置との間で各CCDセンサが近傍にあることから、高解像度化にとってより好適な画素情報をサンプリング可能であり、また垂直方向(y方向)については画素情報が変化しておらず高解像度化にとって不適であると判断する。

0050

そこでCCD最適位置算出手段410は、図7の280で示される水平方向および垂直方向双方にとって画素情報が増加する好適なCCD位置でフレーム(i+1)がサンプリングされる様に、図6の270で示されるCCD位置、すなわち正対位置から、d/2−δだけ水平方向(x方向)へ、d/2だけ垂直方向(y方向)へCCD200を移動させる様に、CCD200の最適位置情報を位置伝達経路411を介してCCD位置制御手段420へ伝達する。同時にCCD最適位置算出手段410は、411を介して動画位置補正手段300に対して、フレーム(i+1)はd/2−δだけ水平方向(x方向)へ、d/2だけ垂直方向(y方向)へCCDを移動させてサンプリングした画像フレーム情報であることを伝える。これは動画位置補正手段300にて画像フレーム情報の位置を補正するために用いられる。

0051

CCD位置制御手段420は411を介して送られた最適位置情報に従って、アクチュエータ421を用いてCCD200を指定される位置へ移動する。CCD200はアクチュエータ421による移動が完了するとフレーム(i+1)における画像情報をサンプリングし、201を介して画像フレーム情報を動画位置補正手段300へ伝える。

0052

フレーム(i+1)に対する画像フレーム情報は、前述の通りCCD200が動画記録装置10に対してd/2−δだけ水平方向(x方向)へ、d/2だけ垂直方向(y方向)へ移動した状態でサンプリングされたものであることが411を介して伝えられるため、動画位置補正手段300は201を介して伝えられた画像フレーム情報の位置を、d/2−δだけ水平方向(x方向)へ、d/2だけ垂直方向(y方向)へ補正して、CCD200の移動した分を相殺した画像フレーム情報を生成し、301を介して動画処理手段310へ伝える。310以降における処理については、前述の説明と同様である。

0053

以上説明した様に本実施例によれば、フレーム(i)のCCDセンサ位置に対して、動画記録装置10が水平・垂直方向へ移動することによるフレーム(i+1)でのCCDセンサ位置が、高解像度化手法に対して好適ではない場合でも、その動きに応じて好適な画像フレームを記録可能となる位置へCCDを移動させて画像フレームをサンプリングし、動画を記録する際にCCDを移動させた分だけ画像フレーム位置を補正することで、2枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法において、より好適な入力画像フレームを与えることで、効率の良い高解像度の出力画像フレームを得ることが可能となる。

0054

さらに、上述の実施例では動画記録装置10が水平・垂直方向へ移動する場合を想定しているが、動画記録装置10が全く動かない場合、つまりフレーム(i)に対してフレーム(i+1)でのCCDセンサ位置が全く変化しない場合でも、同様の処理にてフレーム(i+1)でのCCDセンサ位置を、高解像度化手法に対して好適な画像フレームを記録可能となる位置へ該CCDを移動させて画像フレームをサンプリングし、動画を記録する際に該CCDを移動させた分だけ画像フレーム位置を補正することで、2枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法において、より好適な入力画像フレームを与えることができ、効率の良い高解像度の出力画像フレームを得ることが可能となる。

0055

また、2枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法において、本実施例を適用しない場合には、従来の手法に対して特別な処理をすることなく、従来通りの解像度による出力画像フレームを得ることが可能である。

0056

本発明は本実施例に限定されることなく、汎く適用することができ、いずれも本発明の範疇にある。以下にその例をあげる。

0057

本実施例では、2枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法に対する、好適な入力画像フレームを記録するための手法について説明しているが、それよりも多い枚数、例えば3枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法に対応する場合には、図8に示す様にフレーム(i+1)、フレーム(i+2)に対するCCD200の位置として、例えば290,292で示される場所に来るように移動させることで、目的とする効果を得ることができる。

0058

さらにこれを4、5、・・・n枚に拡張する方法についても、同様の考えで効果を得ることができる。

0059

また本実施例では、レンズ群100を固定しCCD200を移動することで、CCDセンサ位置が高解像度化手法に対して好適な位置となる動画記録装置10について示したが、本実施例に類似した他の形態、例えば図9に示す様にCCD200を固定しレンズ群100を移動することで、全く同様の効果を得られる。

0060

例えば図9に示す実施例の様に、CCD位置制御手段の代わりにレンズ群位置制御手段426を、421の代わりにレンズ群100を水平・垂直方向へ移動させるアクチュエータ427を設置し、レンズ群最適位置算出手段412より411を介して伝えられる最適位置情報を元に、レンズ群100をCCD200に対して水平・垂直方向へ移動させる。これにより、例えば図5の260で示される位置へ、CCD200がレンズ群100に対して相対的に移動した様な効果を得ることが可能である。

0061

図10に本発明による別の実施形態の例を示す。
図10の動画記録装置10において、記録される被写体はレンズ群100を経由してCCD200へ投影される。なおCCD200は、図2を用いて前述した通りの構成であって良い。被写体が投影される際の媒介は光が一般的であるが、特に光に限られる物では無く他の媒介、例えば電子を用いても良い。投影された被写体はCCD200により時間軸上のある一定期間毎(フレームレート)の画像フレーム情報としてその都度、画像フレーム情報伝達経路201を介して動画位置補正手段300へ伝達される。なお、一般的な構成としてレンズ群100は動画記録装置10にある手段を用いて固定されているものとする。またCCD200は動画記録装置10内で、レンズ群100に対して、中心点を軸にある範囲内で回転可能な様に、支持されている。

0062

また動画記録装置10は、装置全体が動いた方向および移動量を検出するための、動き検出手段400を持つ。400は動画記録装置10内部に設置しても、または外部に設置しても良い。動き検出手段400によって検出された動画記録装置10の動いた方向およびその移動量は動き伝達手段401を介して、CCD最適角度算出手段510へ伝達される。

0063

CCD最適角度検出手段510は、401を介して伝達された動画記録装置10の動いた方向およびその移動量を元に、複数の入力画像フレームを合成することで、画像フレームの画素数を増加して出力画像フレームを得る高解像度化手法に対して、好適な入力画像フレームを供給可能な様に、CCD200の回転角度を算出し、CCD位置回転手段520および動画位置補正手段300に対して回転角度伝達経路511を介してその最適角度情報を伝える。この最適角度算出の流れについては後述する。

0064

CCD位置回転手段520は、511を介して伝えられた最適角度情報を用いてアクチュエータ521を制御して、CCD200を最適な角度へ回転する。

0065

201を介して動画位置補正手段300へ送られた画像フレーム情報は、511を介して伝えられる最適角度情報を元に、当該画像フレームが本来の位置(正対位置)からどれだけ回転したものであるかを考慮して、その角度を補正する。補正された画像フレーム情報は補正画像フレーム情報伝達経路301を介して、動画処理手段310へ伝達される。この画像フレーム位置補正の流れについては後述する。

0066

301を介して送られた補正後の画像フレーム情報は動画処理手段310により、記録のための処理が加えられる。310で実施される処理は、例えば一般的なデジタル動画記録装置で実施されている様な量子化→符号化→圧縮と言った手順を踏んだものである。この様にして処理された各画像フレーム情報は動画記録情報伝達経路311を介して動画記録手段320へ伝達される。

0067

動画記録手段320は311を介して伝達された処理済の各画像フレーム情報を、動画を記録するのに好適な媒体(例えば固定ディスク装置や磁気テープ、光学系ディスク等のメディア)を用いて記録する。あるいは、動画記録手段320は動画を伝送するのに好適な媒体(例えば放送波など)を介して、各画像フレーム情報を送出しても良い。

0068

次に、CCD200の最適角度算出および画像フレーム角度補正の流れについて説明する。なお以下で説明する内容は、2枚の入力画像フレームを用いることを想定したものである。

0069

前述の図3に示した様に、時間軸上のある時刻tにおいて、CCD200が動画記録対象である被写体に対して240の位置にあったとする。この時のCCD200上のCCDセンサ位置は241で示されており、レンズ群100に対してCCD200が水平・垂直方向に全く移動していない位置(正対位置)にあるとする。よって時刻tにおけるフレーム(i)での画像フレーム情報は、241でのCCDセンサ位置(正対位置)によって画素情報へサンプリングされ、対応する画像フレーム情報が201を介して動画位置補正手段300へ伝えられる。

0070

ここでのフレーム(i)に対する画像フレーム情報は、前述の通りCCD200が正対位置でサンプリングされたものであるため、動画位置補正手段300は201を介して伝えられた画像フレーム情報の位置を補正することなく、そのまま301を介して動画処理手段310へ伝える。310以降における処理については、前述の説明と同様である。

0071

次に時刻tからある時間だけ経過した時刻t+1において、動画記録装置10が水平方向(x方向)へ距離d/2だけ右に水平移動し、CCD200が動画記録対象である被写体に対して250の位置にあったとする。この時、動き検出手段400は動画記録装置10が水平方向(x方向)へ距離d/2だけ右に移動したことを検出するとともに、401を介してその動いた方向および移動量をCCD最適角度算出手段510へ伝える。

0072

CCD最適角度算出手段510は、動画記録装置10が水平方向(x方向)へ距離d/2だけ右へ移動したことを受け、フレーム(i)とフレーム(i+1)との間でのCCDセンサによるサンプリング位置に関して、水平方向(x方向)については高解像度化にとって好適であるが、垂直方向(y方向)については画素情報が変化しておらず高解像度化にとって不適であると判断する。

0073

そこでCCD最適角度算出手段510は、図11の294で示される水平方向および垂直方向双方にとって画素情報が増加する好適なCCD位置でフレーム(i+1)がサンプリングされる様に、図3の250で示されるCCD位置、すなわち正対位置から、θだけ反時計回りへCCD200を回転させる様に、CCD200の最適角度情報を角度伝達経路511を介してCCD位置回転手段520へ伝達する。同時にCCD最適角度算出手段510は、511を介して動画位置補正手段300に対して、フレーム(i+1)はθだけ反時計回りへCCDを回転させてサンプリングした画像フレーム情報であることを伝える。これは動画位置補正手段300にて画像フレーム情報の角度を補正するために用いられる。

0074

CCD位置回転手段520は511を介して送られた最適位置情報に従って、アクチュエータ521を用いてCCD200を指定される角度だけ回転する。CCD200はアクチュエータ521による回転が完了するとフレーム(i+1)における画像情報をサンプリングし、201を介して画像フレーム情報を動画位置補正手段300へ伝える。

0075

フレーム(i+1)に対する画像フレーム情報は、前述の通りCCD200が動画記録装置10に対してθだけ反時計回りへ回転した状態でサンプリングされたものであることが511を介して伝えられるため、動画位置補正手段300は201を介して伝えられた画像フレーム情報の角度を、θだけ時計回りに補正して、CCD200の回転した分を相殺した画像フレーム情報を生成し、301を介して動画処理手段310へ伝える。310以降における処理については、前述の説明と同様である。

0076

以上説明した様に本実施例によれば、フレーム(i)のCCDセンサ位置に対して、動画記録装置10が水平方向へ移動することによるフレーム(i+1)でのCCDセンサ位置が、高解像度化手法に対して好適では無い場合でも、その動きに応じて好適な画像フレームを記録可能となる角度へCCDを回転させて画像フレームをサンプリングし、動画を記録する際にCCDを回転させた分だけ画像フレーム角度を補正することで、2枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法において、より好適な入力画像フレームを与えることができ、効率の良い高解像度の出力画像フレームを得ることが可能となる。

0077

さらに、上述の実施例では動画記録装置10が水平・垂直方向へ移動する場合を想定しているが、動画記録装置10が全く動かない場合、つまりフレーム(i)に対してフレーム(i+1)でのCCDセンサ位置が全く変化しない場合でも、同様の処理にてフレーム(i+1)でのCCDセンサ位置を、高解像度化手法に対して好適な画像フレームを記録可能となる角度へ該CCDを回転させて画像フレームをサンプリングし、動画を記録する際にCCDを回転させた分だけ画像フレーム角度を補正することで、2枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法において、より好適な入力画像フレームを与えることができ、効率の良い高解像度の出力画像フレームを得ることが可能となる。

0078

また、2枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法において、本実施例を用いない場合には、従来の手法に対して特別な処理をすることなく、従来通りの解像度による出力画像フレームを得ることが可能である。

0079

なお本実施例では、2枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法に対する、好適な入力画像フレームを記録するための手法について説明しているが、それよりも多い枚数、例えば3枚の入力画像フレームを用いて出力画像フレームの画素数を増加することで高解像度化する手法に対応する場合には、図12に示す様にフレーム(i+1)、フレーム(i+2)に対するCCD200の位置として、例えば296,297で示される場所に来るように回転させることで、目的とする効果を得ることができる。

0080

さらにこれを4、5、・・・、n枚に拡張する方法についても、同様の考えで効果を得ることができる。

0081

ここまでの説明において動画記録手段320を有する画像記録装置前提にしてきたが、動画記録手段320を除去した単体カメラ装置にも適用できる。

0082

また、前記した実施例1と実施例2の二つを組合せることも考えられる。例えば撮像中に動画記録装置10が回転し、あるいは垂直・水平方向に移動しながら回転した場合に、その回転した方向と回転角度を検出して、撮像した画像上で回転を打消すよう実施例2で示したCCD位置回転手段520を用いて撮像素子を回転させ、さらに実施例1で示したようにCCD位置制御手段420を用いて、複数の画像フレームを用いて高解像度化をするに適した位置にCCD200を移動すると良い。

0083

いずれの場合も本発明の範疇にある。

図面の簡単な説明

0084

動画記録装置の一例を示すブロック図である。
CCDの構造の一例を示す図である。
動画記録装置が水平に移動した場合の、フレーム毎のCCDの位置関係の一例を示す図である。
本発明による動画記録装置の実施例を示すブロック図である。
動画記録装置が水平に移動した場合の、本発明における補正後のフレーム毎のCCDの位置関係の例を示す図である。
動画記録装置が水平に移動した場合の、フレーム毎のCCDの位置関係の例を示す図である。
動画記録装置が水平に移動した場合の、本発明における補正後のフレーム毎のCCD位置関係の例を示す図である。
本発明における補正後のフレーム毎のCCD位置関係の例を示す図である。
本発明による画像記録装置の別の実施例を示すブロック図である。
本発明による画像記録装置の別の実施例を示すブロック図である。
動画記録装置が水平に移動した場合の、フレーム毎のCCDの位置関係の例を示す図である。
本発明における補正後のフレーム毎のCCD位置関係の例を示す図である。

符号の説明

0085

10・・・・画像記録装置
100・・・レンズ群
200・・・CCD(撮像素子)
210・・・CCDセンサ
300・・・動画位置補正手段
310・・・動画処理手段
320・・・動画記録手段
400・・・動き検出手段
410・・・CCD最適位置算出手段
412・・・レンズ群最適位置算出手段
420・・・CCD位置制御手段
421,427,521・・・アクチュエータ
426・・・レンズ群位置制御手段
510・・・CCD最適角度算出手段
520・・・CCD位置回転手段。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ