図面 (/)

技術 バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置

出願人 エスゼットディージェイアイテクノロジーカンパニーリミテッド
発明者 カオ、ジシェンユ、リフゾン、ウェンフイワン、ミンギュ
出願日 2014年6月27日 (6年4ヶ月経過) 出願番号 2016-531711
公開日 2017年1月19日 (3年10ヶ月経過) 公開番号 2017-502557
状態 特許登録済
技術分野 画像処理 光信号から電気信号への変換 記録のためのテレビジョン信号処理 テレビジョン方式 カラーテレビジョン画像信号発生装置 カラーテレビジョンの色信号処理 スタジオ装置
主要キーワード 遷移エリア 分離部品 通常閾値 物理的ユニット カップリング素子 重みマップ イメージング位置 露出フレーム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題・解決手段

本発明は、奇数二列偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するステップと、イメージフレームを、アンダー露出二列及び欠失二列が順次間分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、それぞれRGBチャネルにおけるアンダー露出又はオーバー露出二列ピクセル画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、RGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、を含む、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を開示し、前記方法により、本発明は高速移動ブラーの問題を克服し、高速連続撮影フレームレートを低減させることができる。

概要

背景

デジタルカメラにおいて、光が強い環境で撮影するとき、通常のカメラダイナミックレンジの制限を受けるため、極端明るい又は暗い細部を記録することができないが、HDR動画録画はハイライト及びローライトエリアで共に正常撮影より更に良い明暗のステップが取得しやすい。実際シーンのダイナミックレンジは常に100dB以上であり、センサーデジタル映像機器イメージング核心器具である。従来のデジタルカメラが採用するセンサーの部品はCCD(Charge−coupled Device、電荷カップリング素子)又はCMOS(Complementary Metal Oxide Semiconductor、相補金属酸化物半導体)であり、通常は約60dBのダイナミックレンジのみあり、ダイナミックレンジが比較的狭いセンサーを用いてダイナミックレンジが比較的広いシーンを記録する場合、何度もイメージングする必要がある。100dBのシーンを例に挙げると、まずシャッタースピードを高め、1枚0〜60dBのアンダー露出写真を撮影し、再びシャッタースピードを下げ、1枚40〜100dBのオーバー露出写真を撮影し、最後に2枚の写真を1枚に合成させて且つ再びトーンマッピングの関係を算出する。

現在のメーカーはHDR動画を撮影するとき、ハイフレームレートセンサーを採用し、快速で連続して複数枚の異なる露出値の画像を撮影でき、HDR方法によって一枚の写真に合成する。但し移動中のオブジェクトを撮影するとき、写真にブラーが発生する可能性がある。マルチフレームイメージ収集した後、特殊なHDR算出方法を用いてマルチフレームのイメージを一個フレームに合成する必要がある。

現代CMOSセンサーは、通常カラーフィルタアレイの構造であり、バイヤーフィルタアレイで撮影するイメージの略称をバイヤーパターンという。各画素は10〜14ビットの単色情報を記録し、RGBの三原色情報は、この画素と周囲画素に対して補間の算出を行うことで取得する必要がある。

HDR動画の撮影方法は主に二個の核心技術点を含み、多露出フレームの収集及びHDRフレームの合成アルゴリズムがある。多露出フレームの収集は異なる露出値によって高速連続撮影をしてマルチフレームのイメージを取得する。二個の弱点が存する。一方では、シーンの中に高速移動物体が存する場合、二個のフレーム間は点と点の整合が取れず、合成後のイメージは移動ブラーが発生しやすい。その他、高速での連続撮影は極めて高いフレームレートを必要とし、動画を撮影するシャッターの下限を制限する。

既存のHDRのアルゴリズムはまず複数の露出フレームによってカメラの輝度応答関数予測し、その後トーンマッピング法で新しいーンマッピング表を算出し、最後に新しいHDRイメージを算出する。カメラの輝度応答関数が通常各トーンに対してパラメータの予測をする必要があるため、算出の複雑さは8ビットのイメージ(256個のトーン)の場合は受けられるが、バイヤーパターン(14ビット)に対して算出量が膨大すぎるため、直接HDR動画録画に応用できない。その他の常用されるフレームの合成方法として加重平均法がある。二フレームのイメージの合成を例に挙げると、合成画素値pnewは式(1)を用いて算出できる:
pnew=w1p1+(1−w1)p2 (1)
式中、p1、p2はそれぞれアンダー露出図及びオーバー露出図上にある指定位置の画素値であり、w1は0〜1の間の数字であり、画素1が合成画素の中で占める重みを表す。従来方法は重みを割り当てるとき通常考えられる要素は主に画素のオーバー露出及びアンダー露出であり、そして通常閾値を設定して露出の異常を検出する。オーバー露出又はアンダー露出の画素重みは正常画素値よりはるかに低い。8ビットのイメージを例に挙げると、式(2)を用いて重みを算出する:



式中、T1及びT2はそれぞれアンダー露出及びオーバー露出の閾値である。このようにオーバー露出及びアンダー露出を簡単に区別するとシーンに対しての適応性が悪く、アーティファクトが発生しやすく、更に画素を合成するとき遷移不自然情況が現れる。

概要

本発明は、奇数二列偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するステップと、イメージフレームを、アンダー露出二列及び欠失二列が順次間分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、それぞれRGBチャネルにおけるアンダー露出又はオーバー露出二列ピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、RGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、を含む、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を開示し、前記方法により、本発明は高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができる。

目的

本発明が解決する技術的問題は、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

バイヤーカラーフィルタアレイに基づくハイダイナミックレンジ動画録画方法であって、奇数二列偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を4で割って余りが0又は1の列であり、前記偶数二列は、前記イメージフレームの総列数を4で割って余りが2又は3の列であるステップと、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、前記アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセル画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、前記オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記RGBチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含むことを特徴とする方法。

請求項2

前記それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得するステップと、R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、前記R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差に対して、補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差の回復値を取得するステップと、R/Bチャネルにおける欠失ピクセルの差の回復値とGチャネルにおける前記画素回復値とを足しあわせ、R、Bチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値入れ替え、係るピクセルの画素値とするステップと、を含むことを特徴とする請求項1に記載の方法。

請求項3

前記それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得するステップと、R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、前記R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差に対して、補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差の回復値を取得するステップと、R/Bチャネルにおける欠失ピクセルの差の回復値とGチャネルにおける前記画素回復値とを足しあわせ、R、Bチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、を含むことを特徴とする請求項1に記載の方法。

請求項4

前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項2又は3に記載の方法。

請求項5

前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記RGBチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、前記RGBチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含むことを特徴とする請求項1に記載の方法。

請求項6

前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、所定のアンダー露出閾値T1及びオーバー露出閾値T2によって下記関係式ステップ(式中、P1、P2は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪(P1<T1)は、P1におけるT1より小さいすべてのアンダー露出画素集を表し、∪(P2>T2)は、P2におけるT2より大きいすべてのオーバー露出画素集を表す)を用いて自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newを算出するステップと、前記自動適応のアンダー露出閾値T1,new及び前記自動適応のオーバー露出閾値T2,newによって下記関係式ステップ(式中、ω1は、前記アンダー露出イメージフレームにおける輝度がP1であるピクセルの重みであり、ω2は、前記オーバー露出イメージフレームにおける輝度がP2であるピクセルの重みである)を用いて前記各ピクセルの重みを算出するステップと、を含むことを特徴とする請求項5に記載の方法。

請求項7

前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、二次元ガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、以下の関係式ステップ(式中、は、コントラストを強めることに用いられ、q1,i及びq2,iは、それぞれRGB図の三色チャネルである)を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、を含むことを特徴とする請求項6に記載の方法。

請求項8

バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を4で割って余りが0又は1の列であり、前記偶数二列は、前記イメージフレームの総列数を4で割って余りが2又は3の列であるセンサーモジュールと、前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれRGBチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記RGBチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、を含むことを特徴とする装置。

請求項9

前記アンダー露出画素回復モジュールは、隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得することと、R、Bチャネルにおけるピクセルの画素値及びGチャネルにおける前記画素回復値の差をそれぞれ算出することと、前記R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差に対して、補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差の回復値を取得することと、前記R/Bチャネルにおける欠失ピクセルの差の回復値とGチャネルにおける前記画素回復値とを足しあわせ、R、Bチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、を行うように構成されていることを特徴とする請求項8に記載の装置。

請求項10

前記オーバー露出画素回復モジュールは、隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得することと、R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差をそれぞれ算出することと、前記R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差に対して、補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差の回復値を取得することと、R/Bチャネルにおける欠失ピクセルの差の復値とGチャネルにおける前記画素回復値とを足しあわせ、R、Bチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、を行うように構成されていることを特徴とする請求項8に記載の装置。

請求項11

前記補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項9又は10に記載の装置。

請求項12

前記合成モジュールは、前記RGBチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、 前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得することと、を行うように構成されていることを特徴とする請求項8に記載の装置。

請求項13

前記合成モジュールは、所定のアンダー露出閾値T1及びオーバー露出閾値T2によって下記関係式(式中、P1、P2は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪(P1<T1)は、P1におけるT1より小さいすべてのアンダー露出画素集を表し、∪(P2>T2)は、P2におけるTより大きいすべてのオーバー露出画素集を表す)を用いて自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newを算出することと、前記自動適応のアンダー露出閾値T1,new及び前記自動適応のオーバー露出閾値T2,newによって下記関係式(式中、ω1は、前記アンダー露出イメージフレームにおける輝度がP1であるピクセルの重みであり、ω2は、オーバー露出イメージフレームにおける輝度がP2であるピクセルの重みである)を用いて各ピクセルの重みを算出することと、を行うように更に構成されていることを特徴とする請求項12に記載の装置。

請求項14

前記合成モジュールは、二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うことと、以下の関係式(式中、は、コントラストを強めることに用いられ、q1,i及びq2,iは、それぞれRGB図の三色チャネルとなる)を用いてフレームの合成算出を行い、コントラストを引き伸ばすことと、をさらに行うように構成されていることを特徴とする請求項13に記載の装置。

請求項15

バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を4で割って余りが0又は1の列であり、前記偶数二列は、前記イメージフレームの総列数を4で割って余りが2又は3の列であるステップと、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、前記アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、前記オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記RGBチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記RGBチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、前記RGBチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含むことを特徴とする方法。

請求項16

前記それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得するステップと、R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、前記R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差に対して、補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差の回復値を取得するステップと、R/Bチャネルにおける欠失ピクセルの差の回復値とGチャネルにおける前記画素回復値とを足しあわせ、R、Bチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、を含むことを特徴とする請求項15に記載の方法。

請求項17

前記それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得するステップと、R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、前記R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差に対して、補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差の回復値を取得するステップと、R/Bチャネルにおける欠失ピクセルの差の回復値とGチャネルにおける前記画素回復値とを足しあわせ、R、Bチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、を含むことを特徴とする請求項15に記載の方法。

請求項18

前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項16又は17に記載の方法。

請求項19

前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、所定のアンダー露出閾値T1及びオーバー露出閾値T2によって下記関係式ステップ(式中、P1、P2は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪(P1<T1)は、P1におけるT1より小さいすべてのアンダー露出画素集を表し、∪(P2>T2)は、P2におけるT2より大きいすべてのオーバー露出画素集を表す)を用いて自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newを算出するステップと、前記自動適応のアンダー露出閾値T1,new及び前記自動適応のオーバー露出閾値T2,newによって下記関係式ステップ(式中、ω1は、前記アンダー露出イメージフレームにおける輝度がP1であるピクセルの重みであり、ω2は、前記オーバー露出イメージフレームにおける輝度がP2であるピクセルの重みである)を用いて前記各ピクセルの重みを算出するステップと、を含むことを特徴とする請求項15に記載の方法。

請求項20

前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、以下の関係式ステップ(式中、は、コントラストを強めることに用いられ、q1,i及びq2,iは、それぞれRGB図の三色チャネルとなる)を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、を含むことを特徴とする請求項19に記載の方法。

技術分野

0001

本発明はハイダイナミックレンジ(high dynamic Range、以下略称HDRという)の動画録画の技術分野に関し、特にバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置に関する。

背景技術

0002

デジタルカメラにおいて、光が強い環境で撮影するとき、通常のカメラダイナミックレンジの制限を受けるため、極端明るい又は暗い細部を記録することができないが、HDR動画録画はハイライト及びローライトエリアで共に正常撮影より更に良い明暗のステップが取得しやすい。実際シーンのダイナミックレンジは常に100dB以上であり、センサーデジタル映像機器イメージング核心器具である。従来のデジタルカメラが採用するセンサーの部品はCCD(Charge−coupled Device、電荷カップリング素子)又はCMOS(Complementary Metal Oxide Semiconductor、相補金属酸化物半導体)であり、通常は約60dBのダイナミックレンジのみあり、ダイナミックレンジが比較的狭いセンサーを用いてダイナミックレンジが比較的広いシーンを記録する場合、何度もイメージングする必要がある。100dBのシーンを例に挙げると、まずシャッタースピードを高め、1枚0〜60dBのアンダー露出写真を撮影し、再びシャッタースピードを下げ、1枚40〜100dBのオーバー露出写真を撮影し、最後に2枚の写真を1枚に合成させて且つ再びトーンマッピングの関係を算出する。

0003

現在のメーカーはHDR動画を撮影するとき、ハイフレームレートセンサーを採用し、快速で連続して複数枚の異なる露出値の画像を撮影でき、HDR方法によって一枚の写真に合成する。但し移動中のオブジェクトを撮影するとき、写真にブラーが発生する可能性がある。マルチフレームイメージ収集した後、特殊なHDR算出方法を用いてマルチフレームのイメージを一個フレームに合成する必要がある。

0004

現代CMOSセンサーは、通常カラーフィルタアレイの構造であり、バイヤーフィルタアレイで撮影するイメージの略称をバイヤーパターンという。各画素は10〜14ビットの単色情報を記録し、RGBの三原色情報は、この画素と周囲画素に対して補間の算出を行うことで取得する必要がある。

0005

HDR動画の撮影方法は主に二個の核心技術点を含み、多露出フレームの収集及びHDRフレームの合成アルゴリズムがある。多露出フレームの収集は異なる露出値によって高速連続撮影をしてマルチフレームのイメージを取得する。二個の弱点が存する。一方では、シーンの中に高速移動物体が存する場合、二個のフレーム間は点と点の整合が取れず、合成後のイメージは移動ブラーが発生しやすい。その他、高速での連続撮影は極めて高いフレームレートを必要とし、動画を撮影するシャッターの下限を制限する。

0006

既存のHDRのアルゴリズムはまず複数の露出フレームによってカメラの輝度応答関数予測し、その後トーンマッピング法で新しいーンマッピング表を算出し、最後に新しいHDRイメージを算出する。カメラの輝度応答関数が通常各トーンに対してパラメータの予測をする必要があるため、算出の複雑さは8ビットのイメージ(256個のトーン)の場合は受けられるが、バイヤーパターン(14ビット)に対して算出量が膨大すぎるため、直接HDR動画録画に応用できない。その他の常用されるフレームの合成方法として加重平均法がある。二フレームのイメージの合成を例に挙げると、合成画素値pnewは式(1)を用いて算出できる:
pnew=w1p1+(1−w1)p2 (1)
式中、p1、p2はそれぞれアンダー露出図及びオーバー露出図上にある指定位置の画素値であり、w1は0〜1の間の数字であり、画素1が合成画素の中で占める重みを表す。従来方法は重みを割り当てるとき通常考えられる要素は主に画素のオーバー露出及びアンダー露出であり、そして通常閾値を設定して露出の異常を検出する。オーバー露出又はアンダー露出の画素重みは正常画素値よりはるかに低い。8ビットのイメージを例に挙げると、式(2)を用いて重みを算出する:



式中、T1及びT2はそれぞれアンダー露出及びオーバー露出の閾値である。このようにオーバー露出及びアンダー露出を簡単に区別するとシーンに対しての適応性が悪く、アーティファクトが発生しやすく、更に画素を合成するとき遷移不自然情況が現れる。

発明が解決しようとする課題

0007

本発明が解決する技術的問題は、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を提供することであり、本発明によれば高速移動ブラーの問題を克服し、高速で連続撮影のフレームレートを低減させることができる。

課題を解決するための手段

0008

上記の技術的問題を解決するため、本発明の実施例はバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法を提供し、この方法は、
奇数二列偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列は前記イメージフレームの総列数を4で割って余りが0又は1の列であり、偶数二列は前記イメージフレームの総列数を4で割って余りが2又は3の列であるステップと、
イメージフレームを、アンダー露出二列及び欠失二列が順次間分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。

0009

ここで、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出するステップと、
R、Bチャネルにおけるピクセルの画素値及びGチャネルにおける画素回復値の差に対して補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
R/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を足しあわせ、R、Bチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値入れ替え、係るピクセルの画素値とするステップと、
を含む。

0010

ここで、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出のイメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出するステップと、
R、Bチャネルにおけるピクセルの画素値及びGチャネルにおける画素回復値の差に対して補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
R/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を足しあわせ、R、Bチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。

0011

ここで、補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。

0012

ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
RGBチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。

0013

ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値T1及びオーバー露出閾値T2によって下記関係式



(式中、P1、P2はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪(P1<T1)はP1におけるT1より小さいアンダー露出画素集を表し、∪(P2>T2)はP2におけるT2より大きいオーバー露出画素集を表す)
を用いて自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newを算出するステップと、
自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newによって下記関係式



(式中、ω1はアンダー露出イメージフレームにおける輝度がP1ピクセルの重みであり、ω2はオーバー露出イメージフレームにおける輝度がP2ピクセルの重みである)
を用いて各ピクセルの重みを算出するステップと、
を含む。

0014

ここで、各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームステップを取得するステップは、
次元ガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うステップと、
以下の関係式



(式中、



は、コントラストを強めることに用い、q1,i及びq2,iはそれぞれRGB図の三色チャネルとなる)
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む。

0015

上記の技術的問題を解決するため、本発明の実施例は、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、奇数二列は前記イメージフレームの総列数を4で割って余りが0又は1の列であり、偶数二列は前記イメージフレームの総列数を4で割って余りが2又は3の列であるセンサーモジュールと、
センサーモジュールと接続され、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
分解モジュールと接続され、アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
分解モジュールと接続され、オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
アンダー露出画素回復モジュール及びオーバー露出画素回復モジュールと接続され、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレーム及びアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含むバイヤーカラーフィルタアレイのハイダイナミックレンジの動画録画装置を更に提供する。

0016

ここで、アンダー露出画素回復モジュールは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得することと、
R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出することと、
R、Bチャネルにおけるピクセルの画素値及びGチャネルにおける画素回復値の差に対して補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差である回復値を取得することと、
R、Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を用いて足しあわせ、R、Bチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている。

0017

ここで、オーバー露出画素回復モジュールは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得することと、
R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出することと、
R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差に対して補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差である回復値を取得することと、
R/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を足しあわせ、R、Bチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている。

0018

ここで、補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。

0019

ここで、合成モジュールは、
RGBチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得することと、
を行うように構成されている。

0020

ここで、合成モジュールは、
所定のアンダー露出閾値T1及びオーバー露出閾値T2によって下記関係式



(式中、P1、P2はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪(P1<T1)はP1におけるT1より小さいすべてのアンダー露出画素集を表し、∪(P2>T2)はP2におけるT2より大きいすべてのオーバー露出画素集を表す)
を用いて自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newを算出することと、
自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newによって下記関係式



(式中、ω1はアンダー露出イメージフレームにおいて輝度がP1であるピクセルの重みであり、ω2はオーバー露出イメージフレームにおける輝度がP2であるピクセルの重みである)
を用いて各ピクセルの重みを算出することと、
を行うように更に構成されている。

0021

ここで、合成モジュールは、
二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うことと、
以下の関係式



(式中、



は、コントラストを強めることに用い、q1,i及びq2,iはそれぞれRGB図の三色チャネルである)
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすことと、
を行うように更に構成されている。

0022

上記の技術的問題を解決するため、本発明の実施例はバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法を提供し、この方法は、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列はイメージフレームの総列数を4で割って余りが0又は1の列であり、偶数二列はイメージフレームの総列数を4で割って余りが2又は3の列であるステップと、
イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
RGBチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。

0023

ここで、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出するステップと、
R、Bチャネルにおけるピクセルの画素値及びGチャネルにおける画素回復値の差に対して補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
R/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を足しあわせ、R、Bチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。

0024

ここで、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出のイメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出するステップと、
R、Bチャネルにおけるピクセルの画素値及びGチャネルにおける画素回復値の差に対して補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
R/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を足しあわせ、R、Bチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。

0025

ここで、補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。

0026

ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値T1及びオーバー露出閾値T2によって下記関係式



(式中、P1、P2はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪(P1<T1)はP1におけるT1より小さいアンダー露出画素集を表し、∪(P2>T2)はP2におけるT2より大きいオーバー露出画素集を表す)
を用いて自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newを算出するステップと、
自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newによって下記関係式



(式中、ω1はアンダー露出イメージフレームにおける輝度がP1ピクセルの重みであり、ω2はオーバー露出イメージフレームにおける輝度がP2ピクセルの重みである)
を用いて各ピクセルの重みを算出するステップと、
を含む。

0027

ここで、各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うステップと、
以下の関係式



(式中、



は、コントラストを強めることに用い、q1,i及びq2,iはそれぞれRGB図の三色チャネルとなる)
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む。

0028

上記の解決手段により、従来技術と比較し、本発明の効果は以下のとおりである:奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができる。

図面の簡単な説明

0029

図1は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法のフローチャートである。
図2は本発明の第一実施例の露出のバイヤーパターンである。
図3は本発明の第一実施例のステップS12を実現する方法のフローチャートである。
図4は本発明の第一実施例のステップS12における欠失二列ピクセルの画素予測値を取得する方法の概要図である。
図5は本発明の第一実施例のステップS12におけるRチャネルにおけるピクセルの画素予測値を取得する方法の概要図である。
図6は本発明の第一実施例のステップS14の実現方法のフローチャートである。
図7は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法の結果概要図である。
図8は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置の構造概要図である。

実施例

0030

図1を参照して、図1は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法のフローチャートである。図1に示すように、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法は以下を含む:

0031

ステップS10:奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列は前記イメージフレームの総列数を4で割って余りが0又は1の列であり、偶数二列は前記イメージフレームの総列数を4で割って余りが2又は3の列である。

0032

本発明に用いられるバイヤーパターンにおいて、一つのカラーフィルタユニットは一つのR及びBユニットを含み、二個のGユニット、空間上に2×2配列で現れ、すなわち各カラーフィルタユニットは二行及び二列を占める。具体的に、列の符号をcと定義し、0≦c≦Cであり、ここでCはイメージフレームの総列数であり、Cは一般的に偶数であり、好ましくは、Cは4の倍数である。奇数二列を(c1、c2)と定義し、ここでc1は4で割り切れられ、c2は4で割って余りが0又は1、c2=c1+1となり、偶数二列を(c3、c4)と定義し、ここでc3は4で割って余りが2となり、c4は4で割って余りが3、c4=c3+1となる。このような配置は奇数二列及び偶数二列が共に完全に一組のバイヤーカラーアレイを含むことを保証できる。

0033

S10ステップにおいて、図2に示すように、二列をユニットとし、奇数二列及び偶数二列をそれぞれ露出する方法を用い、奇数二列についてアンダー露出を行い、偶数二列についてオーバー露出を行い、奇数二列と偶数二列との異なる露出値の一個のイメージフレームを得る。例えば、センサーは奇数二列と偶数二列とに異なる露出時間を割り当てることにより、二個の異なる露出値のイメージフレームを取得することにより、この時の各イメージフレームは、オリジナルフレームの半分程度の幅にすぎない。このように、従来方法によって60フレーム/秒のフレームレートを用いて撮影する動画であれば、本発明では30フレーム/秒のフレームレートだけを必要として同じ効果を達成できる。当然ながら、本発明のその他の実施例において、偶数二列についてアンダー露出を行い、奇数二列についてオーバー露出を行うこともできる。この単フレームマルチ露出の方法は、一列毎の露出が必ず一組の完全なカラーフィルタユニットを含むことを保証する。

0034

ステップS11:イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。

0035

ステップS11において、ステップS10で得たイメージフレームに対して分解を行い、アンダー露出イメージフレーム及びオーバー露出イメージフレームを得る。具体的に、オリジナルイメージフレームにおいて、アンダー露出の奇数二列は変えず、偶数二列を欠失列に変え、アンダー露出イメージフレームを得る。オリジナルイメージフレームにおいて、オーバー露出の偶数二列は変えず、奇数二列を欠失列に変え、オーバー露出イメージフレームを得る。そのため、アンダー露出イメージフレームにおけるアンダー露出二列及び欠失二列が順次間隔分布され、オーバー露出イメージフレームにおけるオーバー露出二列及び欠失二列が順次間隔分布される。

0036

ステップS12:アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。

0037

アンダー露出イメージフレームに対して、図3に示すように、アンダー露出イメージフレームにおけるRGB情報に対する回復は以下を含む:

0038

ステップS120:隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出する。

0039

アンダー露出イメージフレームにおいて、偶数二列を欠失列とし、ステップS120において、隣り合う奇数二列の補間を用いて偶数二列の欠失値を算出する。図4に示すように、例えば平均補間方式を採用し、すなわちR3=(R1+R5)/2、G4=(G2+G6)/2、G9=(G7+G11)/2、B10=(B8+B12)/2となる。

0040

ステップS121:補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得する。

0041

アンダー露出イメージフレームにおけるGチャネルの情報がR、Bチャネルより多いことを考慮して、まず補間の方法を用いてGチャネルの情報を回復する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してGチャネルの情報を回復できる。

0042

ステップS122:R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出する。

0043

アンダー露出イメージフレームにおけるR、Bチャネルの画素数が比較的少ないことを考慮して、直接R、Bチャネルの画素に対して回復を行わず、R、Bチャネルの既知画素とGチャネルとの差を対象とし、R、Bチャネルの画素を回復するように構成される。具体的に、図5に示すように、Rチャネルを例に挙げると、Rチャネルの既知画素とGチャネルとの差値がR1であり、R1=R−Gと記録し、ここでRはイメージング位置の赤色の画素値であり、Gは対応位置がGチャネルの画素回復値である。

0044

ステップS123:前記R、Bチャネルにおけるピクセルの画素値とGチャネルにおける前記画素回復値との差に対して補間の算出を行い、R/Bチャネルにおける欠失ピクセルの差である回復値を取得する。すなわち、Rチャネルの既知画素とGチャネルとの差値R1に対して補間を行い、これによってRチャネルにおける欠失ピクセルの差である回復値を得る。

0045

ステップS124:R/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける前記画素回復値を用いて足しあわせ、R、Bチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。

0046

Rチャネルにおける欠失ピクセルの差である回復値R1を得た後、赤画素の予測値Rは、Rチャネルにおける欠失ピクセルの差から得た回復値R1とGチャネルにおける画素回復値Gとの和、すなわちR=R1+Gとする。図5で記載の回復情報における右側一列が欠失列である。欠失列が左側にあるとき、類似している算出方法で欠失列の画素回復値を取得しやすい。この時の欠失列の画素回復値は、隣り合う奇数二列の補間によって算出して得た偶数二列を入れ替えて得た欠失値である。Bチャネルは図5に記載の同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にアンダー露出イメージフレームのRGB三チャネルにおける欠失列の画素回復値を取得しており、後続するフレームの合成処理に用いられる。

0047

また図1に示すように、ステップS13は下記のとおりである:オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。

0048

補間を用いてGチャネルにおける欠失ピクセルの画素回復値を取得する。それぞれR、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差を算出する。R、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差を補間として算出し、R/Bチャネルにおける欠失ピクセルの差である回復値を取得する。R/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を足し合わせ、R、Bチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。具体的に図5で記載のオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値の取得方法と同様であり、ここではその説明を省略する。最終的オーバー露出イメージフレームのRGB三チャネルにおける欠失列の画素回復値を得て、後続するフレームの合成処理に用いられる。

0049

ステップS14:アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。

0050

従来のHDR動画が採用するフレームの合成演算では、アーティファクト及び遷移が不自然な問題が発生しやすく、アーティファクトが発生する原因としては、フレームの合成時に、遷移エリアに輝度が反転する現象が存在し、従来方法では高輝度及び低輝度の閾値を選択するときにこの問題を回避できず、輝度が大いに変わるエリアでこの問題が現れる。遷移が不自然なのは孤立点孤立ブロックの情況を考慮していないためである。自然なシーンの光線は複雑であるため、オーバー露出とアンダー露出エリアが入り混じる状況が発生しやすく、簡単な合成は遷移が不自然となる問題を起こしやすい。図6に示すように、オーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、以下を含む。

0051

ステップS140:RGBチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得する。

0052

ステップS140において、輝度の取得は従来技術を用い、輝度を(R+G+B)/3とし、当然その他の方法を用いてRGBチャネルにおけるピクセルの画素値によって輝度を取得してもよい。

0053

ステップS141:アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得する。

0054

ステップS141において,所定のアンダー露出閾値T1及びオーバー露出閾値T2によって下記関係式



(式中、P1、P2はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪(P1<T1)は、P1のT1より小さいすべてのアンダー露出画素集を表し、∪(P2>T2)は、P2のT2より大きいすべてのオーバー露出画素集を表す)
を用いて自動適応のアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newを算出する。分かるように、T1,newは、P2の中のP1と対応するアンダー露出位置の画素値の上限を表し、T2,newは、P1の中のP2と対応するオーバー露出位置の画素値の下限を表す。

0055

その後、自動適応のアンダー露出閾値T1,new及び自動適応のアンダー露出閾値T2,newによって下記関係式



(式中、ω1はアンダー露出イメージフレームにおける輝度がP1であるピクセルの重みであり、ω2はオーバー露出イメージフレームにおける輝度がP2であるピクセルの重みである)
を用いて各ピクセルの重みを算出する。

0056

ステップS142:各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。

0057

オーバー露出及びアンダー露出エリアが入り混じって遷移が不自然な問題を回避するために、重みマップω1、ω2に対してガウスブラー化を行う。ステップS142において、まず二次元ガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行う。具体的に、窓の幅をHとし、分散をσとした二次元ガウスフィルタを用いて、ω1、ω2に対してコンボリュートする。Hはイメージフレームのサイズと関連し、通常σ=H/6を選択し、当然ながら、分散σも必要に応じてその他の値を選択することができる。

0058

その後、以下の関係式



(式中、



は、コントラストを強めることに用い、q1,i及びq2,iはそれぞれRGB図の三色チャネルとなる)
を用いてフレーム合成の算出を行い、そしてコントラストを引き伸ばす。

0059

従来方法と本発明の方法によって撮影する写真を比較すると、図7に示すように、左上の写真はアンダー露出の写真であり、右上の写真はオーバー露出の写真であり、左下は従来方法を応用して合成した写真であり、右下は本発明の方法を応用して得る写真である。分かるように、本発明の方法によって撮影する写真のコントラストは良好であり、アーティファクトが存在せず、遷移エリアが自然であり、従来の方法より優れる。

0060

本発明の実施例において、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを下げ、同時にアーティファクト及び遷移が不自然な問題を解決する。

0061

図8を参照して、図8は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置の構造概要図である。図8に示すように、バイヤーカラーフィルタアレイのハイダイナミックレンジの動画録画装置10は、センサーモジュール11、分解モジュール12、アンダー露出画素回復モジュール13、オーバー露出画素回復モジュール14及び合成モジュール15を含む。センサーモジュール11は奇数二列と偶数二列とによって異なる露出時間を割り当てて露出を行い、奇数二列と偶数二列とが異なる露出値のイメージフレームを取得する。分解モジュール12は、センサーモジュール11と接続され、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出画素回復モジュール13は、分解モジュール12と接続され、アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするように構成される。オーバー露出画素回復モジュール14は、分解モジュール12と接続され、オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするように構成される。合成モジュール15はアンダー露出画素回復モジュール13及びオーバー露出画素回復モジュール14と接続され、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するように構成される。

0062

本発明の実施例において、本発明において用いるバイヤーパターンにおいて、一個のカラーフィルタユニットは一個のRとBユニットを含み、二個のGユニット、空間上に2×2配列で現れ、すなわち各カラーフィルタユニットは二行及び二列を占める。センサーモジュール11は奇数二列及び偶数二列をそれぞれ露出する方法を用い、すなわち奇数二列についてアンダー露出を行い、偶数二列についてオーバー露出を行い、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを得る。この露出方法は一列毎の露出が必ず一組の完全なカラーフィルタユニットを含むことを保証する。分解モジュール12はイメージフレームに対して分解を行い、アンダー露出イメージフレーム及びオーバー露出イメージフレームを得る。具体的には、オリジナルイメージフレームにおいて、アンダー露出の奇数二列は変えず、偶数二列を欠失列に変え、アンダー露出イメージフレームを得る。オリジナルイメージフレームにおいて、オーバー露出の偶数二列は変えず、奇数二列を欠失列に変え、オーバー露出イメージフレームを得る。そのためアンダー露出イメージフレームにおけるアンダー露出二列及び欠失二列が順次間隔分布され、オーバー露出イメージフレームにおけるオーバー露出二列及び欠失二列が順次間隔分布される。

0063

具体的に、アンダー露出画素回復モジュール13は以下に用いられる:隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出する。例えば平均の補間方式を用いる。アンダー露出イメージフレームにおけるGチャネルの情報がR、Bチャネルより多いことを考慮し、まず補間の方法を用いてGチャネルにおける欠失ピクセルの画素回復値を取得する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してGチャネルの情報を回復してもよい。再びR、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出する。更にR、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差を補間として算出し、R/Bチャネルにおける欠失ピクセルの差である回復値を取得する。ここの補間の方法は、上記と同様であり、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。最後にR/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を足し合わせ、R、Bチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。Bチャネルは上記と同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にアンダー露出イメージフレームそれぞれのRGB三チャネルにおける欠失列の画素回復値を得て、後続するフレームの合成処理に用いられる。

0064

オーバー露出画素回復モジュール14は以下に用いられる:隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出する。例えば平均の補間方式を採用する。アンダー露出イメージフレームにおけるGチャネルの情報がR、Bチャネルより多いことを考慮し、まず補間を利用してGチャネルにおける欠失ピクセルの画素回復値を取得する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してGチャネルの情報を回復してもよい。再びR、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差をそれぞれ算出する。そしてR、Bチャネルにおけるピクセルの画素値とGチャネルにおける画素回復値との差を補間として算出し、R/Bチャネルにおける欠失ピクセルの差である回復値を取得する。ここの補間の方法は、上記と同様であり、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。最後にR/Bチャネルにおける欠失ピクセルの差である回復値とGチャネルにおける画素回復値を足し合わせ、R、Bチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。Bチャネルは上記と同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にオーバー露出イメージフレームのRGB三チャネルにおける欠失列の回復値を得て、後続するフレームの合成処理に用いられる。

0065

合成モジュール15は以下に用いられる:RGBチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得する。輝度の取得は従来技術を採用し、例えば輝度を(R+G+B)/3とし、当然ながら、その他のRGBチャネルにおけるピクセルの画素値によって輝度を取得する方法も採用できる。その後アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得する。具体的に、所定のアンダー露出閾値T1及びオーバー露出閾値T2によって下記関係式



(式中、P1、P2はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪(P1<T1)はP1におけるT1より小さいすべてのアンダー露出画素集を表し、∪(P2>T2)はP2におけるT2より大きいすべてのオーバー露出画素集を表す)
を用いて自動適応するアンダー露出閾値T1,new及び自動適応のオーバー露出閾値T2,newを算出する。分かるように、T1,newはP2の中のP1と対応するアンダー露出位置の画素値の上限を表し、T2,newはP1の中のP2と対応するオーバー露出位置の画素値の下限を表す。その後自動適応のアンダー露出閾値T1,new及び自動適応のアンダー露出閾値T2,newによって下記関係式



(式中、ω1はアンダー露出イメージフレームにおける輝度がP1であるピクセルの重みであり、ω2はオーバー露出イメージフレームにおける輝度がP2であるピクセルの重みである)
を用いて各ピクセルの重みを算出する。最後に各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。

0066

オーバー露出及びアンダー露出エリアが入り混じって遷移が不自然な問題を回避するために、重みマップω1、ω2に対してガウスブラー化を行う。二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリュートし、具体的に、窓の幅をHとし、分散をσとした二次元ガウスフィルタを用いて、ω1、ω2に対してコンボリュートする。Hはイメージフレームのサイズと関連し、通常σ=H/6を選択し、当然ながら、分散σも必要に応じてその他の値を選択することができる。その後以下の関係式



(式中、



は、コントラストを強めることに用い、q1,i及びq2,iはそれぞれRGB図の三色チャネルとなる)
を用いてフレーム合成の算出を行い、そしてコントラストを引き伸ばす。本発明の方法によって撮影する写真のコントラストは良好であり、アーティファクトが存在せず、遷移エリアが自然であり、従来の方法より優れる。

0067

要するに、本発明は奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれRGBチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれRGBチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのRGBチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができ、イメージフレームを合成するときの重みに対して更に処理を行うとアーティファクト及び遷移が不自然な問題も解決できる。

0068

本発明の提供する複数の実施例の中で、理解されるように、開示したシステム、装置及び方法は、その他の方法により実現できる。例えば、上記で説明する装置の実施例は概略的なものにすぎず、例えば、前記モジュール又はユニットの区別は、論理的な機能上の区別にすぎず、実際に実現するときに別の区別方法であってもよく、例えば複数のユニット又はモジュールは結合するか又は他のシステムに集積でき、又は複数の特徴は省略でき、又は実行しない。その他の点は、表示又は検討する相互間の結合又は直接な結合又は通信の接続は複数のインターフェイス、装置又はユニットにより間接的結合又は通信接続でき、電気的、機械的又はその他の形式でもよい。

0069

前記分離部品として説明されるユニットは物理的に分解しても又はしなくてもよく、ユニットが示す部品は物理的ユニットでも又はそうでなくてもよく、一個の場所に位置することができ、又は複数のネットワークユニット上にも分布できる。実際に必要に応じてここでの一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。

0070

また、本発明の各実施例における各機能ユニットを一個の処理ユニットに集積でき、各ユニットが単独で物理的に存在することも可能であり、二個又は二個以上のユニットが一個のユニットの中で集積できる。上記の集積されたユニットはハードウエアの形式の実現を採用して実現でき、又はソフトウェア機能ユニットの形式で実現できる。

0071

前記集積されたユニットをソフトウェア機能ユニットの形式で独立して製品販売又は使用する場合、1台のコンピュータ読取り可能な記憶媒体に保存できる。このような理解により、本発明の技術的解決手段は本質上又は従来技術に対して寄与する部分又はこの技術的解決手段の全部又は一部に対してソフトウェア製品の形式で体現でき、このコンピュータのソフトウェア製品は記憶媒体に保存され、コンピュータ機器パソコンサーバー、又はネット機器などが可能)又はプロセッサー(processor)に本発明の各実施例で記述する全部又は一部のステップを実行させるための複数の命令を含む。また前記記憶媒体は、USBメモリポータブルハードディスク読取り専用メモリ(ROM、Read−Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、フロッピー登録商標ディスク又は光ディスクなど各種プログラムコードを記憶できる媒体を含む。

0072

以上の記述は本発明の実施例にすぎず、そのため本発明の特許の範囲を限定するものではなく、本発明の明細書及び添付図の内容で作成する等価構造又は等価流れの変換、又は直接的又は間接的にその他の関連する技術分野に応用するものであれば、いずれも同じ理由で本発明の特許の保護範囲内に含まれる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ