図面 (/)

技術 画像処理装置及び画像処理方法並びにデジタルカメラ

出願人 パナソニックIPマネジメント株式会社
発明者 秦野敏信
出願日 2012年5月28日 (8年5ヶ月経過) 出願番号 2013-519370
公開日 2015年2月23日 (5年8ヶ月経過) 公開番号 WO2012-169140
状態 特許登録済
技術分野 画像処理 カラーテレビジョン画像信号発生装置
主要キーワード 多面構成 信号センサー センサー読み出し 抽出結果情報 再配列処理 メモリーバッファ 縮小リサイズ ライン輝度
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年2月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題・解決手段

画像処理装置において、単板カラー撮像素子から得られた原画像から、表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部102と、この縮小された画像に基づいて、表示モニターの色画素配列に対応できる1種類以上の色配列画像を生成する色再配列表示データ生成処理部103とを有して、原画像の色情報で構成される1種類以上の表示用縮小画像を生成する。従って、撮像素子から出力される大サイズ原画像から表示用小サイズ画像生成処理して表示する際に、最小のフレーム遅延高速に表示できる。

概要

背景

近年、大判サイズ撮像素子を搭載した一眼デジタルカメラにおいて、光学ビューファインダー可動ミラーとを搭載しないミラーレス一眼デジタルカメラが注目を浴びている。ミラーレスな一眼デジタルカメラの特徴は、撮影被写体液晶モニターで確認しながら構図決めを実施して、静止画撮影動画撮影ができることであり、普及型のデジタルカメラや携帯カメラにおいても標準的な撮影方法となっている。

前述のように一般的なデジタルカメラは、専用の液晶モニターを搭載しており、撮影被写体を液晶モニターで確認しながら構図決めを実施し、同時に顔認識動き認識などを実施して特定エリア露出フォーカスを自動で調整して、静止画撮影や動画撮影を行う。

このようなデジタルカメラに代表される撮像装置では、カラー画像撮像するために、撮像素子上に色分解フィルタが設けられている。例えば、ベイヤー方式の色分解フィルタでは、撮像素子の画素に対応して、R(赤)、G(緑)、B(青)の原色フィルタ市松模様に配置されている。つまり、ベイヤー配列では、画素並びにおけるセンサー読み出し方向及び垂直方向の両方向に、同じ色成分のフィルタが1画素おきに並ぶ。このような色分解フィルタを通して撮像された撮像素子出力となる画像データは、画像処理により被写体の色を再現するため、入力前段処理においては、ベイヤー配列が保持されるように扱う必要がある。

撮像素子から出力される大サイズ原画像から表示用小サイズ画像生成処理して表示する際は、原画像を基にダイナミックレンジ調整ホワイトバランスをとりながら、各画素についてR/G/Bの情報を得るような同時化処理を行った後、一般的に扱われるY/Cr/Cbデータ型に変換するカラー画像処理を経て、液晶モニターの表示サイズに合うように縮小リサイズ処理を実施し、モニター特性に合うような表示処理を実施して、専用モニターに表示する。

図10は、一般的なデジタルカメラの内部信号処理ブロック概念図を示す。

同図において、光学レンズ11を通過した被写体の光学像は、撮像素子面結像し、撮像素子から出力される。単板式撮像素子の原画像(1面)であるベイヤー配列のRAW画像データ101は、DCレベル調整、ゲイン調整などを前処理部105で実施し、メモリー制御部107を介してメモリー部108に一旦書き込まれた後、次の処理にてメモリー制御部107を介してメモリー部108から読み出され、画像信号処理部109に入力される。画像信号処理部109では、ベイヤー配列のRAW画像からY/Cr/Cbのデータ型に変換する画像信号処理が行われる。

画像信号処理部109では、Y/Cr/Cbのデータ型の画像に変換すると共に、表示用画像サイズに縮小するために、縮小リサイズ処理を実施して、所望の表示サイズ画像を生成する。生成された表示サイズのY/Cr/Cbのデータ型画像は、メモリー制御部107を介して再度メモリー部108に書き込まれる。

また同時に、画像信号処理部109では、Y/Cr/Cbのデータ型の画像に変換した後、顔検出用画像サイズに縮小するために、輝度信号Yに対して縮小リサイズ処理を実施して、所望の顔検出用輝度画像データを生成する。メモリー制御部107を介してメモリー部108に書き込まれた顔検出用サイズの輝度信号Yのデータ型画像は、顔検出処理部106から再度メモリー制御部107を介してメモリー部108から適宜読み出され、画像内の顔の位置、大きさなどの顔情報を抽出し、その抽出結果情報はメモリー制御部107を介してメモリー部108に書き込まれる。CPU114は、メモリー制御部107を介してメモリー部108に書き込まれた顔検出情報読み出し、顔検出情報より顔位置を示す表示情報に変換し、表示データを生成して、メモリー部108に書き込む。同時に、CPU114は、顔認識情報を基に特定エリアの露出やフォーカスを自動で調整する。

前記メモリー部108に書き込まれた表示サイズのY/Cr/Cbのデータ型画像は、再度メモリー制御部107を介してメモリー部108から読み出されて、表示処理部117に入力される。このとき、前記の顔位置を示す表示情報も同時にメモリー部108から読み出され表示処理部117に入力される。

表示処理部117に入力されたY/Cr/Cbのデータ型画像と顔位置を示す表示情報とは、表示処理部117でモニター118のモニターの特性に合わせたデータ仕様に変換されて、モニター118に出力され、表示される。

また、規格化されたサイズでの動画記録を行う場合は、前記と同様に、原画像101を画像信号処理部109でY/Cr/Cbのデータ型の画像に変換した後、画像信号処理&縮小リサイズ処理部109で縮小リサイズ処理を実施して、所望の動画記録サイズ画像を生成する。

生成された動画記録サイズのY/Cr/Cbのデータ型画像は、メモリー制御部107を介して再度メモリー部108に書き込まれる。メモリー部108に書き込まれた動画記録サイズのY/Cr/Cbのデータ型画像は、再度メモリー制御部107を介してメモリー部108から読み出されて、圧縮伸張部110に入力される。圧縮伸張部110に入力されたY/Cr/Cbのデータ型画像は、MJPEGやMPEG、H264などの動画像コーデック方式を用いてデータ圧縮され、再度メモリー制御部107を介してメモリー部108に書き込まれる。圧縮された動画データは、再度メモリー制御部107を介してメモリー部108から読み出され、記録メディアインターフェース111を介して記録メディア112に書き込まれる。

図11は、記述した一般的なデジタルカメラの内部信号処理の流れを示す詳細図を示す。

同図では、任意の2次元サイズのベイヤー配列のRAW画像データ101が入力される期間を第1フレーム期間として、入力されたRAW画像データ101はこの第1フレーム期間に前処理部105での処理が実施される。次の第2フレーム期間では、画像信号処理部109の処理が実施され、第3フレーム期間では、表示処理部117での処理が実施されて、モニター118に表示される。そして、この第3フレーム期間以降では、顔検出部106での検出処理が実施されると共に、圧縮伸張部110での処理が実施されて、記録メディアインターフェース111を介して記録メディア112に圧縮データが記録される。

ここで、前記第1〜第3フレーム期間での処理手続き順番に着目した場合、入力されたRAW画像101は相対的に最短2フレーム期間遅れてモニター118に表示される。

また、従来、例えば特許文献1〜3には、RGBデータからなるRAW画像を前処理で縮小リサイズする技術として、原画像としてのRGBのRAWデータをリサイズするに際し、最初の処理において独立のR、G、Bデータに色分離し、又は、同色画素の混合により間引きする方法が開示されている。そして、これ等特許文献1〜3では、デジタルカメラの撮影時に、撮影被写体を液晶モニターで確認しながら構図決めを実施する際には、前記の方法で縮小した1種類のRGBベイヤー配列のRAWデータを一旦メモリ部に取り込み、その後、Y/Cr/Cbのデータ型に変換するカラー現像画像処理を実施し、液晶モニターの仕様と特性に合うような表示処理を実施して、専用モニターに表示しながら、同時にY/Cr/Cbのデータを圧縮して記録するという信号処理を行っている。

概要

画像処理装置において、単板カラー撮像素子から得られた原画像から、表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部102と、この縮小された画像に基づいて、表示モニターの色画素配列に対応できる1種類以上の色配列画像を生成する色再配列表示データ生成処理部103とを有して、原画像の色情報で構成される1種類以上の表示用縮小画像を生成する。従って、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を生成処理して表示する際に、最小のフレーム遅延高速に表示できる。

目的

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像処理装置において、原画像が入力されるフレーム時間内で、撮像素子から出力される大サイズRAW原画像から表示用の小サイズのRAW画像を生成処理して、モニターに表示することを可能にすることにある

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

色配列周期性を有する複数色の画素からなる原画像デジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される1種類以上の表示用縮小画像を生成する色再配列データ生成処理部とを有することを特徴とする画像処理装置。

請求項2

色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される1種類以上の表示用縮小画像を生成する色再配列データ生成処理部と、前記色再配列データ生成処理部により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる1種類以上の色配列表示データを生成する色再配列表示データ生成処理部とを有することを特徴とする画像処理装置。

請求項3

前記請求項1又は2記載の画像処理装置において、前記色再配列表示データ生成処理部から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するデータパスと、前記色再配列表示データ生成処理部から前記表示用縮小画像を、メモリー部を介して前記表示処理部に入力するデータパスとを更に有し、撮影時の動作モードに応じて、前記メモリー部を制御するメモリー制御部が、前記表示用縮小画像を、前記色再配列データ生成処理部から前記表示処理部に直接入力するか、前記メモリー部を介して前記表示処理部に入力するかの画像入力データパス制御を選択的に行うことを特徴とする画像処理装置。

請求項4

前記請求項1〜3の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部の縮小リサイズ処理と、前記色再配列データ生成処理部の色再配列データ生成処理とは、原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能であることを特徴とする画像処理装置。

請求項5

前記請求項1〜4の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位の第1の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、この片方向のみ縮小リサイズ処理された1つの複数色配列データに基づいて、前記第1の縮小リサイズ処理と直交する垂直方向の第2の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された2種類の複数色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする画像処理装置。

請求項6

前記請求項5の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第1の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された1種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記1種類の複数色配列RAWデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された2種類の色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする画像処理装置。

請求項7

前記請求項6記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第1の縮小リサイズ処理により片方向のみ縮小リサイズ処理された1種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、2次元的に縮小リサイズ処理された2種類の複数色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成することを特徴とする画像処理装置。

請求項8

前記請求項1〜4の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、前記片方向のみ縮小リサイズ処理された2種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする画像処理装置。

請求項9

前記請求項8記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた2種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記2種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする画像処理装置。

請求項10

前記請求項9記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた2種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする画像処理装置。

請求項11

前記請求項5〜10の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、水平方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理部と、前記色キャリアデータを色差分データに変換する色キャリア反転復調処理部と、前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理部と、前記縮小リサイズ処理部による縮小リサイズ後の色差分データを1画素毎に、符号の異なる第1の色キャリアデータと、この第1の色キャリアデータとは符号が異なる第2の色キャリアデータとを生成する色キャリア変調処理部と、前記縮小リサイズ後の輝度データと前記第1の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第2の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする画像処理装置。

請求項12

前記請求項5〜10の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、垂直方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理部と、前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理部と、前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理部と、前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから1ライン毎に、符号の異なる第1の色キャリアデータと、この第1の色キャリアデータとは符号が異なる第2の色キャリアデータとを生成する垂直方向色差分データ反転変調処理部と、前記縮小リサイズ後の輝度データと前記第1の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第2の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする画像処理装置。

請求項13

前記請求項1〜12の何れか1項に記載の画像処理装置において、前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする画像処理装置。

請求項14

色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理方法であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理工程と、前記縮小リサイズ処理工程により縮小された縮小画像に基づいて、前記原画像の色情報で構成される1種類以上の表示用縮小画像を生成する色再配列データ生成処理工程とを有することを特徴とする画像処理方法。

請求項15

色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理方法であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理工程と、前記縮小リサイズ処理工程により縮小された縮小画像に基づいて、前記原画像の色情報で構成される1種類以上の表示用縮小画像を生成する色再配列データ生成処理工程と、前記色再配列データ生成処理工程により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる1種類以上の色配列表示データを生成する色再配列表示データ生成処理工程とを有することを特徴とする画像処理方法。

請求項16

前記請求項14又は15記載の画像処理方法において、前記色再配列表示データ生成処理工程から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するか、前記色再配列表示データ生成処理工程から前記表示用縮小画像をメモリー部を介して前記表示処理部に入力するかを、撮影時の動作モードに応じて選択的に切り換えることを特徴とする画像処理方法。

請求項17

前記請求項14〜16の何れか1項に記載の画像処理方法において、前記縮小リサイズ処理工程の縮小リサイズ処理と、前記色再配列データ生成処理工程の色再配列データ生成処理とは、原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能であることを特徴とする画像処理方法。

請求項18

前記請求項14〜17の何れか1項に記載の画像処理方法において、前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、前記原画像に対してセンサー読み出し方向のライン単位の第1の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、この片方向のみ縮小リサイズ処理された1つの複数色配列データに基づいて、前記第1の縮小リサイズ処理と直交する垂直方向の第2の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された2種類の複数色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする画像処理方法。

請求項19

前記請求項18の画像処理方法において、前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、前記原画像に対して前記第1の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された1種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記1種類の複数色配列RAWデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された2種類の色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする画像処理方法。

請求項20

前記請求項19記載の画像処理方法において、前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、前記原画像に対して前記第1の縮小リサイズ処理により片方向のみ縮小リサイズ処理された1種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、2次元的に縮小リサイズ処理された2種類の複数色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成することを特徴とする画像処理方法。

請求項21

前記請求項14〜17の何れか1項に記載の画像処理方法において、前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、前記片方向のみ縮小リサイズ処理された2種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする画像処理方法。

請求項22

前記請求項21記載の画像処理方法において、前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた2種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記2種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする画像処理方法。

請求項23

前記請求項22記載の画像処理方法において、前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた2種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする画像処理方法。

請求項24

前記請求項18〜23の何れか1項に記載の画像処理方法において、前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、水平方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理工程と、前記色キャリアデータを色差分データに変換する色キャリア反転復調処理工程と、前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理工程と、前記縮小リサイズ処理工程による縮小リサイズ後の色差分データを1画素毎に、符号の異なる第1の色キャリアデータと、この第1の色キャリアデータとは符号が異なる第2の色キャリアデータとを生成する色キャリア変調処理工程と、前記縮小リサイズ後の輝度データと前記第1の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第2の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理工程とを含むことを特徴とする画像処理方法。

請求項25

前記請求項18〜23の何れか1項に記載の画像処理方法において、前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、垂直方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理工程と、前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理工程と、前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理工程と、前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから1ライン毎に、符号の異なる第1の色キャリアデータと、この第1の色キャリアデータとは符号が異なる第2の色キャリアデータとを生成する垂直方向色差分データ反転変調処理工程と、前記縮小リサイズ後の輝度データと前記第1の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第2の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理工程とを含むことを特徴とする画像処理方法。

請求項26

前記請求項14〜25の何れか1項に記載の画像処理方法において、前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする画像処理方法。

請求項27

前記請求項1〜13の何れか1項にの画像処理装置を搭載したことを特徴とするデジタルカメラ

技術分野

0001

本発明は、単板カラー撮像素子から得られる原画像縮小した画像を表示する際に、高速省電力な動作を実現するのに好適な、画像処理装置及び画像処理方法並びにデジタルカメラに関する。

背景技術

0002

近年、大判サイズ撮像素子を搭載した一眼デジタルカメラにおいて、光学ビューファインダー可動ミラーとを搭載しないミラーレス一眼デジタルカメラが注目を浴びている。ミラーレスな一眼デジタルカメラの特徴は、撮影被写体液晶モニターで確認しながら構図決めを実施して、静止画撮影動画撮影ができることであり、普及型のデジタルカメラや携帯カメラにおいても標準的な撮影方法となっている。

0003

前述のように一般的なデジタルカメラは、専用の液晶モニターを搭載しており、撮影被写体を液晶モニターで確認しながら構図決めを実施し、同時に顔認識動き認識などを実施して特定エリア露出フォーカスを自動で調整して、静止画撮影や動画撮影を行う。

0004

このようなデジタルカメラに代表される撮像装置では、カラー画像撮像するために、撮像素子上に色分解フィルタが設けられている。例えば、ベイヤー方式の色分解フィルタでは、撮像素子の画素に対応して、R(赤)、G(緑)、B(青)の原色フィルタ市松模様に配置されている。つまり、ベイヤー配列では、画素並びにおけるセンサー読み出し方向及び垂直方向の両方向に、同じ色成分のフィルタが1画素おきに並ぶ。このような色分解フィルタを通して撮像された撮像素子出力となる画像データは、画像処理により被写体の色を再現するため、入力前段処理においては、ベイヤー配列が保持されるように扱う必要がある。

0005

撮像素子から出力される大サイズ原画像から表示用小サイズ画像生成処理して表示する際は、原画像を基にダイナミックレンジ調整ホワイトバランスをとりながら、各画素についてR/G/Bの情報を得るような同時化処理を行った後、一般的に扱われるY/Cr/Cbデータ型に変換するカラー画像処理を経て、液晶モニターの表示サイズに合うように縮小リサイズ処理を実施し、モニター特性に合うような表示処理を実施して、専用モニターに表示する。

0006

図10は、一般的なデジタルカメラの内部信号処理ブロック概念図を示す。

0007

同図において、光学レンズ11を通過した被写体の光学像は、撮像素子面結像し、撮像素子から出力される。単板式撮像素子の原画像(1面)であるベイヤー配列のRAW画像データ101は、DCレベル調整、ゲイン調整などを前処理部105で実施し、メモリー制御部107を介してメモリー部108に一旦書き込まれた後、次の処理にてメモリー制御部107を介してメモリー部108から読み出され、画像信号処理部109に入力される。画像信号処理部109では、ベイヤー配列のRAW画像からY/Cr/Cbのデータ型に変換する画像信号処理が行われる。

0008

画像信号処理部109では、Y/Cr/Cbのデータ型の画像に変換すると共に、表示用画像サイズに縮小するために、縮小リサイズ処理を実施して、所望の表示サイズ画像を生成する。生成された表示サイズのY/Cr/Cbのデータ型画像は、メモリー制御部107を介して再度メモリー部108に書き込まれる。

0009

また同時に、画像信号処理部109では、Y/Cr/Cbのデータ型の画像に変換した後、顔検出用画像サイズに縮小するために、輝度信号Yに対して縮小リサイズ処理を実施して、所望の顔検出用輝度画像データを生成する。メモリー制御部107を介してメモリー部108に書き込まれた顔検出用サイズの輝度信号Yのデータ型画像は、顔検出処理部106から再度メモリー制御部107を介してメモリー部108から適宜読み出され、画像内の顔の位置、大きさなどの顔情報を抽出し、その抽出結果情報はメモリー制御部107を介してメモリー部108に書き込まれる。CPU114は、メモリー制御部107を介してメモリー部108に書き込まれた顔検出情報読み出し、顔検出情報より顔位置を示す表示情報に変換し、表示データを生成して、メモリー部108に書き込む。同時に、CPU114は、顔認識情報を基に特定エリアの露出やフォーカスを自動で調整する。

0010

前記メモリー部108に書き込まれた表示サイズのY/Cr/Cbのデータ型画像は、再度メモリー制御部107を介してメモリー部108から読み出されて、表示処理部117に入力される。このとき、前記の顔位置を示す表示情報も同時にメモリー部108から読み出され表示処理部117に入力される。

0011

表示処理部117に入力されたY/Cr/Cbのデータ型画像と顔位置を示す表示情報とは、表示処理部117でモニター118のモニターの特性に合わせたデータ仕様に変換されて、モニター118に出力され、表示される。

0012

また、規格化されたサイズでの動画記録を行う場合は、前記と同様に、原画像101を画像信号処理部109でY/Cr/Cbのデータ型の画像に変換した後、画像信号処理&縮小リサイズ処理部109で縮小リサイズ処理を実施して、所望の動画記録サイズ画像を生成する。

0013

生成された動画記録サイズのY/Cr/Cbのデータ型画像は、メモリー制御部107を介して再度メモリー部108に書き込まれる。メモリー部108に書き込まれた動画記録サイズのY/Cr/Cbのデータ型画像は、再度メモリー制御部107を介してメモリー部108から読み出されて、圧縮伸張部110に入力される。圧縮伸張部110に入力されたY/Cr/Cbのデータ型画像は、MJPEGやMPEG、H264などの動画像コーデック方式を用いてデータ圧縮され、再度メモリー制御部107を介してメモリー部108に書き込まれる。圧縮された動画データは、再度メモリー制御部107を介してメモリー部108から読み出され、記録メディアインターフェース111を介して記録メディア112に書き込まれる。

0014

図11は、記述した一般的なデジタルカメラの内部信号処理の流れを示す詳細図を示す。

0015

同図では、任意の2次元サイズのベイヤー配列のRAW画像データ101が入力される期間を第1フレーム期間として、入力されたRAW画像データ101はこの第1フレーム期間に前処理部105での処理が実施される。次の第2フレーム期間では、画像信号処理部109の処理が実施され、第3フレーム期間では、表示処理部117での処理が実施されて、モニター118に表示される。そして、この第3フレーム期間以降では、顔検出部106での検出処理が実施されると共に、圧縮伸張部110での処理が実施されて、記録メディアインターフェース111を介して記録メディア112に圧縮データが記録される。

0016

ここで、前記第1〜第3フレーム期間での処理手続き順番に着目した場合、入力されたRAW画像101は相対的に最短2フレーム期間遅れてモニター118に表示される。

0017

また、従来、例えば特許文献1〜3には、RGBデータからなるRAW画像を前処理で縮小リサイズする技術として、原画像としてのRGBのRAWデータをリサイズするに際し、最初の処理において独立のR、G、Bデータに色分離し、又は、同色画素の混合により間引きする方法が開示されている。そして、これ等特許文献1〜3では、デジタルカメラの撮影時に、撮影被写体を液晶モニターで確認しながら構図決めを実施する際には、前記の方法で縮小した1種類のRGBベイヤー配列のRAWデータを一旦メモリ部に取り込み、その後、Y/Cr/Cbのデータ型に変換するカラー現像画像処理を実施し、液晶モニターの仕様と特性に合うような表示処理を実施して、専用モニターに表示しながら、同時にY/Cr/Cbのデータを圧縮して記録するという信号処理を行っている。

先行技術

0018

特開2003−346143号公報
特開2001−245141号公報
特開2002−84547号公報

発明が解決しようとする課題

0019

しかしながら、前記図9及び図10に示した従来の信号処理では課題がある。即ち、任意の1種類のRAW画像をY/Cr/Cbのデータ型に変換する信号処理を行った後、複数サイズ縮小画像処理を行っている点に起因して、次の2つの課題がある。

0020

(1)撮影被写体を確認しながら構図決めを実施するモニターモード及び動画記録モードでは、大サイズのRAW画像データをその大サイズのまま画像信号処理してY/Cr/Cbデータ変換し、その後に縮小画像処理を実施するため、そのY/Cr/Cbデータ型変換に伴う冗長処理に起因して、モニターモード表示にフレーム遅延が発生し、被写体の動きに対してリアルタイムな表示ができなくなり、静止画撮影時のシャッターチャンスを逃す場合が生じる。

0021

(2)縮小リサイズ処理は記録画像数を減らす処理であり、極力画像処理の前段で実施すれば、後段処理でのメモリーアクセス量を減らすことが可能であるが、従来のようにY/Cr/Cbのデータ型に変換した後に縮小リサイズを実施する場合には、この際に間引かれて捨てられるデータはY/Cr/Cbのデータ型への変換処理が冗長処理となる。また、このY/Cr/Cbのデータ型への変換処理は、メモリーバッファを経由して処理されるため、画像サイズに対する処理量に比例してI/Oバッファ電力消費も伴い、省電力観点でも効率が悪い。

0022

同様に、特許文献1〜3の開示技術では、撮像素子の高画素化と動画記録対応の高速読み出し処理技術が進む中、処理の前段階にてRAW画像を縮小しているが、デジタルカメラの撮影において、液晶モニター上で撮影被写体を確認しながら構図決めを実施しつつ、顔認識などの各種認識動作を同時に行いながら、リアルタイムのオートフォーカスAF)やオートエクスポージャーAE)等を実施するモニターモードの状態では、メモリーバッファを経由するY/Cr/Cbのデータ型への変換処理を行っており、この変換処理がモニター表示及び画像認識などのフレーム遅延の主要因となる。

0023

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像処理装置において、原画像が入力されるフレーム時間内で、撮像素子から出力される大サイズRAW原画像から表示用の小サイズのRAW画像を生成処理して、モニターに表示することを可能にすることにある。

課題を解決するための手段

0024

前記目的を達成するため、本発明では、原画像からY/Cr/Cbのデータ型に変換するカラー現像画像処理を実施せず、RAW原画像からモニター表示画像用の小サイズRAW画像を生成処理することとし、これにより、表示モニターへのフレーム遅延の発生しない表示動作を、高速で実現する画像処理装置及び画像処理方法を提供する。

0025

具体的に、請求項1記載の発明の画像処理装置は、色配列周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される1種類以上の表示用縮小画像を生成する色再配列データ生成処理部とを有することを特徴とする。

0026

請求項2記載の発明の画像処理装置は、色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される1種類以上の表示用縮小画像を生成する色再配列データ生成処理部と、前記色再配列データ生成処理部により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる1種類以上の色配列表示データを生成する色再配列表示データ生成処理部とを有することを特徴とする。

0027

請求項3記載の発明は、前記請求項1又は2記載の画像処理装置において、前記色再配列表示データ生成処理部から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するデータパスと、前記色再配列表示データ生成処理部から前記表示用縮小画像を、メモリー部を介して前記表示処理部に入力するデータパスとを更に有し、撮影時の動作モードに応じて、前記メモリー部を制御するメモリー制御部が、前記表示用縮小画像を、前記色再配列データ生成処理部から前記表示処理部に直接入力するか、前記メモリー部を介して前記表示処理部に入力するかの画像入力データパス制御を選択的に行うことを特徴とする。

0028

請求項4記載の発明は、前記請求項1〜3の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部の縮小リサイズ処理と、前記色再配列データ生成処理部の色再配列データ生成処理とは、原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能であることを特徴とする。

0029

請求項5記載の発明は、前記請求項1〜4の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位の第1の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、この片方向のみ縮小リサイズ処理された1つの複数色配列データに基づいて、前記第1の縮小リサイズ処理と直交する垂直方向の第2の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された2種類の複数色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする。

0030

請求項6記載の発明は、前記請求項5の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第1の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された1種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記1種類の複数色配列RAWデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された2種類の色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする。

0031

請求項7記載の発明は、前記請求項6記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第1の縮小リサイズ処理により片方向のみ縮小リサイズ処理された1種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、2次元的に縮小リサイズ処理された2種類の複数色配列データを生成し、前記2種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成することを特徴とする。

0032

請求項8記載の発明は、前記請求項1〜4の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、前記片方向のみ縮小リサイズ処理された2種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

0033

請求項9記載の発明は、前記請求項8記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた2種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記2種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

0034

請求項10記載の発明は、前記請求項9記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた2種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、2次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

0035

請求項11記載の発明は、前記請求項5〜10の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、水平方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理部と、前記色キャリアデータを色差分データに変換する色キャリア反転復調処理部と、前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理部と、前記縮小リサイズ処理部による縮小リサイズ後の色差分データを1画素毎に、符号の異なる第1の色キャリアデータと、この第1の色キャリアデータとは符号が異なる第2の色キャリアデータとを生成する色キャリア変調処理部と、前記縮小リサイズ後の輝度データと前記第1の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第2の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする。

0036

請求項12記載の発明は、前記請求項5〜10の何れか1項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、垂直方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理部と、前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理部と、前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理部と、前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから1ライン毎に、符号の異なる第1の色キャリアデータと、この第1の色キャリアデータとは符号が異なる第2の色キャリアデータとを生成する垂直方向色差分データ反転変調処理部と、前記縮小リサイズ後の輝度データと前記第1の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第2の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする。

0037

請求項13記載の発明は、前記請求項1〜12の何れか1項に記載の画像処理装置において、前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする。

0038

以上により、本発明では、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を直接に生成処理してモニターに表示する際に、原画像からY/Cr/Cbのデータ型に変換するカラー現像画像処理を実施せず、表示用の小サイズの画像に縮小リサイズ処理すると共に、このリサイズされた画像に基づいて、原画像の色情報で構成される表示用縮小画像を生成する。従って、メモリーアクセスを伴う後段処理量が減少すると共に、表示モニターへのフレーム遅延を最小フレーム遅延にできて、高速な被写体認識用のモニターモード動作を実現することが可能である。

発明の効果

0039

以上説明したように、本発明によれば、撮影被写体を確認しながら構図決めを実施するモニターモードの状態で、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を直接に生成処理してモニターに表示する際に、原画像からY/Cr/Cbのデータ型に変換するカラー現像画像処理を実施せず、表示用の小サイズのRAW画像に縮小処理してモニタに表示するので、メモリーアクセスを伴う後段処理量が減少すると共に、表示モニターへのフレーム遅延を最小フレーム遅延にできて、高速な被写体認識用のモニターモード動作を実現することが可能である。

図面の簡単な説明

0040

図1は本発明の実施形態に係る画像処理装置を搭載する撮像装置の全体構成図である。
図2は同実施形態に係る画像処理装置の概略構成を示す図である。
図3は同画像処理装置において前処理部から表示処理部へフレーム遅延なしで直接データ伝送する構成を示す図である。
図4は同画像処理装置において前処理部から表示処理部へメモリー部を介して1フレーム遅延で表示処理部へデータ伝送する構成を示す図である。
図5は同画像処理装置の前処理部の内部構成を示す図である。
図6は同画像処理装置の前処理部の他の内部構成を示す図である。
図7同前処理部に備える水平方向の縮小リサイズ処理部及び色再配列データ生成処理部の内部構成を示す図である。
図8(a)はラインメモリの書き込み読み出し動作を示す図、同図(b)は同図(a)の次のライン周期イミングにおける同ラインメモリの書き込み読み出し動作を示す図である。
図9は同前処理部に備える垂直方向の縮小リサイズ処理部及び色再配列データ生成処理部の内部構成を示す図である。
図10は従来の一般的なデジタルカメラの内部信号処理装置ブロック構成を示す図である。
図11は同従来のデジタルカメラの内部信号処理の流れを示す図である。

実施例

0041

以下、本発明に係る画像処理装置及び画像処理方法の好ましい実施形態について図面に従って説明する。

0042

図1は、本発明の実施形態に係る画像処理装置を搭載する撮像装置の構成図を示す。

0043

同図において、この撮像装置10は、前記背景技術で説明した図10の構成と同様に、撮像部12を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア112に記録する単板式のデジタルカメラである。

0044

図1中の基本構成部の動作は図10で説明した内容と同様である。図10図1の構成において、本発明に関わる大きな相違点は2つある。即ち、
(1)前処理部105の内部で実施する画像処理機能と、
(2)前処理部105から表示処理部117へ直接データ伝送する機能とである。

0045

先ず、図1の構成図の各基本構成部の説明を行う。

0046

撮像部12は、CCD型又はCMOS型等に代表される撮像素子(図示せず)を有しており、撮像素子の受光面には多数のフォトダイオード感光画素)が2次元的に配列されており、図示しない光学レンズを通過した被写体情報光電変換する。撮像素子は、各画素に対応する位置に赤(R)、緑(G)、青(B)の何れかの色が存在するような所定の色配列のカラーフィルタを有し、受光素子たるフォトダイオードに入射する光の色選択を行う。本実施形態ではベイヤー配列で説明する。

0047

前記撮像部12から出力される画像データはRAW画像と呼ばれ、A/D変換処理によりデジタル信号に変換されたものである。ベイヤー配列のRAW画像データ101は、受光素子が行方向及び列方向にそれぞれ一定ピッチ正方行列的に配列されている。尚、実際の撮像素子の結像面では、ベイヤー配列のRAW画像データ101に示した画素配列の構造がセンサー読み出し方向及び垂直方向に周期的に繰り返される。勿論、本発明の実施上、カラーフィルタ配列構造は、ベイヤー配列に限定されず、Gストライプ等、様々な配列構造が可能である。また、本実施形態では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、黄(Y)、マゼンタ(M)、シアン(C)、緑(G)からなる補色フィルタを用いたり、原色と補色との任意の組み合わせや、白(W)を用いたりすることも可能である。

0048

前記A/D変換されたRAW画像データ101は、撮像装置10の動作モードに従った必要な信号処理を経て、又は信号処理を省略して、記録メディア112に記録される。

0049

撮影モードにおいては、モニター118に被写体画像が表示される。本実施形態の撮像装置10は、撮影モードとして、JPEG形式による静止画像記録が可能であると共に、MPEG形式などの動画圧縮記録が可能である。また、A/D変換した直後のRAW画像データ101をそのまま記録することもできる。

0050

撮影被写体を確認しながら構図決めを実施するモニターモードの状態から、JPEG形式で静止画記録する場合を説明する。

0051

先ず、A/D変換されたベイヤー配列RAW画像データ101は前処理部105でモニターサイズに縮小リサイズされると共に、モニター118の色画素配列に変換され、直接にデータパスDPth(1)から表示処理部117にリアルタイムに表示データRGB(2)として出力される。モニター特性に合わせた画質調整は、前処理部105又は表示処理部117で行われる。このフレーム遅延のないモニターモードの状態では、各種認識動作が同時に行われる。

0052

前記前処理部105では、ベイヤー配列RAW画像データ101を表示サイズに縮小リサイズする際、顔検出用に輝度成分のみのデータYが同時に生成されて、メモリー制御部107を介してメモリー部108に書き込まれる。

0053

顔検出処理部106は、メモリー制御部107を介してメモリー部108から検出用サイズのYデータを適宜読み出す。表示サイズよりも小さいサイズのYデータに対して顔検出処理を行う場合は、画像信号処理部109を用いて縮小リサイズ処理を実施して、再度メモリー部108に検出用サイズYデータを書き込んだ後、そのYデータを適宜読み出す。顔検出処理部106は、その読み出したYデータから画像内の顔の位置・大きさなどの顔情報を検出し、メモリー制御部107を介して、その検出結果情報をメモリー部108に書き込む。

0054

CPU114は、メモリー部108に書き込まれた顔検出情報をメモリー制御部107を介して読み出し、その検出結果より顔位置を示す情報を表示サイズに変換生成し、表示データとしてメモリー部108に書き込む。更に、顔検出情報は、前記のAE(オートエクスポージャー)制御及び自動焦点調節(オートフォーカス=AF)制御に必要な演算を行うオート演算部(図示せず)から得られる情報と合わせてCPU114で処理され、人物被写体の任意の位置に対する焦点評価値演算の結果に基づいてレンズ駆動用モータ(図示せず)を制御し、光学レンズ11を合焦位置に移動させると共に、絞り電子シャッタを制御して、露出制御を行う。前記顔位置情報を示す表示データは、メモリー制御部107を介してメモリー部108から読み出されて、表示処理部117に入力される。表示処理部117に入力された顔位置情報を示す表示データは、表示処理部117でモニター118のモニターの特性にあわせた入力データ仕様に変換され、前記表示データRGB(2)と重ねてモニター118に表示される。

0055

次に、前記モニターモードの状態から、JPEG形式で静止画記録動作へ移行する場合を説明する。

0056

静止画記録モードに移行すると、撮像部12から撮像素子の全画素数となるRAW原画像101が出力される。RAW原画像101は、前処理部105で前処理を実施され、メモリー制御部107を介してメモリー部108に書き込まれる。その後、RAW原画像101はメモリー制御部107を介して画像信号処理部109に送られる。

0057

画像信号処理部109では、同時化処理(カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理)、ホワイトバランス(WB)調整、ガンマ補正、輝度・色差信号生成、輪郭強調電子ズーム機能による変倍(拡大/縮小)処理、画素数の変換(リサイズ)処理等の各種処理を実施し、CPU114からのコマンドに従って画像信号を処理する。これら各種処理の一部となるホワイトバランス(WB)調整、ガンマ補正等は前処理部105で実施する場合もある。前処理部105及び画像信号処理部109は、メモリー制御部107を介して処理途中の画像を一時記憶できるメモリー部108を利用しながら、画像信号の処理を行う。

0058

前記前処理部105と画像信号処理部109とにおいて所定の信号処理を経た画像データは、圧縮伸張部110に送られ、JPEG形式の圧縮フォーマットに従って圧縮される。

0059

圧縮された画像データは、記録メディアI/F(インターフェース)部111を介して記録メディア112に記録される。記録メディア112は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク光ディスク光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置10に内蔵された記録媒体内部メモリ)であってもよい。

0060

前記CPU114は、所定のプログラムに従って本撮像装置10を統括制御する制御部であり、操作パネル113からの指示信号に基づいて撮像装置10内の各回路の動作を制御する。ROM115には、CPU114が実行するプログラム及び制御に必要な各種データ等が格納され、RAM116はCPU114の作業用領域として利用される。

0061

前記操作パネル113は、撮像装置10に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置10の動作モードを選択するためモード選択スイッチ、メニュ項目選択操作カーソル移動操作)や再生画像コマ送り/コマ戻し等の指示を入力する十字キー選択項目確定登録)や動作の実行を指示する実行キー、選択項目等の所望の対象の消去や指示のキャンセルを行うためのキャンセルキー電源スイッチ、ズームスイッチレリーズスイッチ等各種の操作手段を含む。また各種スイッチは、タッチパネル上のエリアスイッチでも実現される。

0062

前記CPU114は、操作パネル113から入力される指示信号に応じて種々の撮影条件露出条件ストロボ発光有無、撮影モード等)に従い、撮像部12を制御すると共に、自動露出(AE)制御、自動焦点調節(AF)制御、オートホワイトバランス(AWB)制御、レンズ駆動制御画像処理制御、記録メディア112の読み書き制御等を行う。

0063

例えば、フレーム遅延のないモニターモードから静止画取り込みの移行に際して、CPU114は、レリーズスイッチの半押しを検知すると自動焦点調節(AF)制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、CPU114は、必要に応じて図示せぬストロボ制御回路にコマンドを送りキセノン管等の閃光発光管発光部)の発光を制御する。

0064

前処理部105は、後に詳細説明する本発明の特徴となる画像処理機能を有すると共に、AE制御及びAF制御に必要な演算を行うオート演算部(図示せず)を含み、静止画撮影の場合は、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やAE演算等を行い、その演算結果をCPU114に伝える。レリーズスイッチの全押しが検知されると、CPU114は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ11を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。こうして取り込まれたRAW画像データ101は、記録モードに従って所定の画像処理を実施して記録メディア112に記録される。

0065

動画撮影の場合は前記一連の画像処理が動画記録の間連続的に処理される。尚、圧縮形式は、JPEG方式を用いたMPEG、又はその他の方式を採用してもよく、使用される圧縮形式に対応したフレーム連続的に動作する圧縮処理が用いられる。

0066

(前処理部での画像処理の内容)
次に、前記のように構成された図1中の撮像装置10において、本発明の特徴となる前処理部105の内部で実施する画像処理機能ついて説明する。

0067

図2は、原画像となるRAW画像データの色情報で構成される1種類以上の表示用縮小画像を生成すると共に色再配列RAWデータ生成する本発明の画像処理の概略を示す図である。

0068

図2において、単板カラー撮像素子から得られたRAW画像データ101は、前処理部105の内部処理機能となるRAWデータ縮小リサイズ処理部102でモニター表示サイズのRAW画像データに縮小リサイズされると共に、色再配列データ生成処理部103で基準画素位置を含む2画素×2画素範囲色配列情報が異なる4種類のベイヤー配列データ104a、104b、104c、104dを生成して、出力される。

0069

前記4種類のベイヤー配列データに注目すると、任意の画素位置に対してR、G、Bの全ての色が存在することになり、色再配列表示データ生成処理部201、203、205を用いて原画像のR、G、Bの色を選択処理することにより、例えば次の(1)〜(3)の色再配列表示データを生成して、モニター118の入力仕様に合わせた色配列の表示データを生成することができる。
(1)独立したRプレーンデータ、Gプレーンデータ、Bプレーンデータの3面で構成される色再配列表示データ202
(2)Gプレーンデータ、BとRの市松配置データの2面で構成される色再配列表示データ204
(3)Gプレーンデータ、BとRの縦ストライプ配置データの2面で構成される色再配列表示データ206
前記色再配列表示データ生成処理部201、203、205を用いれば、前記(1)〜(3)に示す色配列表示データ以外にも、任意の色配列構成の表示データの生成が可能である。尚、色再配列データ生成処理部103は4種類の色再配列データ104a〜104dを生成したが、そのうち1つの色再配列データ(例えば104a)がそのままモニター118の入力仕様に合致した色配列の表示データである場合には、この1種類の色再配列表示データのみを生成して、直接モニター118に出力すればよい。

0070

そして、最小フレーム遅延で原画像をモニター表示するという本発明の特徴を具現化するために、前記生成した色再配列表示データを図1に示したデータパスDPth(1)を介して直接に表示処理部117に入力すると共に、データパスDPth(2)を介してメモリー部108に一旦記憶し再度読み出して表示処理部117に入力できる構成をとる。

0071

図3は、前処理部105から表示処理部117へフレーム遅延なしで直接データ伝送する構成を示す。

0072

図3に示す構成では、撮像素子から出力されるRAW原画像101が前処理部105に入力される期間を第1フレーム期間として、この同じ第1フレーム期間内でのパイプライン処理により、Gプレーンデータと、青(B)と赤(R)との縦ストライプ配置データとの2面で構成される表示データ206を図1に示したデータパスDPth(1)を介して表示処理部117に直接入力してモニター118で表示する。この場合は、フレーム遅延を発生させず、被写体原画像をモニターに表示することができる。

0073

図4は、前処理部105から表示処理部117へメモリー部118を介して1フレーム遅延で表示処理部117へデータ伝送する構成を示す。

0074

図4に示す構成では、撮像素子から出力されるRAW原画像101が前処理部105に入力される期間を第1フレーム期間として、この同じ第1フレーム期間内のパイプライン処理で生成した緑(G)プレーンデータと、青(B)と赤(R)との縦ストライプ配置データとの2面で構成される表示データ206をデータパスDPth(2)を介してメモリー制御部107を介してメモリー部108に書き込む。そして、次の第2フレーム期間でその表示データ206を表示処理部117に入力してモニター118で表示する。この場合のフレーム遅延は、1フレーム期間として、被写体原画像をモニター118に表示することができる。

0075

尚、表示データに関しては、Gプレーンデータと、青(B)と赤(R)との縦ストライプ配置データとの2面で構成される表示データ206として説明したが、図2で説明したように、任意の色配列構成と多面構成を持つ表示データに関しても、同様のフレーム遅延をもってモニター118で表示できる。

0076

(縮小リサイズ処理部及び色再配列データ生成処理部の第1の具体例)
図5は、前処理部105の内部信号処理となるRAWデータ縮小リサイズ部102と色再配列データ生成処理部103との具体的構成を示す図である。

0077

図5に示す構成において、表示用サイズに縮小された基準画素位置を含む2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104a〜104dの生成に際し、本実施形態の画像処理では、単板カラー撮像素子から得られたRAW画像データ101に対して、入力ライン方向に任意サイズの画像に縮小する第1の水平縮小リサイズ処理部501と、その水平方向にリサイズされた画像データを一時的に格納するメモリー部(記憶装置)503と、メモリー部503から読み出された複数の縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行って2種類のベイヤー配列データ505、506を生成する垂直縮小リサイズ処理&色再配列データ生成処理部504と、水平方向及び垂直方向で縮小リサイズ処理された2種類のベイヤー配列データのそれぞれに対して再度入力ライン方向に2種類のベイヤー配列データを生成する色再配列データ生成処理部507、508を有する。

0078

図5を用いて、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104a〜104dを生成する場合について説明する。

0079

入力ライン方向に任意サイズの画像に縮小する第1の水平縮小リサイズ処理部501において表示サイズへの縮小リサイズを実施する際、水平方向に表示サイズの水平サイズとなる縮小比率K1で水平方向にのみ縮小した画像データ502を生成する。

0080

前記水平縮小リサイズされた画像データ502は、ラインデータ単位に一時的にメモリー部503に書き込まれる。同時にメモリー部503から複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。垂直縮小リサイズ処理部&色再配列データ生成処理部504を用いて垂直方向に表示サイズの垂直サイズとなる水平と同様の比率K1で縮小し、垂直方向に偶数ライン奇数ラインとの色を置換することにより、色配列が異なる2種類の表示用サイズベイヤー配列データ505、506を得る。

0081

次いで、前記2種類のベイヤー配列データ505、508のそれぞれに対して、再度入力ライン方向に2種類のベイヤー配列データを生成する色再配列データ生成処理部507、508でそれぞれに水平方向に偶数画素奇数画素との色を置換することにより、更に2種類のベイヤー配列データを生成する。これにより、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104を生成することができる。

0082

(縮小リサイズ処理部及び色再配列データ生成処理部の第2の具体例)
図6は、前処理部105の内部信号処理となるRAWデータ縮小リサイズ部102及び色再配列データ生成処理部103の構成の第2の具体例を示す。

0083

図6に示す構成において、表示用サイズに縮小された基準画素位置を含む2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104の生成に際し、本実施形態の画像処理は、単板カラー撮像素子から得られたRAW画像データ101に対して、入力ライン方向に任意サイズの画像に縮小し且つ2種類のベイヤー配列データ602、603を生成する水平縮小リサイズ&色再配列データ生成処理部601と、その水平リサイズされた2種類のベイヤー配列データをそれぞれに一時的に格納するメモリー部604、605と、それぞれのメモリー部604、605から読み出された複数の縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行って更にそれぞれに2種類のベイヤー配列データを生成して、合計4種類のベイヤー配列データ104a、104b、104c、104dを生成する垂直縮小リサイズ処理&色再配列データ生成処理部606、607とを有する。

0084

以下、図6の構成の動作として、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104を生成する場合について説明する。

0085

入力ライン方向に任意サイズの画像に縮小し且つ2種類のベイヤー配列データ602、603を生成する水平縮小リサイズ処理&色再配列データ生成処理部601において表示サイズへの縮小リサイズを実施する際、先ず水平方向に表示サイズの水平サイズとなる縮小比率K1で水平方向にのみ縮小したベイヤー配列データ生成する。合わせて水平方向に偶数画素と奇数画素との色を置換することにより、2種類のベイヤー配列データ602、603を生成する。

0086

前記水平縮小リサイズされた2種類のベイヤー配列データ602、603は、ラインデータ単位に一時的にメモリー部604、605にそれぞれ独立に書き込まれる。同時に、前記メモリー部604、605からそれぞれに複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。2つの垂直縮小リサイズ&色再配列データ生成処理部606、607を用いて、垂直方向に表示サイズの垂直サイズとなる水平と同様の比率K1で縮小する。合わせてそれぞれ垂直方向に偶数ラインと奇数ラインとの色を置換することにより、色配列が異なる2種類の表示用サイズベイヤー配列データを生成して、合計4種類の表示用サイズベイヤー配列データ104a、104b、104c、104dを得る。

0087

以上の処理により、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104を生成する。

0088

(縮小リサイズ処理及び色再配列データ生成処理の概略)
図7は、RAWデータ縮小リサイズ処理部102と色再配列データ生成処理部103において、色配列情報が異なる4種類のベイヤー配列データ104を生成するに際し、入力ライン方向に任意サイズの画像に縮小すると共に、合わせて水平方向に偶数画素と奇数画素との色を置換することにより、2種類のベイヤー配列データ710、711を生成する内部処理構成の一例を示す。本内部処理構成では、図5に示したRAWデータ水平方向縮小リサイズ処理部501、水平方向色再配列データ生成処理部507、508、及び図6のRAWデータ水平方向縮小リサイズ&水平方向色再配列データ生成処理部601を実現する。

0089

図8は、水平リサイズされた画像データをラインデータ単位で一時的に保持するメモリー部503、604、607を用いて、複数のラインメモリにラインデータを書き込む方法と、複数のラインメモリ801から同時に複数の水平方向ラインデータを読み出す一例を示す図である。

0090

図9は、複数の水平方向縮小ラインデータを用いて、入力ライン方向と直交する垂直方向に縮小リサイズを行うと共に、合わせて垂直方向に偶数ラインと奇数ラインとの色を置換することにより2種類のベイヤー配列データ923、925を生成する内部処理構成の一例である。本内部処理構成では、図5及び図6に示したRAWデータ垂直方向縮小リサイズ&色再配列データ生成処理部504、606、607を実現する
図7でセンサー読み出し方向の水平縮小リサイズ処理と色再配列処理を選択的に実施し、その出力を図8に示すラインメモリに書き込み、同時にセンサー読み出し方向の水平縮小リサイズ処理画像のうちまとまった複数ライン分のデータをラインメモリから読み出し、図9に示すような複数ライン上のセンサー読み出し方向の同一位置のデータに対して縦方向同時処理で複数の垂直方向縮小リサイズ処理と色再配列処理とを行う。

0091

このとき、垂直方向縮小リサイズ処理は、前記のセンサー読み出し方向の水平縮小リサイズ処理とは別の処理となり、複数のライン単位の動作出力をライン単位で利用するか否かの判定処理のもと、ライン間欠的な出力として垂直方向に比率の違う縮小リサイズ画像を得る。

0092

更に、図5に示す第1の具体例においては、任意の画像に対しては図7に示す内部処理のうち、センサー読み出し方向の色再配列処理のみを選択的に再度実施して、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104を生成する。

0093

本実施形態の画像処理機能の主眼は画像処理の流れと、処理手続きとの組み合わせと順序にあり、図5に示す第1の具体例では、図7の処理→図8の処理→図9の処理→図7の処理の順に組み合わせて、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104を生成する。一方、図6に示す第2の具体例では、図7の処理→図8の処理→図9並列処理の順に組み合わせて、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104を生成する。

0094

尚、図7図8及び図9に示す処理は、RAWデータを縮小リサイズ処理し且つ複数の色再配列処理をするに際して、折り返しノイズの発生しない高画質解像感のある縮小RAWデータを生成する一手法であり、本発明は高画質な縮小処理の基本となる内部アルゴリズムをこの一手法に一義的に規定するものでない。しかしながら、本内部処理アルゴリズムは、冗長処理を削減するという本発明の目的のもと、処理手続きが少なく且つ高画質な縮小処理を実現できる方法であり、本発明の画像処理を実現する上での好適な縮小処理かつ色再配列処理アルゴリズムとなる。

0095

(水平方向の縮小リサイズ処理及び色再配列データ生成処理の具体例)
次に、図7を用いて、図5及び図6に示した水平方向縮小リサイズ処理及び水平方向色再配列データ生成処理部501、507、508、601の処理で適用する、センサー読み出し方向の水平縮小リサイズ処理と色再配列処理との詳細を説明する。

0096

センサー読み出し方向の水平縮小リサイズ処理部501は、1次元のパイプライン処理であって、図7に示すように、RAW画像101からライン単位のRAWライン画像701に対するフィルタ処理により輝度データを抽出する色キャリア除去フィルタ処理部(フィルタ処理部)702と、色キャリアデータを抽出する色キャリア抽出フィルタ処理部(フィルタ処理部)704と、変調された色キャリアデータに対して色反転復調して連続した色差分データを出力する色キャリア反転復調処理部705と、得られた輝度データと色差分データとに対してそれぞれ独立して縮小リサイズを行う輝度信号センサー読み出し方向縮小リサイズ処理部706及び色差分信号センサー読み出し方向縮小リサイズ処理部707と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部(色キャリア変調処理部)708と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成して、最終的な第1の色配列データ710を生成する第1の色配列再現処理部(色再配列データ生成処理部)709と、変調後の色キャリアデータの符号を反転する符号反転処理部711と、リサイズ後のレベル調整された輝度データと変調後の符号反転色キャリアデータとを再合成して、最終的な第2の色配列データ713を生成する第2の色配列再現処理部(色再配列データ生成処理部)712とにより、構成される。

0097

色再配列に関わる処理は、前記リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部708と、第1の色配列再現処理部709と、符号反転処理部711と、第2の色配列再現処理部712とであり、これ等の処理は、図7中に破線で囲んだ色再配列データ生成処理部20に含まれる。

0098

次に、図7に示したセンサー読み出し方向の水平縮小リサイズ処理機能を用いて、ベイヤー配列の画像を処理する場合を説明する。

0099

原画像であるRAW画像101は、ベイヤー配列の画素配置を反映したモザイク状の画像であり、通常、撮像部12からライン単位で読み出される。この原画像のライン単位のRAWライン画像データ701は、赤(R)と緑(G)との情報が画素毎に繰り返されるRGラインと、青(B)と緑(G)の情報が画素毎に繰り返されるBGラインとの2種類となる。図7中では、BGラインに関わる信号情報のみを示す。

0100

これら2種類のラインデータは、2画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理部702を経て、RGラインに関しては赤(R)と緑(G)の平均値となるライン輝度データ{α(R+G)}が出力され、BGラインに関しては青(B)と緑(G)の平均値となるライン輝度データ{α(B+G)}が出力される。

0101

また、前記2種類のラインデータは、2画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部704を経て、RGラインに関してはナイキスト周波数で変調されたRGライン色キャリアデータが出力され、BGラインに関してはナイキスト周波数で変調されたBGライン色キャリアデータが出力される。前記ナイキスト周波数で変調されたRGライン色キャリアデータ及びBGライン色キャリアデータは、1画素毎に符号反転する色キャリア反転復調処理部705により、連続したRGライン色差分データ、及びBGライン色差分データとして出力される。

0102

前記抽出された輝度データと色差分データとに対してそれぞれ同一縮小比率でセンサー読み出し方向の縮小リサイズを実施するに際しては、縮小後の折り返しノイズを抑えるために、図7中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施するが、効率的な処理として、色キャリア除去フィルタ処理部702と色キャリア抽出フィルタ処理部704とにより、周波数特性の制限を同時に適用処理する方法がよく、この方法G実装方法として効率的である。この際、色差用帯域制限としては、最終記録フォーマットがJPEGやTIFF、MPEGとなることを想定し、輝度用帯域制限の2分の1以下に設定する。帯域制限された輝度データは、輝度信号センサー読み出し方向縮小リサイズ処理部706により、縮小比率に合わせて線形補間間引き処理が行われる。一方、帯域制限された色差分データは、色差分信号センサー読み出し方向の水平縮小リサイズ処理部507により、縮小比率に合わせて線形補間間引き処理が行われる。

0103

ライン毎にセンサー読み出し方向に水平縮小リサイズされた2種類の連続的な色差分データ{β(R−G)、β(B−G)}は、2画素周期で変化するナイキスト周波数で変調するための等価処理として、1画素毎に符号を反転する色差分データ反転変調処理部708での処理を実施する。その結果、それぞれのラインデータ上で画素毎に符号の異なる第1の{β(R−G)、−β(R−G)}、{β(B−G)、−β(B−G)}という2種類の縮小RGライン色キャリアデータと縮小BGライン色キャリアデータとなる。同時に、前記色キャリアデータの符号を反転する符号反転処理部711により、それぞれのラインデータ上で画素毎に符号の異なる第2の{—β(R−G)、β(R−G)}、{—β(B−G)、β(B−G)}という2種類の縮小RGライン色キャリアデータと縮小BGライン色キャリアデータとなる。

0104

リサイズされた縮小ライン輝度データは、リサイズされた色キャリアデータとの加算処理である色配列再現処理部709において、ライン毎に、前記第1及び第2の縮小RGライン色キャリアデータと、前記第1及び第2の縮小BGライン色キャリアデータとが再合成され、赤(R)と緑(G)の情報が画素毎に繰り返す縮小リサイズされたRGライン・GRライン、及び青(B)と緑(G)の情報が画素毎に繰り返す縮小リサイズされたBGライン710・GBライン713として出力される。

0105

前記RGラインの再合成を数式で示す。先ず、輝度データ{α(R+G)}、色キャリアデータ{β(R−G)、−β(R−G)}にて、α=0.5、β=0.5とすると、輝度データ{0.5(R+G)}、色キャリアデータ{0.5(R−G)、−0.5(R−G)}となる。画素毎に輝度データと色キャリアデータとを加算して行くと、0.5{(R+G)+(R−G)}、0.5{(R+G)−(R−G)}…が繰り返される。すなわち、R、G、R、G…としてRGラインデータが再生する。色キャリアデータの符号が反転すると、G、R、G、R…としてGRラインデータが再生する。

0106

BGラインでも同様にして、輝度データ{α(B+G)}、色キャリアデータ{β(B−G)、−β(B−G)}にて、α=0.5、β=0.5とすると、輝度データ{0.5(B+G)}、色キャリアデータ{0.5(B−G)、−0.5(B−G)}となる。画素毎に輝度データと色キャアデータとを加算して行くと、0.5{(B+G)+(B−G)}、0.5{(B+G)−(B−G)}…が繰り返される。すなわち、B、G、B、G…としてBGラインデータが再生する。色キャリアデータの符号が反転すると、G、B、G、B…としてGBラインデータが再生する。

0107

図7に示したセンサー読み出し方向の水平縮小リサイズ処理機能は、図5において示した処理部501、507、508や図6に示した処理部601を実施する際に使用できる。

0108

図5の水平方向縮小リサイズ処理部501では色配列が異なる2種類の縮小ラインデータのうち1つを次の処理へ出力する。また、色再配列データ生成処理部507、508では、水平方向の縮小処理は実施せず、色配列が異なる2種類の縮小ラインデータを出力する。更に、図6の水平方向縮小リサイズ&色再配列データ生成処理部601では、水平方向の縮小処理された、色配列が異なる2種類の縮小ラインデータを出力する。

0109

次に、図8を用いて、前記水平縮小リサイズ処理部501、水平縮小リサイズ処理&色再配列データ生成処理部601で処理された縮小RAW画像データを一時的に、メモリー部503、604、605の一例としての複数のラインメモリに書き込むと同時に、それ等の複数のラインメモリから複数の水平方向縮小ラインRAWデータを読み出す場合の詳細を説明する。

0110

図8(a)は、複数のラインメモリの書き込み読み出し動作を示す。同図(b)は、同図(a)の次のライン周期タイミングにおける同ラインメモリの書き込み読み出し動作を示す。図8(a)及び図(b)において、801は8ラインからなるラインメモリである。802は、前記ラインメモリ801に対してのデータ書き込みサイクルを示し、8ラインに対する書き込み制御として1ラインずつ順番にリング状に巡回させながら書き込んでいく。803は、ラインメモリ801に対してのデータ読み出しサイクルを示し、8ラインのうち7ライン分のメモリデータをまとめて選択しながら、書き込み制御と同様、順番にリング状に巡回させながら読み出して行く。

0111

図8(a)及び(b)の例では、使用する複数のラインメモリ801の容量を最小限とするために、リング状の巡回書き込みに対する、7ライン同時巡回読み出しの先頭ラインの位置を書き込みラインよりも1ライン遅らせた位置としている。また、書き込みラインと読み出しラインとを分けることにより、書き込みと読み出しとを非同期に動作させることができる。

0112

こうして、水平方向のRAW縮小リサイズ画像502、602、603のうちまとまった複数ライン分のRAWリサイズデータ図8(a)及び(b)に示すラインメモリ801からまとめて読み出すことにより、複数ライン上のセンサー読み出し方向の同一位置データ804に対して、図5に示す第1の具体例では、垂直方向縮小リサイズ&色再配列データ処理部504で縦方向に処理を行い、RAWリサイズ画像505、606得る。図6に示す第2の具体例では、垂直方向縮小リサイズ&色再配列データ処理部606、607で縦方向に処理を行って、色配列の異なる4種類のRAWリサイズ画像104を得る。

0113

このとき、垂直方向縮小リサイズ&色再配列データ処理部504、606、608での処理は、センサー読み出し方向の水平縮小リサイズ処理部501とは異なる処理となり、複数のラインを入力とする任意の画像処理出力データに対して、ライン単位で有効データとして利用するか否かの判定処理のもと出力するか否かで出力ライン数を減らすことにより、垂直方向の縮小リサイズ処理を実施する。

0114

(垂直方向の縮小リサイズ処理及び色再配列データ処理の具体例)
図9は、前記垂直方向縮小リサイズ&色再配列データ処理504、606、608により、色配列情報が異なる2種類のベイヤー配列データを生成するに際し、入力ライン方向に対して垂直方向に任意サイズの画像に縮小すると共に、合わせて垂直方向に偶数ライン上と奇数ライン上との色を置換することにより、2種類のベイヤー配列データ710、711を生成する内部処理構成の一例を示す。

0115

図9の垂直方向縮小リサイズ&色再配列データ処理504、606、608は、図7に示したセンサー読み出し方向の水平縮小リサイズ処理と同様に、輝度信号処理と色差分信号処理との2系統処理として実施する。

0116

詳細説明に際して、図9では、入力データとして7ライン分のRAW画像に対して垂直方向に同一水平位置となる7画素を1つの処理単位として処理を実施する場合を例示している。

0117

図9に示す垂直方向縮小リサイズ&色再配列データ処理は、前記7ライン分のRAW画像から垂直方向に輝度データを抽出する色キャリア除去フィルタ処理部(フィルタ処理部)903と、垂直方向の色キャリアデータを抽出する色キャリア抽出フィルタ処理部(フィルタ処理部)912と、垂直方向に変調された色キャリアデータに対して色反転復調して垂直方向に連続した色差分データを出力する色キャリア反転復調処理部(垂直方向色キャリア反転復調処理部)916と、得られた垂直方向ライン輝度データ909と色差分データとに対して独立して垂直方向縮小リサイズを行う輝度信号垂直方向縮小リサイズ処理部(垂直方向縮小リサイズ処理部)910及び色差分信号垂直方向縮小リサイズ処理部(垂直方向縮小リサイズ処理部)918と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部(垂直方向色差分データ反転変調処理部)920と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成して、最終的な第1の色配列データ923を生成する第1の色配列再現処理部922と、変調後の色キャリアデータの符号を反転する符号反転処理部926と、リサイズ後のレベル調整された輝度データと変調後の符号反転された色キャリアデータとを再合成して、最終的な第2の色配列データ925を生成する第2の色配列再現処理部924とにより、構成される。

0118

色再配列に関わる処理は、前記リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部920と、第1の色配列再現処理部922と、符号反転処理部926と、第2の色配列再現処理部924とであり、これ等の処理は図9中に破線で囲んだ色再配列データ生成処理部30に含まれる。

0119

前記図9に示した垂直方向縮小リサイズ&色再配列データ処理機能を用いて、ベイヤー配列の画像を縮小リサイズ処理&色再配列データ処理する場合について、詳細に説明する。

0120

図9の垂直方向の処理単位901に示すように、水平リサイズ処理後のRAW画像は、ベイヤー配列の画素配置を反映したモザイク状の配列を保持しており、図8に示すようにライン単位でラインメモリ801に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。図8に示した本実施形態では、8ラインからなるラインメモリ801を利用し、7ライン分のデータがまとめて出力される。

0121

水平リサイズ処理後の7ライン単位の入力データに対する第1の垂直方向の処理単位は、ライン上のセンサー読み出し方向の同一位置の垂直方向注目データに対して垂直方向に青(B)と緑(G)との情報が画素毎に繰り返されるBG垂直処理単位901と、垂直方向に緑(G)と赤(R)との情報が画素毎に繰り返されるGR垂直処理単位902との2種類となる。

0122

これら2種類の垂直方向の処理単位となるデータは、垂直方向に2画素周期で変化するナイキスト周波数近傍の色キャリア情報を有し、前記色キャリアを除去する色キャリア除去フィルタ処理部903において、7ラインデータ中の5ライン分の輝度データY1〜Y3を用いて3系統処理され、垂直方向に1ライン分位置のずれた連続な輝度データが3種類生成される。本実施形態では、色キャリア除去フィルタ処理部903にて垂直方向にそれぞれ5画素の輝度データY1〜Y3を用いて、3種類のライン輝度データ909を出力している。それぞれの輝度データY1〜Y3は、垂直方向のBG垂直処理単位901に関しては青(B)と緑(G)の平均値となる輝度データ、次の垂直方向のGR垂直処理単位902に関しては緑(G)と赤(R)の平均値となる輝度データが水平方向に交互に出力される。

0123

また、前記2種類の垂直方向の処理単位901、902は、垂直方向に2画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部912の7ラインデータ中の5ライン分のデータを用いて3系統処理され、垂直方向に1ライン分位置のずれた連続な色キャリアデータC1〜C3(913〜915)が3種類生成される。BG垂直処理単位901のBG垂直方向に関しては、ナイキスト周波数で変調されたBG色キャリア成分データが出力され、GR垂直処理単位902のGR垂直方向に関しては、ナイキスト周波数で変調されたGR色キャリア成分データが出力される。

0124

垂直方向にナイキスト周波数で変調されたそれぞれ3つのBG色キャリア成分データ及びGR色キャリア成分データは、垂直方向に1画素毎(1ライン動作毎)に符号反転する色キャリア変転復調処理部916により、垂直方向に連続したR−Gデータ、B−Gデータとして出力される。ここでは、垂直方向の画素データ位置を輝度データY1〜Y3と同一位置となるように色差分データC1〜C3を出力する。

0125

垂直方向に抽出された前記3ラインデータからなる輝度データY1〜Y3と色差分データC1〜C3とに対して、それぞれ同一比率の垂直方向の縮小リサイズを実施するに際して、縮小後の折り返しノイズを抑えるために、図9中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施することが望ましい。輝度データY1〜Y3と色差分データC1〜C3との3ラインに対して処理することも可能であるが、効率的な処理としては、色キャリア除去フィルタ処理部903と色キャリア抽出フィルタ処理部912とにより、周波数特性の制限を同時に適用処理する方法が実装方法として効率的である。この際、色差分データの帯域制限としては、最終記録フォーマットがJPEGやTIFF、MPEGとなることを想定して、輝度用データの帯域制限の2分の1以下に設定することが望ましい。

0126

輝度信号垂直方向縮小リサイズ処理部910は、前記垂直方向に帯域制限された輝度データY1〜Y3の3つのライン輝度データ909を用いて垂直方向での線形補間を行い、ライン単位で縮小比率に合わせてライン間引き出力する。一方、色差分信号垂直方向縮小リサイズ処理部918は、3つの色差分ラインデータを用いて垂直方向に前記輝度データと同様の線形補間を行い、ライン単位で垂直縮小比率に合わせてライン間引き出力する。

0127

前記垂直方向のライン間引きで縮小リサイズされた色差分データは、垂直方向に2画素周期で変化するナイキスト周波数で変調するための等価処理として、有効ライン出力毎に符号を反転する色差分データ反転変調処理部920での処理が実施されて、垂直方向に第1の垂直色キャリアデータ921が生成される。この第1の垂直色キャリアデータ921を符号反転処理部926で符号反転し、第2の垂直色キャリアデータ927を生成する。

0128

前記垂直方向のライン間引きで垂直方向に縮小リサイズされたライン輝度データ911と、前記第1の垂直色キャリアデータ921とは、第1の色配列再現処理部922で加算処理が実施され、垂直方向に青(B)と緑(G)との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向BGデータ923、及び図示しない垂直方向に緑(G)と赤(R)との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向GRデータとして、水平方向に交互に出力される。

0129

前記垂直方向のライン間引きで垂直縮小リサイズされたライン輝度データ911と、前記第2の垂直色キャリアデータ927とは、第2の色配列再現処理部924で加算処理されて、垂直方向に緑(G)と青(B)との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向GBデータ925、及び図示しない垂直方向に赤(R)と緑(G)との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向RGデータとして、水平方向に交互に出力される。

0130

垂直方向での2種類の色再配列に関わる処理は、前記第1の色配列再現処理部922と、第2の色配列再現処理部924とにより実施され、図5に示す2種類のベイヤー配列データ505、506、図6に示す2種類のベイヤー配列データ104a、104b、104c、104dとして出力される。

0131

以上説明したように、図5に示す第1の実施形態では、図7の処理→図8の処理→図9の処理→図7の処理の順に組み合わせて、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104を生成することができる。

0132

また、図6に示す第2の実施形態では、図7の処理→図8の処理→図9の並列処理の順に組み合わせて、表示用サイズに縮小された2画素×2画素範囲の色配列情報が異なる4種類のベイヤー配列データ104を生成することができる。

0133

その後、図2に示した色再配列表示データ生成処理部201、203、205を用いて原画像の赤(R)、緑(G)、青(B)の色を選択処理することにより、モニターの入力仕様に合わせた色配列の表示データを生成することができる。

0134

尚、本発明を実施する手段は、専用の画像処理装置(画像再生装置画像加工装置)に限らず、パソコンであってもよい。また、画像処理は、その処理の一部又は全部をハードウェア信号処理回路)に限らず、ソフトウェアで実現してもよい。

0135

また、画像処理に使用する画像処理プログラムは、単独のアプリケーションソフトウェアとして構成されてもよいし、画像加工ソフトウェアやファイル管理用ソフトウェア等のアプリケーションの一部として組み込まれてもよい。また、その画像処理プログラムは、パソコン等のコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機等の情報機器に組み込まれる中央処理装置(CPU)の動作プログラムとしても適用することが可能である。

0136

以上説明した通り、本発明に係る画像処理装置及び画像処理方法は、特に単板カラー撮像素子から得られる原画像を縮小処理して表示する際に好適な画像データサイズ変換表示処理装置、電子スチルカメラ、画像データサイズ変換表示処理プログラム等として有用である。

0137

10撮像装置
11光学レンズ
12撮像部
101ベイヤー配列のRAW画像データ
104 4種類のベイヤー配列データ
105 前処理部
107メモリー制御部
108 メモリー部
109画像信号処理部
110圧縮伸張処理
111記録メディアI/F部
112 記録メディア
113操作パネル
114 CPU
115 ROM
116 RAM
117表示処理部
118モニター
DPth(1)、DPth(2)データパス
102縮小リサイズ処理部
103 色再配列データ生成処理部
104a〜104d 4種類のベイヤー配列データ
201、203、205 色再配列表示データ生成処理部
202、204、206 色再配列表示データ
501RAWデータ水平方向縮小リサイズ処理部
502 水平方向にのみ縮小した画像データ
503、604、605 メモリー部(記憶装置)
504、606、607 RAWデータ垂直方向リサイズ処理&色再配列処理部
505、506 2種類の表示用サイズベイヤー配列データ
507、508 水平方向色再配列データ生成処理部
601 RAWデータ水平方向縮小リサイズ&色再配列データ生成処理部
602、603 水平方向にのみ縮小した2種類の画像データ
701 RAWライン画像データ
702色キャリア除去フィルタ処理部(フィルタ処理部)
703ライン輝度データ
704色キャリア抽出フィルタ処理部(フィルタ処理部)
705色差分データ復調処理部
706輝度信号センサー読み出し方向縮小リサイズ処理部
707 色差分信号センサー読み出し方向縮小リサイズ処理部
708 色キャリア変調処理部(色キャリア変調処理部)
709 第1の色配列再現処理部(色再配列データ生成処理部)
710 第1の縮小色配列データ
711符号反転処理部
712 第2の色配列再現処理部(色再配列データ生成処理部)
713 第2の縮小色配列データ
801ラインメモリ
802 ラインメモリに対してのデータ書き込みサイクル
803 ラインメモリに対してのデータ読み出しサイクル
804複数ライン上のセンサー読み出し方向の同一位置のデータ
901 第1の垂直方向の処理単位
902 第2の垂直方向の処理単位
903 色キャリア除去フィルタ処理部(フィルタ処理部)
904、905、906 ライン輝度データ
909 3種類のライン輝度データ
910 輝度信号垂直方向縮小リサイズ処理部(垂直方向縮小リサイズ処理部)
911 垂直方向縮小ライン輝度データ
912 色キャリア抽出フィルタ処理部(フィルタ処理部)
913、914、915 色キャリアデータ
916 色キャリア変転復調処理部(垂直方向色キャリア反転復調処理部)
918 色差分信号垂直方向縮小リサイズ処理部
(垂直方向縮小リサイズ処理部)
919 垂直方向縮小色差分データ
920 色差分データ反転変調処理部(垂直方向色差分データ反転変調処理部)
30 色再配列データ生成処理部
921 第1の垂直色キャリアデータ
922 第1の垂直色配列再現処理部
923 第1の縮小色配列データ
924 第2の垂直色配列再現処理部
925 第2の縮小色配列データ
926 符号反転処理部
927 第2の垂直色キャリアデータ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ