図面 (/)

技術 画像処理装置、情報処理方法及びプログラム

出願人 富士通株式会社
発明者 平井由樹雄吉川浩寧
出願日 2012年6月22日 (7年9ヶ月経過) 出願番号 2012-141394
公開日 2014年1月16日 (6年2ヶ月経過) 公開番号 2014-006667
状態 特許登録済
技術分野 画像処理 FAX画像信号回路 スタジオ装置
主要キーワード 二回微分 空間周波数ω 重み係数γ デコンボリューションフィルタ 中心要素 重み調整 正則化項 楔形形状
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年1月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

分解能の異方性を有する空間フィルタ有限化する際、モアレの発生を防止する。

解決手段

画像処理装置は、画像の分解能に異方性を有する有限の第1空間フィルタを取得する取得部と、第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する算出部と、を備える。

概要

背景

デジタルカメラなどで撮影した画像では、周辺部の分解能劣化していることが多い。レンズ光学系収差開口サイズ画角依存性のため、光軸中心部に対して周辺部の分解能が劣化する傾向がある。劣化の要因のひとつとして開口のけられがある。画角が大きいところでは、半径方向の開口がけられ、楕円の開口となりボケが生じる。このため半径方向の分解能が劣化してしまう。

この分解能の劣化に対し、例えば、入射する光の角度によるPSF(Point Spread Function)の変化に対応するため、画像中の処理対象の位置に応じて異なるフィルタデータを用いてフィルタリングし、画像補正を行う技術がある(例えば特許文献1参照)。

概要

分解能の異方性を有する空間フィルタ有限化する際、モアレの発生を防止する。画像処理装置は、画像の分解能に異方性を有する有限の第1空間フィルタを取得する取得部と、第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する算出部と、を備える。

目的

そこで、開示の技術では、分解能の異方性を有する空間フィルタを有限化する際、モアレの発生を防止することができる画像処理装置、情報処理方法及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像の分解能に異方性を有する有限の第1空間フィルタを取得する取得部と、前記第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する算出部と、を備える画像処理装置

請求項2

前記有限フィルタは、全要素で非0の係数を有するハイパスフィルタである請求項1記載の画像処理装置。

請求項3

前記算出部は、前記第2空間フィルタを、中心要素が1であり、該中心要素以外の要素が0であるフィルタから減算することで、第3空間フィルタを算出する請求項1又は2記載の画像処理装置。

請求項4

入力される画像に前記第2空間フィルタを用いてフィルタ処理を行い、前記画像から前記フィルタ処理後の画像を減算して補正後の画像を生成するフィルタ処理部をさらに備える請求項1又は2記載の画像処理装置。

請求項5

入力される画像に前記第3空間フィルタを用いてフィルタ処理を行い、補正後の画像を生成するフィルタ処理部をさらに備える請求項3記載の画像処理装置。

請求項6

画像の分解能に異方性を有する有限の第1空間フィルタを取得し、前記第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する処理をコンピュータが実行する情報処理方法

請求項7

画像の分解能に異方性を有する有限の第1空間フィルタを取得し、前記第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する処理をコンピュータに実行させるプログラム

技術分野

0001

本発明は、画像処理装置情報処理方法及びプログラムに関する。

背景技術

0002

デジタルカメラなどで撮影した画像では、周辺部の分解能劣化していることが多い。レンズ光学系収差開口サイズ画角依存性のため、光軸中心部に対して周辺部の分解能が劣化する傾向がある。劣化の要因のひとつとして開口のけられがある。画角が大きいところでは、半径方向の開口がけられ、楕円の開口となりボケが生じる。このため半径方向の分解能が劣化してしまう。

0003

この分解能の劣化に対し、例えば、入射する光の角度によるPSF(Point Spread Function)の変化に対応するため、画像中の処理対象の位置に応じて異なるフィルタデータを用いてフィルタリングし、画像補正を行う技術がある(例えば特許文献1参照)。

先行技術

0004

特開2012−23498号公報

発明が解決しようとする課題

0005

ここで、分解能は、方向によって異なるという性質を有する。以降では、これを分解能の異方性と呼ぶ。例えば、光軸を中心とした半径方向と、円周方向とでは、分解能が異なる。

0006

しかしながら、従来技術では、画像の位置に応じて異なるフィルタリングを行ってボケを補正するが、この方法では分解能の異方性を改善することはできない。

0007

一方で、デジタルカメラなどのハードウェアにフィルタリングを実装するために、有限空間フィルタで畳み込んで補正が行われる。これは、フーリエ変換などの周波数領域での演算処理量が大きいからである。しかし、異方性を有する空間フィルタを有限の要素数に制限することにより、高周波成分の劣化が方向によって異なり、方向によるモアレが発生してしまう。

0008

そこで、開示の技術では、分解能の異方性を有する空間フィルタを有限化する際、モアレの発生を防止することができる画像処理装置、情報処理方法及びプログラムを提供することを目的とする。

課題を解決するための手段

0009

開示の一態様における画像処理装置は、画像の分解能に異方性を有する有限の第1空間フィルタを取得する取得部と、前記第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する算出部と、を備える。

発明の効果

0010

開示の技術によれば、分解能の異方性を有する空間フィルタを有限化する際、モアレの発生を防止することができる。

図面の簡単な説明

0011

光学系の一例を示す図。
画像位置に応じた開口の例を示す図。
画像位置に応じたボケの方向を示す図。
楔形チャートを用いる場合の分解能を説明するための図。
楔形チャートで分解能を計測した結果を示す図。
撮影画像位置による劣化を示す図。
撮影画像端部の楔形チャートの一例を示す図。
図7に示す楔形チャートの分解能分析結果を示す図。
撮影画像中央部の楔形チャートの一例を示す図。
図9に示す楔形チャートの分解能分析結果を示す図。
ボケ関数をフーリエ変換したときの特性例を示す図。
K(ω)の逆数を示す図。
一定値分母に足した場合の逆フィルタを示す図。
高周波ほどゲインを落とす場合の逆フィルタを示す図。
楕円のPSFの一例を示す図。
楕円のボケ関数をフーリエ変換したときの特性例を示す図。
K(ω,θ)の逆数を示す図。
一定値を分母に足した場合の逆フィルタを示す図。
高周波ほどゲインを落とす場合の逆フィルタを示す図。
分解能の異方性を改善するための逆フィルタの一例を示す図。
空間フィルタを生成する装置を含む撮像装置概略構成の一例を示すブロック図。
回転を説明するための図。
逆フィルタKinvの空間周波数次元分布の一例を示す図。
逆フィルタKinvの空間周波数方向による分布の一例を示す図。
係数分析部の機能の一例を示すブロック図。
PSFを算出する手順を説明するための図。
12個のチャートを撮影した画像の一例を示す図。
空間フィルタテーブルの一例を示す図。
空間フィルタの一例を示す図。
有限の空間フィルタの強度を示す図。
補正画像に発生したモアレの一例を示す図。
有限空間フィルタで補正した画像の分解能分析結果を示す図。
モアレの発生を抑制して補正した画像の分解能分析結果を示す図。
急激な輝度変化を示す図。
ハイパスフィルタを通した後の輝度変化を示す図。
実施例1における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図。
実施例1におけるフィルタ制御部及びフィルタ処理部の概略構成の一例を示すブロック図。
有限空間フィルタF9の各画素での強度(その1)を示す図。
有限空間フィルタF9の各画素での強度(その2)を示す図。
実施例1における補正処理イメージを示す図。
注目画素線形補間を説明するための図。
画像補正前の分解能の分析結果を示す図。
実施例1による画像補正後の分解能の分析結果を示す図。
実施例1におけるフィルタ算出処理の一例を示すフローチャート。
実施例1におけるフィルタ処理の一例を示すフローチャート。
実施例2におけるフィルタ制御部及びフィルタ処理部の概略構成の一例を示すブロック図。
有限空間フィルタF'9の各画素での強度を示す図。
実施例2における補正処理のイメージを示す図。
実施例2におけるフィルタ算出処理の一例を示すフローチャート。
実施例2におけるフィルタ処理の一例を示すフローチャート。
実施例3における画像処理装置の概略構成の一例を示すブロック図。
チャート(その1)の例を示す図。
チャート(その2)の例を示す図。
チャート(その3)の例を示す図。

実施例

0012

まず、分解能劣化の一つの要因について、図1〜3を用いて説明する。図1は、光学系の一例を示す図である。図2は、画像位置に応じた開口の例を示す図である。図1に示す光学系を用いる場合、図2に示すように、光軸中心での開口は円形であるが、画角が大きい場合の開口はけられが生じる。図2に示すように、画像位置によって開口は楕円となる。

0013

図3は、画像位置に応じたボケの方向を示す図である。図1に示す光学系を用いる場合、図3に示すように、開口が狭くなると分解能が劣化するので、ボケの方向は半径方向に劣化する傾向がある。

0014

次に、発明者らが行った分解能の分析について説明する。放射状にエッジが分布するシーメンスター(以下、チャートとも呼ぶ)の撮影により、分解能の劣化の傾向が詳細に分析できる。

0015

図4は、楔形チャートを用いる場合の分解能を説明するための図である。図4に示す例では、矢印方向に分解能を計測するには、この方向と垂直な方向に複数データを取得する。図4に示す楔形のシーメンスターを用いる場合、端部から中心部に向かうほど、ライン幅が狭くなり、単位ピクセル当りライン数は多くなる。中心部は、高周波成分を表す。また、端部から中心部に向かうほど、輝度値振幅(Intensity)は減少する。

0016

図4に示すように、放射状に広がる、例えば楔形形状の被写体を用いることで、方向による分解能(MTF:Modulation Transfer Function)を分析することが可能になる。

0017

図5は、楔形チャートで分解能を計測した結果を示す図である。図5は、図4に示す方向で分解能を計測したグラフを示す。図5に示す縦軸は輝度値の振幅を示し、横軸は1ピクセル当りのライン数(LP:Line Pair)を示す。この分析では、振幅は、中心部へ向かうほど小さくなり、高周波成分(横軸右方向)になるほど劣化していく様子(MTF)を分析できる。

0018

図6は、撮影画像位置による劣化を示す図である。図6に示す例では、シーメンスターを複数枚並べて撮影すると、中央部に対し、端部での分解能の劣化を分析できる。図6に示す例では、Dx方向は円周方向、Dy方向は半径方向を示す。Dx方向とDy方向の定義は、以降の図においても同様である。

0019

図6に示す分析の結果、画像端部を含む周辺部では、単に分解能が劣化しているだけでなく、分解能に異方性があることが分かる。シーメンスターの分解能を比較すると、中央部では、角度依存が少ないが、端部では、角度依存がある。

0020

図7は、撮影画像端部の楔形チャートの一例を示す図である。図7に示す楔形チャートについて、Dx方向の垂直方向(半径方向)、Dy方向の垂直方向(円周方向)で分解能を分析する。

0021

図8は、図7に示す楔形チャートの分解能分析結果を示す図である。図8に示すように、半径方向の分解能が円周方向よりも分解能が劣化している。これにより、画像端部では、分解能に異方性があることが分かり、その分解能を定量的に測定することが可能である。

0022

図9は、撮影画像中央部の楔形チャートの一例を示す図である。図7に示す楔形チャートについて、Dx方向の垂直方向(半径方向)、Dy方向の垂直方向(円周方向)で分解能を分析する。

0023

図10は、図9に示す楔形チャートの分解能分析結果を示す図である。図10に示すように、半径方向の分解能と、円周方向の分解能とは、それほどの違いはない。よって、画像中央部では、分解能の異方性は見られない。

0024

ここで、上記のような分解能劣化を含むボケを補正するには、点広がり関数(PSF)を用いて補正する手法がある。PSFは、例えばボケを表す関数である。以降では、ボケを表す関数をボケ関数とも呼ぶ。

0025

元画像をx,PSFをkとすると、ボケ画像yは、xとkを畳み込みした画像となり、下記で表される。

0026

実際にはノイズnが含まれるが、ここでは説明を簡単にするため省略する。

0027

式(1)は、フーリエ変換されると、式(2)になる。

0028

ω:空間周波数
次に、逆フィルタKinvは、単純に求めようとすると、Kの逆数で求められる。

0029

これより、元画像のフーリエ変換X(ω)は、式(4)で求められ、これを逆フーリエ変換することにより元画像が算出される。

0030

0031

このようにPSFをフーリエ変換し、逆数による逆フィルタ関数(以下、単に逆フィルタとも呼ぶ)を算出する際に、空間周波数での割り算を行うため、高周波領域で0割が生じてしまう場合がある。0割とは、0又は0に近い値で割り算することである。高周波が0に近いと逆数が大きくなりすぎ、高周波のノイズが強調されてしまう。

0032

図11は、ボケ関数をフーリエ変換したときの特性例を示す図である。図11は、K(ω)を示し、高周波では0に近くなる。

0033

図12は、K(ω)の逆数を示す図である。図12は、式(3)によるKinvを示し、例えば高周波では分母が0に近いので高周波でのノイズが拡大されてしまう。

0034

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。

0035

0036

逆フィルタは、複素数なので、共役複素数を用いて表す。

0037

図13は、一定値を分母に足した場合の逆フィルタを示す図である。図14は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図13図14に示すように、周波数成分ごとに重みを加えてノイズを低減する。

0038

ここで、PSFが楕円の場合について考える。図15は、楕円のPSFの一例を示す図である。図15に示す例では、Dx方向よりもDy方向の方が、分解能が悪いことを示す。つまり、Dy方向の方が、Dx方向よりも分解能が劣化している。

0039

楕円のPSFは、k(r,θ)で表される。rは半径を表し、θは方向を表す。例えば、楕円のPSFは、半径rと方向θの関数として表される。楕円のPSFをフーリエ変換すると、K(ω,θ)=fk(r,θ)となる。fは、フーリエ変換を表す。例えば、フーリエ変換後のK(ω,θ)は、空間周波数ωと方向θの関数である。

0040

図16は、楕円のボケ関数をフーリエ変換したときの特性例を示す図である。図16は、図15のボケ関数の用いており、方向θによって特性が異なる。図16に示すように、Dx方向と、分解能が悪いDy方向とでは、その特性が異なることが分かる。

0041

図17は、K(ω,θ)の逆数を示す図である。図17は、式(7)によるKinvを示し、例えば高周波では分母が0に近いので高周波でのノイズが拡大されてしまう。

0042

0043

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。式(8)は、高周波のノイズを低減する逆フィルタを表す。

0044

0045

図18は、一定値を分母に足した場合の逆フィルタを示す図である。図19は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図18図19に示すように、周波数成分ごとに重みを加えてノイズを低減する。

0046

楕円のボケ関数(例えばPSF)の場合でも、補正した重み(λ)により高周波のノイズを低減することはできる。しかしながら、この重みによる補正では、分解能が悪い方向(例えばDy方向)の補正改善を行うことができない。よって、単に重みを加えるだけでは、分解能の異方性を改善することはできない。そこで、方向に応じて適切な重み関数を調整することで、分解能の異方性を改善することができることを発明者らは見出した。

0047

図20は、分解能の異方性を改善するための逆フィルタの一例を示す図である。図20に示す例は、高周波ほどゲインを落とすが、分解能が悪いDy方向について改善をより強調する例である。

0048

次に、分解能の異方性を改善するための空間フィルタの生成について説明する。以下に説明する装置は、図20に示すように、ゲインを落とす方法を用いて説明するが、これに限られない。例えば、図13などのように、一定値を足す方法でも分解能の異方性を改善することができる。この場合、Dy方向をDx方向よりも強調して一定値を足すようにすればよい。

0049

<空間フィルタを生成する装置>
まず、分解能の異方性を改善するための空間フィルタ生成について説明する。

0050

<構成>
図21は、空間フィルタを生成する装置を含む撮像装置の概略構成の一例を示すブロック図である。図1に示す撮像装置は、光学系1、撮像素子2、AFE(Analog Front End)3、画像処理部4、後処理部5、駆動制御装置6、制御装置7、画像メモリ8、表示部9及び係数分析部10を備える。

0051

光学系1は、放射状の模様を有する被写体Kからの光を像面に集光する。例えば、光学系1は、レンズ11a、11b、11c、及び絞り12を含む。レンズ11a、11b、11c、及び絞り12は、被写体Kからの光を撮像素子2の撮像面に集光させて被写体の像を結像する。駆動制御装置6は、レンズ11a、11b、11cの位置や絞り12の絞り度合い等を制御することができる。なお、光学系1の構成は特定のものに限定されない。

0052

撮像素子2は、光学系1によって集光された被写体Kからの光を電子信号アナログ信号)に変換する。撮像素子2は、例えば、CCD/CMOS等の二次元撮像素子を含み、二次元撮像素子は、被写体の像を電子信号(画像信号)に変換してAFE3へ出力する。

0053

AFE3は、撮像画像のアナログ信号をデジタル信号に変換する。AFE3は、例えばA/D(アナログデジタルコンバータ31及びタイミングジェネレータ32を含む。タイミングジェネレータ32は、制御装置7からの制御信号に基づいて、撮像素子2の駆動に用いられるタイミングパルスを生成し、撮像素子2及びA/Dコンバータ31へ出力する。

0054

画像処理部4は、デジタル信号の画像を保存して所定の画像処理を行う。画像処理部4は、例えばA/Dコンバータ31でデジタル信号に変換された画像(RAW画像)を記録するRAWメモリ41を含む。画像処理部4は、RAW画像に対して、所定の処理を施してもよい。所定の処理が施された画像は画像メモリ8に記録される。

0055

後処理部5は、所定の処理を経た画像に対して更に必要な処理を施して表示画像を生成する。後処理部5は、例えば、所定の処理が施された画像を画像メモリ8から読み出して、必要な処理を行って、表示するための画像を生成し、表示部9へ出力する。

0056

画像メモリ8は、所定の処理後の画像を記憶する。表示部9は、例えば、画像を記録するVRAM、及びVRAMの画像を出力するディスプレイを含む。なお、撮像装置は、表示機能を必ずしも備えなくてもよく、表示部9の替わりに、表示用の画像を記録する記録部(例えば、VRAM等)が設けられてもよい。

0057

駆動制御装置6は、光学系1を制御する。制御装置7は、AFE3、及び後処理部5を制御する。

0058

係数分析部10は、チャートが撮影された画像から、各画像位置での各方向の分解能を分析し、分解能の異方性を改善するための適切なフィルタデータを決定する。係数分析部10の詳細は後述する。

0059

フィルタデータは、例えば、デコンボリューションカーネルのように、画像補正のためのフィルタリングに必要なパラメータ集合とすることができる。デコンボリューションカーネルは、具体的には、PSFに応じた円形又は楕円形の被写体の像の分布する領域と、領域における各画素の重みを表すデータ(このようなデータをデコンボリューション分布と称する)で表すことができる。

0060

(逆フィルタ)
ここで、実施例で用いる逆フィルタについて説明する。以下では、分解能の異方性を改善する、例えば、分解能の悪い方向の調整を行う逆フィルタの算出手順について説明する。また、逆フィルタは、単にフィルタとも呼ぶ。

0061

式(1)で示すように、元画像xとPSF:k、ボケ画像yを考える。この元画像xを求めるときに、逆問題として式(9)が最小となれば、元画像に近い画像が得られる。

0062

通常は、逆問題を解くときに何らかの正則化項が施される。よって、正則化項を加算し、式(10)から逆問題を解く。

0063

0064

今回の問題では、方向性を必要とするから、画像の横(水平)方向(x方向)および縦(垂直)方向(y方向)の微分項を正則化項と追加する。

0065

ε:重み係数
dm,dn:行列方向の微分フィルタ

0066

0067

0068

式(11)が最小となるには、式(11)をxで偏微分した結果を0とすればよく、フーリエ変換して、X(ω)について解くと以下の式(12)が得られる。

0069

X(ω)、Y(ω)、K(ω)、Dm(ω)、Dn(ω)は、それぞれx,y,k,dm,dnのフーリエ変換を表す。

0070

周波数領域での逆フィルタKinv(ω)は、式(13)を満たす。

0071

0072

よって、逆フィルタKinv(ω)は、次の式(14)を満たす。

0073

0074

式(14)は、共役複素数を用いると式(15)式となる。

0075

0076

実施例では、分解能の悪い方向を調整するため、回転行列を用いて角度θ方向に微分係数の軸を回転させることが特徴となる。

0077

0078

回転行列を用いることで、方向性を持たせることができる。

0079

図22は、回転を説明するための図である。図22に示す例では、Dn方向をθ回転させてDy方向にし、Dm方向をθ回転させてDx方向にする。

0080

ここで、楕円PSFをk(r,θ)、フーリエ変換後の楕円PSFをK(ω,θ)=fk(r,θ)とする。
式(15)に、式(16)(17)及びK(ω,θ)を代入するとともに、方向による重みγを設定すると、式(18)が成り立つ。

0081

γ:逆フィルタの方向による重み係数
ε:全体の重み係数

0082

この式(18)により、各実施例で用いる逆フィルタの方向性の重み調整を施すことが可能となる。例えば、係数分析部10は、分解能の悪い方向(Dy方向)の重みγを調整する。重み係数γを小さくすることで、分解能の悪い方向を改善することができる。

0083

図23は、逆フィルタKinvの空間周波数2次元分布の一例を示す図である。図23に示す例では、γ=1/300の場合の2次元分布の例である。Dy方向について、Dx方向よりも分解能が改善するように重み係数γ、ε(特にγ)が決定される。

0084

図24は、逆フィルタKinvの空間周波数方向による分布の一例を示す図である。図24は、Dy方向の重み係数を小さくすることにより、Dy方向の改善を強調することができる。また、図24に示すDy'は、γ=1の場合の分布を示す。これにより、実施例によれば、逆フィルタのフィルタパラメータ乗算する重み係数にも異方性を持たせることができるようになる。

0085

(係数分析部)
次に、係数分析部10について説明する。係数分析部10では、分解能の異方性を改善するための空間フィルタを決定する。

0086

図25は、係数分析部10の機能の一例を示すブロック図である。図25に示す係数分析部10は、分解能分析部101及び決定部102を有する。係数分析部10は、チャート画像が撮影された画像から係数分析を行う。以下に説明する例では、例えば左上の位置に撮影された楔形の画像から係数分析を行う。

0087

分解能分析部101は、放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも2方向で分析する。分析の仕方は、図4図5などに説明した方法を用いる。
分解能分析部101は、横軸に1ピクセルあたりのライン数、縦軸に振幅強度をとるとMTFがわかる。1ピクセルあたりのライン数は、実際の被写体距離位置での単位長さあたりのライン数を用いてもよい。実施例では、楔形で放射状なチャートを用いるため、図5に示すように方向によるMTFを分析できる。

0088

図26は、PSFを算出する手順を説明するための図である。図26に示す例では、まず、決定部102は、画像の位置に応じた角度と楕円率を算出する。決定部102は、所定角度毎に算出されたMTFにおいて、ある一定閾値最大振幅の半分程度)で等高線を作ると楕円を求めることができる。

0089

決定部102は、求めた楕円の長軸短軸から楕円率を算出できる。決定部102は、画像の位置に基づいて、幾何学的に角度θ1を算出する。また、決定部102は、分解能の楕円の長軸、短軸から角度θ1を算出することもできる。長軸、短軸から角度θ1を算出した方が、実際のボケ具合に合わせて角度を算出することができる。ここで、図3で説明したように、光軸中心から同心円を描いたときに半径方向のボケが大きい。

0090

決定部102は、例えば縦方向と、半径方向との角度を算出すればよい。なお、光軸中心は、基本的には画像中心だが、レンズの位置ずれにより中心がずれる場合もある。決定部102は、この算出された楕円率と角度からPSFを決定する。このときのPSFの楕円は、MTFの等高線から得られた楕円とは90度回転した方向になっている。

0091

図25戻り、決定部102は、画像のボケ関数(PSF)に応じたフィルタ(上記逆フィルタ)により補正された画像に対し、この補正後の画像の分解能分析結果に基づいて、この逆フィルタの異方性を有するフィルタデータを決定する。

0092

また、決定部102は、画像の微分方向に対し、重み係数(例えばγ)を変えて決定する。例えば、Dx方向の重み係数は1にし、Dy方向の重み係数をγとし、このγを調整する。これにより、分解能の異方性を改善できる。

0093

また、決定部102は、微分方向に対して、回転(例えばθ)をすることで重み係数を決定する。これにより、分解能の悪い方向を検出でき、フィルタリングを行うことができるようになる。

0094

具体的には、決定部102は、例えば重み係数εとγとを調整して、適切な重み係数εとγを決定する。重み係数γは、分解能が悪い方向のフィルタパラメータの重み係数を表す。分解能が悪い方向のフィルタパラメータは、例えば、式(18)の重み係数γにかかるDy(ω、θ)とそのDy(ω、θ)の共役複素数である。

0095

重み係数を調整して決定するため、決定部102は、調整部121、画像補正部122、係数決定部123及びフィルタ決定部124を有する。

0096

調整部121は、例えば、方向に依存しない重み係数εと、方向に依存するγを調整する。調整部121は、重み係数ε、γの初期値を設定し、その初期値を画像補正部122に渡す。

0097

画像補正部122は、調整部121から取得した重み係数により画像補正を行う。画像補正部122は、式(18)に示す逆フィルタを用いて画像をフィルタリングして補正する。画像補正部122は、補正後の画像を分解能分析部101に渡し、再度分解能の劣化を分析する。

0098

係数決定部123は、補正後の画像に対する分解能分析結果に基づいて、2つの方向の分解能劣化の差が小さくなるように重み係数を決定する。係数決定部123は、様々な重み係数により補正された画像の分析結果を保持し、例えば、所定の振幅強度において、空間周波数の値の差分が最小となるように、重み係数εとγを決定する(決定処理1)。

0099

また、係数決定部123は、所定の空間周波数において、振幅強度の差が最小となるように、重み係数εとγを決定してもよい(決定処理2)。

0100

なお、閾値1、閾値2は、複数設定してもよく、係数決定部123は、各閾値での差分の二乗和が最小となるように重み係数を決定してもよい。なお、係数決定部123は、所定の差分が予め設定された閾値以下となるように重み係数を決定してもよい。この閾値は、事前実験等により設定されればよい。

0101

また、係数決定部123は、画像中心部での2方向の分解能の差分二乗和と、画像中心部とは異なる画像周辺部での2方向の分解能の差分二乗和との差が所定値以下となるように重み係数を決定してもよい。また、係数決定部123は、画像中心部と画像周辺部との差分二乗和が最小となるように重み係数を決定してもよい。

0102

これは、分解能の異方性を低減する際、画像中央部の分解能と画像周辺部の分解能を同様にすることで、画像全体の分解能が同様になり、画質の向上が図れるからである。

0103

係数決定部123による最小化の判断は、最小化関数を用いて算出してもよいし、人が判断してもよい。最小化関数としては、例えば、シンプレックスサーチ法や、最急降下法共役勾配法などがある。

0104

決定部102は、重み係数を変更して調整し、調整後の重み係数で逆フィルタを求め、求めた逆フィルタで画像を補正し、補正後の画像の分解能分析結果に基づいて、最適な重み係数を決定する。最適な重み係数が決定されるまで、重み係数の調整、逆フィルタの算出、フィルタリングによる補正、分解能分析の処理が繰り返される。

0105

フィルタ決定部104は、係数決定部123により決定された最適な重み係数を用いる逆フィルタKinvを算出し、周波数領域の逆フィルタKinvから空間領域の逆フィルタkinvを求める。以降では、空間領域の逆フィルタを空間フィルタとも呼ぶ。

0106

0107

求められた逆フィルタkinvは、処理対象のタップ(要素)数分が抜き出され、有限化される。

0108

なお、係数分析部10は、以上の処理をチャートが存在する画像内の各位置で行う。係数分析部10は、画像内の各位置で、分解能の異方性を分析し、その異方性を改善するための空間フィルタを決定する。

0109

以上の処理をすることで、所定の画像位置に対し、ボケを補正しつつ分解能の異方性を改善する空間フィルタを決定することができる。例えば、分解能が他の方向よりも悪い方向を検出し、その悪い方向に対して分解能がより改善するような重み係数を決定することができる。

0110

係数分析部10は、空間フィルタの算出を、画像の各位置で行う。図27は、12個のチャートを撮影した画像の一例を示す図である。図27に示す例は一例であり、12個以外でも、画像を分割した複数の領域にそれぞれチャートが存在すればよい。

0111

係数分析部10は、各チャートが存在する各領域でフィルタデータを決定し、空間フィルタを算出する。係数分析部10は、画像の位置と、空間フィルタとを対応付けたテーブルを作成する。

0112

図28は、空間フィルタテーブルの一例を示す図である。図28に示す空間フィルタテーブルでは、各領域の左上の画素座標と、その領域のチャートにより算出された空間フィルタとを対応付ける。例えば、位置(x1,y1)には、空間フィルタ(FIL1)が対応付けられている。

0113

これにより、係数分析部10を含む画像処理装置は、分解能の異方性が改善された空間フィルタを決定することができる。分解能の異方性が改善された空間フィルタは、上記例に限られず、例えば、特開2012−23498に記載された技術で求められる空間フィルタでもよい。この場合、空間フィルタには、分解能の異方性を持たせるようにする。

0114

なお、画像処理部4は、例えば、DSP(Digital Signal Processor)により構成することができる。この場合、RAWメモリ41は、DSP内蔵メモリであってもよいし、外部のメモリであってもよい。また、後処理部5、画像メモリ8、係数分析部10、表示のためのVRAM等が画像処理部4とともに一体のDSPで構成されてもよい。また、係数分析部10は、単体又は他の処理部を含む画像処理装置として構成されてもよい。

0115

あるいは、DSPのような特定処理専用プロセッサでなく、CPU等の汎用プロセッサが、所定のプログラムを実行することにより画像処理部4や係数分析部10の機能を実現することもできる。駆動制御装置6、制御装置7及び後処理部5も同様に、少なくとも1台の、特定処理専用プロセッサまたは汎用プロセッサにより構成することができる。

0116

なお、プロセッサを画像処理部4や係数分析部10として機能させるプログラムやそれを記録した記録媒体も本発明の実施形態に含まれる。この記録媒体は、一過性でない(non-transitory)ものであり、信号そのもののような一過性の媒体は含まれない。

0117

<空間フィルタの有限化による問題>
次に、空間フィルタの有限化による問題について説明する。異方性を有する空間フィルタを有限化すると、抜き出されたタップ(要素)以外のところで情報が失われてしまう。空間フィルタには異方性があるために、方向により失われる情報が異なる。また、要素を足し合わせた合計も等しくない。

0118

失われた情報には高周波の情報が含まれているので、有限の空間フィルタで画像を補正する際、補正の方向により補正度合いが異なってしまう。

0119

図29は、空間フィルタの一例を示す図である。図29に示す空間フィルタは、上述した式(20)に基づく異方性を有する空間フィルタである。図29では、空間フィルタの要素の値を色で表現している。

0120

図30は、有限の空間フィルタの強度を示す図である。図30に示す例では、例えばタップ数9とすると中心から9タップ分(9×9)の要素を抜き出す図30に示す例では、有限の空間フィルタの強度を縦軸に表す。空間フィルタから有限個の要素を抜き出すと、a101の部分では、情報が失われる。また、この空間フィルタは異方性を有するため、方向により失われる高周波情報が異なる。

0121

そのため、有限の空間フィルタを用いると、方向による補正度合いが異なる。図31に示すような9タップの空間フィルタでチャートを補正すると、モアレが発生する。図31は、補正画像に発生したモアレの一例を示す図である。図31に示すように、空間フィルタを有限にすることで、モアレが発生してしまう。

0122

図32は、有限空間フィルタで補正した画像の分解能分析結果を示す図である。図32に示すように、方向によって、周波数の劣化の補正度合いが異なる。

0123

図33は、モアレの発生を抑制して補正した画像の分解能分析結果を示す図である。図33に示す例では、モアレの発生を防ぐため、高周波の改善を抑えたため、分解能の異方性が残ってしまう。

0124

そこで、以下に、空間フィルタを有限化する際に、モアレの発生を防ぐ各実施例について説明する。

0125

[実施例1]
まず、モアレの発生を防ぐ概要について説明する。図34は、急激な輝度変化を示す図である。図34に示すような急激な輝度変化を示す部分(例えば矩形)は、様々な高周波成分の集まりである。

0126

上述したように、分解能に異方性を有する空間フィルタを有限化することにより、高周波情報の消失が方向によって異なるため、モアレが発生する。つまり、方向によって周波数の劣化の補正度合いが異なるため、モアレが発生する。

0127

そこで、有限のハイパスフィルタを通すことで、急激に輝度が変化する部分を低減し、方向によって異なる高周波情報の補正度合いの違いを低減する。これにより、方向によって異なる周波数情報の劣化を原因とするモアレの発生を防ぐことができる。

0128

図35は、ハイパスフィルタを通した後の輝度変化を示す図である。図35に示す例は、図34に示す輝度変化を二回微分した形状を示す。

0129

なお、有限のハイパスフィルタは、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタであればよい。以下では、有限フィルタとして、有限のハイパスフィルタを用いて説明する。

0130

次に、実施例1における画像処理装置を含む撮像装置について説明する。実施例1では、分解能の異方性を有する空間フィルタを有限化する際に、有限のハイパスフィルタを畳み込むことでモアレの発生を防ぐ。

0131

<構成>
図36は、実施例1における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図である。図36に示す構成で、図21に示す構成と同様のものは同じ符号を付す。以降では、実施例1における画像処理部15を主に説明する。

0132

画像処理部15は、RAWメモリ41、フィルタ制御部151、及びフィルタ処理部152を備える。フィルタ制御部151は、図28に示す空間フィルタテーブルを保持する。フィルタ制御部151は、空間フィルタテーブルの各空間フィルタに対して、有限のハイパスフィルタを畳み込む。フィルタ制御部151は、ハイパスフィルタを畳み込んだ空間フィルタをフィルタ処理部152に出力する。つまり、フィルタ制御部151は、処理対象画像の各位置に対応する各空間フィルタをフィルタ処理部152に出力する。

0133

フィルタ処理部152は、フィルタ制御部151から取得した有限の空間フィルタを用いて、対応する画像位置でフィルタリングを実行する。これにより、画像の各位置で異なる分解能の異方性を改善し、モアレの発生を防止して画質を向上させることができる。

0134

(フィルタ制御部及びフィルタ処理部)
次に、実施例1におけるフィルタ制御部151及びフィルタ処理部152について説明する。図37は、実施例1におけるフィルタ制御部151及びフィルタ処理部152の概略構成の一例を示すブロック図である。まず、フィルタ制御部151について説明する。フィルタ制御部151は、フィルタ記憶部201、フィルタ取得部202、フィルタ算出部203を有する。

0135

フィルタ記憶部201は、第1空間フィルタ211と、第2空間フィルタ212とを記憶する。各フィルタは、それぞれ異なる記憶領域に記憶されればよい。第1空間フィルタ211は、分解能の異方性を有する空間フィルタである。第1空間フィルタ211は、例えば、図28に示す空間フィルタテーブルの各フィルタである。第2空間フィルタ212は、フィルタ算出部203により算出されたフィルタである。第2空間フィルタは、例えば、第1空間フィルタ211にハイパスフィルタが畳み込まれたフィルタである。

0136

フィルタ取得部202は、画像の分解能に異方性を有する有限の空間フィルタを取得する。フィルタ取得部202は、例えば、フィルタ記憶部201から第1空間フィルタ211を取得する。フィルタ取得部202は、取得した第1空間フィルタ211をフィルタ算出部203に出力する。

0137

フィルタ算出部203は、フィルタ取得部202から取得した第1空間フィルタ211に対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する。フィルタ算出部203は、例えば、第1空間フィルタ211に有限のハイパスフィルタを畳み込んで第2空間フィルタを算出する。

0138

フィルタ算出部203は、有限のハイパスフィルタを予め保持している。有限なハイパスフィルタは、例えば3×3のフィルタとすると、次の式(21)又は式(22)を用いればよい。

0139

0140

0141

実施例で扱う異方性は、任意の方向の角度に応じたフィルタであるため、式(22)に示すように、全ての要素に非0の係数がある方が好ましい。

0142

フィルタ算出部203は、ハイパスフィルタを3×3とすると、空間フィルタkinvを7×7とすることで、その二つのフィルタを畳み込みして9×9のフィルタを算出する。このように、フィルタ算出部203は、ハイパスフィルタと空間フィルタを畳み込みして、所望のタップ数になるように算出する。

0143

ここで、7×7のフィルタをF7と表記し、ハイパスフィルタをLapと表記すると、フィルタ算出部203で算出された9×9のフィルタF9は、以下の式(23)で表される。

0144

0145

図38は、有限空間フィルタF9の各画素での強度(その1)を示す図である。図38に示す例では、有限空間フィルタの2方向(横方向Dx、縦方向Dy)の強度変化を示す。図39は、有限空間フィルタF9の各画素での強度(その2)を示す図である。図39に示す例では、各画素での強度を色で表す。図38図39に示すように、輝度が大きく変化する部分を余分に補正することがないので、安定した補正が可能となる。

0146

フィルタ算出部203は、上述した式(23)により算出した第2空間フィルタF9をフィルタ記憶部201に記憶する。

0147

なお、フィルタ算出部203は、別の装置に設けられ、フィルタ制御部151では、別の装置で求められた第2空間フィルタ212を記憶するようにしてもよい。

0148

図37に戻り、フィルタ処理部152について説明する。フィルタ処理部152は、畳み込み演算部301と、減算部302とを有する。畳み込み演算部301は、RAWメモリ41から画像を取得し、その画像に対して第2空間フィルタF9で畳み込んでフィルタ処理を行う。畳み込み演算部301は、フィルタ処理後の画像を減算部302に出力する。

0149

減算部302は、RAWメモリ41から取得した画像から、フィルタ処理後の画像を減算し、補正後の画像を生成する。ここで、補正後の画像をx、元の画像をyとするとき、次の式(24)が成り立つ。

0150

0151

図40は、実施例1における補正処理のイメージを示す図である。図40に示すように、フィルタ処理部152は、元画像に対してデコンボリューションフィルタ処理を行い、元画像からフィルタ処理後の画像を減算することで、補正後の画像を生成する。元画像は、RAWメモリ41から取得された画像であり、デコンボリューションフィルタは、有限の空間フィルタF9である。

0152

ここで、フィルタ処理部152は、画像の各領域の各画素に対して1つの空間フィルタを用いるのではなく、近傍の空間フィルタを用いて線形補間を行って注目画素の画素値を求めてもよい。

0153

図41は、注目画素の線形補間を説明するための図である。図41に示すように、フィルタ処理部152は、例えば近傍4つの空間フィルタで算出した各領域の中心画素を用いて、各画素の距離に応じた線形補間を行うことで、注目画素の画素値を求めてもよい。図41の例では、フィルタ処理部152は、FIL1と、FIL2と、FIL5と、FIL6とでそれぞれ求められた各領域の画素値を線形補間することで、注目画素の画素値を算出する。

0154

また、フィルタ処理部152は、注目画素に対して空間フィルタ自体を線形補間で求めてから画素値を算出するようにしてもよい。また、上記例では、近傍4個としたが、これに限られず、他の複数個を用いてもよいし、線形補間として距離を用いたが、その他の手法で補間するようにしてもよい。また、補間は、領域をさらに細分化した小領域毎に行ってもよいし、画素毎に行ってもよい。

0155

<効果>
次に、上述した空間フィルタF9を用いる効果について説明する。図42は、画像補正前の分解能の分析結果を示す図である。Dy方向の方がDx方向よりも落ち込みが大きいため、分解能が劣化していることが分かる。

0156

図43は、実施例1による画像補正後の分解能の分析結果を示す図である。図43に示す例では、空間フィルタF9を用いている。図43に示すように、Dx、Dy方向共に分解能が改善し、さらに、各方向の差が小さくなっている。よって、分解能の異方性を改善することができている。また、急激な輝度変化も低減しているため、モアレの発生を防止することもできる。

0157

<動作>
次に、実施例1における画像処理部15の動作について説明する。図44は、実施例1におけるフィルタ算出処理の一例を示すフローチャートである。

0158

テップS101で、フィルタ取得部202は、フィルタ記憶部201から第1空間フィルタ211を取得する。

0159

ステップS102で、フィルタ算出部203は、第1空間フィルタに、有限ハイパスフィルタを畳み込む。

0160

ステップS103で、フィルタ制御部151は、フィルタ記憶部201に記憶されている第1空間フィルタ211を全て処理したか否かを判定する。全て処理してれば(ステップS103−YES)フィルタ算出処理を終了し、全て処理していなければ(ステップS103−NO)ステップS101に戻る。

0161

これにより、画像の各位置での第1空間フィルタにハイパスフィルタを畳み込んで、第2空間フィルタを生成することができる。

0162

図45は、実施例1におけるフィルタ処理の一例を示すフローチャートである。図45に示すステップS201で、畳み込み演算部301は、処理対象画像の領域の位置に応じて、第2空間フィルタを決定する。

0163

ステップS202で、畳み込み演算部301は、決定したフィルタを用いて処理対象画像の領域の画素を求める。このとき、フィルタ処理部152は、領域内の注目位置について、上述した線形補間を行ってフィルタ処理後の画素値を求める。

0164

ステップS203で、畳み込み演算部301は、全画素について補正を行ったか否かを判定する。全画素について処理済みであれば(ステップS203−YES)ステップS204に進み、全画素について処理が済んでいなければ(ステップS203−NO)ステップS201に戻る。

0165

ステップS204で、減算部302は、元画像から、フィルタ処理後の画像を減算し、補正後の画像を生成する。

0166

これにより、分解能の異方性を改善しつつ、モアレの発生を防止した補正後の画像を生成することができる。

0167

[実施例2]
次に、実施例2における画像処理装置を含む撮像装置について説明する。実施例2では、実施例1と同様の効果を得るが、フィルタ処理を簡素化する。

0168

<構成>
実施例2における撮像装置は、実施例1における撮像装置と同様であるため、同じ符号を用いて説明する。

0169

(フィルタ制御部及びフィルタ処理部)
次に、実施例2におけるフィルタ制御部151及びフィルタ処理部152について説明する。図46は、実施例2におけるフィルタ制御部151及びフィルタ処理部152の概略構成の一例を示すブロック図である。まず、フィルタ制御部151について説明する。フィルタ制御部151は、フィルタ記憶部401、フィルタ取得部202、フィルタ算出部402を有する。

0170

実施例2におけるフィルタ制御部151の構成で、実施例1における構成と同様のものは同じ符号を付す。

0171

フィルタ記憶部401は、フィルタ算出部402により算出された第3空間フィルタ411を記憶する。

0172

フィルタ算出部402は、実施例1における画像同士の減算処理を不要にする第3空間フィルタ411を算出する。以下のように式変形を行うことで、減算処理を不要とすることができる。

0173

ここで、中心だけ1のフィルタI0が用いられる。

0174

0175

次に、式(25)を用いて式(24)を変形すると式(26)になる。

0176

0177

次に、F'9を式(27)のように定義する。

0178

0179

式(27)を用いて式(26)を変形すると、式(28)になる。

0180

0181

これにより、実施例1と同じ結果が得られて、画像同士の減算処理を不要とする一つの有限空間フィルタを生成することができる。

0182

フィルタ算出部402は、式(27)のF'9を算出する。フィルタ算出部402は、算出した空間フィルタF'9をフィルタ記憶部401に書き込む。空間フィルタF'9は、第3空間フィルタ411である。

0183

図47は、有限空間フィルタF'9の各画素での強度を示す図である。図47に示す例では、各画素での強度を色で表す。

0184

図46に戻り、実施例2におけるフィルタ処理部152について説明する。フィルタ処理部152は、畳み込み演算部501を有する。畳み込み演算部501は、式(28)に示す処理を行い、補正後の画像xを生成する。

0185

図48は、実施例2における補正処理のイメージを示す図である。図48に示すように、フィルタ処理部152は、元画像に対してデコンボリューションフィルタ処理を行うことで、補正後の画像を生成する。元画像は、RAWメモリ41から取得された画像であり、デコンボリューションフィルタは、有限の空間フィルタF'9である。

0186

ここで、フィルタ処理部152は、実施例1同様、画像の各領域の各画素に対して1つの空間フィルタを用いるのではなく、近傍の空間フィルタを用いて線形補間を行って注目画素の画素値を求めてもよい。

0187

<効果>
実施例2では、画像同士の減算処理を不要にするため、式を変形しただけであるので、実施例1と同様の効果を得る。

0188

<動作>
次に、実施例2における画像処理部15の動作について説明する。図49は、実施例2におけるフィルタ算出処理の一例を示すフローチャートである。

0189

ステップS301で、フィルタ取得部202は、フィルタ記憶部401から第1空間フィルタ211を取得する。

0190

ステップS302で、フィルタ算出部402は、第1空間フィルタに、有限ハイパスフィルタを畳み込む。

0191

ステップS303で、フィルタ算出部402は、式(27)により、第3空間フィルタF'9を算出する。

0192

ステップS304で、フィルタ制御部151は、フィルタ記憶部401に記憶されている第1空間フィルタ211を全て処理したか否かを判定する。全て処理してれば(ステップS304−YES)フィルタ算出処理を終了し、全て処理していなければ(ステップS304−NO)ステップS301に戻る。

0193

これにより、画像の各位置での第1空間フィルタにハイパスフィルタを畳み込み、このフィルタをフィルタI0から減算することで、第3空間フィルタを生成することができる。

0194

図50は、実施例2におけるフィルタ処理の一例を示すフローチャートである。図50に示すステップS401で、畳み込み演算部501は、処理対象画像の領域の位置に応じて、第3空間フィルタを決定する。

0195

ステップS402で、畳み込み演算部501は、決定したフィルタを用いて処理対象画像の領域の画素を求める。このとき、フィルタ処理部152は、領域内の注目位置について、上述した線形補間を行ってフィルタ処理後の画素値を求める。

0196

ステップS403で、畳み込み演算部501は、全画素について補正を行ったか否かを判定する。全画素について処理済みであれば(ステップS403−YES)フィルタ処理を終了し、全画素について処理が済んでいなければ(ステップS403−NO)ステップS401に戻る。

0197

これにより、実施例1同様、分解能の異方性を改善しつつ、モアレの発生を防止した補正後の画像を生成することができる。

0198

[実施例3]
次に、実施例3における画像処理装置について説明する。実施例3では、前述した係数分析部10と、実施例1又は2の画像処理部15との各処理をCPUやDSPなどに行わせる。

0199

<構成>
図51は、実施例3における画像処理装置の概略構成の一例を示すブロック図である。図51に示す画像処理装置は、制御部602と、主記憶部604と、補助記憶部606と、通信部608と、記録媒体I/F部610と、カメラI/F部612とを備える。各部は、バスを介して相互にデータ送受信可能に接続されている。画像処理装置は、例えば、PC(Personal Computer)やサーバスマートフォンタブレット端末などの情報処理機能を有する装置である。

0200

制御部602は、コンピュータの中で、各装置の制御やデータの演算、加工を行うCPU(Central Processing Unit)などである。また、制御部602は、主記憶部604や補助記憶部606に記憶されたプログラムを実行する演算装置である。

0201

また、制御部602は、例えば補助記憶部606に記憶される係数分析処理や画像処理を行うためのプログラムを実行することで、上述した各処理を実行することができる。

0202

主記憶部604は、ROM(Read Only Memory)やRAM(Random Access Memory)などであり、制御部602が実行する基本ソフトウェアであるOSやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

0203

補助記憶部606は、HDD(Hard Disk Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部606は、記録媒体614などから取得された係数分析処理や画像処理を行うためのプログラムを記憶しておいてもよい。

0204

通信部608は、有線又は無線で通信を行う。通信部608は、例えば、サーバなどから複数の画像を取得し、例えば補助記憶部606に複数の画像を記憶する。

0205

記録媒体I/F(インターフェース)部610は、USB(Universal Serial Bus)などのデータ伝送路を介して接続された記録媒体614(例えば、フラッシュメモリなど)と画像処理装置とのインターフェースである。

0206

また、記録媒体614に、所定のプログラムを格納し、この記録媒体614に格納されたプログラムは記録媒体I/F部610を介して画像処理装置にインストールされる。インストールされた所定のプログラムは、画像処理装置により実行可能となる。

0207

カメラI/F部612は、カメラ616との通信を行うインターフェースである。カメラ616から撮像されたチャート画像や、補正対象の通常の画像などは、カメラI/F部612がカメラ616から取得し、補助記憶部606などに保存する。

0208

カメラ616は、図6などに示すようなチャート画像や、通常の風景人物などを撮影する。撮影された画像は、カメラI/F部612を介して画像処理装置に取り込まれる。なお、カメラ616は、画像処理装置に内蔵されてもよい。

0209

これにより、画像処理装置は、チャート画像を取得して各位置での空間フィルタを算出し、補正対象画像に対して、算出した空間フィルタを用いて補正することができる。

0210

よって、前述した係数分析処理、画像処理を実現するためのプログラムを記録媒体に記録することで、前述した係数分析処理、画像処理をコンピュータに実施させることができる。

0211

例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した係数分析処理、画像処理を実現させることも可能である。

0212

なお、記録媒体は、CD−ROMフレキシブルディスク光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。

0213

また、チャートの例として、図52〜54のチャートを用いてもよい。図52は、チャート(その1)の例を示す図である。図52に示すチャートは、少なくとも2方向で分解能が分析できるチャートである。

0214

図53は、チャート(その2)の例を示す図である。図53に示すチャートは、放射状にあらゆる方向で分解能が分析できるチャートである。図53に示すチャートが分解能分析に適している。

0215

図54は、チャート(その3)の例を示す図である。図54に示すチャートは、中心部と、外側部で分解能が異なるチャートである。図53に示すチャートが実施例の分解能分析に適しているが、図52図54に示すチャートでも分解能の異方性を分析することができる。

0216

以上、画像処理装置、撮像装置、情報処理方法及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

0217

なお、以上の各実施例に関し、さらに以下の付記を開示する。
(付記1)
画像の分解能に異方性を有する有限の第1空間フィルタを取得する取得部と、
前記第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する算出部と、
を備える画像処理装置。
(付記2)
前記有限フィルタは、全要素で非0の係数を有するハイパスフィルタである付記1記載の画像処理装置。
(付記3)
前記算出部は、
前記第2空間フィルタを、中心要素が1であり、該中心要素以外の要素が0であるフィルタから減算することで、第3空間フィルタを算出する付記1又は2記載の画像処理装置。
(付記4)
入力される画像に前記第2空間フィルタを用いてフィルタ処理を行い、前記画像から前記フィルタ処理後の画像を減算して補正後の画像を生成するフィルタ処理部をさらに備える付記1又は2記載の画像処理装置。
(付記5)
入力される画像に前記第3空間フィルタを用いてフィルタ処理を行い、補正後の画像を生成するフィルタ処理部をさらに備える付記3記載の画像処理装置。
(付記6)
付記1乃至5いずれか一項に記載の画像処理装置と、
撮像部と、
を備える撮像装置。
(付記7)
画像の分解能に異方性を有する有限の第1空間フィルタを取得し、
前記第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する
処理をコンピュータに実行させるプログラム。
(付記8)
画像の分解能に異方性を有する有限の第1空間フィルタを取得し、
前記第1空間フィルタに対し、要素の総和が0であり、かつ少なくとも2つの要素が非0である有限フィルタを畳み込むことで第2空間フィルタを算出する
処理をコンピュータが実行する情報処理方法。

0218

10係数分析部
15画像処理部
101分解能分析部
102 決定部
151フィルタ制御部
152フィルタ処理部
201、401フィルタ記憶部
202 フィルタ取得部
203、402 フィルタ算出部
301、501畳み込み演算部
302 減算部
602 制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ