図面 (/)

技術 画像処理装置及びプログラム

出願人 オリンパス株式会社
発明者 岡崎豊
出願日 2010年2月23日 (11年0ヶ月経過) 出願番号 2010-037870
公開日 2011年9月8日 (9年5ヶ月経過) 公開番号 2011-175380
状態 未査定
技術分野 画像処理 FAX画像信号回路
主要キーワード 統合グループ 基準グループ 包絡周囲長 グループ境界 次基準 凹凸度 グループ領域 グループ群
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年9月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

画像データ全体における見た目不自然さを生じさせずに、画像データを構成する個々の画素画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供すること。

解決手段

画像処理装置を次のように構成する。画像データを構成する画素の画素値を推定する推定手段を複数種有し、複数種の推定手段を選択的に用いて画素値を推定し、且つ、各々の画素の推定精度情報を作成する画素値推定部110と、推定精度情報を各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部120と、推定精度分布情報に対して所定のフィルタリング処理を施し、画素値の置換対象画素を決定する置換画素決定部130と、置換対象画素の画素値を、再推定処理或いは補間処理により算出し、置換対象画素の画素値を置換する画素値置換部140と、を具備させる。

概要

背景

従来より、例えば電子スチルカメラビデオカメラ、及び現像アプリケーション等により取得した画像データ、ノイズを含む画像データ、欠損画素を含む画像データ、カラーフィルタアレイによる撮像で取得したRAW画像データ、及びランダムサンプリングアップサンプリングして取得した画像データ等を入力画像データとして、この入力画像データの各々の画素に対して画素値推定処理を実行し、推定した画素値に基づいてノイズ低減処理補間処理デモザイキング処理等を行う画像処理装置及びプログラムが知られている。

具体的には、例えば欠損画素を含む画像データについて補間処理を行う場合、補間処理対象の画素の画素値を推定する為に、補間対象画素の近傍の小領域(以降、参照領域と称する)内の画素の画素値を利用する。この際、参照領域内に欠損画素が存在することで当該推定処理に必要な画素値の情報を得ることができない場合がある。このような場合、参照領域の範囲を拡大し、推定に用いる為の画素値の情報を多く取得する。そして、この参照領域の範囲の拡大に伴って、推定処理に使用する推定アルゴリズムパラメータ等を、適宜、変更/調整して画素値を推定する。つまり、参照領域の大きさ(得られる情報量)に応じて、推定処理に使用する推定手段を適宜変更/調整する。これにより、より高精度な補間処理を実現する。

このような技術に関連する技術として、例えば特許文献1には次のような技術が開示されている。

すなわち、特許文献1には、補間対象画素の周辺にある複数の周辺画素の各々について、当該周辺画素と他の複数の周辺画素との相関演算値演算する相関演算部と、前記複数の周辺画素の各々について演算された複数の相関演算値に基づいて、前記周辺画素の各々と輝度値が等しいサブピクセルの位置を推定するサブピクセル推定部と、前記補間対象画素の画素値として、前記各サブピクセルから前記補間対象画素までの距離に応じた画素値の加重平均を演算する加重平均演算部と、を備える映像信号補間装置が開示されている。

この特許文献1に開示されている映像信号補間装置によれば、画像データを構成する各々の画素における画素値の推定処理において、適宜複数の推定手段を選択的に使用して画素値を推定することで、各画素の画素値を高精度に推定処理することを可能にしている。

概要

画像データ全体における見た目不自然さを生じさせずに、画像データを構成する個々の画素の画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供すること。画像処理装置を次のように構成する。画像データを構成する画素の画素値を推定する推定手段を複数種有し、複数種の推定手段を選択的に用いて画素値を推定し、且つ、各々の画素の推定精度情報を作成する画素値推定部110と、推定精度情報を各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部120と、推定精度分布情報に対して所定のフィルタリング処理を施し、画素値の置換対象画素を決定する置換画素決定部130と、置換対象画素の画素値を、再推定処理或いは補間処理により算出し、置換対象画素の画素値を置換する画素値置換部140と、を具備させる。

目的

従って、1つの画像データを構成する各々の画素の画素値を推定処理する際に、複数の推定手段を利用することに起因して生じる上述の問題を解決する技術が望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像データを入力する為の画像データ入力部と、前記画像データ入力部により入力された画像データを構成する画素画素値推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定部と、前記画素値推定部により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部と、前記画素値推定精度記録部により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定部と、前記置換画素決定部により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理/補間処理部と、前記置換対象画素の画素値を、前記再推定処理/補間処理部により算出された画素値に置換する画素値置換部と、を具備することを特徴とする画像処理装置

請求項2

前記置換画素決定部は、互いに隣接し且つ同じ推定精度の画素について同じラベルを付してグループを生成するラベリング処理を行うラベリング処理部と、前記ラベリング処理部により生成されたグループについて、フィルタリング処理を行うフィルタリング処理部と、前記フィルタリング処理部によるフィルタリング処理結果を、前記ラベリング処理部によるラベリング処理結果に反映させるか否かを判定する統合判定部と、前記ラベリング処理部によるラベリング処理結果に、前記フィルタリング処理部によるフィルタリング処理結果を反映させると前記統合判定部により判定された場合、前記ラベリング処理部によるラベリング処理結果に、前記フィルタリング処理部によるフィルタリング処理結果を反映させる処理を行い、該処理によりラベルを付し直された画素を前記置換対象画素として決定する統合処理部と、を有することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記フィルタリング処理部は、クロージング処理を行うことを特徴とする請求項2に記載の画像処理装置。

請求項4

前記フィルタリング処理部は、各々の処理時点において構成画素数が最も多いグループ(基準グループ)から順に、当該グループの近傍画素被統合候補画素)を、当該グループに統合する為のフィルタリング処理を行うことを特徴とする請求項2に記載の画像処理装置。

請求項5

前記フィルタリング処理部は、各々の処理時点において構成画素数が最も多いグループ(基準グループ)から順に、当該グループの近傍画素に付されたラベルを、当該グループを構成する画素に付されたラベルに付し直す為のフィルタリング処理を行うことを特徴とする請求項2に記載の画像処理装置。

請求項6

前記フィルタリング処理部は、前記フィルタリング処理対象のグループの構成画素数が所定の閾値以下になった場合に、当該フィルタリング処理を終了することを特徴とする請求項4又は請求項5に記載の画像処理装置。

請求項7

前記統合判定部は、前記被統合画素の推定精度が、前記基準グループを構成する画素の推定精度よりも高い場合に、前記フィルタリング処理部によるフィルタリング処理結果を、前記ラベリング処理部によるラベリング処理結果に反映させると判定することを特徴とする請求項6に記載の画像処理装置。

請求項8

前記再推定処理/補間処理部は、前記置換画素決定部により置換対象画素として決定された画素の推定精度が、同じラベルを付された画素の推定精度と同じ推定精度となるように、前記置換対象画素の画素値を再推定処理或いは補間処理により算出することを特徴とする請求項2に記載の画像処理装置。

請求項9

画像処理装置としてコンピュータを機能させるプログラムであって、画像データを入力する為の画像データ入力機能と、前記画像データ入力機能により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定機能と、前記画素値推定機能により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録機能と、前記画素値推定精度記録機能により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定機能と、前記置換画素決定機能により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理/補間処理機能と、前記置換対象画素の画素値を、前記再推定処理/補間処理機能により算出された画素値に置換する画素値置換機能と、をコンピュータに実現させることを特徴とするプログラム。

技術分野

0001

本発明は、画素値推定する処理を行う画像処理装置及びプログラムに関する。

背景技術

0002

従来より、例えば電子スチルカメラビデオカメラ、及び現像アプリケーション等により取得した画像データ、ノイズを含む画像データ、欠損画素を含む画像データ、カラーフィルタアレイによる撮像で取得したRAW画像データ、及びランダムサンプリングアップサンプリングして取得した画像データ等を入力画像データとして、この入力画像データの各々の画素に対して画素値の推定処理を実行し、推定した画素値に基づいてノイズ低減処理補間処理デモザイキング処理等を行う画像処理装置及びプログラムが知られている。

0003

具体的には、例えば欠損画素を含む画像データについて補間処理を行う場合、補間処理対象の画素の画素値を推定する為に、補間対象画素の近傍の小領域(以降、参照領域と称する)内の画素の画素値を利用する。この際、参照領域内に欠損画素が存在することで当該推定処理に必要な画素値の情報を得ることができない場合がある。このような場合、参照領域の範囲を拡大し、推定に用いる為の画素値の情報を多く取得する。そして、この参照領域の範囲の拡大に伴って、推定処理に使用する推定アルゴリズムパラメータ等を、適宜、変更/調整して画素値を推定する。つまり、参照領域の大きさ(得られる情報量)に応じて、推定処理に使用する推定手段を適宜変更/調整する。これにより、より高精度な補間処理を実現する。

0004

このような技術に関連する技術として、例えば特許文献1には次のような技術が開示されている。

0005

すなわち、特許文献1には、補間対象画素の周辺にある複数の周辺画素の各々について、当該周辺画素と他の複数の周辺画素との相関演算値演算する相関演算部と、前記複数の周辺画素の各々について演算された複数の相関演算値に基づいて、前記周辺画素の各々と輝度値が等しいサブピクセルの位置を推定するサブピクセル推定部と、前記補間対象画素の画素値として、前記各サブピクセルから前記補間対象画素までの距離に応じた画素値の加重平均を演算する加重平均演算部と、を備える映像信号補間装置が開示されている。

0006

この特許文献1に開示されている映像信号補間装置によれば、画像データを構成する各々の画素における画素値の推定処理において、適宜複数の推定手段を選択的に使用して画素値を推定することで、各画素の画素値を高精度に推定処理することを可能にしている。

先行技術

0007

特開2008−252450号公報

発明が解決しようとする課題

0008

ところで、特許文献1に開示されている技術によれば、画像データを構成する個々の画素の画素値については、それぞれの画素についての推定処理に最も適した推定手段(例えば参照領域の大きさ(得られる情報量)に応じた手段)を用いて、最も高い精度で推定処理される。

0009

しかしながら、このような推定処理結果を反映させて作成した画像データは、当該画像データ全体を観た場合に、観察者に対して不自然印象を与えることがある。これは、当該画像データを構成する各々の画素についてはそれぞれ最高の精度で画素値の推定処理をしているものの、当該画像データ全体としては不均一な精度で推定処理が為されているからである。

0010

より詳細には、参照領域から得られる情報量に応じて、個々の画素における画素値の推定処理に用いる手段(アルゴリズムやパラメータや参照領域の大きさ等)を変更する為、当該推定処理結果に基づいて作成される画像データにおいては、画素毎に推定精度が異なる。結果として、ぼけている画素と鮮鋭な画素とが混在してしまい、アーティファクトが目立つ不適切な画像データとなる場合がある。

0011

また、例えば補間処理の対象の画素との相関を調べる周辺画素として、選択する画素の位置、選択する画素の数、相関の大きさ等の様々な要因によって、補間処理の対象の画素における画素値の推定精度は異なってしまう。

0012

このように、各画素が最も高い精度の推定処理結果を得られるように画素毎に選択的に異なる画素値推定手段を用いると、生成される画像データは見た目に不自然な(滑らかでない)ものになってしまう。従って、1つの画像データを構成する各々の画素の画素値を推定処理する際に、複数の推定手段を利用することに起因して生じる上述の問題を解決する技術が望まれている。

0013

本発明は、前記の事情に鑑みて為されたものであり、画像データ全体における見た目の不自然さを生じさせずに、画像データを構成する個々の画素の画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供することを目的とする。

課題を解決するための手段

0014

前記の目的を達成するために、本発明の第1の態様による画像処理装置は、
画像データを入力する為の画像データ入力部と、
前記画像データ入力部により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定部と、
前記画素値推定部により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部と、
前記画素値推定精度記録部により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定部と、
前記置換画素決定部により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理/補間処理部と、
前記置換対象画素の画素値を、前記再推定処理/補間処理部により算出された画素値に置換する画素値置換部と、
具備することを特徴とする。

0015

前記の目的を達成するために、本発明の第2の態様によるプログラムは、
画像処理装置としてコンピュータを機能させるプログラムであって、
画像データを入力する為の画像データ入力機能と、
前記画像データ入力機能により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定機能と、
前記画素値推定機能により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録機能と、
前記画素値推定精度記録機能により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定機能と、
前記置換画素決定機能により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理/補間処理機能と、
前記置換対象画素の画素値を、前記再推定処理/補間処理機能により算出された画素値に置換する画素値置換機能と、
をコンピュータに実現させることを特徴とする。

発明の効果

0016

本発明によれば、画像データ全体における見た目の不自然さを生じさせずに、画像データを構成する個々の画素の画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供することができる。

図面の簡単な説明

0017

本発明の第1実施形態に係る画像処理装置の一構成例を示す図。
置換画素決定部の一構成例を示す図。
本発明の第1実施形態に係る画像処理装置のメインコントローラの制御による画像処理フローチャートを示す図。
ラベリング処理された画像データの一例を示す図。
膨張処理された画像データの一例を示す図。
画像データにおいて被統合グループを構成する画素を特定した一例を示す図。
再ラベリング処理された画像データの一例を示す図。
本発明の第2実施形態に係る画像処理装置のメインコントローラの制御による画像処理のフローチャートを示す図。

実施例

0018

以下、図面を参照して本発明の実施形態を説明する。

0019

[第1実施形態]
図1は、本発明の第1実施形態に係る画像処理装置の一構成例を示す図である。

0020

図1に示すように画像処理装置1は、メインコントローラ10と、画像データ入力部100と、画素値推定部110と、画素値推定精度記録部120と、置換画素決定部130と、画素値置換部140と、を具備する。

0021

前記メインコントローラ10は、当該画像処理装置1全体を統括的に制御する部材である。

0022

前記画像データ入力部100は、当該画像処理装置1による画像処理に係る画像データを入力する為の部材であり、当該画像処理装置1を構成する各部からの画像データの参照要求許可する。

0023

前記画素値推定部110は、画像データ入力部100に入力された画像データについて、当該画像データを構成する各々の画素の画素値を推定して算出し、該推定における推定精度(詳細は後述するが、例えば参照領域の大きさ)を示す推定精度情報を作成する。

0024

前記画素値推定精度記録部120は、当該画素値推定精度記録部120が備えるメモリ領域に、前記推定精度情報を、当該画像データを構成する各々の画素毎に記録し、推定精度分布情報を作成する。

0025

前記置換画素決定部130は、図2に示すようにフィルタリング処理(例えばクロージング処理図2においては“クロージング処理”と記載)を行うフィルタリング部130aを備えており、画素値推定精度記録部120により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換する画素(以降、置換対象画素と称する)を決定する。

0026

詳細には、前記置換画素決定部130は、画像データを構成する各々の画素における画素値の推定精度に基づいて画素をラベリング処理し(例えば、同じ推定精度の画素には同じラベルを付し)、同じ推定精度の画素から成るグループを作成する。そして、前記置換画素決定部130は、各々の処理時点において構成画素数が最も多いグループ(以降、基準グループと称する)から順に、当該グループの近傍画素(以降、被統合候補画素と称する)に付されたラベルを、当該グループを構成する画素に付されたラベルに付し直す為のフィルタリング処理を行う。換言すれば、前記置換画素決定部130は、基準グループに被統合候補画素を統合する為のフィルタリング処理を行う。

0027

詳細は後述するが、前記置換画素決定部130は、フィルタリング処理対象のグループの構成画素数が所定の閾値以下になった場合に、当該フィルタリング処理を終了する。

0028

そして、前記置換画素決定部130は、ラベリング処理結果に、フィルタリング処理結果を反映させる(統合処理を行う)か否かを、所定の基準に基づいて決定する処理を行う。

0029

ここで、前記所定の基準とは、“被統合候補画素の推定精度が、基準グループを構成する画素の推定精度よりも低い場合には、統合処理を行わない”という基準である。

0030

さらに、前記置換画素決定部130は、ラベリング処理結果にフィルタリング処理結果を反映させると判定した場合、ラベリング処理結果にフィルタリング処理結果を反映させる統合処理を行い、この統合処理によりラベルを付し直された画素を置換対象画素と決定する。

0031

前記画素値置換部140は、前記置換対象画素の画素値を、前記画素値推定部110に再推定させ、或いは、近傍画素の画素値を用いて補間処理させ、この再推定/補間処理により算出された画素値に置換する。

0032

なお、前記画素値置換部140に、この再推定/補間処理を行う為の画素値算出部を設けても勿論よい。

0033

以下、本第1実施形態に係る画像処理装置1による画像処理について、図3に示すフローチャートを参照して説明する。図3は、本第1実施形態に係る画像処理装置1のメインコントローラ10の制御による画像処理のフローチャートを示す図である。

0034

まず、画像データ入力部100は、画像処理対象の画像データを、当該画像処理装置1に入力する(ステップS1)。続いて、画素値推定部110は、前記ステップS1において入力された画像データを構成する各画素の画素値を推定し(推定精度を算出し)、且つ、その推定についての推定精度情報を作成する(ステップS2)。

0035

次に、画素値推定精度記録部120は、画像データを構成する各々の画素について推定精度情報をメモリ領域に記録して推定精度分布情報を作成する(ステップS3)。この推定精度分布情報は、画像データを構成する個々の画素の推定精度を示す情報であり、画像データにおける推定精度の分布を示す情報である。

0036

前記ステップS3における処理の後、置換画素決定部130による統合処理に係るステップ(ステップS4乃至ステップS11)に移行する。

0037

まず、置換画素決定部130は、互いに隣接し且つ“同じ推定精度”の画素に同じラベルを付し、図4に示すような推定精度分布を作成する(ステップS4)。図中の数値は推定精度を示す値である。

0038

ここでいう同じ推定精度の画素とは、所定の精度で量子化することにより得られた推定精度が等しい画素のことを指す。

0039

図4に示す例では、ラベルとして“0”〜“5”を各画素に付すラベリング処理を行っている。

0040

なお、前記量子化により得られた推定精度をラベリング処理におけるラベルとして使用しても良いし、使用しなくともよい(図4に示す例では使用していない)。

0041

ここで、同じラベルのついた隣接する画素同士の塊をグループと呼ぶことにする。図4では同じ推定精度の画素同士に対してラベリングをすることによりグループを作成し終えた段階の推定精度分布を示す。

0042

続いて、置換画素決定部130は、前記ステップS4におけるラベリング処理で生成されたn個のグループを、その構成画素数が多い順に整列させ、且つ、最も構成画素数が多いグループをi=0番目のグループと設定する(ステップS5)。ここで、iとは整列後のグループに付するIDである。

0043

そして、置換画素決定部130は、その時点において処理対象となっているグループのIDであるiと、n(作成されたグループ数)とを比較する(ステップS6)。つまり、このステップS6は、作成された全てのグループについて、ステップS7乃至ステップS11の処理を終えたか否かを判定するステップである。このステップS6においてi=nであると判定した場合、当該画像処理を終了する。

0044

つまり、このステップS6は、ループ処理を実現する為の分岐処理ステップであり、グループの数を上限にして、その時点における最も構成画素数が多いグループ(その時点における基準グループ)から順に処理していく制御を実現するステップである。

0045

前記ステップS6においてi<nであると判定した場合、その時点における基準グループの構成画素数が、所定の閾値より多いか否かを判定する(ステップS7)。このステップS7をNOに分岐する場合、すなわち、その時点における基準グループの構成画素数が所定の閾値以下の場合は、当該画像処理を終了する。

0046

前記ステップS7をYESに分岐する場合、基準グループに対して、当該基準グループ近傍の画素(上述した被統合候補画素)を統合処理する為のフィルタリング処理を行い(ステップS8)、該フィルタリング処理結果を反映させた統合処理を行うか否かを判定する(ステップS9)。ここで、統合処理とは、被統合候補画素に、基準グループを構成する画素に付されたラベルと同様のラベルを付す処理である。換言すれば、被統合候補画素を再ラベリングして、基準グループを構成する画素に付された画素と同様の画素を付する処理である。

0047

具体的には、ステップS8においては、図5に示すように基準グループ(ラベル“1”が付されているグループ)について膨張処理を1回施し、基準グループを膨張させる。ここで、図5においてラベル“X”が付されている画素は、膨張処理に係る画素である。

0048

さらに収縮処理を施すことで、最終的に被統合候補画素を特定する。図6に示す例では、ラベル“A”を付された画素及びラベル“B”を付された画素が、被統合グループを構成する画素として特定された画素である。

0049

そして、ステップS9において、置換画素決定部130は、被統合候補画素の推定精度と、基準グループを構成する画素の推定精度と、を比較する。詳細には、置換画素決定部130は、被統合候補画素の推定精度が基準グループを構成する画素の推定精度よりも高いか否かを判定し、被統合候補画素の推定精度が基準グループを構成する画素の推定精度よりも高い場合には、フィルタリング処理結果をラベリング処理結果に反映させる処理を行うことを決定する(ステップS9)。

0050

なお、ここでいう推定精度とは、例えば鮮鋭度色の強さ、サンプリングによって失われた情報の再現性等、画質に関わる尺度のことを示す。

0051

ここで図6に示す例では、ラベル“A”を付された被統合候補画素の推定精度は、ラベル“1”を付された画素(基準グループを構成する画素)の推定精度よりも高いとする。他方、ラベル“B”を付された被統合候補画素の推定精度は、ラベル“1”を付された画素(基準グループを構成する画素)の推定精度よりも低いとする。

0052

従ってこの例では、置換画素決定部130は、ラベル“A”を付された被統合候補画素のラベルを、ラベル“1”を付された基準グループを構成する画素のラベルに付け替えることを決定する。

0053

前記ステップS9における処理を終えると、置換画素決定部130は、ラベルを付け替えることを決定した被統合候補画素のラベルを、基準グループを構成する画素のラベルに付け替え、グループを再構成する(ステップS10)。

0054

図7に示す例では、ラベル“A”を付された画素に、基準グループと同様のラベル“1”を付す。他方、ラベル“B”を付された画素については、ラベルを元のラベルである“4”に戻す。

0055

続いて、iの値をi+1に上書き更新する(ステップS11)。そして、前記ステップS10において統合処理された被統合候補画素の画素値を、前記画素値推定部110に再推定させ、或いは、近傍画素の画素値を用いて補間処理することにより算出させ、画素値置換部140が、被統合候補画素の画素値を、前記再推定/補間処理により算出された画素値に置換する(ステップS12)。そして、前記ステップS7へ移行する。

0056

このステップS12における再推定/補間処理では、被統合候補画素の推定精度を、基準グループを構成する画素の推定精度と同じ推定精度にするように、推定手段を切り替えて再推定/補間処理を行う。

0057

なお、前記再推定/補間処理については、画素値推定部110に処理させるのではなく、画素値置換部140に再推定/補間処理を行う為の処理部を設けてこれに処理させてもよい。

0058

ステップS4におけるラベリング処理により生成したラベルの数(グループの数)nだけ、ステップS7乃至ステップS12をループ処理する。このループ処理は、上述した通り、当該時点においてグループを構成する画素数が最も多いグループ(基準グループ)から順に実施していく。

0059

以上、本第1実施形態に係る画像処理装置1のメインコントローラ10の制御による画像処理の一連の流れについて説明した。

0060

以下、上述したステップS1乃至ステップS12における一連のクロージング処理について、より詳細に具体例を挙げて説明する。

0061

欠損画素を含む画像データの画素について推定処理・補間処理する方法として、入力された画像データについて推定対象画素を中心とした所定の大きさを持つ参照領域を設定し、該参照領域を構成する画素の画素値の畳み込み演算をすることで、対象画素の画素値を推定する方法を挙げることができる。

0062

例えば、この方法を採る場合であって、参照領域内に欠損画素を多く含んでいる為に推定に用いる画素値についての情報を十分に参照できない場合には、参照領域を拡大して設定し直すことにより、推定に用いる画素値についての情報を十分に参照できるようになる。

0063

各々の画素について適切な大きさの参照領域を設定して画素値を推定し、該推定により取得した各画素の推定精度(例えば本例においては小領域の大きさ)を、各々の画素の位置に対応した2次元配列メモリに記録して、推定精度分布情報を作成する。

0064

続いて、推定精度分布情報を参照して、同じ推定精度で且つ隣接する画素同士をラベリング処理することでグループを作成する。ここで用いるラベリング処理は当業者には周知の技術であるが、例えば特開平4−15767号公報や特開平8−22541号公報にも開示されている。

0065

ここで、“隣接する画素”の定義としては、例えば“4近傍の画素”や“8近傍の画素”等を挙げることができる。本例では“4近傍の画素”による処理を採用する。

0066

また、ラベリング処理においては、例えば図4に示すように各々の画素にラベルが付与される。付与されたラベルは推定精度分布情報に追記される。ここで、同じラベルが付与された隣接する画素同士は、グループを構成する。そして、以降の処理の為に、グループの大きさ(構成画素数の多さ)を調べてソートし、グループの大きさとラベルの順番と対応させてLUTに記録する。

0067

ところで、画像データは、互いに異なる推定精度の画素から成る複数のグループで構成されており、また大小様々なグループが入り組んで構成されている。この為、推定処理・補間処理された画像データは、通常、全体として不均一な精度で推定処理・補間処理された画素で構成されている。従って、グループの形状としては凹凸による入り組みを小さくするように、グループ同士を統合し(グループを構成する画素の推定精度を統一し)、またグループの数を初期のグループ数以下に減らすことで、推定精度の不均一さを低減することができる。さらに、大きなグループを多く残すように処理することで、自然な見た目(滑らかな画像)を作成することができる。この一連のグループ再構成処理により、画素値を再推定して置換する対象の画素を決定する。

0068

ここではグループ再構成処理の一例として、モフォロジーの考えに基づきクロージング処理する場合を例にして説明する。例えば、クロージング処理は当業者には公知の技術であるが、例えば特開2006−148743号公報にも開示されている。

0069

本例においては、クロージング処理を、上述のラベリング結果を記録したLUTを参照して、最も大きなグループから順々に実行する。最も大きなグループに対するクロージング処理の完了後、次に大きなグループに対してクロージング処理をする。このようにクロージング処理を遂行していき、クロージング処理対象のグループの大きさが閾値以下の大きさに到達した場合、当該クロージング処理を終了する。

0070

以下、クロージング処理の一例を詳細に説明する。

0071

まず、最も大きなグループである基準グループ(図4に示す例ではラベル“1”が付された画素で構成されるグループG1)に着目する。この基準グループは、より小さなグループ(グループG2,グループG3, …,グループGN等の複数のグループ)を取り囲むような形状(図4に示す例ではグループG1中に複数の穴部を有するドーナツ形状)を呈している場合が考えられる。また、基準グループは、凹凸を呈する形状である場合が考えられる。

0072

図4に示す例では、グループG1の形状は、ラベル“3”を付された画素及びラベル“4”を付された画素が穴部を形成する形状を呈している。さらに、ラベル“2”を付された画素で構成されるグループの一部が、グループG1における窪み部を形成している。

0073

クロージング処理を実行することにより、基準グループが取り囲む小さなグループを縮小消滅させ、且つ、基準グループの形状における凹凸度を減少させる。ここで凹凸度とは値が小さいほどグループの凹凸による入り組みが小さいことを表す指標である。このとき、基準グループに取り囲まれている小さなグループや、基準グループにおいて凹凸形状を形成している小さなグループの推定精度が、基準グループの推定精度以下の推定精度である場合、その小さなグループについては基準グループに統合処理しない。これは、統合処理する場合には、被統合グループを構成する画素について、基準グループを構成する画素の推定精度情報に合わせた推定精度、すなわち、より高い推定精度で再推定しなければならなくなってしまうからである。つまり、大きな領域を設定して推定した画素について、より小さな領域に設定し直して再推定することはできないので、このような場合には統合処理しない。

0074

一方、基準グループに取り囲まれる小さなグループや基準グループの凹凸を形成する小さなグループの推定精度が、基準グループの推定精度よりも高い場合には、小さなグループを基準グループに統合処理する。すなわち、小さなグループを構成する画素のラベルを、基準グループを構成する画素のラベルと同様のラベルに付し直す。ここでラベルが付し直された画素を、画素値を再推定する対象の画素として決定する。

0075

以上説明したクロージング処理を、グループG1について完了した後、グループG2以降のグループを順次基準グループとして扱い、同様のクロージング処理を行う。なお、このクロージング処理は、基準グループの大きさが所定の閾値の大きさ(基準グループを構成する画素の数が所定数)に達するまで続ける。つまり、基準グループが或る程度の小ささになるまで(構成画素数が或る程度少なくなるまで)、クロージング処理を実行し続ける。

0076

以上、クロージング処理を用いたグループ再構成処理の一例を説明したが、他の方法によりグループ再構成処理を行っても構わない。

0077

例えば、凸包処理を用いてグループ再構成処理を行っても勿論よい。凸包は当業者には周知の技術であるが、例えば特開2005−354229号公報にも開示されている。

0078

また、次のようなグループ再構成処理を挙げることもできる。すなわち、小さなグループに注目し、該小さなグループに隣接するグループの内、当該小さなブロックの推定精度未満の推定精度の画素で構成されるグループの中で最大のグループの推定精度に合わせて、前記小さなグループを構成する画素の画素値を置換する。この為に、前記小さなグループを構成する画素のラベルを付し直す。

0079

以上説明したグループ再構成処理のうち複数種類処理方法を画素毎に選択的に使用してグループ再構成処理を行っても構わない。また、1種類のグループ再構成処理方法を複数回繰り返してグループ再構成処理を行っても構わない。さらには、クロージング処理を行った後に凸包処理をする等、複数種類の処理方法を複数回繰り返してグループ再構成処理を行っても構わない。

0080

グループ再構成処理方法の別の方法として、例えばグループ同士の境界凹凸度合いを調べることにより、グループの形状特徴を考慮して、画素値を置換すべき画素を特定する方法が存在する。以下、詳細に説明する。

0081

まず、グループの凹凸度を調べる方法としては、例えばグループの周囲長包絡周囲長、グループの面積(グループを構成する画素の数)、及び屈曲点の数等を用いた算出方法を挙げることができる。

0082

例えば、周囲長と包絡周囲長とを用いた凹凸度の算出方法としては、周囲長と包絡周囲長との比(包絡周囲長/周囲長)を算出し、該算出した値が1.0に近い値であるほど、グループの凹凸の度合いが小さいことを示している。

0083

また、周囲長とグループの面積とを用いた凹凸度の算出方法としては、例えば特開平5−322538号公報に開示されている。さらに、グループの境界の屈曲点の数と周囲長とを用いた凹凸度の算出方法としては、例えば特開2005−127791号公報に開示されている。

0084

詳細には、周囲長はグループの境界の基準点を適当に設定し、基準点から境界を走査し、走査が再び基準点に到達するまでの画素数を求めることにより求められる。包絡周囲長はグループを凸包処理した後、凸包処理された領域に関して前記同様に基準点を適当に設定し、基準点から境界を走査し、走査が再び基準点に到達するまでの画素数を求めることにより求められる。グループの面積はグループを構成する画素の数をカウントすることにより求められる。屈曲点の数の算出方法は、例えば特開2005−127791号公報に開示されている。また、グループに内接する矩形領域やグループに外接する矩形領域を求めることにより、周囲長、包絡周囲長、及びグループの面積の近似値を求めることもできる。

0085

なお、上述した方法は全て一例であって、上述した方法以外によって、グループの周囲長、包絡周囲長、グループの面積、及び屈曲点の数等を求めても勿論よい。

0086

画像の所定の領域における推定精度分布情報を参照して、上述した算出方法により各々のグループの凹凸度を求めた後、凹凸度の大きなグループに対して凹凸度が小さくなるように処理し“処理対象に該当するグループ”を決定する。そして、この“処理対象に該当するグループ”と他のグループとの境界近傍における他のグループの画素の画素値を置換する。

0087

ここで、前記“処理対象に該当するグループ”の決定方法としては、凹凸度の大きさが所定の閾値以上であるか否かを判断し、所定の閾値以上の凹凸度を持つグループを、前記“処理対象に該当するグループ”であると決定する方法を挙げることができる。

0088

前記“処理対象に該当するグループ”として決定したグループに対して統合する画素(画素値を置換する画素)を決定する為には、例えば上述したクロージング処理を用いて統合する画素のラベルを付し直す方法を挙げることができる。また、例えば上述した凸包処理を用いて統合する画素のラベルを付し直す方法を挙げることができる。また、例えば上述した小さなグループに着目して小さなグループに隣接するグループの中で小さなグループの構成画素における推定精度未満の画素で構成される最大のグループの推定精度に合わせて前記小さなグループの構成画素の画素値を置換するためにラベルを付し直すという方法を挙げることもできる。さらには、これら処理方法のうち複数の処理方法を画素毎に選択的に利用して処理しても構わない。また、それぞれのグループ再構成処理を複数回繰り返して行うことで処理しても構わない。さらには、クロージング処理を行った後に、凸包処理を行う等、複数の処理を複数回繰り返し行って処理しても構わない。

0089

なお、置換する画素を決定する方法としては、クロージング処理を利用した孤立点の検出による方法を挙げることもできる。

0090

すなわち、画像データのうち所定の領域に対応した推定精度分布情報を参照して、グループに対して所定の回数の膨張処理と、該膨張処理の回数と同回数の収縮処理と、を順に実行し、膨張処理・収縮処理を実行する前のグループと、実行した後のグループと、の差分を取る。この処理により、大きなグループに連結せずに孤立している小さなグループを検出することができる。そして、この検出したグループを構成する画素を、画素値を置換する画素であると決定する。なお、膨張処理及び収縮処理の実行回数が多いほど、検出することのできる孤立したグループの大きさが大きくなる。従って、膨張処理及び収縮処理の実行回数は、ノイズレベルやグループの大きさに応じて適応的に設定することが好ましい。

0091

以上説明したラベリング処理やグループ再構成処理を含む一連の空間フィルタリングにより、ラベルを付し直した画素について、基準グループと同じ推定精度となるように画素値を再推定する。或いは、ラベルを付し直した画素について、基準グループと同じ推定精度となるように当該画素の近傍の画素における推定された画素値を用いて補間処理し、これにより求められた画素値に置換する。或いは、ラベルを付し直した画素について、基準グループの推定精度と協調した画素値となるように当該画素の近傍の画素における推定された画素値を用いて補間処理し、これにより求められた画素値に置換する。

0092

さらに、この再推定処理及び補間処理の双方を、処理対象の各々の画素毎に選択的に切り替えて処理しても勿論よい。

0093

なお、基本的に推定処理によって画素値の求めることを試みるが、推定処理には、元々低い推定精度の画素値が求められていた画素を高い推定精度の画素に合わせて推定し直すことができない特徴がある。そのため高い推定精度を低い推定精度に合わせるときにだけ推定処理を用いることができるという制限ある。一方、補間処理により画素値を求める場合は、推定精度の高低における制限はない。よって、補間処理を用いると低い推定精度による画素を周囲の高い推定精度による画素に協調して置換することも可能となり、より滑らかな画像を形成する効果を生むことが期待できる。以上より、高い推定精度による画素を低い推定精度による画素に協調させる場合には推定処理を、低い推定精度による画素を高い推定精度による画素に協調させる場合には補間処理を用いる。このように推定処理と補間処理を切り替えて用いることで、推定精度の滑らかな画像を形成することができる。なお、補間処理では周辺の画素の置換前と置換後のどちらの画素値を用いても構わない。

0094

ところで、本第1実施形態に係る画像処理装置による上述した一連の画像処理は、プログラム化することで、或いはプログラム化した後当該プログラムを記憶媒体に読み込むことによって、当該画像処理装置とは独立したソフトウェア製品単体としての販売配布も容易になり、また本第1実施形態に係る技術を他のハードウェア上で利用することも可能となる。

0095

以上説明したように、本第1実施形態によれば、画像データ全体における見た目の不自然さを生じさせずに、画像データを構成する個々の画素の画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供することができる。

0096

具体的には、本第1実施形態に係る画像処理装置及びプログラムによれば、例えば電子スチルカメラ、ビデオカメラ、及び現像アプリケーション等の画像処理装置において、ノイズを含む画像データ、欠損画素を含む画像データ、カラーフィルタアレイで撮像したRAW画像データ、及びランダムサンプリング或いはアップサンプリングして取得した画像データ等、を入力画像データとし、該入力画像データに対して画素毎に異なる画素値の推定処理を利用して再構成した画像データを作成する際に、置換対象画素における推定精度に係る情報と、置換対象画素の周辺画素に対する推定精度に係る情報と、置換対象画素と周辺画素との関係に係る情報と、に基づいた処理を行うことで、自然な見た目の画像データを作成することができる。

0097

つまり、本第1実施形態に係る画像処理装置及びプログラムによれば、画像データにおいて画素値の推定精度が不均一な領域を決定し、この領域に含まれる画素の画素値について、上述したように画素値の再推定/補間処理を行うことで、より見た目が自然な画像データを作成することができる。

0098

より具体的には、例えば次のような作用効果を得ることができる。

0099

・隣接した同じ推定精度の画素同士をラベリングして画素のグループを作成する。グループの領域の境界の凹凸度を任意の方法で算出して、所定の領域内のグループ凹凸度合いが小さくなるように、グループ境界近傍の画素を置換することを決定する。凹凸度が小さくなるように画素を置換することによって、画像内のグループを減らす効果、或いは画像内のグループの境界を減らす効果、或いは画像内のグループの境界の凹凸度合いを小さくする効果があり、これらの効果は高い推定精度の画素領域と低い推定精度の画素領域が入り組んでいない自然な見た目の滑らかな画像を作る効果を高めることに役立つ。

0100

・グループの周囲長と包絡周囲長を算出して、周囲長と包絡周囲長の比からグループ境界の凹凸度を算出する。グループを凸包することによる統合される画素の割合を適切に知ることのできる効果がある。

0101

・グループを構成する画素の数と周囲長を算出して、グループを構成する画素の数と周囲長の比からグループ境界の凹凸度を算出する。グループが画像内でどれだけの領域に渡って分布しているのかを考慮した凹凸度合いを評価する。画素値置換手段はその評価値に基づいて境界領域の構造の改善を行う。

0102

・グループ境界の屈曲点の数と周囲長を算出して、グループ境界の屈曲点の数と周囲長の比からグループ境界の凹凸度を算出する。グループの頂点数を考慮した凹凸度合いを評価し、画素値置換手段はその評価値に基づいて境界領域の構造の改善を行う。

0103

・隣接した同じ推定手段を用いた画素同士をラベリングして画素のグループを作成する。グループに対して所定の回数の膨張処理と同回数の収縮処理を順に実行し、膨張収縮処理をする前のグループとの差分を取ることにより、大きなグループに連結せずに孤立している小さなグループを検出し、検出された小さなグループの少なくとも一部の画素を大きなグループに統合し孤立する小さなグループ群に属する画素数を減らすように置換する画素を決定することができる。孤立する画素の割合を減らすことは、画像内のグループを減らす効果、或いは画像内のグループの境界を減らす効果、或いは画像内のグループの境界の凹凸度合いを小さくする効果があり、これらの効果は高い推定精度の画素領域と低い推定精度の画素領域が入り組んでいない自然な見た目の滑らかな画像を作る効果を高めることに役立つ。

0104

・隣接した同じ推定手段を用いた画素同士をラベリングして画素のグループを作成する。グループを構成する画素の数を参照して、多くの画素で構成されるグループを囲む周辺のグループの少なくとも一部の画素を、多くの画素で構成されるグループに統合されるようにグループを再構成することで、画素を置換した後に滑らかな画像となるように、画素値を置換すべき画素を決定することができる。多くの画素で構成されるグループに少ない画素で構成されるグループを結合させることは、画像内のグループを減らす効果、或いは画像内のグループの境界を減らす効果、或いは画像内のグループの境界の凹凸度合いを小さくする効果があり、これらの効果は高い推定精度の画素領域と低い推定精度の画素領域が入り組んでいない自然な見た目の滑らかな画像を作る効果を高めることに役立つ。

0105

・隣接した同じ推定手段を用いた画素同士をラベリングして画素のグループを作成する。グループを構成する画素の数を参照して、多くの画素で構成されるグループによって囲まれている少ない画素で構成されるグループの少なくとも一部の画素を、多くの画素で構成されるグループに統合されるようにグループを再構成することにより、グループ領域の境界における凹凸度合いが小さくなるように、画素値を置換すべき画素を決定することができる。多くの画素で構成されるグループに少ない画素で構成されるグループを結合させることは、画像内のグループを減らす効果、或いは画像内のグループの境界を減らす効果、或いは画像内のグループの境界の凹凸度合いを小さくする効果があり、これらの効果は高い推定精度の画素領域と低い推定精度の画素領域が入り組んでいない自然な見た目の滑らかな画像を作る効果を高めることに役立つ。

0106

・周辺の画素の画素値推定手段に合わせて画素値を再推定することに求め置換することにより、滑らかな画像を構成する効果がある。

0107

・周辺の画素値に合わせて画素値を補間処理により求め置換することにより、滑らかな画像を構成する効果がある。

0108

[第2実施形態]
以下、本発明の第2実施形態に係る画像処理装置及びプログラムについて説明する。なお、説明の重複を避ける為、第1実施形態に係る画像処理装置及びプログラムとの相違点のみを説明する。

0109

図8は、本発明の第2実施形態に係る画像処理装置のメインコントローラ10の制御による画像処理のフローチャートを示す図である。ここで、図8に示すステップS1乃至ステップS11における処理は、図3に示す同ステップ番号のステップにおける処理と同様の処理である。従って、これらのステップにおける処理の説明は省略する。

0110

第1実施形態との主な相違点は次の通りである。

0111

(相違点1)ステップS11における処理を終えた後の処理
(相違点2)ステップS6においてi=nであると判定した後の処理
(相違点3)ステップS7をNOに分岐した後の処理
以下、詳細に説明する。

0112

(相違点1)
本第2実施形態に係る画像処理装置においては、前記ステップS11における処理を終えた後は前記ステップS6へ戻る。

0113

(相違点2)
前記ステップS6は、上述したようにループ処理を実現する為の分岐処理ステップであり、グループの数を上限にして、それぞれの処理時点において最も大きなグループすなわち基準グループから順に処理していく制御を実現するステップである。このステップS6においてI=nであると判定した場合、ステップS6乃至ステップS11から成るループ処理により更新されたラベルと、ステップS4において付されたラベルと、を比較してその差分を検出する(ステップS21)。

0114

そして、前記ステップS10において統合処理された被統合候補画素の画素値を、前記画素値推定部110に再推定させ、或いは、近傍画素の画素値を用いて補間処理させることにより算出し、画素値置換部140が、被統合グループを構成する画素の画素値を、前記再推定/補間処理により算出された画素値に置換する(ステップS22)。そして、当該画像処理を終了する。

0115

(相違点3)
前記ステップS7をNOに分岐する場合、上述したステップS21へ移行する。

0116

以上説明したように、本第2実施形態によれば、第1実施形態に係る画像処理装置及びプログラムと同様の効果を奏する画像処理装置及びプログラムを提供することができる。

0117

以上、第1実施形態乃至第2実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。

0118

さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

0119

(付記)
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

0120

(1)
画像データを入力する為の画像データ入力部と、
前記画像データ入力部により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定部と、
前記画素値推定部により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部と、
前記画素値推定精度記録部により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定部と、
前記置換画素決定部により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理/補間処理部と、
前記置換対象画素の画素値を、前記再推定処理/補間処理部により算出された画素値に置換する画素値置換部と、
を具備することを特徴とする画像処理装置。

0121

(対応する実施形態)
この(1)に記載の画像処理装置に関する実施形態は、第1実施形態及び第2実施形態が対応する。この実施形態において、画像データ入力部は例えば画像データ入力部100が対応し、画素値推定部は例えば画素値推定部110が対応し、画素値推定精度記録部は例えば画素値推定精度記録部120が対応し、置換画素決定部は例えば置換画素決定部130が対応し、再推定処理/補間処理部は例えば画素値推定部110又は画素値地幹部140が対応し、画素値置換部は画素値置換部140が対応する。

0122

(2) 前記置換画素決定部は、
互いに隣接し且つ同じ推定精度の画素について同じラベルを付してグループを生成するラベリング処理を行うラベリング処理部と、
前記ラベリング処理部により生成されたグループについて、フィルタリング処理を行うフィルタリング処理部と、
前記フィルタリング処理部によるフィルタリング処理結果を、前記ラベリング処理部によるラベリング処理結果に反映させるか否かを判定する統合判定部と、
前記ラベリング処理部によるラベリング処理結果に、前記フィルタリング処理部によるフィルタリング処理結果を反映させると前記統合判定部により判定された場合、前記ラベリング処理部によるラベリング処理結果に、前記フィルタリング処理部によるフィルタリング処理結果を反映させる処理を行い、該処理によりラベルを付し直された画素を前記置換対象画素として決定する統合処理部と、
を有することを特徴とする(1)に記載の画像処理装置。

0123

(対応する実施形態)
この(2)に記載の画像処理装置に関する実施形態は、第1実施形態及び第2実施形態が対応する。この実施形態において、置換画素決定部は例えば置換画素決定部130が対応する。

0124

(3) 前記フィルタリング処理部は、クロージング処理を行うことを特徴とする(2)に記載の画像処理装置。

0125

(対応する実施形態)
この(3)に記載の画像処理装置に関する実施形態は、第1実施形態及び第2実施形態が対応する。

0126

(4) 前記フィルタリング処理部は、各々の処理時点において構成画素数が最も多いグループ(基準グループ)から順に、当該グループの近傍画素(被統合候補画素)を、当該グループに統合する為のフィルタリング処理を行うことを特徴とする(2)に記載の画像処理装置。

0127

(対応する実施形態)
この(4)に記載の画像処理装置に関する実施形態は、第1実施形態及び第2実施形態が対応する。

0128

(5) 前記フィルタリング処理部は、各々の処理時点において構成画素数が最も多いグループ(基準グループ)から順に、当該グループの近傍画素に付されたラベルを、当該グループを構成する画素に付されたラベルに付し直す為のフィルタリング処理を行うことを特徴とする(2)に記載の画像処理装置。

0129

(対応する実施形態)
この(5)に記載の画像処理装置に関する実施形態は、第1実施形態及び第2実施形態が対応する。

0130

(6) 前記フィルタリング処理部は、前記フィルタリング処理対象のグループの構成画素数が所定の閾値以下になった場合に、当該フィルタリング処理を終了することを特徴とする(4)又は(5)に記載の画像処理装置。

0131

(対応する実施形態)
この(6)に記載の画像処理装置に関する実施形態は、第1実施形態及び第2実施形態が対応する。

0132

(7) 前記統合判定部は、前記被統合画素の推定精度が、前記基準グループを構成する画素の推定精度よりも高い場合に、前記フィルタリング処理部によるフィルタリング処理結果を、前記ラベリング処理部によるラベリング処理結果に反映させると判定することを特徴とする(6)に記載の画像処理装置。

0133

(対応する実施形態)
この(7)に記載の画像処理装置に関する実施形態は、第1実施形態及び第2実施形態が対応する。

0134

(8) 前記再推定処理/補間処理部は、
前記置換画素決定部により置換対象画素として決定された画素の推定精度が、同じラベルを付された画素の推定精度と同じ推定精度となるように、前記置換対象画素の画素値を再推定処理或いは補間処理により算出することを特徴とする(2)に記載の画像処理装置。

0135

(対応する実施形態)
この(8)に記載の画像処理装置に関する実施形態は、第1実施形態及び第2実施形態が対応する。

0136

(9)画像処理装置としてコンピュータを機能させるプログラムであって、
画像データを入力する為の画像データ入力機能と、
前記画像データ入力機能により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定機能と、
前記画素値推定機能により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録機能と、
前記画素値推定精度記録機能により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定機能と、
前記置換画素決定機能により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理/補間処理機能と、
前記置換対象画素の画素値を、前記再推定処理/補間処理機能により算出された画素値に置換する画素値置換機能と、
をコンピュータに実現させることを特徴とするプログラム。

0137

(対応する実施形態)
この(9)に記載のプログラムに関する実施形態は、第1実施形態及び第2実施形態が対応する。この実施形態において、画像データ入力機能は例えば画像データ入力部100が対応し、画素値推定機能は例えば画素値推定部110が対応し、画素値推定精度記録機能は例えば画素値推定精度記録部120が対応し、置換画素決定機能は例えば置換画素決定部130が対応し、再推定処理/補間処理機能は例えば画素値推定部110又は画素値地幹部140が対応し、画素値置換機能は画素値置換部140が対応する。

0138

(作用効果)
以上の(1)乃至(8)に記載の画像処理装置及び(9)に記載のプログラムによれば、次のような作用効果を得ることができる。

0139

・電子スチルカメラ、ビデオカメラ、現像アプリケーション等の画像処理装置において、ノイズを含む画像、欠損画素を含む画像、カラーフィルタアレイで撮像したRAWデータ画像、ランダムサンプリングまたはアップサンプリングして取得した画像データを入力画像データとし、入力データに対して各画素が最も高い精度の推定処理結果を得られるように画素毎に選択的に異なる画素値推定手段を適用して、画素毎に画素値を推定した画像を入力として受け付け、推定した画素の前記画素値推定精度に関する情報を記録し、前記画素値推定精度に対し空間方向に所定のフィルタリングをして、画素値を置換する画素を決定し、前記決定した画素の画素値を求め置換する。

0140

・複数の異なる推定手段により推定された画素が混在する画像に対し、各画素を推定精度に関する情報を参照し置換する画素を適切に決定し、決定された画素の画素値を置換することで滑らかな画像を得ることができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ