図面 (/)

技術 画像処理装置

出願人 キヤノン株式会社
発明者 山口彰太
出願日 2013年2月13日 (7年10ヶ月経過) 出願番号 2013-025897
公開日 2014年8月25日 (6年4ヶ月経過) 公開番号 2014-154108
状態 特許登録済
技術分野 スタジオ装置 FAX画像信号回路 画像処理
主要キーワード ゲイン増幅 輝度区間 ボカシ処理 ボカシ 着目位置 光学補正処理 テクスチャ部分 出力レンジ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年8月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、コントラストを良好に保ちつつ、疑似輪郭の発生を抑制する。

解決手段

縮小画像を得る縮小画像生成手段と、縮小率の異なる複数の画像のそれぞれについて、画素毎の輝度に対応づけたゲインデータを得るゲインデータ生成手段と、ゲインデータに基づいて、入力画像を増幅する制御ゲインを決定する決定手段とを備え、決定手段は、複数の画像のうち相対的に高い周波数を持つ画像に対する第1のゲインデータ及び相対的に低い周波数を持つ画像に対する第2のゲインデータの、着目画素に対応するゲイン同士の加算結果である第1の加算結果、及び、第1のゲインデータの着目画素に対応するゲインと、第2のゲインデータにおける着目画素から所定範囲周辺領域において着目画素に対応するゲインと近い値を持つゲインとの加算結果である第2の加算結果、に基づいて制御ゲインを決定する。

概要

背景

従来より、入力画像に対し、部分毎に異なるゲインをかけて階調特性を制御するデジタル覆い焼き処理が提案されている。例えば、この覆い焼き処理は、撮影する主要被写体の明るさが背景の明るさと比較して著しく暗いような、いわゆる逆光シーンにおいて適用される。逆光シーンでは、画像全体の明るさを適切にするように制御すると、一般的には主要被写体が暗く撮影される。従って、暗部に比較的大きなゲインがかかるように意図した輝度別ゲインを用いることによって、暗く撮影された主要被写体を適切な明るさに制御する。以上の処理が、覆い焼き処理の基本的な概念である。

さらに、輝度別ゲインを算出する際の入力輝度は、入力画像の輝度成分から生成された低周波画像を用いる。この理由は、輝度別ゲイン算出の入力輝度として入力画像をそのまま使用すると、画像内の暗い被写体部分、および黒い被写体部分には並み大きなゲインがかかってしまい、ゲイン処理後の画像のコントラストが著しく損なわれるからである。従って、低周波画像を用いることで、画像内の局所的な暗部の影響が軽減され、画像の輝度変化に対するゲインの敏感度下がり出力画像解像感を保ったまま覆い焼き処理を行うことができる。

しかしながら、低周波画像を用いて覆い焼き処理を行った場合、図25に示すように、低輝度領域高輝度領域エッジ付近において、疑似輪郭が発生するという問題がある。図25の例では、元信号に加え、元信号の低周波成分であるボカシ小信号、ボカシ大信号を使用している。ゲインテーブルが図25に示すように、比較的低輝度側で大きく減少するような形になっている場合、エッジ部の低輝度領域側において、ボカシ信号から変換されたゲインが大きく減少する。これは、高輝度領域側の影響を受け、エッジ部付近のボカシ信号の値が大きくなるためである。従って、図25に示すような、エッジが黒く縁どられるような疑似輪郭が発生する。この現象は、乗じるゲインの範囲(GAIN_MAXとGAIN_MINの差)が大きくなるほど顕著に発生する。

上記の課題に対し、これまでに、例えば特許文献1、特許文献2に示す技術が提案されている。

特許文献1では、異なる周波数帯域を持つ複数の輝度画像からゲインを算出する。そして、相対的に低周波の画像から算出したゲインが、相対的に高周波の画像から算出したゲインを上回っている時に、相対的に低周波の画像から算出したゲインの寄与が小さくなるように制御している。具体的には、高周波画像から算出したゲインの使用比率を大きくしている。

特許文献2では、特許文献1と同様に異なる周波数帯域を持つ画像を用い、相対的に高周波の画像の輝度値から、画像を領域分割し、相対的に低周波の画像から算出したゲイン値を、領域分割結果によって修正している。

概要

入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、コントラストを良好に保ちつつ、疑似輪郭の発生を抑制する。縮小画像を得る縮小画像生成手段と、縮小率の異なる複数の画像のそれぞれについて、画素毎の輝度に対応づけたゲインデータを得るゲインデータ生成手段と、ゲインデータに基づいて、入力画像を増幅する制御ゲインを決定する決定手段とを備え、決定手段は、複数の画像のうち相対的に高い周波数を持つ画像に対する第1のゲインデータ及び相対的に低い周波数を持つ画像に対する第2のゲインデータの、着目画素に対応するゲイン同士の加算結果である第1の加算結果、及び、第1のゲインデータの着目画素に対応するゲインと、第2のゲインデータにおける着目画素から所定範囲周辺領域において着目画素に対応するゲインと近い値を持つゲインとの加算結果である第2の加算結果、に基づいて制御ゲインを決定する。

目的

本発明は、上述した課題に鑑みてなされたものであり、その目的は、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、出力画像のコントラストを良好に保ちつつ、疑似輪郭の発生を抑制することである

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力された入力画像縮小した縮小画像を得る縮小画像生成手段と、前記縮小画像を含む縮小率の異なる複数の画像のそれぞれについて、画素毎の輝度ゲインを対応づけたゲインデータを得るゲインデータ生成手段と、生成された前記ゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、前記決定手段は、前記複数の画像のうち相対的に高い周波数を持つ画像に対する前記ゲインデータを第1のゲインデータ、前記複数の画像のうち相対的に低い周波数を持つ画像に対する前記ゲインデータを第2のゲインデータとしたときに、前記第1のゲインデータおよび前記第2のゲインデータの着目画素に対応するゲイン同士の加算結果である第1の加算結果、及び、前記第1のゲインデータの当該着目画素に対応するゲインと、前記第2のゲインデータにおける当該着目画素から所定範囲周辺領域において当該着目画素に対応するゲインと近い値を持つゲインとの加算結果である第2の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理装置

請求項2

入力された入力画像を縮小した縮小画像を得る縮小画像生成手段と、前記縮小画像を含む縮小率の異なる複数の画像をそれぞれ加算する画像加算手段と、加算された画像の輝度に基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、前記画像加算手段は、前記複数の画像のうち相対的に高い周波数を持つ画像を第1の画像、前記複数の画像のうち相対的に低い周波数を持つ画像を第2の画像としたときに、前記第1の画像および前記第2の画像の着目画素の画素値同士の加算結果である第1の加算結果、及び、前記第1の画像の当該着目画素の画素値と、前記第2の画像における当該着目画素から所定範囲の周辺領域において当該着目画素の画素値と近い値を持つ画素値との加算結果である第2の加算結果とを、加重加算することを特徴とする画像処理装置。

請求項3

入力された入力画像に基づいてゲインデータを得るゲインデータ生成手段と、生成されたゲインデータを縮小した縮小ゲインデータを得る縮小データ生成手段と、前記縮小ゲインデータを含む縮小率の異なる複数のゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、前記決定手段は、前記複数のゲインデータのうち相対的に高い周波数を持つゲインデータを第1のゲインデータ、前記複数のゲインデータのうち相対的に低い周波数を持つゲインデータを第2のゲインデータとしたときに、前記第1のゲインデータおよび前記第2のゲインデータの着目画素に対応するゲイン同士の加算結果である第1の加算結果、及び、前記第1のゲインデータの当該着目画素に対応するゲインと、前記第2のゲインデータにおける当該着目画素から所定範囲の周辺領域において当該着目画素に対応するゲインと近い値を持つゲインとの加算結果である第2の加算結果と、に基づいて前記制御ゲインを決定することを特徴とする画像処理装置。

請求項4

入力された入力画像から当該入力画像と異なる周波数帯域を持つ帯域制限画像を生成する帯域制限画像生成手段と、前記帯域制限画像を含む周波数帯域の異なる複数の画像のそれぞれについて、ゲインデータを得るゲインデータ生成手段と、生成された前記ゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、前記決定手段は、前記複数の画像のうち相対的に高い周波数を持つ画像に対するゲインデータを第1のゲインデータ、前記複数の画像のうち相対的に低い周波数を持つ画像に対するゲインデータを第2のゲインデータとしたときに、前記第1のゲインデータおよび前記第2のゲインデータの着目画素に対応するゲイン同士の加算結果である第1の加算結果、及び、前記第1のゲインデータの当該着目画素に対応するゲインと、前記第2のゲインデータにおける当該着目画素から所定範囲の周辺領域において、当該着目画素に対応するゲインと近い値を持つゲインの加算結果である第2の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理装置。

請求項5

入力された入力画像から当該入力画像と異なる周波数帯域を持つ帯域制限画像を生成する帯域制限画像生成手段と、前記帯域制限画像を含む周波数帯域の異なる複数の画像のそれぞれを加算する画像加算手段と、加算された画像の輝度に基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、前記画像加算手段は、前記複数の画像のうち相対的に高い周波数を持つ画像を第1の画像、前記複数の画像のうち相対的に低い周波数を持つ画像を第2の画像としたときに、前記第1の画像および前記第2の画像の着目画素の画素値同士の加算結果である第1の加算結果、及び、前記第1の画像の当該着目画素の画素値と、前記第2の画像における当該着目画素から所定範囲の周辺領域において当該着目画素の画素値と近い値を持つ画素値の加算結果である第2の加算結果とを、加重加算することを特徴とする画像処理装置。

請求項6

入力された入力画像に基づいてゲインデータを得るゲインデータ生成手段と、生成されたゲインデータと異なる周波数帯域を持つ帯域制限データを生成する帯域制限データ生成手段と、前記帯域制限データを含む複数のゲインデータに基づいて前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、前記決定手段は、前記複数のゲインデータのうち相対的に高い周波数を持つデータを第1のゲインデータ、前記複数のゲインデータのうち相対的に低い周波数を持つデータを第2のゲインデータとしたときに、前記第1のゲインデータおよび前記第2のゲインデータの着目画素に対応するゲイン同士の加算結果である第1の加算結果、及び、前記第1のゲインデータの当該着目画素に対応するゲインと、前記第2のゲインデータにおける当該着目画素から所定範囲の周辺領域において、当該着目画素のゲインと近い値を持つゲインの加算結果である第2の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理装置。

請求項7

前記複数の画像のそれぞれに対し、エッジを保存しながらぼかし処理を行う画像ぼかし手段をさらに備え、前記画像ぼかし手段は、着目画素に対し周辺の所定範囲の画素から、着目画素との差分の絶対値が所定の閾値以内である画素のみを抽出し、抽出した画素の平均値を出力とすることを特徴とする請求項1または2に記載の画像処理装置。

請求項8

前記複数の帯域制限画像のそれぞれに対し、エッジを保存しながらぼかし処理を行う画像ぼかし手段をさらに備え、前記画像ぼかし手段は、着目画素に対し周辺の所定範囲の画素から、着目画素との差分の絶対値が所定の閾値以内である画素のみを抽出し、抽出した画素の平均値を出力とすることを特徴とする請求項4または5に記載の画像処理装置。

請求項9

前記決定手段は、前記第1の加算結果と前記第2の加算結果とを加重加算して前記制御ゲインを決定し、前記第1の加算結果と前記第2の加算結果とを加重加算する際には、前記第1のゲインデータと前記第2のゲインデータとの前記着目画素に対応するゲインの差分値が小さいほど前記第1の加算結果の重みを大きくし、前記差分値が大きいほど前記第2の加算結果の重みを大きくすることを特徴とする請求項1または3に記載の画像処理装置。

技術分野

0001

本発明は、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する技術に関する。

背景技術

0002

従来より、入力画像に対し、部分毎に異なるゲインをかけて階調特性を制御するデジタル覆い焼き処理が提案されている。例えば、この覆い焼き処理は、撮影する主要被写体の明るさが背景の明るさと比較して著しく暗いような、いわゆる逆光シーンにおいて適用される。逆光シーンでは、画像全体の明るさを適切にするように制御すると、一般的には主要被写体が暗く撮影される。従って、暗部に比較的大きなゲインがかかるように意図した輝度別ゲインを用いることによって、暗く撮影された主要被写体を適切な明るさに制御する。以上の処理が、覆い焼き処理の基本的な概念である。

0003

さらに、輝度別ゲインを算出する際の入力輝度は、入力画像の輝度成分から生成された低周波画像を用いる。この理由は、輝度別ゲイン算出の入力輝度として入力画像をそのまま使用すると、画像内の暗い被写体部分、および黒い被写体部分には並み大きなゲインがかかってしまい、ゲイン処理後の画像のコントラストが著しく損なわれるからである。従って、低周波画像を用いることで、画像内の局所的な暗部の影響が軽減され、画像の輝度変化に対するゲインの敏感度下がり出力画像解像感を保ったまま覆い焼き処理を行うことができる。

0004

しかしながら、低周波画像を用いて覆い焼き処理を行った場合、図25に示すように、低輝度領域高輝度領域エッジ付近において、疑似輪郭が発生するという問題がある。図25の例では、元信号に加え、元信号の低周波成分であるボカシ小信号、ボカシ大信号を使用している。ゲインテーブル図25に示すように、比較的低輝度側で大きく減少するような形になっている場合、エッジ部の低輝度領域側において、ボカシ信号から変換されたゲインが大きく減少する。これは、高輝度領域側の影響を受け、エッジ部付近のボカシ信号の値が大きくなるためである。従って、図25に示すような、エッジが黒く縁どられるような疑似輪郭が発生する。この現象は、乗じるゲインの範囲(GAIN_MAXとGAIN_MINの差)が大きくなるほど顕著に発生する。

0005

上記の課題に対し、これまでに、例えば特許文献1、特許文献2に示す技術が提案されている。

0006

特許文献1では、異なる周波数帯域を持つ複数の輝度画像からゲインを算出する。そして、相対的に低周波の画像から算出したゲインが、相対的に高周波の画像から算出したゲインを上回っている時に、相対的に低周波の画像から算出したゲインの寄与が小さくなるように制御している。具体的には、高周波画像から算出したゲインの使用比率を大きくしている。

0007

特許文献2では、特許文献1と同様に異なる周波数帯域を持つ画像を用い、相対的に高周波の画像の輝度値から、画像を領域分割し、相対的に低周波の画像から算出したゲイン値を、領域分割結果によって修正している。

先行技術

0008

特開2010−244360号公報
特開2009−272983号公報

発明が解決しようとする課題

0009

しかしながら、特許文献1では、低周波画像から算出したゲインが相対的に大きくなる場合、つまり、高輝度領域が白く縁どられるような疑似階調対策についてしか述べられておらず、低輝度領域の疑似階調には対応できない。また、低輝度領域に乗じるゲインが大きくなった場合には、特許文献1の手法では効果が足りず、疑似階調が残留してしまう。

0010

特許文献2では、図25に示すように、同じ領域内に大きく異なる値を持つゲインが混入した場合に対する記載がなく、同領域内でゲインを再計算する場合に、大きく異なるゲインの影響を受けることが考えられる。

0011

本発明は、上述した課題に鑑みてなされたものであり、その目的は、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、出力画像のコントラストを良好に保ちつつ、疑似輪郭の発生を抑制することである。

課題を解決するための手段

0012

本発明に係わる画像処理装置は、入力された入力画像を縮小した縮小画像を得る縮小画像生成手段と、前記縮小画像を含む縮小率の異なる複数の画像のそれぞれについて、画素毎の輝度にゲインを対応づけたゲインデータを得るゲインデータ生成手段と、生成された前記ゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、前記決定手段は、前記複数の画像のうち相対的に高い周波数を持つ画像に対する前記ゲインデータを第1のゲインデータ、前記複数の画像のうち相対的に低い周波数を持つ画像に対する前記ゲインデータを第2のゲインデータとしたときに、前記第1のゲインデータおよび前記第2のゲインデータの着目画素に対応するゲイン同士の加算結果である第1の加算結果、及び、前記第1のゲインデータの当該着目画素に対応するゲインと、前記第2のゲインデータにおける当該着目画素から所定範囲周辺領域において当該着目画素に対応するゲインと近い値を持つゲインとの加算結果である第2の加算結果、に基づいて前記制御ゲインを決定することを特徴とする。

発明の効果

0013

本発明によれば、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、出力画像のコントラストを良好に保ちつつ、疑似輪郭の発生を抑制することが可能となる。

図面の簡単な説明

0014

本発明の各実施形態に共通する画像処理装置の構成を示したブロック図。
第1の実施形態で想定する逆光シーンを表す図。
第1の実施形態で想定する輝度別ゲインの概形図。
輝度別ゲインによるコントラスト低下を表す図。
第1の実施形態におけるゲイン画像生成部における処理のブロック図。
ぼかし処理部における処理を示すフローチャート
ぼかし処理部の処理を表す図。
ゲイン加算処理部の処理を示すブロック図。
加算処理部2の処理内容を示す図。
加算処理部2の処理内容を示す図。
加算処理部2の処理内容を示すフローチャート。
加算処理部1と加算処理部2それぞれの利点を示す図。
第2の実施形態における、ゲイン画像生成部の処理を示すブロック図。
輝度加算処理部の処理を示すブロック図。
輝度差ゲイン差の関係を表す図。
輝度→重み算出部の動作を示すブロック図。
ゲイン増幅率の算出を示す図。
輝度→重み変換部の動作を示す図。
第3の実施形態における、ゲイン画像生成部の処理を示すブロック図。
第3の実施形態におけるぼかし処理の流れを示すフローチャート。
輝度増幅率の算出を示す図。
第4の実施形態における、ゲイン画像生成部の処理を示すブロック図。
第5の実施形態における、ゲイン画像生成部の処理を示すブロック図。
第6の実施形態における、ゲイン画像生成部の処理を示すブロック図。
従来技術の課題(疑似輪郭の発生)を示す図。

実施例

0015

以下、本発明の実施形態について、図面を参照して詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。以下の実施形態では、デジタルスチルカメラデジタルビデオカメラ等に代表される撮像部を有する画像処理装置に適用した例を説明する。

0016

(第1の実施形態)
図1は、本発明の各実施形態に共通する画像処理装置の構成を示したブロック図である。また、本実施形態では逆光シーンの補正を想定するため、図2に、本実施形態で想定する逆光シーンの例を示す。図2に示すように、逆光シーンとは、主要被写体の明るさに対し、背景が著しく明るいシーンである。以下、図1および図2を参照して、各ブロックについて詳細に説明する。

0017

露出決定部101では、入力画像を撮像する際の露出を決定する。本実施形態では、決定方法は特に指定しないが、一例として、評価測光方式を用いる。評価測光方式とは、画像を所定の領域に分割し、各領域ごとに算出した輝度値(輝度信号)に対し、それぞれ所定の重み付けをして加重平均することで、該当シーンの代表的な輝度値を算出し、その輝度値に基づいて露出を決定する方式である。

0018

基準画像撮像部102では、露出決定部101において設定された露出で画像を撮像する。ここで撮像された画像を、今後基準画像と呼ぶ。上記のような方法で露出を決定した場合、図2に示すような一般的な逆光シーンにおいては、主要被写体が実際の見た目よりも暗く撮影される。

0019

輝度別ゲイン生成部103では、基準画像に乗じるゲインの特性を決定する。ここでゲインの特性とは、輝度値に対するゲインテーブルである。本実施形態で目的としている逆光シーンの補正を行うためには、図2に示した主要被写体領域が明るくなるようにゲインの特性を制御すればよいため、図3に示すように、低輝度であるほど大きなゲインがかかるような形状の輝度別ゲインが生成される。

0020

信号処理部104は、基準画像に対し所定の信号処理を施す。本実施形態では、信号処理として、たとえば光学補正処理ノイズリダクション処理を行うものとする。

0021

<ゲイン画像生成部105>
ゲイン画像生成部105では、輝度別ゲイン生成部103で算出した輝度別ゲインテーブルから、画像に乗じるゲインを生成する。以下では、ゲイン画像生成部105にて輝度別ゲインテーブルを用いて生成される、画像内の画素毎の輝度にゲインを対応づけてマップ化したゲインデータをゲイン画像と呼ぶ。本実施形態では、ゲイン画像生成部105への入力画像を信号処理部104から出力された画像から生成した輝度画像とし、入力画像と、入力画像を縮小し低周波成分のみを残した画像とを、ゲインの生成に使用する。ここで低周波画像を使用する理由は、背景技術の欄で述べたように、画像の細かいディテールに対するゲインの敏感度を下げるためである。図2の例では、暗い主要被写体部は明るくするが、背景の建物のうち局所的に暗くなっている部分についても、ゲインテーブルに従って大きなゲインをかけてしまうと、建物の他の部分との輝度差が縮まり、画像のコントラストが劣化してしまう(図4)。従って、図2の建物の窓などの細かいテクスチャには、建物全体の代表的な輝度に準じたゲインを一律で乗じる方が好ましいと考えられる。そのために、入力画像の低周波画像を生成することで、細かいテクスチャは消失し、周囲の輝度値と略同一になることで、乗じるゲイン値も略同一になり、コントラストが保たれる。以上の理由から、本実施形態では入力画像の低周波画像を用いている。

0022

図5に、ゲイン画像生成部105における処理のブロック図を示す。以下、図5を参照しながら、ゲイン画像生成部105の処理について説明する。

0023

まず、入力画像501は、信号処理部104から出力された画像から生成した輝度画像である。縮小処理部502(縮小画像生成部)では、入力画像501を縮小する。本実施形態では、縮小率は特に限定しないが、一律でゲインをかけたい微細なテクスチャ部の周波数から見積もることが望ましい。また、縮小の方法についても特に限定しないものとする。

0024

<ぼかし処理部503>
ぼかし処理部503、および504では、入力画像501、および縮小処理部502の出力画像に対し、所定のぼかし処理を実行する。ぼかし処理の目的は、細かいテクスチャに対するゲインの敏感度をさらに下げ、コントラストをより良好に維持することである。その一方で、たとえば図2における、主要被写体領域と背景領域の境界では、ぼかし処理を行わない方がよい。その理由の1つは、覆い焼き処理では、主要被写体領域と背景領域ではそれぞれ別々のゲインを乗じることが所望の処理であることである。また、もう一つの理由は、想定の逆光シーンでは、2領域間の輝度差は非常に大きいことから、境界部でぼかし処理を行うと、図25で課題としているような疑似輪郭の発生が顕著になると考えられるからである。従って、輝度差が大きなエッジを保存したままボカシ処理を行うことが必要である。

0025

図6は、ぼかし処理部503,504における処理を示すフローチャートであり、図7はぼかし処理部503、504の処理内容を示す図である。

0026

図6に示すように、まずステップS601において、参照領域を設定する。本実施形態では、処理対象の画素(以下、着目画素)位置から水平方向、垂直方向の所定範囲内にある画素の集合を参照領域とする。

0027

次に、ステップS602において、参照領域内所定画素参照画素とし、着目画素と参照画素の差分絶対値を算出する。さらに、ステップS603において、差分絶対値が所定の閾値以内であるかどうかを判定する。本実施形態において、閾値は、着目画素の輝度値に応じて設定するものとする。その理由としては、低輝度領域と高輝度領域において、選択対象としたい画素のレベル差が異なると考えられるためである。

0028

次に、ステップS604において、差分絶対値が閾値以内であると判定された参照画素を選択する(抽出する)。図7に示した例では、着目画素に対し、背景の部分にある参照画素Aは選択されるが、人物部にある参照画素Bは選択されない。このようにして、輝度レベルが近い参照画素のみを選択する。

0029

次に、ステップS605、S606において、参照領域内の全画素を評価したかどうかを確認する。まだ評価していない画素がある場合は、すべての画素を評価するまで、参照画素を更新しながらS602〜S604の処理を繰りかえす。最後に、ステップS607において、選択された全ての画素の平均値を算出し、出力画素値とする。

0030

以上がぼかし処理部503の処理であり、ぼかし処理部503によって、輝度差が大きなエッジを保存したままぼかし処理を行った画像が得られる。

0031

輝度→ゲイン変換処理部506、507では、ぼかし処理部503、504から出力される輝度画像のそれぞれに対し、輝度別ゲイン生成部103で算出した輝度別ゲインテーブル505を用いて、ゲイン画像へ変換する。すなわち、縮小画像を含む縮小率の異なる複数の画像のそれぞれについて、ゲインデータ生成を行う。

0032

拡大処理部508では、縮小画像から輝度→ゲイン変換処理部507で変換されたゲイン画像に対し、拡大処理を施す。ここで、拡大処理は、入力画像と同じサイズになるように拡大をする。つまり、縮小処理部502で1/N倍の縮小をした場合は、拡大処理部508ではN倍の拡大処理を行う。ここで、拡大処理の方法については特に限定しないものとする。

0033

<ゲイン加算処理部509>
ゲイン加算処理部509では、入力輝度をゲインに変換したゲイン画像(第1のゲインデータ)と、入力輝度を縮小することにより相対的に低周波成分のみを残したゲイン画像(第2のゲインデータ)を加算する。以下、それぞれの画像を、上位階層下位階層の画像と呼ぶ。

0034

図25に示すように、上位階層と下位階層のゲイン特性を単純に加算平均するだけでは、輝度差の大きなエッジ部付近で、ゲインテーブルの形によっては疑似輪郭が生じてしまう。従って、加算処理の方法を工夫する必要がある。

0035

図8は、ゲイン加算処理部509の処理を示すブロック図である。以下、図8を用いて、ゲイン加算処理部509の動作について説明する。

0036

まず、上位階層画像801と下位階層画像802に対し、2種類の加算処理を行う。図9は、ゲイン加算処理部509における加算処理を示す図である。図9に示すように、加算処理部1では、上位階層と下位階層のそれぞれの着目位置のゲイン(以下、着目ゲインと呼ぶ)を加算平均する(第1の加算結果)。

0037

次に、加算処理部2の処理内容について説明する。図9に示すように、加算処理部2では、上位階層の着目ゲインと、下位階層の周辺領域のゲイン(以下、周辺ゲインと呼ぶ)を使用する。ここで、周辺領域とは、着目位置から上下左右方向に所定の範囲内にある画素の集合である。

0038

加算処理部2で行う処理の目的は、本件で課題としている疑似輪郭を低減させることである。図10は、図25と同様の考え方で、エッジ部付近に疑似輪郭が生じる場合の上位階層および下位階層ゲインの形状と、加算処理部2の処理イメージを示した図である。図10に示した例では、輝度差の大きなエッジ部付近で、下位階層ゲインが極端に小さくなる。従って、位置Xでゲインを加算する場合、四角で表されている着目ゲイン同士を加算すると、疑似輪郭の弊害が大きくなる。従って、下位階層ゲインは着目位置ではなく、位置Xから左右にLの範囲を探索し、最も上位階層の着目ゲインに近い値を持つゲインを選択する方がよい。図の例では、丸で表された位置X−Lのゲインを使用することで、下位階層の極端に小さなゲインから受ける影響を低減できる(第2の加算結果)。以上の加算処理により、エッジ部付近で極端に異なるゲインを乗じることによる疑似輪郭の発生は抑制されるものと考えられる。

0039

図10では、説明を分かりやすくするために1次元の例を挙げたが、実際の加算処理部2における処理では、同様の処理を2次元で行う。図11は、加算処理部2の処理内容を示すフローチャートである。

0040

まず、ステップS1101において、下位階層の周辺ゲイン(周辺画素のゲイン)のそれぞれに対し、上位階層の着目ゲインとの差分絶対値を算出する。次に、ステップS1102において、差分絶対値が小さい順に、M個の周辺ゲインを選択する。ここで、Mは所定の個数とする。この処理により、図10に示したように、上位階層の着目ゲインに近いゲイン値を持つ下位階層の周辺ゲインを選択することができる。なお、本実施形態では、ゲインを選択する際に、差分絶対値が小さい順に所定個数を選択するという手法をとったが、特に値を小さい順にソートするという処理は、演算規模、および回路で実施した際の回路規模が大きくなる。従って他の手法、たとえば、差分絶対値が所定の閾値以下である物をすべて選択する、等の手法をとってもよいものとする。

0041

次に、ステップS1103において、選択したM個の周辺ゲインを加重加算する。ここで、加重加算時の重み(係数)は以下の式(1)で決定される。

0042

0043

式(1)において、GL(k)は、選択した下位階層の周辺ゲインのうち、k番目のゲインを表し、W(k)はそれに対応する加重加算の重みを表す。また、GHは上位階層の着目ゲインを表し、Aは所定の定数である。式(1)から分かるように、重みは、上位階層の着目ゲインとの差分が小さいほど大きくなる。

0044

さらに、式(1)により各周辺ゲインに対する重みW(k)を算出後、以下の式(2)により加重加算を行う。

0045

0046

式(2)において、GL’は、加重加算後の下位階層ゲインである。

0047

最後に、ステップS1104において、加重加算した下位階層の周辺ゲインGL’と、上位階層の着目ゲインGHを加算平均し、加算平均されたゲイン値が加算処理部2の出力となる。

0048

以上、疑似輪郭低減のための加算処理部2の動作について説明を行った。しかしながら、この加算方法を画像全体に適用させると、ゲインの形状が上位階層の形状に近づいてしまい、結果として画像のテクスチャに敏感なゲインの形となり、出力画像のコントラストが劣化してしまう。例として、図12に示すように、場所Aのように輝度差が大きく、ゲイン差も大きくなるようなエッジ部付近は、加算処理部2の結果を用いて疑似輪郭を抑制するのが望ましい。しかし、場所Bのようにゲイン差が小さいテクスチャ部分では、加算処理部2の結果を用いると、画像のコントラストが低下してしまう。ゲイン差が小さければ疑似輪郭が顕在化しなくなるため、場所Bでは加算処理部1の結果を用いてコントラストの低下を抑制するのが望ましい。

0049

以上の考察より、最終的な加算結果は、加算処理部1の結果と加算処理部2の結果を加重加算したものであり、その時の重みは、着目位置における上位階層と下位階層のゲイン差によって決定することが好ましいと考えられる。従って、加算処理部1と加算処理部2の結果を、加重加算部806にて加重加算し、その際の重みは、重み算出部805で算出する。前述のとおり、加重加算の重みは、上位階層と下位階層の着目ゲインの差分値により決定され、差分値が大きいほど、加算処理部2の結果を重視するような設定とする。

0050

以上が、ゲイン加算処理部509の処理内容であり、出力画像807が、ゲイン加算処理部509の最終出力であるゲイン画像510となり、同様にゲイン画像生成部105の最終出力となる。

0051

ゲイン乗算部106では、ゲイン画像生成部105で生成された最終的なゲイン画像(制御ゲイン)を、信号処理部104で所定の信号処理が施された元画像に乗じる。ゲイン乗算部106の出力は、階調圧縮部107において、所定の出力レンジに階調圧縮される。ここで、圧縮方法ガンマ変換処理などが挙げられる。

0052

最後に、画像表示部108および画像記録部109に、階調圧縮部107において階調圧縮を施された画像が出力される。

0053

以上のように、本実施形態に示す処理によれば、上位階層画像と下位階層画像を加算する際に、下位階層の周辺ゲインから上位階層の着目ゲインに近いゲイン値を選択して加算することで、低周波画像を使用することによる疑似輪郭の弊害を抑制することができる。

0054

また、着目位置のゲイン差から、(1)コントラスト維持を優先する加算結果1と(2)疑似階調の抑制を優先する加算結果2のそれぞれを加重加算することで、コントラストの低下を抑制しつつ、疑似階調の抑制を行うことができる。

0055

また、本実施形態では、ゲイン加算処理の際に、入力画像から2種類の周波数帯域を持つ画像を生成したが、これに限らず、3以上(2種類以上)の異なる周波数帯域を持つ画像を生成し、順次加算処理を行うようにしてもよい。

0056

(第2の実施形態)
第2の実施形態では、第1の実施形態と比較して、図1におけるゲイン画像生成部105の処理内容が異なる。図13は、第2の実施形態におけるゲイン画像生成部105の処理を示すブロック図である。図13に示すように、本実施形態では、輝度画像の状態で加算処理を行い(画像加算)、加算処理が行われた輝度画像に対して輝度別ゲインテーブルを適用し、出力となるゲイン画像を生成する。

0057

この構成にする利点としては、輝度からゲインに変換する変換処理部が1か所で済むことによる、演算規模削減、および、変換処理を回路で実現した際の回路規模削減である。本実施形態では、入力画像から周波数帯域の異なる2種類の画像を生成し加算しているが、3以上の異なる周波数帯域を持つ画像を生成してもよい。その場合は、第1の実施形態の処理を考えると、生成する画像の分だけ輝度→ゲイン変換処理部が必要となる。従って、生成する画像が増えるほど、本実施形態の効果は大きくなると考えられる。

0058

図13において、第1の実施形態の図5と処理内容が異なる箇所は、輝度加算処理部1306である。以下、輝度加算処理部1306の処理内容、特に図14に示す輝度→重み算出部1405について説明する。

0059

第1の実施形態での重み算出部805における重みの設定方法は、上位階層の着目ゲインとのゲイン差分値に対し、差分値が大きくなるほど、加算処理部2の出力結果の重みを大きくするというものであった。一方、本実施形態における輝度→重み算出部1405では、ゲイン差でなく上位階層(第1の画像)と下位階層(第2の画像)の輝度差から重みを算出する。従って、図15に示すように、輝度差が同程度生じていても、ゲインとして生じる差分は、輝度の値により異なる。図15の例では、区間A〜区間Cのそれぞれで、輝度差はほぼ同程度だが、ゲインとしての差は異なる。従って、同じ輝度差でも、加算処理1(着目画素の画素値同士の加算)を優先するか、加算処理2を優先するかが異なるため、重みを算出する際には、輝度の差分値から、ゲインの差分値がどの程度になるのかを考慮した処理にする必要がある。また、前述した第2の実施形態の効果(演算規模削減)を大きくするためには、この処理はなるべくシンプルな構成で行うことが必要になる。なお、本実施形態における加算処理2は、第1の実施形態の加算処理2と同様の方法で行われ、第1の実施形態ではゲイン画像に対して行われていたのが、本実施形態では輝度画像に対して行われる。

0060

図16は、輝度→重み算出部1405の動作を示すブロック図である。入力は、上位階層および下位階層の着目位置における輝度(以下、着目輝度)である。まず、輝度差分値算出部1603において、輝度値の差分絶対値を算出する。

0061

<ゲイン増幅率算出部1604>
前述したように、輝度差分値が同じであっても、ゲインテーブルの形状によっては、ゲイン差分値が大きく異なる場合がある。ゲイン増幅率算出部1604では、この影響を吸収するために、輝度の差分絶対値に乗算する値であるゲイン増幅率を算出する。

0062

図17は、ゲイン増幅率の算出を示す図である。図17に示すように、輝度別ゲインテーブルを所定の輝度区間に分割し、各区間の始点と終点におけるゲイン値の傾きを算出する。図17の例では、輝度を3区間に分割し、ゲイン増幅率としてG1、G2、G3をそれぞれ算出している。さらに、入力される上位階層、下位階層の着目輝度のうち、小さいほうの輝度が属する区間のゲイン増幅率を、ゲイン増幅率算出部1604の出力とする。

0063

図18は、輝度→重み変換部1605の動作を示す図である。図18に示すように、重み変換テーブルの入力は、輝度差分値とゲイン増幅率の積である。入力値に対する重みの値としては、入力値が大きくなるほど加算処理部2の結果が使用されるように設定することが望ましいと考えられる。

0064

以上の処理で算出された重みが輝度→重み算出部1405の出力であり、重みを用いて、加重加算部1406において、加算処理部1,2の加算結果を加重加算し、出力画像を得る。

0065

以上が、第2の実施形態において、第1の実施形態に対し処理が異なる部分の説明であって、その他の部分は第1の実施形態と一致する。

0066

(第3の実施形態)
第3の実施形態では、第1の実施形態と比較して、図1におけるゲイン画像生成部105の処理内容が異なる。図19は、第3の実施形態における、ゲイン画像生成部105の処理を示すブロック図である。図19に示すように、本実施形態では、入力輝度画像に対しゲインへの変換を先に行ってから、以降の処理を行う。すなわち、輝度→ゲイン変換処理部1903で生成されたゲインデータから縮小処理部1904で縮小データ生成を行い縮小ゲインデータを得る。

0067

この構成にする利点としては、第2の実施形態と同様に、輝度からゲインに変換する変換処理部が1か所で済むことによる、演算規模削減、および、変換処理を回路で実現した際の回路規模削減である。

0068

図19において、第1の実施形態の図5と処理内容が異なる箇所は、ぼかし処理部1905、1906である。ぼかし処理の目的は第1の実施形態で説明したように、主被写体と背景の境界部などのエッジを保持したまま、微細なテクスチャによるゲインの敏感度を下げることである。本目的を輝度画像入力でなくゲイン画像入力で達成するには、第2の実施形態のゲイン増幅率と同様の考え方で、ゲイン差分値に対し、輝度差分値がどの程度になるのかを考慮し、この影響を補償する処理が必要となる。

0069

図20は、図19におけるぼかし処理の流れを示すフローチャートである。第1の実施形態におけるぼかし処理と異なる処理は、ステップS2003、S2004である。ステップS2003において、着目画素と参照画素の値から、輝度増幅率を算出する。なお、図20における画素値という記述は、ゲイン値のことを示す。

0070

図21は、輝度増幅率の算出を示す図である。図21に示すように、輝度別ゲインテーブルを、輝度値を入力として所定の区間に分割し、各区間の始点と終点における輝度値の傾きを算出する。さらに、入力される着目画素、参照画素のゲイン値のうち、小さいほうのゲインが属する区間の輝度増幅率が出力となる。

0071

次に、ステップS2004において、輝度増幅率とゲインの差分絶対値の積が所定の閾値以内であるかどうかを確認し、閾値以内であれば、現在の参照画素値を選択する。以降は、第1の実施形態におけるぼかし処理と同様の処理である。

0072

以降、上記のぼかし処理を施された画像をゲイン加算処理部1908において加算し、最終出力であるゲイン画像を得る。

0073

以上が、第3の実施形態において、第1の実施形態に対し処理が異なる部分の説明であって、その他の部分は第1の実施形態と一致する。

0074

(第4の実施形態)
第4の実施形態では、第1の実施形態と比較して、図1におけるゲイン画像生成部105の処理内容が異なる。図22は、第4の実施形態における、ゲイン画像生成部105の処理を示すブロック図である。

0075

図22に示すように、図5に示すブロック図と比較すると、縮小処理部502に相当する部分が帯域制限部2202(帯域制限画像生成部)となり、拡大処理部が画像サイズ調整部2208となっている。本来、ゲイン画像生成部105で行いたい処理は、所望の周波数帯域を持つ複数の画像を生成することである。第1の実施形態で画像の縮小および拡大という手法を用いていた理由としては、主に演算規模削減が目的である。本実施形態では、帯域制限部2202における帯域制限方法に対しては特に限定しないが、一例としては所望の周波数特性を持つローパスフィルタを使用するなどの方法が考えられる。

0076

また、画像サイズ調整部2208は、後段のゲイン加算処理部へ入力する画像サイズを、入力画像のサイズと揃える処理を行う。従って、帯域制限部2202で画像サイズの変換を伴う処理を行った場合に、そのサイズの画像を入力画像サイズと合わせるような拡大・縮小処理を行う。なお、帯域制限部2202で画像サイズの変更を行わなかった場合は、画像サイズ調整部2208では処理を行わない。

0077

以上が、第4の実施形態において、第1の実施形態に対し処理が異なる部分の説明であって、その他の部分は第1の実施形態と一致する。

0078

(第5の実施形態)
第5の実施形態では、第2の実施形態と比較して、図1におけるゲイン画像生成部105の処理内容が異なる。図23は、第5の実施形態における、ゲイン画像生成部105の処理を示すブロック図である。

0079

図23に示すように、図13に示すブロック図と比較すると、縮小処理部1302に相当する部分が帯域制限部2302となり、拡大処理部1305が画像サイズ調整部2305となっている。なお、各部の説明は第4の実施形態の内容と同一であるため、ここでは省略する。

0080

以上が、第5の実施形態において、第2の実施形態に対し処理が異なる部分の説明であって、その他の部分は第2の実施形態と一致する。

0081

(第6の実施形態)
第6の実施形態では、第3の実施形態と比較して、図1におけるゲイン画像生成部105の処理内容が異なる。図24は、第6の実施形態における、ゲイン画像生成部105の処理を示すブロック図である。

0082

図24に示すように、図19に示すブロック図と比較すると、縮小処理部1904に相当する部分が帯域制限部2404となり、拡大処理部1907が画像サイズ調整部2407となっている。すなわち、帯域制限部2404で帯域制限データ生成を行い帯域制限データを得る。なお、各部の説明は第4の実施形態の内容と同一であるため、ここでは省略する。

0083

以上が、第6の実施形態において、第3の実施形態に対し処理が異なる部分の説明であって、その他の部分は第3の実施形態と一致する。

0084

以上のように、上述したいずれの実施形態であっても、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、出力画像のコントラストを良好に保ちつつ、疑似輪郭の発生を抑制することが可能となる。

0085

また、上述したいずれの実施形態も、撮像部を有する画像処理装置を例にして説明したが、これに限られず、被写体領域の情報を用いて階調処理を行う装置であれば、他の画像処理装置にも適用可能である。

0086

なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェアプログラム)を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ