図面 (/)

技術 画像処理装置及び画像処理方法

出願人 キヤノン株式会社
発明者 北荘哲郎磯部博一
出願日 2015年12月28日 (3年7ヶ月経過) 出願番号 2015-256851
公開日 2017年7月6日 (2年1ヶ月経過) 公開番号 2017-120530
状態 未査定
技術分野 画像処理 電気信号の光信号への変換 FAX画像信号回路 表示装置の制御、回路
主要キーワード フィルタ係数テーブル アフィン変形 格子座標 補間算出 フィルタ処理画像 キーストーン 格子点毎 糸巻き型
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年7月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

より少ない計算量で種々の画像変形処理に応じたモアレ低減処理を実行できるようにする。

解決手段

変形前の画像を複数の領域に分割したときに各領域を包含する格子点の変形前の座標である座標情報を算出する座標情報算出部と、算出された座標情報から各々の格子点の倍率情報を算出する倍率情報算出部と、算出された倍率情報を保持する倍率情報保持部と、保持されている倍率情報を用いて、変形後の画像における各画素の倍率情報を生成する倍率情報生成部と、生成された各画素の倍率情報からフィルタ係数を算出するフィルタ係数算出部と、算出されたフィルタ係数に基づき、変形前の画像にフィルタ処理を行うフィルタ処理部と、フィルタ処理された画像に画像変形処理を行う変形処理部とを有し、種々の画像変形処理に応じたモアレ低減処理をより少ない計算量で行えるようにする。

概要

背景

画像処理装置において、画像変形処理が必要とされる場合がある。例えばプロジェクタ製品では、投影される画像において台形状の歪みが生じるのを抑制するために、スクリーン上に投影される画像が格子状になるよう画像変形するキーストーン(台形)補正処理と呼ばれる画像変形処理が行われている。キーストーン(台形)補正処理等の画像変形処理を行うためには、入力画像フレームメモリに記憶した後に、出力画像の各座標に対応する入力画像の座標の近傍画素から出力画像の各座標の画素値を補間して生成する。この補間方法としては、例えばバイキュービック補間方式等の方法がある。

画像に画像変形処理を行うとモアレ干渉縞)と呼ばれる画質劣化が生じる場合がある。このモアレは、出力画像の画素ピッチと、出力画像の各画素に対応する入力画像上の座標のピッチとの差によって生じる干渉縞である。モアレによる画質劣化は原画像高周波成分が原因であり、平滑化処理を行って高周波成分を除去しモアレを低減する方法が提案されている(特許文献1)。特許文献1に記載の方法では、元画像を予め定められた規則に基づいて変形した場合の変形後画像について、各画素における元画像に対する変形後画像の倍率情報導出し、倍率情報に基づいて強度を変えて平滑化処理を行いモアレの低減を図っている。

概要

より少ない計算量で種々の画像変形処理に応じたモアレ低減処理を実行できるようにする。変形前の画像を複数の領域に分割したときに各領域を包含する格子点の変形前の座標である座標情報を算出する座標情報算出部と、算出された座標情報から各々の格子点の倍率情報を算出する倍率情報算出部と、算出された倍率情報を保持する倍率情報保持部と、保持されている倍率情報を用いて、変形後の画像における各画素の倍率情報を生成する倍率情報生成部と、生成された各画素の倍率情報からフィルタ係数を算出するフィルタ係数算出部と、算出されたフィルタ係数に基づき、変形前の画像にフィルタ処理を行うフィルタ処理部と、フィルタ処理された画像に画像変形処理を行う変形処理部とを有し、種々の画像変形処理に応じたモアレ低減処理をより少ない計算量で行えるようにする。

目的

本発明は、より少ない計算量で種々の画像変形処理に応じたモアレ低減処理を実行できるようにすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像変形処理による変形前の画像及び画像変形処理による変形後の画像の一方を複数の領域に分割したときに各領域を包含する格子点の当該画像における座標情報を算出する座標情報算出手段と、前記座標情報算出手段により算出された座標情報から、各々の格子点の前記変形前の画像及び前記変形後の画像の他方の画像における倍率情報を算出する倍率情報算出手段と、前記倍率情報算出手段により算出された倍率情報を保持する保持手段と、前記保持手段に保持されている倍率情報を用いて、前記変形前の画像及び前記変形後の画像の前記他方の画像における各画素の倍率情報を生成する生成手段と、前記生成手段により生成された各画素の倍率情報からフィルタ係数を算出する係数算出手段と、前記係数算出手段により算出されたフィルタ係数に基づき、前記変形前の画像にフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタ処理された画像に画像変形処理を行う変形処理手段とを有することを特徴とする画像処理装置

請求項2

前記フィルタ処理手段は、前記フィルタ係数に基づき、前記変形前の画像にローパスフィルタ処理を行うことを特徴とする請求項1記載の画像処理装置。

請求項3

前記フィルタ処理手段は、前記フィルタ係数に基づき、前記変形前の画像に任意のフィルタ処理を行うことを特徴とする請求項1記載の画像処理装置。

請求項4

前記保持手段は、前記変形前の画像及び前記変形後の画像の一方の画像を格子状に分割したときの、各領域を包含する格子点に対応する前記変形前の画像及び前記変形後の画像の他方の画像における倍率情報を保持することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。

請求項5

前記倍率情報算出手段は、各々の格子点のx方向及びy方向にそれぞれ隣接する格子点の座標情報を用いて倍率情報を算出することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。

請求項6

画像変形処理による変形前の画像及び画像変形処理による変形後の画像の一方を複数の領域に分割したときに各領域を包含する格子点の当該画像における座標情報を算出する座標情報算出工程と、前記座標情報算出工程にて算出された座標情報から、各々の格子点の前記変形前の画像及び前記変形後の画像の他方の画像における倍率情報を算出し保持手段に保持させる倍率情報算出工程と、前記保持手段に保持されている倍率情報を用いて、前記変形前の画像及び前記変形後の画像の前記他方の画像における各画素の倍率情報を生成する生成工程と、前記生成工程にて生成された各画素の倍率情報からフィルタ係数を算出する係数算出工程と、前記係数算出工程にて算出されたフィルタ係数に基づき、前記変形前の画像にフィルタ処理を行うフィルタ処理工程と、前記フィルタ処理工程にてフィルタ処理された画像に画像変形処理を行う変形処理工程とを有することを特徴とする画像処理方法

請求項7

コンピュータを請求項1〜5の何れか1項に記載の画像処理装置の各手段として動作させるためのプログラム

技術分野

0001

本発明は、画像処理装置及び画像処理方法に関する。

背景技術

0002

画像処理装置において、画像変形処理が必要とされる場合がある。例えばプロジェクタ製品では、投影される画像において台形状の歪みが生じるのを抑制するために、スクリーン上に投影される画像が格子状になるよう画像変形するキーストーン(台形)補正処理と呼ばれる画像変形処理が行われている。キーストーン(台形)補正処理等の画像変形処理を行うためには、入力画像フレームメモリに記憶した後に、出力画像の各座標に対応する入力画像の座標の近傍画素から出力画像の各座標の画素値を補間して生成する。この補間方法としては、例えばバイキュービック補間方式等の方法がある。

0003

画像に画像変形処理を行うとモアレ干渉縞)と呼ばれる画質劣化が生じる場合がある。このモアレは、出力画像の画素ピッチと、出力画像の各画素に対応する入力画像上の座標のピッチとの差によって生じる干渉縞である。モアレによる画質劣化は原画像高周波成分が原因であり、平滑化処理を行って高周波成分を除去しモアレを低減する方法が提案されている(特許文献1)。特許文献1に記載の方法では、元画像を予め定められた規則に基づいて変形した場合の変形後画像について、各画素における元画像に対する変形後画像の倍率情報導出し、倍率情報に基づいて強度を変えて平滑化処理を行いモアレの低減を図っている。

先行技術

0004

特開2010−26870号公報

発明が解決しようとする課題

0005

種々の画像変形処理において、前述の方法によりモアレを低減させるためには、それぞれの画像変形処理に応じた倍率情報の導出処理が必要になる。必要とされる画像変形処理毎に倍率情報の導出処理を実装する方法が考えられるが、この方法では予め決められた画像変形処理にしか適切なモアレ低減処理を適用できない。また、モアレ低減処理を実現する際には、画像変形処理に加えて倍率情報を計算する必要がある。現実的なハードウエア規模で種々の画像変形処理に対応するために、倍率情報の計算をプログラマブルに実装できるようソフトウエアで実現する場合があるが、その計算量は大きい。本発明は、より少ない計算量で種々の画像変形処理に応じたモアレ低減処理を実行できるようにすることを目的とする。

課題を解決するための手段

0006

本発明に係る画像処理装置は、画像変形処理による変形前の画像及び画像変形処理による変形後の画像の一方を複数の領域に分割したときに各領域を包含する格子点の当該画像における座標情報を算出する座標情報算出手段と、前記座標情報算出手段により算出された格子座標情報から、各々の格子点の前記変形前の画像及び前記変形後の画像の他方の画像における倍率情報を算出する倍率情報算出手段と、前記倍率情報算出手段により算出された倍率情報を保持する保持手段と、前記保持手段に保持されている倍率情報を用いて、前記変形前の画像及び前記変形後の画像の前記他方の画像における各画素の倍率情報を生成する生成手段と、前記生成手段により生成された各画素の倍率情報からフィルタ係数を算出する係数算出手段と、前記係数算出手段により算出されたフィルタ係数に基づき、前記変形前の画像にフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタ処理された画像に画像変形処理を行う変形処理手段とを有することを特徴とする。

発明の効果

0007

本発明によれば、種々の画像変形処理に応じたモアレ低減処理をより少ない計算量で実行することができる。

図面の簡単な説明

0008

本発明の実施形態における画像処理装置の構成例を示す図である。
本実施形態における着目画素走査部の処理を説明するための図である。
本実施形態における倍率情報参照部の処理を説明するための図である。
本実施形態における倍率情報記憶部の処理を説明するための図である。
本実施形態における倍率情報生成部の処理を説明するための図である。
本実施形態におけるフィルタ係数算出部の処理を説明するための図である。
本実施形態におけるフィルタ処理の効果を説明するための図である。
本実施形態における倍率情報の算出処理を説明するための図である。
本実施形態における画像処理装置を実現可能なコンピュータ機能を示す図である。

実施例

0009

以下、本発明の実施形態を図面に基づいて説明する。

0010

前述したようにモアレ低減処理を実現する際には、画像変形処理に加えて倍率情報を計算する必要がある。現実的なハードウエアの規模で種々の変形に対応するために、倍率情報の計算をプログラマブルに実装できるようソフトウエアで実現する場合がある。また、画像を複数の領域に分割し、分割された複数の領域毎に倍率情報を算出し、領域毎の倍率情報から全画素毎の倍率情報を算出してモアレ低減処理を行う方法が提案されている。

0011

しかしながら、画像を分割する領域の数が増えるとソフトウエアによる倍率情報の計算処理量は増大するので、ユーザが操作を行ってから反映されるまでの時間が長くなり、ユーザレスポンスを満たせなくなる場合がある。そこで、本実施形態では、倍率情報の計算量を低減して、種々の画像変形処理に応じたモアレ低減処理を、より少ない計算量で実行できるようにし、結果的により短いユーザレスポンスを実現できるようにする。

0012

図1は、本発明の一実施形態における画像処理装置の構成例を示すブロック図である。本実施形態における画像処理装置101は、入力画像100を入力とし、入力画像100に対して画像変形処理を施して得られた変形画像102を出力する。画像変形処理は、例えば拡大縮小等のスケーリング処理、回転等のアフィン変形処理、プロジェクタ投影におけるキーストーン(台形)補正処理、レンズ歪み補正処理、樽型歪曲補正処理、糸巻き型歪曲補正処理円柱・角柱投影時の歪み補正処理などである。

0013

画像処理装置101の画像変形処理は、変形画像102の座標系の各画素の座標を走査し、入力画像100において対応する座標の近傍画素を取得して、得られた近傍画素の画素値を用いた補間演算を行い、変形画像102の各画素を生成する。以下では説明の便宜上、画像変形処理前の入力画像100の座標系を「変形前の座標系」と呼び、画像変形処理後の変形画像102の座標系を「変形後の座標系」と呼ぶ。

0014

画像処理装置101は、座標情報算出部112、格子座標情報保持部113、倍率情報算出部114、着目画素走査部103、倍率情報参照部104、倍率情報記憶部105、倍率情報保持部106、及び倍率情報生成部107を有する。また、画像処理装置101は、フィルタ処理部108、変形処理部109、フィルタ係数算出部110、及びフィルタ係数テーブル111を有する。

0015

座標情報算出部112は、格子点毎の変形前の座標である格子座標情報を算出する。座標情報算出部112により算出された格子座標情報は、格子座標情報保持部113に保持される。倍率情報算出部114は、格子座標情報保持部113に保持されている格子座標情報を入力とし、各格子点毎の変形後の倍率である倍率情報を算出する。倍率情報算出部114により算出された倍率情報は、倍率情報保持部106に保持される。

0016

この倍率情報の算出処理を、図8を参照して説明する。図8(A)には格子点のみを使う方式について示しており、変形後の座標系1100において複数の格子状の領域に分割した際の各頂点1101、1102、1103、1104を格子点と呼ぶ。図8(A)には、縦横16画素間隔正方形状に分割した例を示している。ただし、格子の形状はこれに限定されるものではなく、任意のサイズ、縦横比であっても良い。

0017

ここで、1つの格子点1101の座標(x_dst,y_dst)に着目すると、+x方向に隣接する格子点1102の座標は(x_dst+16,y_dst)と表される。また、+y方向に隣接する格子点1103の座標は(x_dst,y_dst+16)と表される。

0018

次に、格子点1101の座標(x_dst,y_dst)での水平及び垂直の倍率情報を計算することを考える。この値は、変形後の座標系1100における格子点の間隔(この例では16画素)と、格子点1101の座標(x_dst,y_dst)の接する格子を変形前の座標系に変換したときの間隔との比で近似される。具体的には、キーストーン変形等の任意の画像変形処理において変形後の座標系1100から変形前の座標系へ座標値を変換する関数をfx、fyとし、変形前の座標系の座標を(x_src,y_src)とすると、これらの関係は以下の式のとおり表される。なお、計算処理の詳細についてはキーストーン変形については公知の技術であるため説明は省略する。
x_src=fx(x_dst,y_dst)
y_src=fy(x_dst,y_dst)

0019

この式を使うと、格子点1101の座標(x_dst,y_dst)及び隣接する格子点1102、1103の座標をそれぞれ変形前の座標系に変換したときの水平方向及び垂直方向の距離は以下の式でそれぞれ表される。
fx(x_dst+16,y_dst)−fx(x_dst,y_dst)
fy(x_dst,y_dst+16)−fy(x_dst,y_dst)

0020

前記式のそれぞれが変形後の座標系1100の格子点の間隔である16画素に対応するので、変形前の座標系を基準とすると、変形後の座標系1100における倍率は以下の式で表される。
16/(fx(x_dst+16,y_dst)−fx(x_dst,y_dst))
16/(fy(x_dst,y_dst+16)−fy(x_dst,y_dst))

0021

この例では着目画素である格子点1101の座標(x_dst,y_dst)に対し、+x、+y方向にそれぞれ隣接する格子点1102、1103の座標を用いて倍率を算出したが、−x、−y方向に隣接する格子点の座標を用いて算出しても良い。本方式の特徴は、着目画素である格子点1101の座標(x_dst,y_dst)の近傍の格子点1102、1103の座標を用いて倍率を算出することである。

0022

比較例として図8(B)に示すように格子点の隣接画素を使う方式について説明する。図8(B)においても、変形後の座標系1110において複数の格子状の領域に分割した際の各頂点1111、1114、1115、1116を格子点と呼ぶ。格子点の隣接画素を使う方式では、格子点1111の座標(x_dst,y_dst)に対し隣接する画素である隣接画素1112の座標(x_dst+1,y_dst)、隣接画素1113の座標(x_dst,y_dst+1)を用いて倍率を算出する。処理の概要は格子点のみを使う方式と同様であるため省略する。

0023

図8(B)に例示した格子点の隣接画素を使う方式と、図8(A)に例示した格子点のみを使う方式とを比較すると、格子点の隣接画素を使う方式では計算の過程で隣接する画素である隣接画素1112の座標、及び隣接画素1113の座標を算出する。しかし、これらの隣接画素の情報は格子点1111の座標(x_dst,y_dst)の倍率を算出するためにしか使用されない。これに対して、格子点のみを使う方式では格子点の座標のみから倍率を算出することができる。このため、格子点の隣接画素を使う方式に対して、格子点のみを使う方式では隣接画素の座標を計算するための処理を削減できる。具体的には、図8に示すように倍率を2点から求める場合、格子点の隣接画素を使う方式に対して格子点のみを使う方式は、計算処理量を2分の1にすることが可能である。そこで、本実施形態では、格子点のみを使う方式を適用して倍率情報を算出する。

0024

図1戻り、着目画素走査部103は、変形後の座標系において、生成対象とする着目画素の座標を生成する。着目画素走査部103の処理を、図2(A)及び図2(B)を参照して説明する。図2(A)は、変形後の座標系200における格子点201と着目画素202との関係の例を示す図である。変形後の座標系200の各座標に対応する変形前の座標系における格子点201の倍率情報が、倍率情報保持部106に保持されている。格子点201の倍率情報は、それぞれの格子点201に対応する変形画像102上の点の倍率を示す情報である。仮に変形画像102が入力画像100に対して全面50%の縮小であった場合には、各格子点201の倍率情報として50%という値が保持される。

0025

ここで、例えば本実施形態における処理をハードウエアによって実装する場合には、着目画素202を包含する4つの格子点201の情報を同時に参照して演算高速化する必要性が生じることも考えられる。格子点201の倍率情報を同時にアクセス可能な複数の記憶領域(又はメモリ)に分割して保持することで、演算の際に必要となる格子点201の倍率情報を並列に参照することが可能となる。

0026

このとき、着目画素202がどの点を参照する場合にも、着目画素202を包含できるように格子点201の倍率情報を分割する必要がある。また、着目画素202を包含する格子点201の倍率情報は同時に参照ができるように、隣接する格子点201の倍率情報は分割されている必要がある。このような条件を満たす分割の例として、図2(A)に示すようにA群、B群、C群、及びD群の格子点201に分割する例がある。

0027

図2(A)に一例を示すように分割することで、変形後の座標系200において何れの着目画素202が選択された際にも、着目画素202を包含する4つの格子点201の倍率情報を並列に参照することができる。着目画素202は4つの格子点201で包含される領域の中を走査する。

0028

また、格子点の分割方法としては任意の分割方法があるが、各格子点が長方形状に配置されると着目画素202の倍率情報の演算を簡易化することができる。具体的には、図5(A)を参照して説明する後述の方法によって算出が可能となる。また、各格子点を正方形状に配置すると、図5(A)に示す例において必要となる補間演算が縦方向及び横方向(X軸方向及びY軸方向)に対して同じ計算で実現可能となる。

0029

着目画素走査部103は、図2(B)のステップS201〜S203に示すように、格子点に包含されるよう着目画素の座標を生成し出力する処理(S202)を変形後の座標系において全ピクセルに繰り返し行う。

0030

倍率情報参照部104は、着目画素走査部103から出力された着目画素の座標を入力とし、着目画素を包含する格子点の倍率情報を倍率情報保持部106から読み出すための読み出しアドレスを生成して出力する。倍率情報参照部104の処理を、図3(A)及び図3(B)を参照して説明する。

0031

図3(A)には、変形後の座標系300における格子点301と着目画素302との関係を示しており、図3(A)においては格子点301を識別するために、括弧内にx方向及びy方向の識別子をそれぞれ付与している。ここではA〜D[x][y]の形式で示しており、例えばA[1][0]はA群の格子点301においてX軸方向1番目、Y軸方向0番目の格子点であることを示す。

0032

図3(A)に示す例において、着目画素302の位置が選択された場合には、その着目画素を包含する格子点301を選択する。すなわち、左上にD[0][0]の格子点301を、右上にC[1][0]の格子点301を、左下にB[0][1]の格子点301を、右下にA[1][1]の格子点301をそれぞれ選択する。

0033

倍率情報参照部104は、例えば選択された格子点301のそれぞれの識別子を、着目画素302を包含する格子点301の倍率情報の読み出しアドレスとして出力する。このようにして倍率情報参照部104は、図3(B)のステップS301〜S303に示すように、入力される着目画素の座標のそれぞれに対して、着目画素を包含する格子点の倍率情報の読み出しアドレスを生成し出力する処理(S302)を繰り返し行う。

0034

倍率情報記憶部105は、入力された倍率情報参照部104からの着目座標を包含する格子点の倍率情報の読み出しアドレスを参照し、それら格子点の倍率情報を倍率情報保持部106から取得する。また、倍率情報記憶部105は、取得した格子点の倍率情報を倍率情報生成部107へ出力する。例えば、図3(A)を例に説明すると、着目画素302を包含する、左上のD[0][0]、右上のC[1][0]、左下のB[0][1]、右下のA[1][1]の各格子点301の倍率情報を出力する。倍率情報記憶部105は、図4のステップS401〜S403に示すように、各着目画素について、入力された着目画素を包含する格子点の倍率情報の読み出しアドレスに基づいて、格子点の倍率情報を取得し出力する処理(S402)を繰り返し行う。

0035

次に、倍率情報生成部107は、入力された倍率情報記憶部105からの着目画素を包含する格子点の倍率情報、及び着目画素走査部103からの着目画素の座標をもとに、着目画素の座標に対応する倍率情報を補間演算によって生成する。図5(A)に一例を示すように、倍率情報生成部107は、着目画素504について、それを包含するA〜Dの格子点501の倍率情報を用いて補間演算を行って倍率情報を算出する。

0036

図5(A)に示した例では、まずY軸方向について倍率情報を補間算出する。Aの格子点501及びCの格子点501の倍率情報から補間点I502の倍率情報を補間算出し、Bの格子点501及びDの格子点501の倍率情報から補間点II503の倍率情報を補間算出する。次に、補間算出した補間点I502及び補間点II503の倍率情報から着目画素504の倍率情報をX軸方向に補間算出して出力する。なお、A〜Dの格子点501の倍率情報を用いてY軸方向で補間算出した後にX軸方向で補間算出する例を示したが、X軸方向で補間算出した後にY軸方向で補間算出するようにしてもよい。

0037

このように倍率情報生成部107は、図5(B)のステップS501〜S503に示すように、各着目画素について、入力された着目画素を包含する格子点の倍率情報を用いて、着目画素の倍率情報を生成し出力する処理(S502)を繰り返し行う。これにより、変形画像102におけるすべての画素の倍率情報が生成され出力される。

0038

フィルタ係数算出部110は、倍率情報生成部107から出力された変形画像102における各画素の倍率情報を入力として、フィルタ係数を算出する。フィルタ係数算出部110は、各倍率情報に対応したフィルタ係数を保持するフィルタ係数テーブル111を参照することによりフィルタ係数を算出する。そして、フィルタ係数算出部110は、算出したフィルタ係数をフィルタ処理部108へ出力する。

0039

フィルタ処理部108は、入力画像100とフィルタ係数算出部110からのフィルタ係数を入力として、入力画像100に対するフィルタ処理を行い、フィルタ処理されたフィルタ処理画像を出力する。本実施形態では、フィルタ処理部108は、高周波成分を除去するローパスフィルタ処理(以下、「LPF処理」と記す)を入力画像102に施す。

0040

変形処理部109は、フィルタ処理部108からのフィルタ処理画像を入力として、フィルタ処理画像に対する画像変形処理を行い、画像変形処理された変形画像102を出力する。変形処理部109は、例えば拡大縮小等のスケーリング処理、回転等のアフィン変形処理、プロジェクタ投影におけるキーストーン(台形)補正処理、レンズ歪み補正処理、樽型歪曲補正処理、糸巻き型歪曲補正処理、円柱・角柱投影時の歪み補正処理などを行う。

0041

本実施形態での入力画像100に対するフィルタ処理について説明する。フィルタ係数テーブル111は、各倍率情報に対応したフィルタ係数を保持しており、倍率情報に対応するフィルタ係数を出力する。

0042

以下、倍率情報として水平方向の倍率である水平倍率を例に説明する。水平倍率100%は変形画像において、該座標の水平方向の倍率が等倍であることを意味する。また、水平倍率100%に対して、水平倍率0%側は水平方向の倍率が小さく、水平倍率200%側は水平方向の倍率が大きいことを意味する。なお、水平倍率の上限及び下限は画像処理装置において想定する画像変形処理の変形種別に応じて決めて良い。例えば、変形画像において水平倍率200%を超える変形を行う際には、その上限に基づきフィルタ係数テーブル111に保持するフィルタ係数を変えても良い。

0043

図6に一例を示すようにフィルタ係数テーブル111では、各水平倍率に各々フィルタ係数が対応付けられており、本実施形態ではLPF処理のフィルタ係数が保持されている。LPF処理の係数は、着目画素を中心とする任意の領域の参照画素に対する重みづけの係数である。図6に示した例では、着目画素を中心画素とし、中心画素近傍の±2画素の範囲の計5画素分の重みづけ係数を保持している。

0044

この5画素分の重みづけ係数の和は一般に1.0相当となり、中心画素に対して対称となるような係数とする。中心画素に対するフィルタ係数が1.0に近い場合には、中心画素の値が支配的になるためLPF処理の効果は低くなり、入力画像に近い画像がLPF処理後の画像として出力される。一方、中心画素に対するフィルタ係数が低い場合には、周辺画素の値が支配的になるためLPF処理の効果は高くなり、入力画像には平滑化処理が強く適用されて出力される。

0045

本実施形態におけるフィルタ係数テーブル111では、大きな水平倍率に対してLPF処理の効果が低いフィルタ係数を対応付け、小さな水平倍率に対してLPF処理の効果が高いフィルタ係数を対応付けている。なお、ここでは水平倍率について記載したが、垂直倍率についても同様である。

0046

このように倍率情報に対してフィルタ係数を対応付けることで、以下のような効果が得られる。図7において、変形前の座標系700におけるフィルタ処理結果画像701に対し、画像変形処理を施した結果が変形後の座標系710における変形画像711になるとする。この例において、フィルタ処理結果画像701と変形画像711とを比較すると、フィルタ処理結果画像701の右上部分は左下部分に対して倍率が小さくなっている。

0047

したがって、本実施形態ではフィルタ処理結果画像701の右上部分702には、左下部分703に対して、より強いLPF処理が適用される。ここで、LPF処理は、画像変形処理によって生じるモアレを低減する効果がある一方で、他方では画像の明瞭感を低下させる。したがって、単にLPF処理を強く適用させるだけではモアレの低減と明瞭感の維持を両立することができない。

0048

これに対して、本実施形態ではフィルタ処理結果画像711に示す通り、画像変形処理での倍率に応じてLPF処理の強度を変えることで、様々な種別の画像変形処理に対してモアレを低減しつつ明瞭感を維持することが可能になる。図7に示す例では、変形画像711において、右上部分712においてはモアレを中程度に低減しつつ明瞭感を中程度に維持し、一方で左下部分713においてもモアレを中程度に低減しつつ明瞭感を良く維持することが可能となる。本実施形態では、倍率情報を算出する際の計算量を低減し、様々な種別の画像変形処理において、より少ない計算量でモアレの軽減と明瞭感の維持の両立が可能になる。

0049

なお、本実施形態では変形前の画像を複数の領域に分割し、各領域に対応する変形後の倍率情報に基づき処理を行う例を示したが、変形後の画像を複数の領域に分割し、各領域に対応する変形前の倍率情報に基づき処理を行うようにしても良い。ただし、この場合には、同様の効果を得るためにはフィルタ係数テーブル111に保持する倍率情報とフィルタ係数の強度の関係は、図6に示した例とは逆にする必要がある。すなわち、変形前の倍率が小さいものに対してLPF処理の強度を弱くし、変形前の倍率が大きいものに対してLPF処理の強度を強くなるよう、フィルタ係数テーブル111におけるフィルタ係数を対応付けるようにすればよい。このようにすることで、変形後の画像を走査して画像変形処理を行う場合の構成に対しても、種々の画像変形処理に応じたモアレ低減処理を実行することができる。

0050

なお、本実施形態ではフィルタ処理部108としてLPF処理を例に示したが、シャープネス処理等の他のフィルタ処理であっても良い。この場合には、フィルタ処理部108としてLPF処理に限らず、画像の周波数成分を調整する他の任意のフィルタ処理によっても、種々の画像変形処理に応じたモアレ低減処理を実行することが可能となる。また、各格子点に対応する変形後の倍率を算出する計算処理を、各格子点の隣接画素を用いて算出する場合に比べて2分の1にすることが可能である。

0051

(本発明の他の実施形態)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0052

例えば、前述の実施形態に示した画像処理装置は、図9に示すようなコンピュータ機能900を有し、そのCPU901により前述の実施形態での動作が実施される。コンピュータ機能900は、図9に示すように、CPU901と、ROM902と、RAM903とを有する。また、操作部(CONS)909のコントローラ(CONSC)905と、表示部としてのディスプレイ(DISP)910のディスプレイコントローラ(DISPC)906とを有する。さらに、ハードディスク(HD)911、及びフレキシブルディスク等の記憶デバイスSTD)912のコントローラ(DCONT)907と、ネットワークインタフェースカード(NIC)908とを有する。それら機能部901、902、903、905、906、907、908は、システムバス904を介して互いに通信可能に接続された構成としている。

0053

CPU901は、ROM902又はHD911に記憶されたソフトウエア、又はSTD912より供給されるソフトウエアを実行することで、システムバス904に接続された各構成部を総括的に制御する。すなわち、CPU901は、前述したような動作を行うための処理プログラムを、ROM902、HD911、又はSTD912から読み出して実行することで、前述の実施形態での動作を実現するための制御を行う。RAM903は、CPU901の主メモリ又はワークエリア等として機能する。CONSC905は、CONS909からの指示入力を制御する。DISPC906は、DISP910の表示を制御する。DCONT907は、ブートプログラム、種々のアプリケーションユーザファイルネットワーク管理プログラム、及び前述したような動作を行うための処理プログラム等を記憶するHD911及びSTD912とのアクセスを制御する。NIC908はネットワーク913上の他の装置と双方向にデータをやりとりする。

0054

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

0055

100:入力画像101:画像処理装置102:変形画像103:着目画素走査部 104:倍率情報参照部 105:倍率情報記憶部 106:倍率情報保持部 107:倍率情報生成部 108:フィルタ処理部 109:変形処理部 110:フィルタ係数算出部 111:フィルタ係数テーブル112:座標情報算出部 113:格子座標情報保持部 114:倍率情報算出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 楽天株式会社の「 画像処理装置、画像処理方法、および画像処理プログラム」が 公開されました。( 2019/06/27)

    【課題・解決手段】一実施形態に係る画像処理装置はプロセッサを備える。プロセッサは、入力画像を取得するステップと、入力画像を畳み込み層により処理することで特徴残差を算出するステップと、入力画像に対して少... 詳細

  • キヤノン株式会社の「 3次元モデルの生成装置、生成方法及びプログラム」が 公開されました。( 2019/06/27)

    【課題】対象オブジェクトの一部を遮ってしまうような構造物等が撮影シーン内に存在していても、生成される3次元モデルにおいて欠損が生じないようにする。【解決手段】3次元モデルの生成装置であって、複数の視点... 詳細

  • オリンパス株式会社の「 内視鏡撮像システム」が 公開されました。( 2019/06/27)

    【課題・解決手段】小型でダイナミックレンジの広い画像、特に動画を得ることができる内視鏡撮像システムを提供すること。同一の被写体に対して、明るさが異なる2つの光学像を同時に得る撮像光学系と、第1のフレー... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ