図面 (/)

技術 画像処理方法及び画像処理装置

出願人 シャープ株式会社シャープマニファクチャリングシステム株式会社
発明者 今田宗利
出願日 1997年2月20日 (24年4ヶ月経過) 出願番号 1997-035924
公開日 1998年9月2日 (22年10ヶ月経過) 公開番号 1998-232931
状態 拒絶査定
技術分野 イメージ分析
主要キーワード 専用LSI 打切る マッチング計算 実行用プログラム 被撮像物 打切り 比較対象画像 一致領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1998年9月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

処理時間が短く、かつ、照明変動等による入力画像濃度変動に強い画像処理方法及び画像処理装置を提供する。

解決手段

まず、入力画像の平均濃度を算出する(ステップ1)。次に、入力画像と基準画像画素数をn、入力画像の各画素の濃度をgi(i=1〜n),平均濃度をgT、基準画像の各画素の濃度をfi(i=1〜n),平均濃度をfTとしたときに、Σ|(gi−gT)−(fi−fT)|の計算を行い、その計算結果に基づいて、入力画像と基準画像との一致度を判定する(ステップ2)。

概要

背景

近年、対象画像入力画像)の中から基準画像一致度の高い画像を抽出するテンプレートマッチングが様々な用途において使用されている。このようなテンプレートマッチングを行う画像処理装置において、画像間の一致度を測る代表的な手法として、SSDA法(sequential similarity detection algorithm)及び、正規化相関法が知られている(「画像処理論」、著者名:長尾真、出版社:コロナ社)。以下、上記SSDA法並びに正規化相関法について説明する。

A)SSDA法
この方法では、入力画像をg,基準画像をf,マッチングされる領域をsとして(3)式を計算することにより、その領域sと基準画像との一致度を算出する。

概要

処理時間が短く、かつ、照明変動等による入力画像の濃度変動に強い画像処理方法及び画像処理装置を提供する。

まず、入力画像の平均濃度を算出する(ステップ1)。次に、入力画像と基準画像の画素数をn、入力画像の各画素の濃度をgi(i=1〜n),平均濃度をgT、基準画像の各画素の濃度をfi(i=1〜n),平均濃度をfTとしたときに、Σ|(gi−gT)−(fi−fT)|の計算を行い、その計算結果に基づいて、入力画像と基準画像との一致度を判定する(ステップ2)。

目的

本発明は、上記課題を解決するものであって、処理時間が短く、かつ、照明変動等による入力画像の濃度変動に強い画像処理方法及び画像処理装置を提供することを目的とする。

効果

実績

技術文献被引用数
3件
牽制数
7件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

基準画像比較対象画像との一致度を判定する画像処理方法において、前記比較対象画像と前記基準画像の画素数をn、前記比較対象画像の各画素の濃度をgi(i=1〜n),平均濃度をgT、前記基準画像の各画素の濃度をfi(i=1〜n),平均濃度をfTとしたときに、実質的に(式1)の計算結果に基づいて前記一致度を判定することを特徴とする画像処理方法。Σ|(gi−gT)−(fi−fT)| ………………(式1)

請求項2

入力画像の中から基準画像と最も一致度の良い比較対象画像を取り出すとともに、その一致度を検出する画像処理方法において、前記入力画像の中から比較対象画像を順次抽出する第1ステップと、該抽出した比較対象画像と前記基準画像の画素数をn、画素番号をi(i=1〜n)、前記抽出した比較対象画像の各画素の濃度をgi(i=1〜n),平均濃度をgT、前記基準画像の各画素の濃度をfi(i=1〜n),平均濃度をfTとしたときに、画素番号を1からnまで変化させながら、実質的に(式2)で表される計算を行いその計算結果を加算していく第2ステップと、|(gi−gT)−(fi−fT)| ………………(式2)前記加算結果が最も小さくなる比較対象画像を取り出す第3ステップと、を有し、前記第2ステップにおいて、画素番号を変化させている途中の段階における前記加算の結果に基づき、残りの画素番号についての処理を中止することを特徴とする画像処理方法。

請求項3

基準画像と比較対象画像との一致度を判定する画像処理装置において、前記比較対象画像と前記基準画像の画素数をn、前記比較対象画像の各画素の濃度をgi(i=1〜n),平均濃度をgT、前記基準画像の各画素の濃度をfi(i=1〜n),平均濃度をfTとしたときに、実質的に(式1)の計算を行う演算手段と、Σ|(gi−gT)−(fi−fT)| ………………(式1)該計算結果に基づいて前記一致度を判定する判定手段と、を有することを特徴とする画像処理装置。

技術分野

0001

入力画像内で予め登録した基準画像と一致する部分を探索し、該部分の位置及び一致度を調べる画像処理方法及び画像処理装置に関し、特に、高速処理が可能な画像処理方法及び画像処理装置に関する。

背景技術

0002

近年、対象画像入力画像)の中から基準画像と一致度の高い画像を抽出するテンプレートマッチングが様々な用途において使用されている。このようなテンプレートマッチングを行う画像処理装置において、画像間の一致度を測る代表的な手法として、SSDA法(sequential similarity detection algorithm)及び、正規化相関法が知られている(「画像処理論」、著者名:長尾真、出版社:コロナ社)。以下、上記SSDA法並びに正規化相関法について説明する。

0003

A)SSDA法
この方法では、入力画像をg,基準画像をf,マッチングされる領域をsとして(3)式を計算することにより、その領域sと基準画像との一致度を算出する。

0004

Σ|f−g| (3)
この方法では、領域sの全ての画素についてfとgとの差の絶対値の加算(即ち(3)式の計算)を行わなくても、領域sのある部分についての|f−g|の和が予め設定しておいたミスマッチのしきい値を超えれば、領域sの残り画素について計算するまでもなく、そこで和算を打切り次の場所でのマッチング計算に移ることができる。したがって、ある程度計算量を減らすことができる。

0005

B)正規化相関法
この方法では、入力画像をg,基準画像をf,マッチングされる領域をsとして(4)式を計算するのであるが、値としては−1から1の範囲の値(値が大きいほど一致度が高い)を出力する。

0006

ΣΣf・g/{(√ΣΣf2)・(√ΣΣg2)} (4)

発明が解決しようとする課題

0007

しかしながら、SSDA法の場合、ミスマッチの数が一定値を超えたときに和計算を打ち切るため処理速度は高速となるが、入力画像の濃度が照明変動等により変動した場合、最も一致度の高い位置が基準画像と一致している位置とは限らないという欠点をもつ。

0008

一方、正規化相関法は入力画像の濃度の照明変動に強い、一致度の評価関数として知られているが、SSDA法のように途中で計算を打切ることができず、計算量が膨大となるという欠点を持つ。また、除算平方根計算があるため、この点においても処理時間が長くなる。このため、この方法では、ソフトウェア処理では対応できず、専用LSI等によるハードウェア処理が必要となる。従って、画像処理装置そのものが高価格・大型化するという問題がある。

0009

本発明は、上記課題を解決するものであって、処理時間が短く、かつ、照明変動等による入力画像の濃度変動に強い画像処理方法及び画像処理装置を提供することを目的とする。

課題を解決するための手段

0010

請求項1に記載の画像処理方法は、基準画像と比較対象画像との一致度を判定する画像処理方法において、比較対象画像と基準画像の画素数をn、比較対象画像の各画素の濃度をgi(i=1〜n),平均濃度をgT、基準画像の各画素の濃度をfi(i=1〜n),平均濃度をfTとしたときに、実質的に(式1)の計算結果に基づいて一致度を判定するものである。

0011

Σ|(gi−gT)−(fi−fT)| ………………(式1)
請求項2に記載の画像処理方法は、入力画像の中から基準画像と最も一致度の良い比較対象画像を取り出すとともに、その一致度を検出する画像処理方法において、入力画像の中から比較対象画像を順次抽出する第1ステップと、抽出した比較対象画像と基準画像の画素数をn、画素番号をi(i=1〜n)、抽出した比較対象画像の各画素の濃度をgi(i=1〜n),平均濃度をgT、基準画像の各画素の濃度をfi(i=1〜n),平均濃度をfTとしたときに、画素番号を変化させながら、実質的に(式2)の計算結果を加算していく第2ステップと、
|(gi−gT)−(fi−fT)| ………………(式2)
加算結果が最も小さくなる比較対象画像を取り出す第3ステップと、を有し、第2ステップにおいて、画素番号を変化させている途中の段階における加算の結果に基づき、残りの画素番号についての処理を中止するものである。

0012

請求項3に記載の画像処理装置は、基準画像と比較対象画像との一致度を判定する画像処理装置において、比較対象画像と基準画像の画素数をn、比較対象画像の各画素の濃度をgi(i=1〜n),平均濃度をgT、基準画像の各画素の濃度をfi(i=1〜n),平均濃度をfTとしたときに、実質的に(式1)の計算を行う演算手段と、
Σ|(gi−gT)−(fi−fT)| ………………(式1)
その計算結果に基づいて一致度を判定する判定手段と、を有するものである。

発明を実施するための最良の形態

0013

まず、本発明の画像処理方法の原理を説明する。

0014

本発明の画像処理方法では、入力画像と基準画像との間のテンプレートマッチングを行う際、入力画像のある対象領域sにおける各画素の濃度をgi,平均濃度gT、基準画像の各画素の濃度をfi,平均濃度fTとした場合、実質的に評価式〔Σ|(gi−gT)−(fi−fT)|〕の計算結果に基づき一致度を検出し、そして最も一致度の高い領域を抽出する。尚、ここで、“実質的に”とは、例えば〔Σ((gi−gT)−(fi−fT))2〕のように、上記評価式の値の大小を判別できるものであれば他のものであっても良い、という意味である。

0015

以下、上記評価式について説明する。

0016

表1に示すように、(gi−gT)と(fi−fT)の差の絶対値は入力画像の濃度と基準画像の濃度が似ていれば“0”に近い値となり、似ていなければ大きな正の値となる。

0017

0018

従って、マッチングされるある1つの領域sについての評価式〔Σ|(gi−gT)−(fi−fT)|〕は、入力画像の対象領域sにおける画像と基準画像とが完全に一致すれば“0”ばかり加算するので“0”となり、完全に不一致であれば最大値となる。

0019

上記評価式を用いたマッチング方法によれば、例えば、入力画像中走査していくときに、上記評価式の評価値が走査中に得られた最小の評価値より大きい値になるか、もしくは予め設定したミスマッチのしきい値を超えれば途中で計算を打切るように設定しておくことで、高速処理が可能となる。

0020

また、入力画像の各画素の濃度をgi,平均濃度gTの差(gi−gT)を使用しているため、照明変動等により入力画像の濃度が全体として変動した場合でも、この差(gi−gT)は変動しないため、正確な一致度の算出及び一致領域の検出を行うことが可能となる。

0021

図4は、本発明により照明変動の影響を抑制できることを説明する図であり、(a)は基準画像の画素の濃度分布を示しており、(b)は入力画像の画素の濃度分布を示している。この入力画像及び基準画像は実際には一致している画像であるが、照明変動等により入力画像の濃度が全体として高くなっている。従来のSSDA法によれば、この(b)の入力画像は(a)の基準画像と“不一致”と判定される。しかしながら、本発明の方式によれば、各画素の濃度と平均画素の濃度の差を用いて一致度を評価しているため、図4におけるfiとgiは一致していると判断される。このように、本方式によれば、照明変動等による入力画像の濃度変動の影響を抑制できる。

0022

以下、本発明の一実施の形態について図面に基づいて説明する。

0023

図1は、本実施の形態の画像処理装置1の構成を示すブロック図である。この図において、CCD2は被撮像物からの物体光CCD面上に結像した像を電気信号に変換する。A/D変換器3はCCD2からの映像信号デジタル信号に変換して入力画像データを生成する。カメラ表示コントローラ4はCCD2から取り込んだ画像データをフレームメモリ6やモニタ11に出力するタイミングを制御するLSIである。D/A変換器5はカメラ・表示コントローラ4からの画像データをアナログ信号に変換する。フレームメモリ6はCCD2から取り込んだ映像信号をA/D変換器3でデジタル変換した入力画像データを記憶する。CPU7は画像処理の演算、画像処理演算用条件登録、及び装置1全体をコントロールする。ROM9はCPU7の実行用プログラムを格納する。RAM8はCPU7で設定した画像処理演算用条件を記憶するとともに、画像処理の演算結果を記憶する。

0024

以下に、本実施の形態の画像処理装置の動作を説明する。図3は、その処理の流れを示すフロー図である。

0025

まず、CCD2から取り込んだ入力画像データをフレームメモリ6に登録する。また、フレームメモリ6に記録されている画像データから基準となる画像(256階調)を抽出し、その基準画像の平均濃度を算出する。さらに、入力画像中におけるサーチ範囲をRAM8に登録する(ステップ1)。

0026

次に、I/O10からパターンマッチング開始指示があると、図2に示すようにサーチ範囲の左上からラスタ走査順に、基準画像との一致度を評価式Σ|(gi−gT)−(fi−fT)|に基づき算出する。

0027

ここでの処理について詳しく説明する。I/O10からパターンマッチング開始指示があるとCCD2から入力画像データを取込み、フレームメモリ6に転送する。そしてフレームメモリ6の入力画像のサーチ範囲(RAM8に登録されている)内の左上の、基準画像と同じ形状同じ大きさの領域sから順次パターンマッチングを行う。

0028

パターンマッチングは、まず平均濃度gTを算出し、フレームメモリ6の領域sの左上の画素に関する平均濃度との差(gi−gT)と、RAM8に登録した基準画像における同じ位置の画素と平均濃度との差(fi−fT)と、の差の絶対値|(gi−gT)−(fi−fT)|を求める。そして、領域s内の全画素について上記差の絶対値を加算することで評価式Σ|(gi−gT)−(fi−fT)|の値を求める(ステップ2)。

0029

なお、上記ステップ2において、全画素についての和を算出する前に、既に算出した他の領域における最小の評価値と比較して、この値よりも大きくなれば残りの画素の計算を中止して、次の領域におけるパターンマッチングを開始する(ステップ3)。

0030

また、領域sについて一致度の算出が終われば、領域sを1画素ずらした領域を新たなサーチ領域sとして、上記と同様の処理により|(gi−gT)−(fi−fT)|の和を算出する(ステップ4)。

0031

上記ステップ1〜ステップ4の処理を、入力画像中のサーチ範囲全体において行うことにより、サーチ範囲の中で最も一致度の良い(評価値の小さい)領域を抽出して、その領域での一致度と位置(例えば、中心座標左上座標)をI/O10から出力する。ここで、例えば、キズ欠け検査する場合には出力する一致度が判定条件となり、位置検出検査では出力する位置が判定条件となる(ステップ5)。

0032

なお、上記ステップ3では、現在算出中の評価値が既に算出した評価値よりも大きいか否かの判別を行っているが、予め決めておいた所定しきい値を用い、その所定値よりも大きいか否かの判別を行ってもよい。

発明の効果

0033

本発明の画像処理方法及び画像処理装置では、入力画像の照明変動等による濃度変化を入力画像と基準画像の平均濃度の差で補正するため、正確な一致度の算出が可能となる。

0034

また、入力画像のある領域の画像と基準画像との一致度を算出している途中において、その途中段階での算出結果に基づきその一致度の算出を中止することにより、その領域の画像と基準画像とがミスマッチの場合に、無駄な計算を行うことがなくなり、計算量の縮小及び処理時間の短縮を図ることができる。これにより、画像処理装置の低コスト化及び小型化を実現できる。

図面の簡単な説明

0035

図1本発明の画像処理装置の一構成例を示すブロック図である。
図2入力画像と基準画像との間のマッチング処理動作を説明する図である。
図3本発明の画像処理方法を説明する処理フロー図である。
図4照明変動等により入力画像の濃度が変動することを示す説明図である。

--

0036

1画像処理装置
2 CCD
3 A/D変換器
6フレームメモリ
7 CPU
8 RAM
9 ROM
10 I/O

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ