図面 (/)

技術 画像処理装置、画像処理方法、および画像処理プログラム

出願人 株式会社ニコン
発明者 國米祐司佐々木秀貴
出願日 2009年7月15日 (10年5ヶ月経過) 出願番号 2009-167277
公開日 2011年2月3日 (8年10ヶ月経過) 公開番号 2011-022797
状態 特許登録済
技術分野 画像処理 イメージ分析
主要キーワード 二次検査 一次検査 進化的計算 次製造 重み付け差分 データ領域毎 フィルタ部品 二項演算
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年2月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

二次検査の結果に応じて、対象物撮像画像から誤計測しないように、遺伝的処理によって画像フィルタ再学習する。

解決手段

検査対象物撮像した撮像画像を検査用データに変換する検査用画像フィルタ更新する画像処理装置であって、検査用画像フィルタにより撮像画像を検査用データに変換する変換部と、検査用データに基づいて不良品と判断された検査対象物が、二次検査により良品と判断された場合に、当該検査対象物の撮像画像を良品と判断される検査用データに変換させるように検査用画像フィルタを更新する更新部と、を備える画像処理装置を提供する。

概要

背景

遺伝的アルゴリズムまたは遺伝的プログラミングといった進化的計算を用いたフィルタまたは変換器生成方法が知られている(非特許文献1参照)。このような進化的計算を用いたフィルタまたは変換器の生成方法によれば、それぞれの事例に対して最適であって解析的に得ることが困難な複雑な構造のフィルタまたは変換器を、より少ない労力と時間で設計することができる。

概要

二次検査の結果に応じて、対象物撮像画像から誤計測しないように、遺伝的処理によって画像フィルタ再学習する。検査対象物撮像した撮像画像を検査用データに変換する検査用画像フィルタ更新する画像処理装置であって、検査用画像フィルタにより撮像画像を検査用データに変換する変換部と、検査用データに基づいて不良品と判断された検査対象物が、二次検査により良品と判断された場合に、当該検査対象物の撮像画像を良品と判断される検査用データに変換させるように検査用画像フィルタを更新する更新部と、を備える画像処理装置を提供する。

目的

本発明は、上記の課題を解決することのできる画像処理装置、画像処理方法、および画像処理プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

検査対象物撮像した撮像画像検査用データに変換する検査用画像フィルタ更新する画像処理装置であって、前記検査用画像フィルタにより前記撮像画像を前記検査用データに変換する変換部と、前記検査用データに基づいて不良品と判断された前記検査対象物が、二次検査により良品と判断された場合に、当該検査対象物の前記撮像画像を良品と判断される検査用データに変換させるように前記検査用画像フィルタを更新する更新部と、を備える画像処理装置。

請求項2

学習用入力画像学習用出力データに変換するのに適応させた前記検査用画像フィルタを生成する生成部を備える請求項1に記載の画像処理装置。

請求項3

前記生成部は、入力画像出力画像または出力データにそれぞれ変換する複数のフィルタ部品を組み合わせて、前記学習用入力画像を前記学習用出力データにより近いデータに変換する前記検査用画像フィルタを生成する請求項2に記載の画像処理装置。

請求項4

前記生成部は、前記複数のフィルタ部品を組み合わせた少なくとも1つの画像フィルタを含むフィルタ群から、遺伝的処理により新たな画像フィルタを生成して前記フィルタ群に加える第1フィルタ生成部と、前記フィルタ群に含まれる複数の画像フィルタのうち、前記学習用入力画像から前記学習用出力データへの変換に対する第1適合度がより高い画像フィルタを、前記検査用画像フィルタとして選択する第1フィルタ選択部と、を有する請求項3に記載の画像処理装置。

請求項5

前記更新部は、前記検査用画像フィルタを含む前記フィルタ群から、遺伝的処理により新たな画像フィルタを生成して前記フィルタ群に加える第2フィルタ生成部と、前記フィルタ群に含まれる複数の画像フィルタのうち、前記検査用データに基づいて不良品と判断され、かつ前記二次検査により良品と判断された前記検査対象物の前記撮像画像から良品と判断される検査用データへの変換に対する第2適合度がより高い画像フィルタを、前記検査用画像フィルタとして優先的に選択する第2フィルタ選択部と、を有する請求項4に記載の画像処理装置。

請求項6

前記第2フィルタ選択部は、前記フィルタ群に含まれる前記複数の画像フィルタの中から、前記第1適合度および前記第2適合度に基づいて、前記検査用画像フィルタを選択する請求項5に記載の画像処理装置。

請求項7

前記変換部は、前記検査用画像フィルタにより前記撮像画像を検査用画像に変換し、前記更新部は、前記検査用画像に基づいて不良品と判断された前記検査対象物が、前記二次検査により良品と判断された場合に、当該検査対象物の前記撮像画像を良品と判断される検査用画像に変換させるように前記検査用画像フィルタを更新する請求項1から6のいずれかに記載の画像処理装置。

請求項8

前記更新部は、前記良品と判断される検査用画像として、不良と判断すべき箇所を含まない均一画像を用いる請求項7に記載の画像処理装置。

請求項9

検査対象物を撮像した撮像画像を検査用データに変換する検査用画像フィルタを更新する画像処理方法であって、前記検査用画像フィルタにより前記撮像画像を前記検査用データに変換する変換ステップと、前記検査用データに基づいて不良品と判断された前記検査対象物が、二次検査により良品と判断された場合に、当該検査対象物の前記撮像画像を良品と判断される検査用データに変換させるように前記検査用画像フィルタを更新する更新ステップと、を備える画像処理方法。

請求項10

検査対象物を撮像した撮像画像を検査用データに変換する検査用画像フィルタを更新する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、検査対象物を撮像した撮像画像を検査用データに変換する検査用画像フィルタを更新する画像処理装置であって、前記検査用画像フィルタにより前記撮像画像を前記検査用データに変換する変換部と、前記検査用データに基づいて不良品と判断された前記検査対象物が、二次検査により良品と判断された場合に、当該検査対象物の前記撮像画像を良品と判断される検査用データに変換させるように前記検査用画像フィルタを更新する更新部と、を備える画像処理装置として機能させる画像処理プログラム。

技術分野

0001

本発明は、画像処理装置画像処理方法、および画像処理プログラムに関する。

背景技術

0002

遺伝的アルゴリズムまたは遺伝的プログラミングといった進化的計算を用いたフィルタまたは変換器生成方法が知られている(非特許文献1参照)。このような進化的計算を用いたフィルタまたは変換器の生成方法によれば、それぞれの事例に対して最適であって解析的に得ることが困難な複雑な構造のフィルタまたは変換器を、より少ない労力と時間で設計することができる。

先行技術

0003

前薗正宜 他2名、「遺伝的アルゴリズムによる画像フィルタ設計の研究」、[online]、コンピュータ利用教育協議会、[2008年3月20日検索]、インターネット<URL:http://www.ciec.or.jp/event/2003/papers/pdf/E00086.pdf>

発明が解決しようとする課題

0004

ところで、画像フィルタを製品等の検査に用いる場合、検査対象物が検査において適正に判断されるように、進化的計算を用いて画像フィルタを生成する。しかしながら、当該画像フィルタを用いた検査において不良品と判断された検査対象物が、二次検査等によって良品と認められることもありうる。

0005

そこで本発明は、上記の課題を解決することのできる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

課題を解決するための手段

0006

上記課題を解決するために、本発明の第1の態様においては、検査対象物を撮像した撮像画像検査用データに変換する検査用画像フィルタ更新する画像処理装置であって、検査用画像フィルタにより撮像画像を検査用データに変換する変換部と、検査用データに基づいて不良品と判断された検査対象物が、二次検査により良品と判断された場合に、当該検査対象物の撮像画像を良品と判断される検査用データに変換させるように検査用画像フィルタを更新する更新部と、を備える画像処理装置、並びに当該画像処理装置に関する画像処理方法、および画像処理プログラムを提供する。

0007

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群サブコンビネーションもまた、発明となりうる。

図面の簡単な説明

0008

本実施形態に係る画像処理装置10の構成を示す。
本実施形態に係るフィルタ部品22を直列に組み合わせた画像フィルタ20の一例を示す。
本実施形態に係るフィルタ部品22を木構造に組み合わせた画像フィルタ20の一例を示す。
本実施形態に係るフィルタ部品22を直列に組み合わせた画像フィルタ20に対して行われる遺伝的な操作の一例を示す。
本実施形態に係るフィルタ部品22を木構造に組み合わせた画像フィルタ20に対して行われる交叉操作の一例を示す。
本実施形態に係るフィルタ部品22を木構造に組み合わせた画像フィルタ20に対して行われる突然変異操作の一例を示す。
本実施形態に係る画像フィルタ20の適合度を表わすパラメータの一例である類似度算出方法の一例を示す。
本実施形態に係る画像処理装置10の動作フローの一例を示す。
図8のステップS101における検査用画像フィルタ20を生成するまでの処理フローの一例を示す。
図8のステップS105における検査用画像フィルタ20を更新するまでの処理フローの一例を示す。
本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。

実施例

0009

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

0010

図1は、本実施形態に係る画像処理装置10の構成を示す。画像処理装置10は、少なくとも1つの画像フィルタ20を含む画像フィルタ群を進化的計算に基づいて複数世代にわたり進化させる。ここで、画像処理装置10は、検査対象物の二次検査の結果に応じて、画像フィルタ20を再学習させる。本実施形態において、各画像フィルタ20は、入力画像を処理して処理結果を出力画像または出力データとして出力する複数のフィルタ部品を含み、より具体的には、これらの入出力間を組み合わせたものである。そして、画像処理装置10は、撮像画像を検査用データに変換するのに適した検査用画像フィルタ20を生成する。画像処理装置10は、一例として、コンピュータにより実現される。

0011

画像処理装置10は、フィルタ格納部34と、生成部50と、撮像画像格納部37と、変換部39と、検査用データ格納部47と、更新指示部53と、更新部48とを備える。フィルタ格納部34は、互いに異なる構成の1又は複数の画像フィルタ20を含む画像フィルタ群を格納する。

0012

生成部50は、学習用入力画像学習用出力データに変換するのに適応させた検査用の画像フィルタ20を生成する。生成部50は、一例として、フィルタ格納部34に格納されたフィルタ群から遺伝的処理により検査用画像フィルタ20を生成する。生成部50は、学習用入力画像格納部36と、学習用変換部38と、学習用出力データ格納部40と、学習用目標データ格納部42と、算出部44と、第1フィルタ選択部501と、第1フィルタ生成部505とを有する。

0013

学習用入力画像格納部36は、画像フィルタ20の変換対象である1又は複数の学習用入力画像を格納する。学習用入力画像は、一例として、ユーザによって予め生成された画像または準備された画像である。

0014

学習用変換部38は、フィルタ格納部34に格納された1又は複数の画像フィルタ20を順次に取得する。学習用変換部38は、取得したそれぞれの画像フィルタ20により、学習用入力画像格納部36に格納された学習用入力画像を変換させて、学習用出力データのそれぞれを生成する。

0015

学習用出力データ格納部40は、学習用変換部38によって生成された学習用出力データを格納する。学習用出力データ格納部40は、一例として、学習用出力データのそれぞれを、変換した画像フィルタ20に対応付けて格納する。

0016

学習用目標データ格納部42は、学習用入力画像を変換して生成される学習用出力データの目標となる学習用目標データを格納する。学習用目標データは、一例として、ユーザにより予め生成されたデータまたは準備されたデータであってよい。なお、学習用出力データおよび学習用目標データは、データに代えて画像であってよい。

0017

算出部44は、フィルタ格納部34に格納された1又は複数の画像フィルタ20のそれぞれについて、当該画像フィルタ20の学習用出力データと学習用目標データとの差分を重み画像または重みデータにより重み付けして適合度(以下、第1適合度と示す)を算出する。ここで、適合度は、入力画像または入力データを目標画像または目標データへと変換するのに適しているかどうかを表す指標値であり、値が高いほど、入力画像または入力データを目標画像または目標データへと変換するのに適していることを表す。第1適合度は、進化的計算により検査用画像フィルタを生成する処理において算出され、学習用入力画像を学習用目標データへと変換するのに適しているかを表す。また、重み画像または重みデータは、学習用出力データと学習用目標データとの比較におけるデータ領域毎の重みを表わす画像またはデータを表わす。

0018

第1フィルタ選択部501は、フィルタ群に含まれる複数の画像フィルタ20のうち、学習用入力画像から学習用出力データへの変換に対する第1適合度がより高い画像フィルタ20を、検査用画像フィルタ20として選択する。この場合において、第1フィルタ選択部501は、算出部44によって算出した第1適合度がより高い画像フィルタ20を優先的に選択する。より具体的には、第1フィルタ選択部501は、生物自然淘汰モデル化した手法により、残存させる少なくとも1つの画像フィルタ20を選択する。第1フィルタ選択部501は、一例として、フィルタ格納部34に格納された複数の画像フィルタ20のそれぞれの第1適合度に基づき、エリート選択およびルーレット選択といった遺伝的計算により少なくとも1つの画像フィルタ20を選択する。また、第1フィルタ選択部501は、選択されなかった画像フィルタ20を、例えばフィルタ格納部34から削除することにより淘汰してもよい。

0019

第1フィルタ生成部505は、複数のフィルタ部品を組み合わせた少なくとも1つの画像フィルタ20を含むフィルタ群から、遺伝的処理により新たな画像フィルタ20を生成してフィルタ群に加える。第1フィルタ生成部505は、一例として、第1フィルタ選択部501により選択されてフィルタ格納部34から取得した少なくとも1つの画像フィルタ20に対して、交叉および突然変異等の遺伝的な操作をして、新たな画像フィルタ20を生成する。第1フィルタ生成部505により生成された新たな画像フィルタ20を含むフィルタ群は、次の世代の処理において学習用変換部38にフィードバックされる。これにより、生成部50は、複数世代に渡って遺伝的処理を繰り返して、最終的に生成した検査用画像フィルタ20をフィルタ格納部34に格納する。

0020

撮像画像格納部37は、画像フィルタ20の変換対象である1又は複数の撮像画像を格納する。撮像画像格納部37は、一例として、順次製造される製品又は部品等の検査対象物を検査するために順次撮像した検査対象物の撮像画像を格納する。

0021

変換部39は、生成部50によって生成された検査用画像フィルタ20により撮像画像を検査用データに変換する。より具体的には、変換部39は、生成部50により生成されてフィルタ格納部34に格納された検査用画像フィルタ20を取得する。そして、変換部39は、取得した検査用画像フィルタ20により、撮像画像格納部37に格納された撮像画像を変換させて、検査用データを生成する。検査用データ格納部47は、変換部39によって生成された検査用データを格納する。

0022

更新指示部53は、検査用データに基づいて不良品と判断された検査対象物が、二次検査により良品と判断された場合、検査対象物の撮像画像を良品と判断される検査用データに変換すべく検査用画像フィルタ20の更新を更新部48に指示する。

0023

更新部48は、更新指示部53から指示を受けて当該検査対象物の撮像画像、即ち検査用データに基づいて不良品と判断され、かつ二次検査により良品と判断された検査対象物の撮像画像を良品と判断される検査用データに変換させるように検査用画像フィルタ20を更新する。

0024

更新部48は、学習用変換部38と、検査用データ格納部41と、算出部44と、良品画像格納部45と、第2フィルタ選択部481と、第2フィルタ生成部485とを有する。本実施形態において、更新部48は、生成部50が有している学習用変換部38および算出部44を共有する。

0025

学習用変換部38は、検査用画像フィルタ20を含むフィルタ群をフィルタ格納部34から取得し、取得した1又は複数の画像フィルタ20により撮像画像を変換させて検査用データのそれぞれを生成する。

0026

更新部48内の検査用データ格納部41は、学習用変換部38によって生成された検査用データのそれぞれを格納する。検査用データ格納部41は、一例として、生成された検査用データのそれぞれを変換した画像フィルタ20に対応付けて格納する。

0027

良品画像格納部45は、検査用データの目標となる良品画像を格納する。良品画像は、一例として、良品である検査対象物のサンプルを撮像して生成した画像などであってよく、検査用データ格納部47内の検査用データから検出対象となる傷等の不良箇所を消し去った検査用データであってもよい。これに代えて、良品画像は、全面的に不良箇所がない旨を示す均一画像であってもよい。

0028

算出部44は、フィルタ格納部34に格納された1又は複数の画像フィルタ20のそれぞれについて、当該画像フィルタ20の検査用データと良品画像との差分を重み画像または重みデータにより重み付けして適合度(以下、第2適合度と示す)を算出する。ここで、第2適合度は、更新部48による検査用画像フィルタ20の更新処理において算出され、撮像画像を良品画像へと変換するのに適しているかを表す。また、重み画像または重みデータは、検査用データと良品画像との比較におけるデータ領域毎の重みを表わす画像またはデータを表わす。

0029

第2フィルタ選択部481は、フィルタ群に含まれる複数の画像フィルタ20のうち、検査対象物の撮像画像から良品と判断される検査用データへの変換に対する第2適合度がより高い画像フィルタ20を、検査用画像フィルタ20として優先的に選択する。より具体的には、第2フィルタ選択部481は、生物の自然淘汰をモデル化した手法により、残存させる少なくとも1つの画像フィルタ20を選択する。第2フィルタ選択部481は、一例として、フィルタ格納部34に格納された複数の画像フィルタ20のそれぞれの第2適合度に基づき、エリート選択およびルーレット選択といった遺伝的計算により少なくとも1つの画像フィルタ20を選択する。また、第2フィルタ選択部481は、選択されなかった画像フィルタ20を、例えばフィルタ格納部34から削除することにより淘汰してもよい。

0030

第2フィルタ生成部485は、検査用画像フィルタ20を含むフィルタ群から、遺伝的処理により新たな画像フィルタ20を生成してフィルタ群に加える。ここで、第2フィルタ生成部485は、第2フィルタ選択部481により選択された少なくとも1つの画像フィルタ20に対して、交叉および突然変異等の遺伝的な操作をして、新たな画像フィルタ20を生成する。第2フィルタ生成部485により生成された新たな画像フィルタ20を含むフィルタ群は、次の世代の処理において学習用変換部38にフィードバックされる。これにより、更新部48は、二次検査にて良品と判断された検査対象物について、撮像画像から良品と判断される検査用データに変換する検査用画像フィルタ20を、複数世代に渡って遺伝的処理を繰り返して生成できる。そして、更新部48により更新された画像フィルタ20は、変換部39へと提供される。

0031

このような画像処理装置10は、学習用変換部38による学習用の変換処理および算出部44による適合度の算出処理を利用した、生成部50による新たな画像フィルタ20の生成処理および更新部48による画像フィルタ20の更新処理を、複数回(例えば複数世代)繰り返す。これにより、画像処理装置10は、二次検査にて良品と判断された検査対象物の撮像画像から欠陥を検出しない検査データへ変換するのに適した検査用画像フィルタ20を、進化的計算を用いて生成することができる。

0032

図2は、本実施形態に係るフィルタ部品22を直列に組み合わせた画像フィルタ20の一例を示す。図3は、本実施形態に係るフィルタ部品22を木構造に組み合わせた画像フィルタ20の一例を示す。

0033

画像フィルタ20は、図2に示されるような、複数のフィルタ部品22を直列に組み合わせた構成であってよい。また、画像フィルタ20は、図3に示されるような、複数のフィルタ部品22を木構造に組み合わせた構成であってもよい。また、画像フィルタ20は、1つの入力端に対して、複数の出力端を有する構成であってもよい。また、画像フィルタ20は、複数の入力端および複数の出力端を有する構成であってもよい。

0034

画像フィルタ20は、受け取った学習用入力画像に対してフィルタ演算処理を施して、出力画像を出力する。画像フィルタ20は、一例として、画像データに対して演算を施すプログラムとする。また、画像フィルタ20は、画像データに対して施すべき演算内容を表わす演算式であってもよい。

0035

フィルタ部品22が木構造に組み合わされた構成の画像フィルタ20は、木構造の末端最下位)のフィルタ部品22のそれぞれに、同一の学習用入力画像が与えられ、木構造の最上位のフィルタ部品22から出力画像を出力する。これに代えて、このような画像フィルタ20は、複数の末端のフィルタ部品22のそれぞれに互いに異なる学習用入力画像が与えられてもよい。

0036

複数のフィルタ部品22のそれぞれは、前段に配置されたフィルタ部品22から出力された画像データを受け取り、受け取った画像データに演算を施して後段に配置されたフィルタ部品22に与える。複数のフィルタ部品22のそれぞれは、プログラムモジュールおよび演算式等であってよく、受け取った画像データに対して2値化演算、ヒストグラム演算平滑化演算、エッジ検出演算、モルフォロジ演算、及び/または周波数空間での演算(例えば、ローパスフィルタリング演算およびハイパスフィルタリング演算)等の単項演算を施してもよい。

0037

また、複数のフィルタ部品22のそれぞれは、受け取った画像データに対して平均演算差分演算及び/またはファジー演算(例えば論理和演算論理積演算、代数和、代数積、限界和、限界積、激烈和および激烈積等)等の二項演算を施してもよい。

0038

本実施形態において、生成部50は、入力画像を出力画像または出力データにそれぞれ変換する複数のフィルタ部品22を組み合わせて、学習用入力画像を学習用出力データにより近いデータに変換する図示したような検査用画像フィルタ20を生成する。

0039

図4は、本実施形態に係るフィルタ部品22を直列に組み合わせた画像フィルタ20に対して行われる遺伝的な操作の一例を示す。図5は、本実施形態に係るフィルタ部品22を木構造に組み合わせた画像フィルタ20に対して行われる交叉操作の一例を示す。図6は、本実施形態に係るフィルタ部品22を木構造に組み合わせた画像フィルタ20に対して行われる突然変異操作の一例を示す。

0040

第1フィルタ生成部505および第2フィルタ生成部485は、一例として、2個またはそれ以上の画像フィルタ20に対して、遺伝的な操作の一例である交叉操作を行って新たな2個またはそれ以上の画像フィルタ20を生成する。第1フィルタ生成部505および第2フィルタ生成部485は、一例として、図4および図5に示されるように、既に生成された少なくとも1つの一の画像フィルタ20Aの一部のフィルタ部品群24Aを、既に生成された他の画像フィルタ20Bの少なくとも一部のフィルタ部品群24Bと置換して、新たな画像フィルタ20Eおよび20Fを生成する。なお、フィルタ部品群24は、1又は複数のフィルタ部品22を組み合わせた部材であってもよい。

0041

また、第1フィルタ生成部505および第2フィルタ生成部485は、一例として、一の画像フィルタ20に対して、遺伝的な操作の一例である突然変異操作を行って新たな一の画像フィルタ20を生成する。第1フィルタ生成部505および第2フィルタ生成部485は、一例として、図4および図6に示されるように、既に生成された一の画像フィルタ20Cの一部のフィルタ部品群24Cを、ランダムに選択された他のフィルタ部品群24Gに置換して、新たな画像フィルタ20Gを生成する。

0042

また、第1フィルタ生成部505および第2フィルタ生成部485は、現世代の画像フィルタ20をそのまま次世代の画像フィルタ20として残してもよい。第1フィルタ生成部505および第2フィルタ生成部485は、一例として、図4に示されるように、画像フィルタ20Dのフィルタ部品22の構成をそのまま含む次世代の画像フィルタ20Hを生成する。

0043

第1フィルタ選択部501および第2フィルタ選択部481は、1又は複数の画像フィルタ20に対して生物の自然淘汰をモデル化した手法により1又は複数の画像フィルタ20を選択する。第1フィルタ選択部501は、複数の画像フィルタ20の中の第1適合度がより高い画像フィルタ20を優先的に選択してもよい。また第2フィルタ選択部481は、複数の画像フィルタ20の中の第2適合度がより高い画像フィルタ20を優先的に選択してもよい。

0044

第1フィルタ選択部501および第2フィルタ選択部481は、一例として、複数の画像フィルタ20のそれぞれの適合度に基づき、エリート選択およびルーレット選択といった手法に応じて、画像フィルタ20を選択してよい。そして、第1フィルタ選択部501および第2フィルタ選択部481は、選択された画像フィルタ20をフィルタ格納部34内に保存し、選択されなかった画像フィルタ20をフィルタ格納部34内から削除する。

0045

図7は、本実施形態に係る画像フィルタ20の適合度を表わすパラメータの一例である類似度の算出方法の一例を示す。本実施形態において、算出部44は、当該画像フィルタ20により学習用入力画像または撮像画像を変換させることにより生成された学習用出力データまたは検査用データと、学習用目標データまたは良品画像がどれだけ類似しているかを表わす類似度を算出する。この類似度は、値がより大きいほど、当該出力画像を生成した画像フィルタ20がより適切であることを示す評価値または指標として用いられる。

0046

算出部44は、学習用出力データまたは検査用データの各領域の値と、学習用目標データまたは良品画像の対応する各領域の値とを比較した比較値を算出し、領域毎の比較値に対して重みデータにより指定される重みを乗じる。そして、算出部44は、重みが乗じられた領域毎の比較値を全領域について平均または合計した値を算出し、算出した値を学習用出力データまたは検査用データの類似度として出力する。

0047

算出部44は、一例として、出力画像のピクセル毎輝度値と、目標画像の対応するピクセルの輝度値との差分または比率を算出する。そして、算出部44は、一例として、算出したピクセル毎の差分または比率のそれぞれに、重みデータにより指定される対応する重みを乗じ、重みが乗じられたピクセル毎の差分または比率を合計または平均して、類似度を算出する。

0048

例えば、重みデータが重み画像により表わされている場合、算出部44は、下記式(1)に示される演算をして、類似度を算出する。なお、この場合において、出力画像、目標画像および重み画像のサイズは、同一とされる。

0049

0050

式(1)において、fは、類似度を表わす。Ymaxは、輝度最大値を表わす。また、xは、画像の水平方向のピクセル位置を示す変数である。yは、画像の垂直方向のピクセル位置を示す変数である。xmaxは、画像の水平方向のピクセル数を示す定数である。ymaxは、画像の垂直方向のピクセル数を示す定数である。

0051

Iweight(x,y)は、重み画像における(x,y)位置のピクセルの輝度値を表わす。Itarget(x,y)は、検査用画像における(x,y)位置のピクセルの輝度値を表わす。Ifilter(x,y)は、出力画像における(x,y)位置のピクセルの輝度値を表わす。

0052

すなわち、式(1)の中カッコ内の分子部分に示されるように、算出部44は、目標画像の輝度値から出力画像の輝度値の差の絶対値に対して、重み画像の輝度値を乗じた重み付き差分値を、画面内の全てのピクセル毎に算出し、算出した重み付き差分値を全ピクセルについて合計した合計重み付け差分値を算出する。さらに、式(1)の中カッコ内の分母部分に示されるように、算出部44は、重み画像の輝度値を全ピクセルについて合計した合計重みを算出する。

0053

さらに、算出部44は、合計重み付け差分値を合計重みで除算した除算値(式(1)の中カッコ内)に、輝度値の最大値の逆数(1/Ymax)を乗じて正規化値(式(1)の2番目の項)を算出する。そして、算出部44は、1から、正規化値を減じた値を、類似度fとして算出する。このようにして、算出部44は、出力画像と目標画像との差分を領域毎に重み付けして類似度を算出することができる。なお、算出部44は、類似度に加え、処理部品の数の少なさ、処理負荷の低さ、および並列度の大きさ等に応じて、適合度の評価を高めてもよい。

0054

図8は、本実施形態に係る画像処理装置10の処理フローの一例を示す。画像処理装置10は、ステップS101〜ステップS105の各処理を実行する。なお、画像処理装置10は、一例として、与えられた学習用入力画像を学習用出力データに変換する画像フィルタ20を生成するための初期の画像フィルタ20として、ランダムに生成したまたは既に生成した画像フィルタ20を、予めフィルタ格納部34に格納しておく。

0055

まず、生成部50は、検査用画像フィルタ20を生成する(S101)。ここで、生成部50は、一例として、複数世代に渡って遺伝的処理を繰り返して、最終的に1の検査用画像フィルタ20を生成する。

0056

続いて、変換部39は、生成部50によって生成された検査用画像フィルタ20により撮像画像を変換して検査用データを生成する(S103)。そして、変換部39は、生成した検査用データを検査用データ格納部47に格納する。外部の選別装置又は検査者等は、検査用データに基づいて、検査対象物の一次検査をする。一次検査において不良を検出した場合、外部の選別装置又は検査者は、検査対象物を詳細調査用して二次検査を実施する。ここで、一次、二次とは、検査の相対的な順番を示すものであり、最初の検査、2番目の検査に限定したものではない。

0057

続いて、ステップS103において検査用画像フィルタ20によって変換した検査用データから一次検査にて不良品(NG)と判断された検査対象物が、二次検査にて良品(OK)と判断された場合(S104:Yes)、更新部48は、撮像画像を良品と判断される検査用データに変換するように検査用画像フィルタ20を更新する(S105)。また、一次検査にて良品と判断され、または一次検査および二次検査とも不良品と判断された場合(S104:No)、画像処理装置10は、検査に適した検査用画像フィルタ20であると判断して、更新部48によるステップS105の更新処理を実施しない。そして、次の検査対象物の検査をする場合(S106:No)、画像処理装置10は、ステップS103の変換処理に戻る。また、検査を終了する場合(S106:Yes)、画像処理装置10は、当該フローを終了する。

0058

このようにして、画像処理装置10は、撮像画像を適正な検査結果が得られる検査用データに変換する検査用画像フィルタ20を、進化的計算を用いて生成することができる。

0059

なお、変換部39は、検査用画像フィルタ20により撮像画像を検査用画像に変換してもよい。この場合、更新部48は、一例として、検査対象物の撮像画像を良品と判断される検査用画像に変換させるように検査用画像フィルタ20を更新する。ここで、更新部48は、ステップS105の処理において、良品と判断される検査用画像として、不良と判断すべき箇所を含まない均一画像を用いてもよい。つまり、更新部48は、良品と判断される検査用画像として、黒色等の全面同色の画像を用いてもよい。

0060

図9は、図8のステップS101における検査用画像フィルタ20を生成するまでの処理フローの一例を示す。画像処理装置10は、図8に示されるステップS101において、ステップS203〜ステップS213の各処理を、複数回(例えば複数世代)繰返して実行する(S201、S215)。

0061

まず、学習用変換部38は、前世代から残存した少なくとも1つの画像フィルタ20にそれぞれにより、学習用入力画像を変換して学習用出力データを生成する(S203)。なお、生成部50は、一例として、学習用入力画像を学習用出力データに変換する画像フィルタ20を生成するための初期の画像フィルタ20として、ランダムに生成した画像フィルタ20を、または既に生成した画像フィルタ20を、予めフィルタ格納部34に格納しておく。続いて、算出部44は、フィルタ格納部34に格納された複数の画像フィルタ20のそれぞれにより生成された複数の学習用出力データのそれぞれ毎に、以下のステップS207の処理を実行する(S205、S209)。

0062

算出部44は、当該学習用出力データと学習用目標データとを比較をして、当該学習用出力データと学習用目標データとの類似度から第1適合度を算出する(S207)。算出部44は、複数の学習用出力データのすべてについて処理を終えると、処理をステップS211に進める(S209)。

0063

続いて、第1フィルタ選択部501は、ステップS211にて算出したそれぞれの第1適合度に基づき、複数の画像フィルタ20のうち少なくとも1つを選択する(S211)。第1フィルタ選択部501は、一例として、複数の画像フィルタ20のうち、第1適合度がより高い画像フィルタ20を優先的に選択する。また、第1フィルタ選択部501は、第1適合度が基準適合度より高い画像フィルタ20を選択してよい。また、第1フィルタ選択部501は、第1適合度が上位から予め定められた範囲の画像フィルタ20を選択してもよい。そして、第1フィルタ選択部501は、選択されなかった画像フィルタ20を、例えばフィルタ格納部34から削除して淘汰する。

0064

第1フィルタ生成部505は、一例として、少なくとも1つの画像フィルタ20を含むフィルタ群をフィルタ格納部34から取得して、前世代から残存した複数の画像フィルタ20に対して交叉操作および突然変異操作等の遺伝的な操作を行って、少なくとも一部のフィルタ部品22を他のフィルタ部品22に置換した新たな複数の画像フィルタ20を生成する(S213)。そして、第1フィルタ生成部505は、一例として、生成した新たな画像フィルタ20をフィルタ格納部34に格納する。ここで、第1フィルタ生成部505は、新たな画像フィルタ20を含むフィルタ群を次世代の処理に向けて、学習用変換部38にフィードバックする。

0065

画像処理装置10は、以上の処理を複数の世代(例えば数十世代または数百世代以上)繰り返して実行して、最後の世代(例えば第N世代、Nは2以上の自然数)、または第1適合度の増加が収束するまで処理を実行した後に、当該フローを抜ける(S215)。このようにして、画像処理装置10は、学習用入力画像を学習用目標データへ変換するのに適した検査用画像フィルタ20を、進化的計算を用いて生成することができる。

0066

次に、検査用データに基づいて不良品と判断され、かつ二次検査にて良品と判断された検査対象物について、当該検査対象物の撮像画像を良品と判断される検査用データに変換する検査用画像フィルタ20を、進化的計算を用いて生成するフローを図10を用いて説明する。図10は、図8のステップS105における検査用画像フィルタ20を更新するまでの処理フローの一例を示す。画像処理装置10は、図8に示されるステップS105において、以下の処理を実行する。まず、画像処理装置10は、検査用データに基づいて不良品と判断された検査対象物が、二次検査の結果により良品と判断された場合、検査用画像フィルタ20の更新を更新部48へと指示する(S300)。画像処理装置10は、ステップS303〜ステップS313の各処理を、複数回(例えば複数世代)繰返して実行する(S301、S315)。

0067

まず、学習用変換部38は、検査用画像フィルタ20を含むフィルタ群をフィルタ格納部34から取得して、取得した画像フィルタ20のそれぞれにより撮像画像を変換して検査用データを生成する(ステップS303)。続いて、算出部44は、複数の画像フィルタ20のそれぞれにより生成された複数の検査用データのそれぞれ毎に、以下のステップS307の処理を実行する(S305、S309)。

0068

算出部44は、検査用データと良品画像とを比較をして、検査用データと良品画像との類似度から第2適合度を算出する(S307)。算出部44は、1又は複数の検査用データのすべてについて処理を終えると、処理をステップS311に進める(S309)。

0069

続いて、第2フィルタ選択部481は、ステップS311にて算出したそれぞれの第2適合度に基づき、複数の画像フィルタ20のうち少なくとも1つを選択する(S311)。第2フィルタ選択部481は、一例として、1又は複数の画像フィルタ20のうち、第2適合度がより高い画像フィルタ20を優先的に選択する。第2フィルタ選択部481は、一例として、第2適合度が基準適合度より高い画像フィルタ20を選択する。また、第2フィルタ選択部481は、第2適合度が上位から予め定められた範囲の画像フィルタ20を選択してもよい。

0070

また、第2フィルタ選択部481は、フィルタ群に含まれる複数の画像フィルタ20の中から、生成部50による画像フィルタ20の生成処理で算出した第1適合度、および第2適合度に基づいて、検査用画像フィルタ20を選択してもよい。この場合、更新部48は、ステップS303の処理において、学習用入力画像格納部36に格納された学習用入力画像を学習用変換部38により変換させて学習用出力データを出力させ、ステップS307の処理において、学習用出力データと学習用目標データとの類似度から第1適合度を算出部44により算出してよい。

0071

第2フィルタ選択部481は、一例として、第1適合度と第2適合度との合計値又は平均値がより高い画像フィルタ20を優先的に選択する。これに代えて、第2フィルタ選択部481は、第1及び第2適合度を予め定められた比率により重み付けして加算した結果がより高い画像フィルタ20を優先してもよい。そして、第2フィルタ選択部481は、一例として、選択されなかった画像フィルタ20を、例えばフィルタ格納部34から削除して淘汰する。

0072

第2フィルタ生成部485は、一例として、第2フィルタ選択部481が選択した少なくとも1つの検査用画像フィルタ20を含むフィルタ群をフィルタ格納部34から取得して、前世代から残存した1又は複数の画像フィルタ20に対して交叉操作および突然変異操作等の遺伝的な操作を行って、少なくとも一部のフィルタ部品22を他のフィルタ部品22に置換した新たな1又は複数の画像フィルタ20を生成する(S313)。そして、第2フィルタ生成部485は、一例として、生成した新たな画像フィルタ20をフィルタ格納部34に格納する。ここで、第2フィルタ生成部485は、新たな画像フィルタ20を含むフィルタ群を次世代の処理に向けて、学習用変換部38にフィードバックする。

0073

画像処理装置10は、以上の処理を複数の世代(例えば数十世代または数百世代以上)繰り返して実行して、最後の世代(例えば第N世代、Nは2以上の自然数)、第2適合度の増加が収束する、または、第1及び第2適合度に基づいた値(例えば合計値)の増加が収束するまで処理を実行した後に、当該フローを抜ける(S315)。このようにして、画像処理装置10は、検査データに基づいて不良品と判断され、かつ二次検査にて良品と判断された検査対象物について、当該検査対象物の撮像画像を良品と判断される検査用データに変換する検査用画像フィルタ20を、進化的計算を用いて生成することができる。

0074

図11は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びDVDドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。

0075

ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレームバッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

0076

入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速入出力装置である通信インターフェイス2030、ハードディスク・ドライブ2040、DVDドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスク・ドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。DVDドライブ2060は、DVD2095からプログラム又はデータを読み取り、RAM2020を介してハードディスク・ドライブ2040に提供する。

0077

また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスク・ドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレルポートシリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。

0078

RAM2020を介してハードディスク・ドライブ2040に提供されるプログラムは、フレキシブルディスク2090、DVD2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスク・ドライブ2040にインストールされ、CPU2000において実行される。

0079

コンピュータ1900にインストールされ、コンピュータ1900を画像処理装置10として機能させるプログラムは、生成モジュールと、変換モジュールと、更新指示モジュールと、更新モジュールとを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、生成部50と、変換部39と、更新指示部53と、更新部48としてそれぞれ機能させる。

0080

これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である生成部50と、変換部39と、更新指示部53と、更新部48として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置10が構築される。

0081

一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスク・ドライブ2040、フレキシブルディスク2090、又はDVD2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データ読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクトメモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

0082

また、CPU2000は、ハードディスク・ドライブ2040、DVDドライブ2060(DVD2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。

0083

また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチン呼び出す

0084

また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。

0085

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、DVD2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。

0086

なお、本実施形態において、画像処理装置10は、2以上の複数の検査用画像フィルタ20を生成して使用してもよい。この場合、画像処理装置10は、検査対象物の角度を変えて撮像した複数の撮像画像を、それぞれに対応する検査用画像フィルタ20によって変換して、検査用データのそれぞれを生成する。そして、画像処理装置10は、生成した複数の検査用データのそれぞれについて、一次検査を実施してもよい。

0087

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

0088

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

0089

10画像処理装置、20画像フィルタ、22フィルタ部品、24フィルタ部品群、34フィルタ格納部、36学習用入力画像格納部、37撮像画像格納部、38学習用変換部、39 変換部、40学習用出力データ格納部、41検査用データ格納部、42学習用目標データ格納部、44 算出部、45良品画像格納部、47 検査用データ格納部、48更新部、50 生成部、53更新指示部、481 第2フィルタ選択部、485 第2フィルタ生成部、501 第1フィルタ選択部、505 第1フィルタ生成部、1900コンピュータ、2000 CPU、2010 ROM、2020 RAM、2030通信インターフェイス、2040ハードディスク・ドライブ、2050フレキシブルディスク・ドライブ、2060DVDドライブ、2070入出力チップ、2075グラフィック・コントローラ、2080表示装置、2082 ホスト・コントローラ、2084入出力コントローラ、2090 フレキシブルディスク、2095 DVD

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ