図面 (/)

技術 部品実装基板の外観検査用画像の保存方法および復元方法、ならびに画像保存処理装置

出願人 オムロン株式会社
発明者 川田哲博堀内雅之土肥基
出願日 2008年5月9日 (12年6ヶ月経過) 出願番号 2008-123336
公開日 2009年11月19日 (11年0ヶ月経過) 公開番号 2009-273005
状態 特許登録済
技術分野 閉回路テレビジョンシステム TV信号の圧縮,符号化方式 電気部品の組立体の配線および製造の監視 TV信号の圧縮,符号化方式 プリント板の製造
主要キーワード 実装範囲 基板情報データ 基板コード 完成体 変化部位 確認用端末 各圧縮画像 動画像形式
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年11月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

保存対象の画像のデータ容量を大幅に削減しても、検査領域や非検査領域内の変化部位について高い画質を維持でき、かつこれらを含む撮像時と同じ範囲の画像を復元できるようにする。

解決手段

外観検査に用いられた原画像Iを、各検査領域A,B,C,Dの画像GA,GB,GCGDと非検査領域画像Hとに切り分け、画像GA,GB,GC,GDを個別の画像ファイルにして保存する。非検査領域画像Hについては、基準画像H0との差分演算により変化部位P,Qを検出し、これらを含む矩形領域RP,RQ内の画像を圧縮して保存する。このとき、変化部位P,Qの差分量が大きくなるほど圧縮率が低くなるようにする。画像を復元する際には、各圧縮画像HP,HQを復号し、復号された各画像と検査領域の画像GA,GB,GC,GDとを、それぞれ基準画像H0に合成する。

概要

背景

近年の部品実装基板製造現場では、出荷された基板に何らかの問題が生じたときに製造工程における原因を追及することができるように、外観検査に用いられた画像を保存するようにしている(特許文献1参照)。

上記の画像保存は多数の基板を対象に行われるため、メモリ資源を節約できるように保存対象の画像を圧縮するのが望ましい。この点につき、特許文献2には、検査に用いられた画像を部品毎に切り分け、画像間の差が所定の範囲内にある複数の画像により圧縮形式動画像データを生成することが記載されている。

また、部品実装基板の画像を対象とするものではないが、特許文献3には、処理対象の画像を、重要な領域(認識対象の特徴が含まれる領域)とその他の部分に分割し、前者の画像に対しては低い圧縮率による圧縮処理を行い、後者の画像に対しては高い圧縮率による圧縮処理を行うことが記載されている。

特開2006−210729号公報
特開2008−85559号公報
特開2001−333281号公報

概要

保存対象の画像のデータ容量を大幅に削減しても、検査領域や非検査領域内の変化部位について高い画質を維持でき、かつこれらを含む撮像時と同じ範囲の画像を復元できるようにする。外観検査に用いられた原画像Iを、各検査領域A,B,C,Dの画像GA,GB,GCGDと非検査領域画像Hとに切り分け、画像GA,GB,GC,GDを個別の画像ファイルにして保存する。非検査領域画像Hについては、基準画像H0との差分演算により変化部位P,Qを検出し、これらを含む矩形領域RP,RQ内の画像を圧縮して保存する。このとき、変化部位P,Qの差分量が大きくなるほど圧縮率が低くなるようにする。画像を復元する際には、各圧縮画像HP,HQを復号し、復号された各画像と検査領域の画像GA,GB,GC,GDとを、それぞれ基準画像H0に合成する。

目的

特許文献2に記載された発明は、外観検査の対象となった領域(以下、「検査領域」という。)の画像の保存について、データ容量を大幅に削減することを課題とするものである。しかし、基板の画像を保存する目的は、検査領域の画像を確認する点のみにあるのではなく、検査結果が良好であったにも関わらず動作異常が発生したような場合に、検査領域以外の場所をチェックできるようにする点にもある(たとえば、部品の実装範囲以外の場所に付着したはんだゴミなどの異物によって、動作異常が発生する可能性がある。)。

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定の条件に基づき撮像され、生成された画像中のあらかじめ登録された複数の検査領域に対して外観検査が実施された部品実装基板について、前記撮像により生成された原画像をそのデータ容量を削減して保存する方法であって、処理対象基板と同一構成の基準基板を検査時と同様の条件で撮像し、生成された画像全体、または全体画像から検査領域に相当する部分を除いたものを基準画像として登録する第1ステップと、前記処理対象基板の原画像中各検査領域の画像を、それぞれ個別に読み出すことが可能なデータ形式により当該領域の識別情報に対応づけて保存する第2ステップと、前記原画像中の各検査領域を除いた画像を対象に、画素毎に前記基準画像の対応画素に対する差を求め、この差が所定のしきい値を上回る部位を検出する第3ステップと、前記基準画像に対する差がしきい値を上回る部位が検出されたとき、検出された部位毎に、その部位を包含する所定大きさの矩形領域を圧縮対象領域として設定してこの圧縮対象領域に対する画像圧縮処理を実行し、生成された圧縮画像を前記圧縮対象領域の設定範囲を示す情報および画像の復号に必要な情報に対応づけて保存する第4ステップとが、含まれており、前記第4ステップでは、前記しきい値を上回る数値範囲を複数に分割して、値が大きい数値範囲ほど圧縮率が低くなるように各数値範囲にそれぞれ異なる圧縮率を対応づけ、原画像または原画像と基準画像との差画像中の前記圧縮対象領域に対し、当該領域内の前記しきい値を上回る差の値に対応する圧縮率による圧縮処理を実行する部品実装基板の外観検査用画像保存方法

請求項2

請求項1に記載された方法により処理された部品実装基板を対象に、撮像時の画像を復元する方法であって、前記第1ステップで登録された基準画像を読み出すステップAと、前記第2ステップにより保存された各検査領域の画像をそれぞれ個別に読み出すステップBと、前記第4ステップにより保存された圧縮画像が存在するとき、この圧縮画像に対応づけられた情報に基づき画像の復号処理を実行するステップCと、前記ステップCが実行されたときは、当該ステップCで復号された画像とステップBで読み出された各検査領域の画像とをそれぞれ前記基準画像に合成し、ステップCが実行されなかったときは、ステップBで読み出された各検査領域の画像を前記基準画像に合成するステップDとが、含まれる部品実装基板の外観検査用画像の復元方法

請求項3

所定の条件に基づき撮像され、生成された画像中のあらかじめ登録された複数の検査領域に対して外観検査が実施された部品実装基板について、前記撮像により生成された原画像をそのデータ容量を削減して内部または外部のメモリ装置に保存する装置であって、処理対象基板について、前記外観検査に用いられた検査領域の設定データが登録された設定データ登録手段と、前記処理対象基板と同一の構成の基準基板を検査時と同様の条件で撮像することにより生成された画像全体、または全体画像から検査領域に相当する部分を除いたものを、基準画像として前記メモリ装置に保存する基準画像登録手段と、前記処理対象基板の原画像中の各検査領域の画像を、それぞれ個別に読み出すことが可能な形式で当該領域の識別情報に対応づけて前記メモリ装置に保存する検査対象画像登録手段と、前記原画像中の各検査領域を除いた画像を対象に、画素毎に前記基準画像の対応画素に対する差を求め、この差が所定のしきい値を上回る部位を検出する変化部位検出手段と、前記変化部位検出手段により前記基準画像に対する差がしきい値を上回る部位が検出されたとき、検出された部位毎に、その部位を包含する所定大きさの矩形領域を圧縮対象領域として設定する領域設定手段と、原画像または原画像と基準画像との差画像中の前記圧縮対象領域に対し、前記しきい値を上回る数値範囲を分割することにより設定された複数の数値範囲に対して値が大きい数値範囲ほど圧縮率が低くなるように対応づけられた複数の圧縮率のうち、前記圧縮対象領域内の前記しきい値を上回る差の値に対応する圧縮率による圧縮処理を実行する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を、対応する圧縮対象領域の設定範囲を示す情報および画像の復号に必要な情報に対応づけて前記メモリ装置に保存する圧縮画像登録手段とを、具備する画像保存処理装置

技術分野

0001

この発明は、部品実装基板外観検査に用いられた画像を、データ容量を削減して保存する技術、およびこの方法により保存された画像から撮像時の画像を復号する技術に関する。

背景技術

0002

近年の部品実装基板の製造現場では、出荷された基板に何らかの問題が生じたときに製造工程における原因を追及することができるように、外観検査に用いられた画像を保存するようにしている(特許文献1参照)。

0003

上記の画像保存は多数の基板を対象に行われるため、メモリ資源を節約できるように保存対象の画像を圧縮するのが望ましい。この点につき、特許文献2には、検査に用いられた画像を部品毎に切り分け、画像間の差が所定の範囲内にある複数の画像により圧縮形式動画像データを生成することが記載されている。

0004

また、部品実装基板の画像を対象とするものではないが、特許文献3には、処理対象の画像を、重要な領域(認識対象の特徴が含まれる領域)とその他の部分に分割し、前者の画像に対しては低い圧縮率による圧縮処理を行い、後者の画像に対しては高い圧縮率による圧縮処理を行うことが記載されている。

0005

特開2006−210729号公報
特開2008−85559号公報
特開2001−333281号公報

発明が解決しようとする課題

0006

特許文献2に記載された発明は、外観検査の対象となった領域(以下、「検査領域」という。)の画像の保存について、データ容量を大幅に削減することを課題とするものである。しかし、基板の画像を保存する目的は、検査領域の画像を確認する点のみにあるのではなく、検査結果が良好であったにも関わらず動作異常が発生したような場合に、検査領域以外の場所をチェックできるようにする点にもある(たとえば、部品の実装範囲以外の場所に付着したはんだゴミなどの異物によって、動作異常が発生する可能性がある。)。

0007

ここで、特許文献3に記載された発明を部品実装基板の画像の保存に適用すれば、検査領域を重要領域として低い圧縮率で圧縮し、検査領域以外の画像を高い圧縮率で圧縮することによって、基板全体の画像を保存することができる。しかし、検査領域外であっても、微小な異物等の存在を確認するには、画質の高い画像を保存するのが望ましい。勿論、異物を検出する処理を実行し、異物が検出されたときには、その異物を含む領域を「重要な領域」として圧縮率を下げる方法も考えられよう。しかし、その場合でも、画像全体が圧縮処理の対象となる点に変わりはないから、データ容量を十分に削減するのは困難である。

0008

より具体的に説明すると、部品実装基板の外観検査では、通常、複数の撮像対象領域を設定して、これらの領域毎に撮像を行うため、各画像を圧縮したとしても、1枚の基板につき保存されるデータ容量はかなり大きなものになる。したがって、多数の基板を対象に、撮像時の画像全体を復元可能な形式長期保存するには、保存対象の画像のデータ容量をできる限り削減する必要がある。

0009

この発明は上記の問題に着目し、保存対象の画像のデータ容量を大幅に削減しても、検査領域や非検査領域内の変化部位について高い画質を維持でき、かつこれらを含む撮像時と同じ範囲の画像を復元できるようにすることを課題とする。

課題を解決するための手段

0010

上記の課題を解決するために、この発明では、所定の条件に基づき撮像され、生成された画像中のあらかじめ登録された複数の検査領域に対して外観検査が実施された部品実装基板について、検査の際の撮像により生成された画像をそのデータ容量を削減して保存する際に、以下の第1〜第4のステップを実行する。

0011

第1ステップでは、処理対象基板と同一構成の基準基板を検査時と同様の条件で撮像し、生成された画像全体、または全体画像から検査領域に相当する部分を除いたものを基準画像として登録する。

0012

第2ステップでは、処理対象基板の画像中の各検査領域の画像を、それぞれ個別に読み出すことが可能なデータ型式により当該領域の識別情報に対応づけて保存する。なお、このステップでは、各検査領域の画像を、画質を大きく劣化させることのない手法で圧縮してから保存してもよい。

0013

第3ステップでは、処理対象基板の画像中の各検査領域を除いた画像を対象に、画素毎に基準画像の対応画素に対する差を求め、この差が所定のしきい値を上回る部位を検出する。

0014

第4ステップでは、基準画像に対する差がしきい値を上回る部位が検出されたとき、検出された部位毎に、その部位を包含する所定大きさの矩形領域を圧縮対象領域として設定してその圧縮対象領域に対する圧縮処理を実行し、生成された圧縮画像を圧縮対象領域の設定範囲を示す情報および画像の復号に必要な情報に対応づけて保存する。また第4ステップでは、上記のしきい値を上回る数値範囲を複数に分割して、値が大きい数値範囲ほど圧縮率が低くなるように各数値範囲にそれぞれ異なる圧縮率を対応づけ、原画像または原画像と基準画像との差画像中の圧縮対象領域に対し、当該領域内のしきい値を上回る差の値に対応する圧縮率による圧縮処理を実行する。

0015

上記において、同一構成の処理対象基板が複数枚ある場合には、上記の第1のステップは、各基板に共通に1度実行すればよい。また第2および第3のステップは、いずれの基板に対しても実行されるが、第4ステップは、第3ステップにおいて、基準画像に対してしきい値を上回る差を有する部位が検出されたときのみ実行される。

0016

したがって、処理対象基板の検査領域以外の画像の基準画像に対する差異が小さい場合には、検査領域の画像が保存されるのみとなる。これに対し、基準画像と大きな差異が生じている部位(以下、これを「変化部位」という。)がある場合には、この変化部位に対して第4ステップが実行されるので、変化部位を包含する所定大きさの矩形領域内の画像が圧縮され、保存される。

0017

上記によれば、万一のときに確認をする必要のある検査領域および変化部位について、基板毎に画像を保存すれば良いので、データ容量を大幅に削減することができる。なお、「処理対象基板の画像」が複数ある場合には、第1ステップでは、これらの画像に対応する複数回の撮像を行って、複数の基準画像を生成し、第2〜第4のステップによる処理も画像毎に実行される。

0018

つぎに、上記の方法により保存された画像を用いて、部品実装基板の撮像時の画像を復元するための方法には、以下のステップA,B,C,Dが含まれる。

0019

ステップAでは、第1ステップで登録された基準画像を読み出し、ステップBでは、第2ステップにより保存された各検査領域の画像をそれぞれ個別に読み出す。なお、検査領域の画像が圧縮されている場合には、ステップBには、圧縮画像から元の画像を復号する処理が含まれる。

0020

ステップCは、第4ステップにより保存された圧縮画像が存在するときに実行されるもので、この圧縮画像を対応づけられた情報に基づき画像の復号処理を実行する。
ステップDでは、ステップCが実行されたときは、当該ステップCで復号された画像とステップBで読み出された各検査領域の画像とをそれぞれ基準画像に合成し、ステップCが実行されなかった場合には、ステップBで読み出された各検査領域の画像を基準画像に合成する。

0021

上記によれば、処理対象基板毎に保存された画像と基準画像とを用いて、処理対象基板の撮像時の画像の全体を復元することができるから、基板の全体構成を確認する用途にも支障なく対応することができる。

0022

つぎに、この発明による画像保存処理装置は、所定の条件に基づき撮像され、生成された画像中のあらかじめ登録された複数の検査領域に対して外観検査が実施された部品実装基板について、撮像により生成された原画像をそのデータ容量を削減して内部または外部のメモリ装置に保存する装置であって、以下の設定データ登録手段、基準画像登録手段、検査対象画像登録手段、変化部位検出手段、領域設定手段、画像圧縮手段、圧縮画像登録手段を具備する。

0023

設定データ登録手段には、処理対象基板について、外観検査に用いられた検査領域の設定データが登録される。

0024

基準画像登録手段は、処理対象基板と同一の構成の基準基板を検査時と同様の条件で撮像することにより生成された画像全体、または全体画像から検査領域に相当する部分を除いたものを、基準画像としてメモリ装置に保存する。

0025

検査対象画像登録手段は、処理対象基板の原画像中の各検査領域の画像を、それぞれ個別に読み出すことが可能な形式で当該領域の識別情報に対応づけて前記メモリ装置に保存する。

0026

変化部位検出手段は、処理対象基板の原画像中の各検査領域を除いた画像を対象に、画素毎に前記基準画像の対応画素に対する差を求め、この差が所定のしきい値を上回る部位を検出する。

0027

領域設定手段は、変化部位検出手段により基準画像に対する差がしきい値を上回る部位が検出されたとき、検出された部位毎に、その部位を包含する所定大きさの矩形領域を圧縮対象領域として設定する。画像圧縮手段は、原画像または原画像と基準画像との差画像中の圧縮対象領域に対し、しきい値を上回る数値範囲を分割することにより設定された複数の数値範囲に対して値が大きい数値範囲ほど圧縮率が低くなるように対応づけられた複数の圧縮率のうち、前記圧縮対象領域内の前記しきい値を上回る差の値に対応する圧縮率による圧縮処理を、実行する。

0028

圧縮画像登録手段は、画像圧縮手段により生成された圧縮画像を、対応する圧縮対象領域の設定範囲を示す情報および画像の復号に必要な情報に対応づけてメモリ装置に保存する。

0029

上記の画像保存処理装置において、各手段による処理は、画像の入力直後に限らず、各処理対象基板の画像を、原画像のまま一定期間保存した後に、メモリ装置への本登録処理を実行するようにしてもよい。

0030

また、この画像保存処理装置は、検査装置と別体の装置として構成するのが望ましいが、外観検査を実行する検査装置内に設けることもできる。
検査装置と別体の装置にする場合には、さらに検査装置と通信可能な構成にして、あらかじめ設定データ登録手段に登録される設定データや基準画像の送信を受けて基準画像登録手段による処理を完了した後に、各処理対象基板の画像の送信を順次受け付けて、検査対象画像登録手段、処理対象検出手段、領域設定手段、画像圧縮手段、圧縮画像登録手段による処理を行うこともできる。

発明の効果

0031

本発明によれば、同一構成の複数の基板に共通の基準画像を登録するともに、基板毎に検査領域の画像を保存し、さらに検査領域以外の画像について、基準画像に対する差が大きい部位がある場合には、その部位を含む矩形領域内の画像を圧縮して保存するので、保存されるデータの容量を大幅に削減することができる。またデータ容量を削減しても、検査時に生成された画像全体を復元できる上に、検査領域や変化部位の画質を確保することができるので、画像の確認に支障が生じるおそれもない。

発明を実施するための最良の形態

0032

図1は、基板検査システムの構成例を示す。
この基板検査システムは、自動外観検査装置1(以下、「検査装置1」と略す。)、検査結果情報管理用サーバ2(以下、「管理サーバ2」という。)、目視確認作業用端末装置3(以下、「確認用端末3」という。)の各装置を、通信回線4を介して接続した構成のものである。

0033

検査装置1は、はんだ印刷部品実装はんだ付けの各工程を経た完成体の基板を対象に、あらかじめ登録されたプログラムや検査データに基づき、各部品の実装状態適否を検査する。
確認用端末3は、検査装置1で不良と判定された部品を対象にした目視確認作業に用いられるもので、モニタや操作部を具備するパーソナルコンピュータにより構成される。なお、図1では、図示の都合上、確認用端末3を1つしか示していないが、実際には複数の確認用端末3が通信回線4に接続され、各確認用端末3を用いた作業が並列で実行される。

0034

管理サーバ2は、ハードディスクなどによる大容量のメモリ21を備え、このメモリ21内に、検査対象となった基板の検査結果情報や、自動外観検査に用いられた画像が蓄積される。ただし、メモリ21は、1つのメモリ装置に限定されるものでなく、複数のメモリ装置の集合体として構成することができる。

0035

この実施例の管理サーバ2には、検査装置1で不良と判定された部品の画像を確認用端末3に配信し、確認用端末3から作業者が入力した目視確認結果の送信を受け付けて上記部品の良/不良を確定する機能や、自動外観検査の判定結果と目視確認の結果とを総合して、基板単位での良/不良を確定する機能が設定される。

0036

さらにこの実施例の管理サーバ2には、良/不良が確定した基板の画像を所定期間蓄積した後に、長期保存用の画像に加工する機能が設けられている。図2は、この機能により実行される処理を模式的に示したものである。

0037

図2において、左上の画像Iは、検査装置1での撮像により生成され、検査に使用された原画像である。以下では、説明を簡単にするため、この原画像Iが基板全体の画像であるものとするが、検査対象の基板に複数の撮像対象領域が割り付けられる場合には、撮像対象領域毎に「原画像」が発生することになる。

0038

原画像I中のA,B,C,Dは外観検査時に設定された検査領域である。この実施例でいう検査領域は、1つの部品の検査対象範囲を示すもので、部品および部品に対応する全てのはんだ付け部位を含むように設定される。また、ここには示していないが、実際の検査では、各検査領域には、それぞれ対応する部品の種に応じた複数の検査ウィンドウが設定され、これらのウィンドウ毎に、特徴量の抽出、計測、判定等の処理が実行される。

0039

原画像I中の検査領域以外の部分は、検査の対象とならない領域(以下、「非検査領域」という。)であり、そのうち斜線パターンで示す領域P,Qは、画像データが本来のものとは異なる「変化部位」であり、何らかの異常が生じている可能性がある。
これら変化部位P,Qは非検査領域に含まれているため、検査装置1では検出されない。また確認端末3でも、検査装置1で不良と判定された検査領域を中心にした画像を表示するので、変化部位P,Qの近傍に不良と判定された部品がなければ、変化部位P,Qは見逃される虞がある。

0040

この実施例では、図中の矢印301,302に示すように、原画像Iから検査領域の画像GA,GB,GCGDを個別に切り出すことによって、これらの画像GA,GB,GC,GDと非検査領域の画像Hとを分離する。検査領域の画像GA,GB,GC,GDについては、画質が維持されるように、切り出された画像そのものを保存する。これに対し、非検査領域の画像Hについては、矢印303に示すように、あらかじめ登録された基準画像H0との比較により変化部位P,Qを検出し、これらの変化部位毎に、その部位を包含する所定大きさの矩形領域RP,RQを設定して、この矩形領域内の画像を圧縮して保存する。この結果、非検査領域のうち、変化部位P,Qについては、それぞれ圧縮画像HP,HQが保存されるが、その他の部分の画像は保存されない。

0041

上記の基準画像H0は、検査装置1において、構成が良好な基準基板を検査時と同様の条件で撮像することにより生成されたものである。この基準画像は、元々は、検査前のティーチングにおいて、各検査ウィンドウを設定したり、ウィンドウ内の良好な特徴に基づき判定基準値を定める目的で使用されたものであるが、管理サーバ2では、非検査領域に相当する画像のみが利用される。たとえば、基準画像の各検査領域に相当する部分にマスクを設定して、上記の差分演算を実行するか、もしくは、あらかじめ検査領域内の画像をマスキングした状態の基準画像を生成して管理サーバ2に登録する。

0042

つぎに、変化部位P,Qを含む矩形領域(以下、「圧縮対象領域」という。)RP,RQには、JPEG方式に基づく画像圧縮処理が実行される。簡単に説明すると、1つの圧縮対象領域を8画素×8画素のブロックに分割し、ブロック毎に、離散コサイン変換(DCT)によりブロック内の空間周波数成分を算出する。さらに各周波数成分量子化処理によって整数値に変換し、変換後の整数値による符号化データを生成する。

0043

上記の圧縮処理では、量子化処理に用いる量子化係数の値を変更することによって、生成される符号のビット数を変更し、これをもって圧縮率を変動させることができる。そこでこの実施例では、複数とおりの量子化係数テーブルをメモリ21に登録し、変化部位の画像の状態に応じて使用する量子化係数テーブルを選択することにより、圧縮画像のファイルの容量を調整するようにしている。

0044

上記の点について、より具体的に説明すると、管理サーバ2には、原画像と基準画像との差の値がとり得る数値のうち、変化部位の検出のためのしきい値を超える数値範囲を複数の数値範囲に分割し、各数値範囲にそれぞれ異なる圧縮率を対応づけたテーブルが登録される(以下、このテーブルを「圧縮率選択テーブル」という。)。この圧縮率選択テーブルにおける対応づけは、値の大きな数値範囲ほど圧縮率が低くなるように設定される。

0045

管理サーバ2では、各圧縮対象領域RP,RQ毎に、その領域内の変化部位P,Qの各構成画素につき算出した差の値(基準画像の対応画素に対する差)の平均値を求め、この平均値により上記の圧縮率選択テーブルを照合して、平均値を含む数値範囲に対応する圧縮率を選択する、そして、選択された圧縮率に対応する量子化係数テーブルを用いて圧縮処理を実行する。

0046

つぎに、この実施例では、上記の要領で保存された画像を用いて基板の画像を復元するために、図3に示すような基板情報テーブルを作成する。
この基板情報テーブルは、上記の画像保存処理が実行された基板毎に作成されるもので、処理対象の基板の基板コード(図示例ではI001)、圧縮画像のあり/なし(具体的には後記する識別フラグにより表される。)、基準画像の保存場所を示すアドレス(便宜上、G0とする。)が含まれる。さらに、ここには図示していないが、基板を特定するための情報として、ロット番号や製造ライン番号等の情報を加えてもよい。また、基板に対する撮像が複数回行われる場合には、各撮像に対応する複数の基準画像について、それぞれアドレスが格納される。

0047

さらに、この基板情報テーブルには、原画像I中の各検査領域および圧縮対象領域に関する情報が格納される。個々の領域のデータには、領域の設定範囲を示す座標(各領域の左上頂点および右下頂点の座標である。以下では、単に「座標」という。)、画像の保存場所を示すアドレス(便宜上、UA,UB,UC,UD,VP,VQとする。)、圧縮率(単位は%)が格納されている。
圧縮率0%は、画像が圧縮されていないことを示すものである。すなわち、圧縮率が0%に設定されているデータは、検査領域を表し、圧縮率が0より大きい値に設定されているデータは、圧縮対象領域を表す。

0048

上記の基板情報テーブルは、基板コード(I001)により呼び出せるように構成されている。よって、所定の基板の画像を確認する必要が生じた場合には、その確認対象の基板の基板コードを用いて該当する基板情報テーブルを呼び出し、このテーブルに含まれる各アドレス(UA,UB,UC,UD,・・・VP,VQ)に基づいて、各検査領域の画像ならびに変化部位の圧縮画像を読み出すことができる。さらに、圧縮画像に関しては、基板情報テーブルに格納された圧縮率に基づき、復号処理を行うことができる。

0049

また、非検査領域のうち圧縮対象領域を除く部分については、画像は保存されていないが、この部分の画像は基準画像と大差がないので、基準画像を適用することができる。よって、アドレスG0から読み出した基準画像に、各検査領域の画像および圧縮画像から復号した画像を合成することによって、原画像に近い精度の画像を生成することができる。よって、この画像合成処理を、撮像時の基板の画像を復元する処理とみなすことができる。

0050

なお、図3の基板情報テーブルにおいては、各検査領域の設定範囲に関しては、具体的な座標に代えて、検査領域の識別コード、または実装部品の識別コード(基板上の各部品に個別に割り当てられたコード)などを保存してもよい。画像の復元時には、つぎに述べる検査領域データベース204を識別コードにより検索することによって、具体的な座標を読み出すことができるからである。

0051

図4は、管理サーバ2の画像の保存処理に関する機能を表したものである。
図中、一時保存用画像データベース201には、検査装置1から供給された原画像が蓄積され、長期保存用の画像データベース202には、検査領域および圧縮対象領域毎に生成された画像ファイルが蓄積される。また一時保存用の画像データベース201には、保存された各画像について、対応する基板の基板コードや画像の保存日時などを対応づけた管理テーブル(図示せず。)が設けられる。また基板情報データベース203には、前出の基板情報テーブルを構成するデータファイルが蓄積される。

0052

検査領域データベース204は、基板の種毎に、自動外観検査に用いられた検査領域の設定データが登録され、基準画像データベース205には、基準画像の画像ファイルが登録される。これらの情報は、いずれも原画像と同様に、検査装置1から供給される。

0053

上記した各種データベース201〜205に加えて、管理サーバ2には、原画像読出部206、画像分離処理部207、変化部位検出部208、圧縮対象領域設定部209、圧縮率設定部210、圧縮処理部211、保存処理部212などの機能が設定される。

0054

原画像読出部206は、画像データベース201内の管理テーブルを参照して、画像が保存されてから一定期間を過ぎた基板を判別し、その基板の原画像を読み出す。画像分離処理部207は、読み出された原画像の供給を受けるとともに、検査領域データベース204から検査領域の設定データを読み出し、原画像を検査領域の画像と非検査領域の画像とに分離する処理を実行する。

0055

変化部位検出部208は、基準画像データベース205から処理対象画像に対応する基準画像を読み出し、非検査領域の画像を対象に、基準画像に対する差分演算、2値化、ラベリングなどの処理を行って、変化部位を検出する。検出された変化部位には、圧縮対象領域設定部209により圧縮対象領域が、圧縮率設定部210により圧縮率がそれぞれ設定される。圧縮率設定部210には、先に述べた圧縮率選択テーブルが、圧縮処理部211には、各圧縮率に対応する量子化係数テーブルが、それぞれ含まれる。

0056

保存処理部212は、画像分離処理部207から供給された検査領域の画像や、圧縮処理部211から供給された圧縮画像を対象に、それぞれ画像毎に個別の画像ファイルを生成して画像データベース202に保存する。また、これらの画像毎に、対応する領域の設定範囲を示す座標、画像ファイルのアドレス、圧縮率の各情報を整え、これらを含む基板情報テーブルを作成して基板情報データベース203に保存する。

0057

図5は、図2に示した処理を実行するためのフローチャートである。以下、この図の各ステップの符号(ST1〜ST19)を参照しながら、画像保存処理の具体的な手順を説明する。なお、この手順は、同一構成の複数の基板に対して順に実行されることが多いため、あらかじめ、処理対象の基板の基準画像が基準画像データベース205から読み出されて、作業メモリに保存されているものとする。

0058

まず、画像データベース201内の管理テーブルを参照することによって、処理対象基板を特定し、この基板の基板コードを読み出す(ST1)。つぎに、この基板コードに基づき、画像データベース201から処理対象基板の原画像(以下、「処理対象画像」という。)を、検査領域データベース204から処理対象基板の検査領域の設定データ(座標)を、それぞれ読み出す(ST2,3)。

0059

つぎに、基板情報テーブルを初期設定する(ST4)。この段階の基板情報テーブルには、ST1で読み出された基板コード、ST3で読み出された検査領域の座標、および基準画像データベース205における基準画像の保存場所のアドレスが格納される。また、圧縮あり/なしを示す識別フラグは、この段階ではオフ(値が0)に設定される。

0060

つぎに、ST2で読み出された設定データに基づき、処理対象画像から各検査領域の画像を切り出すことにより、検査領域の画像と非検査領域の画像とを分離する(ST5)。つぎに、各検査領域につき切り出された画像をそれぞれ個別の画像ファイルにして、長期保存用の画像データベース202に保存する(ST6)。さらに、これらの画像ファイルの保存場所のアドレスを基板情報テーブルに保存するとともに、圧縮率として0%を保存する(ST7)。これにより、検査領域に対する処理は終了する。

0061

つぎに、非検査領域の画像については、画素毎に、基準画像の対応画素との差分演算を実行することにより、差画像を生成する(ST8)。そして、この差画像を所定のしきい値で2値化し、しきい値を超えた画素(黒画素)を対象にしたラベリング処理を実行することにより、変化部位を検出する(ST9)。

0062

ST9の処理により変化部位が検出された場合(ST10が「YES」の場合)、識別フラグをオンに設定し(ST11)、検出された変化部位毎にST12〜19のループを実行する。

0063

まず、処理対象の変化部位につき、2値化前の差画像における平均濃度差分量の平均値)を算出し(ST13)、この平均濃度により前出の圧縮率選択テーブルを照合して、圧縮率を選択する(ST14)。

0064

つぎに、変化部位を包含するように圧縮対象領域を設定する(ST15)。具体的には変化部位の面積を計測し、この計測値に基づき、1辺が8画素の倍数となる正方形のうち変化部位を包含可能な最小の領域を特定し、この領域を変化部位全体が含まれる位置に設定する。

0065

上記のようにして圧縮対象領域が設定されると、ST14で選択された圧縮率に対応する量子化係数テーブルを用いて、原画像中の圧縮対象領域を圧縮し(ST16)、この処理により生成された圧縮画像による画像ファイルを作成し、長期保存用画像データベースに保存する(ST17)。

0066

この後は、上記の圧縮対象領域の座標を取得し、これらの座標を、圧縮画像ファイル保存先アドレス情報や圧縮処理に適用した圧縮率とともに基板情報テーブルに格納する(ST18)。

0067

以上に説明した処理によれば、検査領域の画像は必ず保存されるが、変化部位が検出されなかった場合(ST10が「NO」の場合)には、非検査領域の画像を保存する必要は全くない。また、変化部位が検出された場合も、この部位を含む最小の圧縮対象領域を設定して圧縮処理を行うので、非検査領域の画像の保存に要するデータ容量を大幅に削減することができる。一方で、基準画像に対する変化部位の差分量が大きい場合には、画質を維持するために圧縮率を抑えた処理が行われるので、万一、重篤な異常が生じていた場合には、その変化部位の画像を明瞭に示した画像を復号することができる。
また同一構成の基板が多数保存対象となる場合にも、各基板の非検査領域について共通の基準画像を適用できるので、メモリ資源を効率良く使用することができる。

0068

つぎに、上記の画像保存処理が実行された基板について、後日、画像を復元する必要が生じた場合には、基板コードに基づき基板情報データベース203から対応する基板情報テーブルを読み出し、このテーブルに格納された各種情報に基づき画像を復元することができる。この処理も、管理サーバ2が主体となって実行し、復元後の画像を確認用端末3に送信すれば良いが、これに限らず、確認端末3が管理サーバ2から各種情報の提供を受けて、画像を復元するようにしてもよい。

0069

図6は、上記の画像復元処理のフローチャートである。以下、この図の各ステップ符号(ST101〜111)を参照しながら、画像復元処理の詳細な手順を説明する。

0070

まず、基板コードの入力に応じて処理対象基板の基板情報テーブルを読み出す(ST101)。つぎに、このテーブル内の基準画像の保存先アドレス図3に示したG0)に基づき、基準画像データベース205から基準画像を読み出す(ST102)。

0071

つぎに、基板情報テーブルの各検査領域の画像保存先のアドレスに基づき、長期保存用の画像データベース202から、これら検査領域の画像を読み出す(ST103)。なお、どのアドレスが検査領域に対応するかは、対応する圧縮率が0%であるか否かにより判断する。

0072

つぎに、0より大きい圧縮率が対応づけられているアドレスがあるか否かによって、圧縮画像が保存されているかどうかを判別する。ここで、圧縮画像が保存されていない場合(ST104が「NO」の場合)には、基準画像が示す非検査領域の画像に各検査領域の画像を合成する処理を実行する(ST111)。すなわち、基準画像中の各検査領域に対応する箇所に設定されていたマスクを解除し、これらの領域内の画像をそれぞれST103で読み出された画像に置き換える。これにより、非検査領域については基準画像が適用されるが、検査領域については、実際の基板の画像が忠実再現される。

0073

一方、圧縮対象領域の画像が保存されている場合(ST104が「YES」の場合)には、領域毎にST105〜110のループを実行する。
このループでは、まず、基板情報テーブルから処理対象の圧縮対象領域の座標、圧縮画像の保存先のアドレス、および圧縮率を読み出す(ST106)。つぎに、読み出したアドレスに基づき、長期保存用の画像データベース202から対象となる圧縮画像を読み出す(ST107)。さらに、読み出した圧縮率により圧縮時に使用した量子化係数テーブルを特定し、このテーブルに基づき圧縮画像を復号する(ST108)。さらに、基準画像中の対応領域の画像を復号された画像に置き換える(ST109)。

0074

上記のループを圧縮処理領域毎に実行することにより、基準画像と復号された変化部位の画像との合成による非検査領域画像が生成されると、ST111に進み、この非検査領域画像に各検査領域の画像を合成する処理を実行する。これにより、検査領域および変化部位が示された画像を生成することができる。

0075

なお、上記の実施例では、説明を簡単にするために、各基板に対する撮像を1回としたが、検査時に複数回の撮像が行われる場合には、これらの撮像で生成された画像毎に図5の処理を実行する。復元の際にも、同様に、図6の処理を撮像回数分実行する必要がある。

0076

また、上記の実施例では、圧縮対象領域の画像を復号するために圧縮率を保存しているが、これに限らず、使用された量子化係数テーブルの識別コードなど、圧縮処理の内容を示す他の情報を保存してもよい。また、圧縮処理に関しては、原画像中の圧縮対象領域に限らず、差画像中の圧縮対象領域を圧縮してもよい。

0077

また、上記の実施例では、基準画像に対する変化部位の差分量に基づいて圧縮率を選択したが、これに限らず、変化部位の面積に応じて圧縮率を選択してもよい。この場合には、面積について複数の数値範囲を設定し、値が大きい数値範囲ほど圧縮率が低くなるように、各数値範囲にそれぞれ異なる圧縮率を対応づける。このようにすれば、非検査領域に大きな変化部位が生じた場合に、その変化部位の画像を画質を落とさずに復号して、詳細に確認することができる。

0078

ただし、上記の方法を採用する場合には、微小な画像データの違いにより検出された領域に容量の大きなファイルが作成されることがないように配慮する必要がある。たとえば、変化部位を検出するための2値化しきい値よりさらに高い値を第2のしきい値として設定し、基準画像に対する差分量が第2のしきい値より低い変化部位に対しては、その面積にかかわらず、最も高い圧縮率による圧縮処理を実行するとよい。

0079

また上記実施例では、検査領域に関しては、原画像のデータをそのまま保存するようにしたが、これらの検査領域についても、低い圧縮率により圧縮処理を行ってもよい。または、前出の特許文献2に記載された方法に基づき、同種の部品の画像毎に動画像形式圧縮ファイルを生成して保存してもよい。

0080

また上記実施例では、長期保存用の画像(基準画像を含む。)や基板情報テーブルを管理サーバ2のメモリ21内に蓄積しているが、これらのデータをDVDやMOなどのリムーバブル記憶媒体に保存してもよい。

図面の簡単な説明

0081

基板検査システムの構成例を示すブロック図である。
検査に用いられた画像を保存する処理を模式化した説明図である。
基板情報テーブルの構成例を示す説明図である。
画像の保存処理に係る管理サーバの機能を表す機能ブロック図である。
画像保存処理のフローチャートである。
画像復元処理のフローチャートである。

符号の説明

0082

基板外観検査装置
2管理サーバ
21メモリ
202長期保存用画像データベース
207画像分離処理部
208変化部位検出部
209圧縮対象領域設定部
210圧縮率設定部
211圧縮処理部
212保存処理部
I原画像
H非検査領域画像
H0基準画像
A,B,C,D検査領域
GA〜GD検査領域の画像
P,Q 変化部位
HP,HQ 圧縮画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 日産自動車株式会社の「 情報処理装置及び情報処理方法」が 公開されました。( 2020/09/24)

    【課題】車内の個人情報またはプライバシーに係る情報の保護することができる情報処理装置及び情報処理方法を提供する。【解決手段】情報処理装置1は、車内に備えられた撮像装置によって撮像された車内の画像を車外... 詳細

  • JUKI株式会社の「 生産システム、及び生産方法」が 公開されました。( 2020/09/24)

    【課題】電子デバイスの生産性の低下を抑制すること。【解決手段】生産システムは、実装装置を含む生産ラインに存在する基板の枚数を計数する基板計数部と、基板計数部により計数された複数の基板のそれぞれに付与さ... 詳細

  • 本田技研工業株式会社の「 移動体」が 公開されました。( 2020/09/24)

    【課題】曇り除去/防曇を効果的かつ比較的簡便に実現可能にする。【解決手段】移動体は、移動体の内外を画定する透光性の窓部材を通して該移動体の周辺環境を監視可能な監視装置と、前記窓部材のうち前記監視装置の... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ