図面 (/)

技術 検査装置

出願人 株式会社リコー
発明者 丸山剛室井基継大内田茂
出願日 2012年3月30日 (7年4ヶ月経過) 出願番号 2012-078608
公開日 2013年10月10日 (5年10ヶ月経過) 公開番号 2013-210410
状態 特許登録済
技術分野 自動焦点調節 光学的手段による測長装置 光学的距離測定 焦点調節
主要キーワード 閾値設定動作 小型ステレオ 寸法計測結果 寸法表示 撮像光線 エッジ検出領域 運用動作 撮影画像表示領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年10月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

複数のカメラを使用して被検物の寸法判定を行う検査装置において、測距精度の低い、小型ステレオカメラタイプでも、安定した寸法判定を行うことができるようにする。

解決手段

複数のカメラで撮影した視差の異なる複数の画像データから距離画像データを生成する手段207、複数の画像データ中の任意の画像データから被検物と非被検物の境界領域の2つの特徴点エッジ)を検出する手段208、2つの特徴点と距離画像データから、2つの特徴点の三次元座標を取得し、該2つの三次元座標から、2つの特徴点間の距離(寸法)を算出する手段209、算出された距離が所定の閾値内であるか否かで被検物の合否を判定する手段210を有する。

概要

背景

従来から、工場などでは製品検査の自動化にカメラが広く使用されている。この場合、一般に次のようにして被検物合否判定を行っている。まず、良品を予めカメラで撮影し良品の特徴量を登録する。次に、被検物を撮影し、良品の特徴量と比較して、良品の特徴量と一致あるいは類似していれば合格、そうでなければ不合格と判定する。

このような検査装置としては、一つのカメラで被検物を撮影し特徴を抽出する単眼カメラタイプが主流であったが、近年、2つのカメラで被検物を撮影し特徴を抽出するステレオカメラタイプが使用されるようになってきた。ステレオカメラタイプでは、単眼カメラタイプでは出来ない三次元形状を計測できるため、三次元的に特定の2点間の距離を計測し、三次元の寸法計測を実施することができる(例えば、特許文献1)。さらに、この三次元の寸法計測機能を用いての寸法判定も行われており、単眼カメラタイプで苦手としていた、検査時のカメラと被検物の位置関係がばらついた場合にも安定した判定を行うことができる。なお、寸法判定は、被検物と良品の寸法の比較を行い、等しいかどうかを判定することを意味する。この寸法判定には、寸法の絶対値は不要で、相対値のみでよい。

概要

複数のカメラを使用して被検物の寸法判定を行う検査装置において、測距精度の低い、小型ステレオカメラタイプでも、安定した寸法判定を行うことができるようにする。複数のカメラで撮影した視差の異なる複数の画像データから距離画像データを生成する手段207、複数の画像データ中の任意の画像データから被検物と非被検物の境界領域の2つの特徴点エッジ)を検出する手段208、2つの特徴点と距離画像データから、2つの特徴点の三次元座標を取得し、該2つの三次元座標から、2つの特徴点間の距離(寸法)を算出する手段209、算出された距離が所定の閾値内であるか否かで被検物の合否を判定する手段210を有する。

目的

本発明は、複数のカメラを使用して被検物の寸法判定を行う検査装置において、測距精度の低い、小型ステレオカメラタイプでも、安定した寸法判定を行うことができるようにすることにある

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被検物を複数方向から撮影して、視差の異なる複数の画像データを取得する撮影手段と、前記複数の画像データから距離画像データを生成する距離画像生成手段と、前記複数の画像データ中の任意の画像データから被検物と非被検物の境界領域の2つの特徴点を検出する特徴点検出手段と、前記2つの特徴点と前記距離画像データから、前記2つの特徴点の三次元座標を取得し、該2つの三次元座標から、前記2つの特徴点間の距離を算出する距離算出手段と、前記算出された距離が所定の閾値内であるか否かで被検物の合否を判定する距離判定手段と、を有することを特徴とする検査装置

請求項2

前記撮像手段で取得された複数の画像データについて画像歪み補正する画像変換手段を更に有する、ことを特徴とする請求項1に記載の検査装置。

請求項3

前記距離算出手段は、前記三次元座標のxy座標は、前記特徴点の座標から取得し、z座標は、前記距離画像データから前記特徴点を中心としたn×nの距離データを抽出して、そのうちの中央値を取得する、ことを特徴とする請求項1もしく2に記載の検査装置。

請求項4

前記特徴点は、被検物のエッジ画像位置であることを特徴とする請求項1乃至3のいずれか1項に記載の検査装置。

請求項5

前記撮像手段は、被検物に対向する位置に設けられた、複数のレンズアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被検物の縮小像を撮像する撮像素子とを有する、ことを特徴とする請求項1乃至4に記載の検査装置。

技術分野

0001

本発明は、複数のカメラ被検物撮影画像処理して、被検物の合否判定を行う検査装置に関する。

背景技術

0002

従来から、工場などでは製品検査の自動化にカメラが広く使用されている。この場合、一般に次のようにして被検物の合否判定を行っている。まず、良品を予めカメラで撮影し良品の特徴量を登録する。次に、被検物を撮影し、良品の特徴量と比較して、良品の特徴量と一致あるいは類似していれば合格、そうでなければ不合格と判定する。

0003

このような検査装置としては、一つのカメラで被検物を撮影し特徴を抽出する単眼カメラタイプが主流であったが、近年、2つのカメラで被検物を撮影し特徴を抽出するステレオカメラタイプが使用されるようになってきた。ステレオカメラタイプでは、単眼カメラタイプでは出来ない三次元形状を計測できるため、三次元的に特定の2点間の距離を計測し、三次元の寸法計測を実施することができる(例えば、特許文献1)。さらに、この三次元の寸法計測機能を用いての寸法判定も行われており、単眼カメラタイプで苦手としていた、検査時のカメラと被検物の位置関係がばらついた場合にも安定した判定を行うことができる。なお、寸法判定は、被検物と良品の寸法の比較を行い、等しいかどうかを判定することを意味する。この寸法判定には、寸法の絶対値は不要で、相対値のみでよい。

発明が解決しようとする課題

0004

単眼カメラタイプの検査装置は、ステレオカメラタイプよりも小型で安価であるが、被検物の3次元形状計測ができないため、安定した寸法判定が行えない。一方、ステレオカメラタイプの検査装置は、3次元形状計測ができるので、安定した寸法判定が行えるが、装置が大型化し、小型化したいというニーズには向かない。ステレオカメラタイプの検査装置を小型化するためには、2つのカメラ間の距離を短くする必要がある。しかし、3次元形状の計測精度は、カメラ間の距離に比例して低下することが知られており、2つのカメラ間の距離を短くした場合、安定した寸法判定が行えなくなってしまう問題がある。また、高精度のステレオカメラを製造するには、カメラの位置合わせ、キャリブレーションなどに手間がかかり、コストアップにつながる。

0005

本発明は、複数のカメラを使用して被検物の寸法判定を行う検査装置において、測距精度の低い、小型ステレオカメラタイプでも、安定した寸法判定を行うことができるようにすることにある。

課題を解決するための手段

0006

本発明の検査装置は、被検物を複数方向から撮影して、視差の異なる複数の画像データを取得する撮影手段、前記複数の画像データから距離画像データを生成する距離画像生成手段、前記複数の画像データ中の任意の画像データから被検物と非被検物の境界領域の2つの特徴点を検出する特徴点検出手段、前記2つの特徴点と前記距離画像データから、前記2つの特徴点の三次元座標を取得し、該2つの三次元座標から、前記2つの特徴点間の距離を算出する距離算出手段、及び前記算出された距離が所定の閾値内であるか否かで被検物の合否を判定する距離判定手段を有することを主要な特徴とする。

発明の効果

0007

本発明によれば、測距精度の低い、小型ステレオカメラタイプでも、被検物の安定した寸法判定を行うことが可能になる。

図面の簡単な説明

0008

本発明の実施形態に係る検査装置の被検物とカメラの設置状態を示した図である。
本実施形態に係る検査装置のシステム構成図である。
図2における処理ユニットの構成例を示す詳細ブロック図である。
図3エッジ検出部でのエッジ検出処理の説明図である。
図3の寸法計測部での寸法計測処理の説明図である。
図3の制御部の状態遷移図である。
図6の各状態での動作フローを示す図である。
本実施形態に係る検査装置の全体的動作の流れを示す図である。
パソコン表示画面の初期状態を示す図である。
パソコンの表示画面に輝度画像が表示された状態を示す図である。
パソコンの表示画面に更にエッジ検出領域が表示された状態を示す図である。
パソコンの表示画面に更に寸法計測結果が表示された状態を示す図である。
パソコンの表示画面に更に寸法判定閾値が表示された状態を示す図である。
パソコンの表示画面に更に判定結果が表示された状態を示す図である。
一体型ステレオカメラの一実施例を示す図である。
一体型ステレオカメラの他の実施例を示す図である。

実施例

0009

以下、本発明の実施形態について図面を参照して説明する。なお、実施形態では、撮影手段としてのカメラは2つとするが、カメラは2個に限らず、一般に2個以上であればよい。

0010

図1は、本実施形態に係る検査装置の被検物とカメラの設置状態の一例を示した図である。図1において、撮影手段としてのカメラA101とカメラB102は、両者の光軸が平行になるようにカメラ固定治具100に固定されている。このカメラA101、カメラB102がステレオカメラの左目右目に相当するカメラである。カメラ固定治具100は支持台110に固定されている。該支持台110に取り付けられたカメラ固定治具100と該支持台110の設置面112とは平行になるよう構成されている。その結果、カメラA101、カメラB102は鉛直下向きに設置される。支持台110の設置面112上の、カメラA101、カメラB102と対向する位置に、被検物10が載置される。ここで、被検物の形状は直方体とする。

0011

図2は、本実施形態に係る検査装置のシステム構成図である。カメラ固定治具100に固定されたカメラA101、カメラB102は、それぞれ被検物10を撮影し、その光学像アナログ電気信号に変換し、さらにデジタル信号に変換して画像データを出力する。ここでは、画像データは8ビット画素からなり、0〜255階調輝度値)をとるとする。処理ユニット200は、カメラA101及びカメラB102の撮影を制御すると共に、カメラA101及びカメラB102から出力される画像データを取り込んで、被検物10の寸法判定(距離判定)を行うための種々の処理、主に画像処理を行う処理基板である。パソコン300は処理ユニット200と接続されて、処理ユニット200に対して、該処理ユニット200での処理のためのパラメータの指定やその他の指示を行うと共に、処理ユニット200から画像データや、寸法計測結果(距離)、判定結果などを受信して表示する。このパソコン300がユーザインタフェース手段として機能する。なお、パソコン300の代わりに、タッチパネル式等の操作部を使用し、処理ユニット200と一体的に構成することでもよい。外部通信部400は、一般にPLC(Programmable Logic Controller)と接続される。該外部通信部400は、例えば、撮影トリガーを処理ユニット200に与える、処理ユニット200の動作状態監視する、処理ユニット200から判定結果を受け取る、などが可能である。

0012

図3は、本実施形態に係る処理ユニット200の構成例を示す詳細ブロック図である。本処理ユニット200は、カメラAインターフェース(I/F)201、カメラBI/F202、PCI/F203、外部I/F204、メモリ205、画像変換部(画像変換手段)206、距離画像生成部(距離画像生成手段)207、エッジ検出部(特徴点検出手段)208、寸法計測部(距離算出手段)209、寸法判定部(距離判定手段)210、及び制御部211等のモジュールからなり、これら各モジュールはバス212で接続されている。

0013

制御部211は、各モジュールの動作制御を行う。また、制御部211は、各モジュールとの画像データ、その他データ等のやり取り、メモリ205への画像データ、その他データ等の保存/取り出しを行う。メモリ205は、各モジュールで使用する画像データ、パラメータ、ユーザ調整値などを記憶する。

0014

カメラAI/F201は、カメラA101とのインターフェースであり、制御部211からの撮影指示設定データ等をカメラA101に送信すると共に、カメラA101から出力された画像データを介してメモリ205に記憶する。カメラBI/F202は、カメラB102とのインターフェースであり、同じく制御部211からの撮影指示や設定データ等をカメラB102に送信すると共に、カメラB102から出力された画像データをメモリ205に記憶する。ここで、設定データには、自動露出ホワイトバランス画像信号モード(グレースケール/YUVカラーRaw画像等)などが含まれる。なお、画像信号モードはグレースケールとする。したがって、カメラA101,カメラB102からはモノクロ輝度画像データが出力される。

0015

PCI/F203は、パソコン(PC)300とのインターフェースであり、パソコン300で設定されたユーザ設定値(エッジ検出領域座標、判定閾値等)を受け取り、メモリ205に記憶する。また、PCI/F203は、画像データ、寸法計測結果、判定結果等をパソコン300に送信する。

0016

外部I/F204は、外部通信部400とのインターフェースであり、撮影トリガーを外部通信部400から受け取り、また、処理ユニット200の動作状態や判定結果などを外部通信部400に出力する。

0017

画像変換手段としての画像変換部206は、メモリ205から、カメラA101で撮影された画像データ(以下、輝度画像データA)、カメラB102で撮影された画像データ(以下、輝度画像データB)を取り込んで、それぞれ画像歪み補正する。さらに、画像変換部206は、歪み補正された輝度画像データBに対して歪み補正された輝度画像データAを平行化ステレオ画像の平行化)し、平行化された輝度画像データA’と輝度画像データB’をメモリ205に記憶する。歪み補正の手法としてはA flexible new technique for camera calibration”.IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11):1330-1334,2000、平行化の手法としてはFusiello A,Trucco E and VerriA:A compact algorithm for rectification of stereo pairs. Machine Vision and Applications:16-22,2000を用いるとよい。

0018

なお、カメラA101とカメラB102を予め平行化した状態でカメラ固定治具100に固定することで平行化の処理は省略できる。

0019

距離画像生成手段としての距離画像生成部207は、メモリ205から、平行された輝度画像データA’と輝度画像データB’を取り込み、この2つの輝度画像データA’,B’を用いて、ブロックマッチングを行い、視差画像データCを生成する。そして、視差画像データCから距離画像データDを作成する。距離画像データDは、視差画像データCの各視差値p(単位:pix)に対して、輝度画像データB’の焦点距離Fl(単位:cm)、輝度画像データA’と輝度画像データB’の基線長Bl(単位:cm)を用いて、各ピクセル(pix)毎に、d=Fl*Bl/pの式を利用して、距離値d(単位:cm)を計算することによって得られる。距離画像生成部207は、生成した距離画像データDをメモリ205に記憶する。

0020

なお、カメラが3つ以上の場合には複数の距離画像データが得られるため、各距離画像データをマージングして一つの距離画像データにする必要がある。これには従来から知られている手法を用いてればよい(例えば、非特許文献1〜3)。

0021

特徴点検出手段としてのエッジ検出部208は、メモリ205から輝度画像データB’を取り込み、輝度画像データB’を用いて被検物の特徴点としてのエッジを検出する。ここで、エッジは被検物と非被検物の境界点を意味する。なお、輝度画像データA’を用いてエッジを検出することでもよい。

0022

図4は、エッジ検出部208でのエッジ検出処理を説明する図である。

0023

図4(a)は、輝度画像データB’に対して予め設定されているエッジ検出領域(B’の座標系で、左上頂点を輝度画像(sx,sy)(単位:pix)、右下頂点を(ex,ey)(単位:pix)とする領域)を重畳して表示した画像である。輝度画像データB’には、直方体の被検物10が撮像されている。なお、エッジ検出領域の設定については後述する。以下、エッジ検出部208の動作を説明する。

0024

1.エッジ検出領域に対して投影処理を施す。投影処理とはエッジ検出方向(本例ではX方向に固定)と垂直な方向に対して濃度の平均値を算出することである。
2.投影処理を行った画像に対して隣接画素との差分を算出する。図4(b)は、エッジ検出領域の画素値の例と投影処理を施した結果、および差分を算出した結果を示した図である。
3.差分値の中から、絶対値が最も大きい2点のX画像座標xl,xr(単位:pix)を抽出する。
4.xl,xrを用いて、エッジ画像位置Pl(xl,(sy+ey)/2)、エッジ画像位置Pr(xr,(sy+ey)/2)を求める。また、py=(sy+ey)/2(単位:pix)とする。
5.エッジ画像位置Pl(xi,py),Pr(xr,py)をメモリ205に記憶する。

0025

距離算出手段としての寸法計測部209は、メモリ205から特徴点としてのエッジ画像位置Pl,Pr、距離画像データDを取り込み、これらをもとにPl,Pr間の3次元距離(寸法)を計測する。

0026

図5は、寸法計測部209での寸法計測処理を説明する図である。ここで、図5(a)は、距離画像データDとエッジ画像位置Pl,Prを示した図で、距離画像データDは濃淡で高さ方向を表現している。図5(b),(c)は距離画像データのうち、Pr,Plの周辺5x5画素を拡大表示したもので、カメラ中心原点として、光軸方向をZ軸としたときの、Z軸の値を距離d(cm)として表している。以下、寸法計測部209の動作を説明する。

0027

1.Plに関する三次元座標Pl3d=(plx,ply,plz)(単位:cm)を求める。
距離画像データDからPlを中心とした5×5の画像(距離データ)を抽出する(図5(b))。その25の距離データのうち、中央値を取得し、それをカメラからPlまでの距離とする。中央値は、最大値あるいは最小値から数えて真ん中の値のことである。図5(b)の例では、24が中央値となる。よって、plz=24(単位:cm)となる。また、plx,plyは距離画像生成部207で用いた焦点距離Fl(単位:cm)を用いて、
plx=plz*(cx−xl)/Fl,ply=plz*(cy−py)/Flで算出できる。なお、距離画像データDの画像中心の座標を(cx,cy)(単位:pix)としている。
2.Prに関する三次元座標Pr3d=(prx,pry,prz)(単位:cm)を求める。
距離画像データDからPrを中心とした5×5の画像(距離データ)を抽出する(図5(c))。その25の距離データのうち、中央値を取得し、それをカメラからPrまでの距離とする。図5(c)の例では、21が中央値となる。よって、prz=21(単位:cm)となる。また、prx,pryは焦点距離Fl(単位:cm)を用いて、
Prx=prz*(cx−xr)/Fl,pry=prz*(cy−py)/Flで算出できる。
3.Pl3d,Pr3d間の距離wid(単位:cm)を求める。
Pl3d,Pr3dをユークリッド距離を用いて算出する。具体的には、
wid=((prx−plx)^2+(pry−ply)^2+(prz−plz)^2)^(1/2))である。ここで、「^」はべき乗を意味する。
4.距離(寸法計測結果)widをメモリ205に記憶する。

0028

なお、図5では、距離画像データDからPl,Prを中心として5×5の距離データを抽出するとしたが、特に5×5である必要はない(一般にはn×n)。

0029

距離判定手段としての寸法判定部210は、メモリ205から距離(寸法計測結果)widを取り込み、該距離(wid)をユーザ閾値(minDist,maxDist)と比較することで、被検物10の合否の判定結果を出力する。ユーザ閾値については後述する。

0030

具体的には、wid>=minDist かつ wid<=maxDistの場合、判定結果は1(OK)、それ以外は0(NG)となる。

0031

寸法判定部210での判定結果は、制御部211を介して、PCI/F203からパソコン300あるいは外部I/F204から外部通信部400に繋がるPLCに出力される。

0032

以上が処理ユニット200の各モジュールの動作であるが、本実施形態の主要構成はエッジ検出部208、寸法計測部209及び寸法判定部210にある。これらにより距離精度が高くない距離画像データでも安定した寸法判定を行うことができる。ここでは、図5(b)に示したエッジ画像位置Plを中心とした5×5の距離画像データを使って説明する。

0033

エッジ画像位置Plに対応する距離画像データD上の座標は、カメラからの距離を表しているので、5×5の中心の25を取得すれば、カメラからの距離が得られることに成る。しかし、先の説明では、5×5の中央値を取得している。高精度で計測された距離画像が利用できる場合には、中心の25をそのまま利用することができるが、本発明では測距精度が十分でない距離画像データを利用する場合を狙いとしている。

0034

測距精度が十分でない距離画像では、エッジ部(背景と被写体の境目)では、値の急激な変化を距離画像上に再現しにくい。例えば以下のような問題が発生する。

0035

Prの周辺画像の距離データ(17,15,20,29,34)(図5(c))のように、エッジ部で急激に距離が変化するべき箇所で、なだらかに値が変化したり、オクルージョンの影響でスパイクノイズが発生したりする。

0036

そのため、距離画像だけで寸法計測をするためには、上記の影響を画像処理により除去する必要がある。

0037

図3の構成では、エッジ検出部208にて輝度画像データを用いてエッジ位置を特定することで、エッジ部でなだらかに距離画像データが変化する課題を解決し、寸法計測部209にて距離画像データのエッジ部の中央値を取ることでスパイクノイズの影響を軽減している。また、寸法判定部210では寸法計測ではなく寸法判定としている。本手法では前提として測距精度が不十分な距離画像を用いることを前提としているので寸法計測は考慮していない。寸法計測の安定性では、測距精度不十分な距離画像のみで寸法判定した場合と、本手法で寸法判定した場合では、本手法の方が、距離画像のみを用いた手法よりも安定した結果が得られる。

0038

次に、本実施形態に係る検査装置の全体を通した動作について説明する。
本検査装置の動作としては、エッジ領域設定動作、寸法判定の閾値設定動作、及び被検物の寸法判定の運用動作が存在する。

0039

制御部211は、状態により動作が異なる。図6に制御部211の遷移状態を示す。初期状態では、撮影状態301にある。エッジ検出領域の設定が完了すると閾値調整状態302に遷移する。そして、判定閾値設定が完了すると、運用状態303に遷移する。なお、初期化(エッジ検出領域および判定閾値の初期化)が行われると、状態は撮影状態301に移る。

0040

図7は、制御ユニット200の各状態における動作フローを示した図である。

0041

図7(a)は、制御部211が撮影状態301のときにトリガーが入力された場合の動作フローである。制御部211はカメラA101,カメラB102に同期して撮影指示を行う(ステップ401)。すると、カメラA101で撮影された画像データ(輝度画像データA)は画像変換部206に転送され、同じくカメラB102で撮影された画像データ(輝度画像データB)は画像変換部206に転送される。そして、画像変換部206で、画素歪み補正及びで平行化された輝度画像データA’、輝度画像データB’が生成される(ステップ402)。制御部211は、このうちの輝度画像データB’をパソコン300へ転送する(ステップ403)。

0042

パソコン300では、転送された輝度画像データB’を表示部に表示し、これをもとにユーザはエッジ検出領域を設定することになる。

0043

図7(b)は、制御部211が閾値調整状態302のときにトリガーが入力された場合の動作フローである。制御部21はカメラA101,カメラB102に同期して撮影指示を行う(ステップ401)。すると、カメラA101で撮影された画像データ(輝度画像データA)は画像変換部206に転送され、同じくカメラB102で撮影された画像データ(輝度画像データB)も画像変換部206に転送される。そして、画像変換部206で、画像歪み補正及び平行化された輝度画像データA’、輝度画像データB’が生成される(ステップ402)。この輝度画像データA’及び輝度画像データB’が距離画像生成部207に転送され、また、輝度画像データB’はエッジ検出部208にも転送される。距離画像生成部207では、輝度画像データA’と輝度画像データB’を用いて視差画像データCを生成し、視差画像データCから距離画像データDを生成する(ステップ404)。エッジ検出部208では、輝度画像データB’からエッジ画像位置Pl,Prを算出する(ステップ405)。距離画像データD及びエッジ画像位置Pl,Prは寸法計測部209に転送される。寸法計測部209では、エッジ画像位置Pl,Prと距離画像DからPl,Prの三次元座標を求めて2点間の距離(寸法計測結果)widを算出する(ステップ406)。制御部211は、輝度画像データB’と距離(寸法計測結果)widをパソコンに転送する(ステップ407)。

0044

パソコン300では、転送された輝度画像データB’と距離(寸法計測結果)widを表示部に表示し、これをもとにユーザは距離判定(寸法判定)の閾値を設定することになる。

0045

図7(c)は、制御部211が運用状態303のときにトリガーが入力された場合の動作フローである。制御部21はカメラA101,カメラB102に同期して撮影指示を行う(ステップ401)。すると、カメラA101で撮影された画像データ(輝度画像データA)は画像変換部206に転送され、同じくカメラB102で撮影された画像データ(輝度画像データB)も画像変換部206に転送される。そして、画像変換部206で、画像歪み補正及び平行化された輝度画像データA’、輝度画像データB’が生成される(ステップ402)。この輝度画像データA’及び輝度画像データB’が距離画像生成部207に転送され、また、輝度画像データB’はエッジ検出部208にも転送される。距離画像生成部207では、輝度画像データA’と輝度画像データB’を用いて視差画像データCを生成し、視差画像データCから距離画像データDを生成する(ステップ404)。エッジ検出部208では、距離画像データB’からエッジ画像位置Pl,Prを算出する(ステップ405)。距離画像データD及びエッジ画像位置Pl,Prは寸法計測部209に転送される。寸法計測部209では、エッジ画像位置Pl,Prと距離画像DからPl,Prの三次元座標を求めて2点間の距離widを算出する(ステップ406)。寸法判定部210では、距離(寸法計測結果)widとユーザ設定値(minDist,maxDist)を入力として判定を行い、判定結果OK/NGを出力する(ステップ408)。そして、制御部211は、良品の登録時には、輝度画像データB’、距離(寸法計測結果)wid、判定結果をパソコン300に転送し、実際の運用時には被検物の判定結果を外部通信部400に送信する(ステップ409)。

0046

以下に、本実施形態に係る検査装置の具体的動作について説明する。

0047

図8は、良品を登録する際の全体の動作の流れを示した図であり、網掛け個所ユーザ操作を示している。図9はパソコン300の表示画面の遷移を示した図である。

0048

まず、ユーザはカメラA101,カメラB102の直下に寸法判定したい被検物10として良品を設置する(ステップ501)。その際、被検物(良品)10がカメラA101およびカメラB102の両方の視野に含まれる位置に設置する(図1)。

0049

良品の設置が終わったら、パソコン300で寸法判定用アプリケーション起動する。この時、パソコン300の表示画面は図9−Aのようになる。処理ユニット200の制御部211は初期状態の撮影状態301にある。

0050

ユーザは撮影開始タン602を押下する(ステップ501)。すると、PCI/F203を通して制御部211にトリガーが入力される。その結果、処理ユニット200は図7(a)で示した動作を行い、輝度画像データB’をパソコン300へ出力する(ステップ503)。この時、パソコン300の表示画面は図9−Bのようになる。すなわち、撮影画像表示領域601に輝度画像B’が表示される。ユーザは、エッジ検出領域指定ボタン603を押下した後、マウスなどを用いて、図9−Cに示すように、エッジ検出領域606を設定する(ステップ504)。このエッジ検出領域606の左上頂点、右下頂点の座標が図3(a)の(sx,sy),(ex,ey)に対応する。エッジ検出領域の設定が終了すると、ユーザはエッジ検出領域指定ボタン603を再び押下する(ステップ505)。すると、制御部211は閾値調整状態302に移行する。

0051

次に、ユーザが撮影開始ボタン602を押下すると(ステップ506)、制御部211にトリガーが入力される。その結果、処理ユニット200は図7(b)で示した動作を行い、輝度画像データB’、寸法計測結果(wid)をパソコン300へ出力する(ステップ507)。この時、パソコン300の表示画面は図9−Dのようになる。すなわち、新たに寸法表示バー領域605に寸法計測結果607がバー表示される。ユーザは、閾値調整ボタン604を押下した後、マウスなどを用いて、図9−Eに示すように、寸法判定のユーザ閾値608,609(minDist,maxDist)を設定する。寸法判定の閾値の設定が終了すると、ユーザは閾値調整ボタン604を再び押下する(ステップ509)。すると、制御部211は運用状態303に移行する。

0052

ここで、ユーザが撮影開始ボタン602を押下すると(ステップ510)、制御部211にトリガーが入力される。その結果、処理ユニット200は図7(c)で示した動作を行い、輝度画像データB’、寸法計測結果(wid)、判定結果をパソコン300へ出力する(ステップ511)。この時、パソコン300の表示画面は図9−Fのようになる。ここでは、良品が対象のため、「OK」が表示される。

0053

以上で良品の登録が完成したことになる。ユーザが設定したエッジ検出領域の座標(sx,sy),(ex,ey)及び寸法判定閾値(minDist,maxDist)はメモリ205に保持される。

0054

以後、ユーザが被検物10を検査対象製品交換し、撮影開始ボタン602を押下することで、制御部211にトリガーが入力される。その結果、処理ユニット200は図7(c)で示した動作を行い、判定結果をパソコン300や外部通信部400に出力する。また、外部通信部400に接続されるPLCから撮影トリガーを入力することで、同様に処理ユニット200は図7(c)で示した動作を行い、外部I/F204、外部通信部400を通して、PLCで判定結果を得ることができる。

0055

次に、ステレオカメラの他の実施例について説明する。図1では、カメラ固定治具100にカメラA101,カメラB102を一定の間隔を持たせてステレオカメラとしたが、このような構成に限る必要はない。

0056

図10は、カメラA101とカメラB102の代わりとして使用可能な、2つのカメラが一体となった一体型ステレオカメラの構成例を示した図である。これは、矢印方向に被写体があるものとし、一体型ステレオカメラにより被写体を撮像する構成の断面模式図を示したものである。1001はレンズアレイを表す.レンズアレイは被写体側の面と像面側の面の二面からなり、面内に複数のレンズアレイ状に配列されている。図10では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。1001aは被写体側の面に設けられたレンズ、1001bは像側の面に設けられたレンズであり、1001aと1001bがセットになって被写体の像を像面上で結像させる。1002は、レンズアレイにおける隣接するレンズセット間での光線クロストーク混線)を防止するための遮光用隔壁遮光壁と呼ぶ)であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。レンズアレイ1001の像側の面と遮光壁とが接着されている。1003は、板状部材に、各レンズセットに対応して円形の孔を設けた開口アレイであり、レンズの絞りとして作用する。レンズアレイ1001の被写体側の面の平面部に設けられた突起部1001cを介して開口アレイ1003とレンズアレイ1001は接着されている。1004は、レンズアレイにおける各レンズセットにより撮像される被写体の像を撮像するCMOSセンサ撮像素子)であり、基板1005の上に実装されている。1006は筐体であり、レンズアレイ1001の被写体側の面と接着してレンズアレイ1001、遮光壁1002、開口アレイ1003を保持し、基板1005に接着されている。

0057

図10の構成の一体型ステレオカメラを用いると、レンズアレイ1001と対応した視差を持った画像がCMOSセンサ1004に撮像される。図10の構成によれば、測距精度は低いものの、ステレオカメラを小型化することができる。

0058

図11は、2つのカメラが一体となった一体型ステレオカメラの他の構成例を示した図である。基本的構成は図10と同じであり、相違点は、CMOSセンサ(撮像素子)が1004a,1004bの2枚からなる構成となっていることである。図11の構成によれば、センサ枚数が増えるので、コストは増加するが、測距精度が向上する利点がある。

0059

10被検物
101A,101Bカメラ
200処理ユニット
201,202 カメラI/F
203PCI/F
204 外部I/F
205メモリ
206画像変換部
207距離画像生成部
208エッジ検出部
209寸法計測部
210 寸法判定部
211 制御部
300パソコン
400外部通信部

0060

特許第4811272号公報

先行技術

0061

Greg Turk and Marc Levoy.Zippered polygonmeshes from range images.In Proc.SIGGRAPH ’94,pp.311-318.ACM,1994.
Curless,B.,Levoy,M.,A Volumetric Method for Building Complex Models from Range Images,In Proc.SIGGRAPH’96,ACM,1996,pp.303-312.
M.Wheeler,Y.Sato,and K.Ikeuchi,Consensussurfaces for modeling 3D objects from multiplerange images,In Proc.IEEE International Conference on Computer Vision,pp.917-923,Jan,1997.

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 日本製鉄株式会社の「 管状体内表面検査方法及び管状体内表面検査装置」が 公開されました。( 2019/06/27)

    【課題】管状体の大きさに依らず、管状体の内表面をより高速、高分解能かつ簡便に検査すること。【解決手段】管状体内表面検査方法は、レーザ光源から照射されたレーザ光を管状体の内表面の周方向に環状のレーザ光と... 詳細

  • グローバリング株式会社の「 情報取得装置」が 公開されました。( 2019/06/27)

    【課題】深度マップ及び全焦点画像の両方を高速・高精度に得ることのできる情報取得装置を提供する。【解決手段】焦点位置を移動可能に構成されており、対象の像を形成する光学系部10と、前記形成された像を光電変... 詳細

  • 株式会社ソニー・インタラクティブエンタテインメントの「 情報処理装置」が 公開されました。( 2019/06/24)

    【課題・解決手段】1又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第1観測点からの距離の情報を含んだ第1距離... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ