図面 (/)

技術 パターンマッチング方法及びパターンマッチング装置

出願人 キヤノン株式会社
発明者 北島洋史
出願日 2014年7月8日 (6年4ヶ月経過) 出願番号 2014-140498
公開日 2015年2月19日 (5年9ヶ月経過) 公開番号 2015-035211
状態 特許登録済
技術分野 マニプレータ イメージ分析
主要キーワード 回転形状 形状パターンマッチング カメラ固定台 チャンネル目 同一照度 一自由度 モデル領域 楕円柱形状
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年2月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

角部等の特定の形状的な特徴を使用することなく、被探索画像の中からエッジ抽出領域を特定することでパターンマッチング処理高速化を図ることができるパターンマッチング方法を提供する。

解決手段

検出対象物に基づいて生成した切り出し画像エッジ抽出処理することにより、モデルエッジ画像を生成する工程(ステップS1〜ステップS3)と、回転処理拡大縮小処理、及び平行移動処理のうちの少なくとも1つを利用して得られた複数のモデルエッジ画像を重ね合わせることにより、モデルエッジ画像が位置し得る部分として特定されたエッジ抽出領域を生成する工程(ステップS4〜ステップS12)と、被探索画像におけるエッジ抽出領域に対してエッジ抽出処理を行って生成された探索エッジ画像とモデルエッジ画像とでパターンマッチングを行う工程と、を備える。

概要

背景

従来、画像処理の分野において、検出対象物であるワーク等の位置を検出する方法として、パターンマッチング方法が周知である。その中でも、形状パターンマッチング(以下、パターンマッチングと呼ぶ)は、照明変化物体の隠れ、欠けにも強く、ロバスト性が高い手法であることから、広く普及している。

パターンマッチングでは、モデル参照画像)と被探索画像との形状特徴を利用して、類似度を計算していくので、画像に対する形状特徴を抽出する必要がある。形状特徴を抽出する方法としては、一般的にソーベル(Sobel)フィルタやキャニー(Canny)フィルタ等のエッジ抽出方法が知られている。モデルに対するエッジ抽出は、実際の探索処理前に事前に行っておくことができるため処理時間は殆ど問題にならないが、被探索画像に対するエッジ抽出は実際の探索処理中に同時進行で行う必要があるため、いかに処理時間を短縮するかが課題になっている。

このような課題を解決するために、エッジ抽出を行うエッジ抽出領域を被探索画像の一部に絞ることで、被探索画像の全体に対してエッジ抽出を行うよりも処理を高速化するパターンマッチング方法が提案されている(特許文献1参照)。このパターンマッチング方法では、モデルエッジ画像を生成する際に、検出対象物の角部付近のみのエッジを抽出し、それをモデルエッジ画像とする。実際の探索処理の際には、最初に被探索画像に対して角部検出を行い、次に、検出した角部の周辺領域のみでエッジ抽出を行い、予め生成しておいた角部のモデルエッジ画像を使用して、パターンマッチングを行う。これにより、エッジ抽出を行う領域が角部の周辺に絞られるため、被探索画像の全体をエッジ抽出するのに比べて処理時間を短縮することができる。

概要

角部等の特定の形状的な特徴を使用することなく、被探索画像の中からエッジ抽出領域を特定することでパターンマッチング処理の高速化をることができるパターンマッチング方法を提供する。検出対象物に基づいて生成した切り出し画像エッジ抽出処理することにより、モデルエッジ画像を生成する工程(ステップS1〜ステップS3)と、回転処理拡大縮小処理、及び平行移動処理のうちの少なくとも1つを利用して得られた複数のモデルエッジ画像を重ね合わせることにより、モデルエッジ画像が位置し得る部分として特定されたエッジ抽出領域を生成する工程(ステップS4〜ステップS12)と、被探索画像におけるエッジ抽出領域に対してエッジ抽出処理を行って生成された探索エッジ画像とモデルエッジ画像とでパターンマッチングを行う工程と、を備える。

目的

本発明は、角部等の特定の形状的な特徴を使用することなく、被探索画像の中からエッジ抽出領域を特定することでパターンマッチング処理の高速化を図ることができるパターンマッチング方法及びパターンマッチング装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

検出対象物に関する探索エッジ画像モデルエッジ画像とでパターンマッチングを行うことにより、前記検出対象物を撮像することにより得られる被探索画像の中から前記検出対象物の画像を検出するパターンマッチング方法において、前記検出対象物に基づいて生成した切り出し画像エッジ抽出処理することにより、前記モデルエッジ画像を生成する工程と、前記モデルエッジ画像をその回転中心を中心に所定範囲で回転させる回転処理、前記モデルエッジ画像を前記回転中心を中心に所定範囲で拡大縮小させる拡大縮小処理、及び前記モデルエッジ画像を所定範囲で平行移動させる平行移動処理のうちの少なくとも1つを利用して得られた複数の前記モデルエッジ画像を重ね合わせることにより、前記モデルエッジ画像が位置し得る部分として特定されたエッジ抽出領域を生成する工程と、前記被探索画像における前記エッジ抽出領域に対してエッジ抽出処理を行って生成された前記探索エッジ画像と、前記モデルエッジ画像とでパターンマッチングを行う工程と、を備える、ことを特徴とするパターンマッチング方法。

請求項2

前記回転中心は、前記モデルエッジ画像の重心である、ことを特徴とする請求項1記載のパターンマッチング方法。

請求項3

前記回転中心は、前記モデルエッジ画像の外接矩形の中心である、ことを特徴とする請求項1記載のパターンマッチング方法。

請求項4

前記回転処理及び前記拡大縮小処理は、前記平行移動処理よりも先に実行される、ことを特徴とする請求項1乃至3のいずれか1項に記載のパターンマッチング方法。

請求項5

前記パターンマッチングを行う工程は、前記探索エッジ画像で前記モデルエッジ画像を所定の角度だけ回転させ又は所定の拡大縮小率だけ拡大縮小させ、前記モデルエッジ画像のエッジ方向及び前記探索エッジ画像のエッジ方向に基づいて、前記モデルエッジ画像と前記探索エッジ画像との間の類似度を算出する第1の工程と、前記探索エッジ画像で、前記モデルエッジ画像の中心を所定のピクセルだけ移動させ、前記モデルエッジ画像のエッジ方向及び前記探索エッジ画像のエッジ方向に基づいて、前記モデルエッジ画像と前記探索エッジ画像との間の類似度を算出する第2の工程と、前記第1及び第2の工程を繰り返し、最も類似度の大きかった前記モデルエッジ画像の前記探索エッジ画像での位置と回転角度又は拡大縮小率とをパターンマッチングの結果として出力する第3の工程と、を備える、ことを特徴とする請求項1乃至4のいずれか1項に記載のパターンマッチング方法。

請求項6

設計上の撮像位置に配置された前記検出対象物を撮像し、前記検出対象物の参照画像を取得し、前記参照画像から所定の領域を切り出すことで前記切り出し画像を生成する工程を備える、ことを特徴とする請求項1乃至5のいずれか1項に記載のパターンマッチング方法。

請求項7

前記検出対象物の設計データに基づいて、前記切り出し画像を生成する工程を備える、ことを特徴とする請求項1乃至5のいずれか1項に記載のパターンマッチング方法。

請求項8

請求項1乃至7のいずれか1項に記載のパターンマッチング方法の各工程をコンピュータに実行させるためのパターンマッチングプログラム

請求項9

請求項8に記載のパターンマッチングプログラムが記録されたコンピュータが読み取り可能な記録媒体

請求項10

少なくとも探索エッジ画像及びモデルエッジ画像を記憶可能な記憶部と、前記探索エッジ画像と前記モデルエッジ画像とでパターンマッチングを行う演算部と、を備えるパターンマッチング装置において、前記演算部は、請求項1乃至7のいずれか1項に記載のパターンマッチング方法を実行する、ことを特徴とするパターンマッチング装置。

請求項11

ワークに対して作業可能なロボット装置と、前記ロボット装置に前記ワークを供給するワーク供給装置と、前記ワーク供給装置により前記ロボット装置に供給された前記ワークを撮影可能なカメラと、前記カメラにより撮影された前記ワークの画像を前記被探索画像として前記探索エッジ画像を生成し、前記ワークに基づいて生成された前記モデルエッジ画像と前記探索エッジ画像との間のパターンマッチングを行うことにより、前記被探索画像における前記ワークの位置を検出する請求項10記載のパターンマッチング装置と、を備える、ことを特徴とするロボットシステム

技術分野

0001

本発明は、被探索画像に基づいて生成した探索エッジ画像と、検出対象物に基づいて生成したモデルエッジ画像と、でパターンマッチングを行うパターンマッチング方法及びパターンマッチング装置に関する。

背景技術

0002

従来、画像処理の分野において、検出対象物であるワーク等の位置を検出する方法として、パターンマッチング方法が周知である。その中でも、形状パターンマッチング(以下、パターンマッチングと呼ぶ)は、照明変化物体の隠れ、欠けにも強く、ロバスト性が高い手法であることから、広く普及している。

0003

パターンマッチングでは、モデル(参照画像)と被探索画像との形状特徴を利用して、類似度を計算していくので、画像に対する形状特徴を抽出する必要がある。形状特徴を抽出する方法としては、一般的にソーベル(Sobel)フィルタやキャニー(Canny)フィルタ等のエッジ抽出方法が知られている。モデルに対するエッジ抽出は、実際の探索処理前に事前に行っておくことができるため処理時間は殆ど問題にならないが、被探索画像に対するエッジ抽出は実際の探索処理中に同時進行で行う必要があるため、いかに処理時間を短縮するかが課題になっている。

0004

このような課題を解決するために、エッジ抽出を行うエッジ抽出領域を被探索画像の一部に絞ることで、被探索画像の全体に対してエッジ抽出を行うよりも処理を高速化するパターンマッチング方法が提案されている(特許文献1参照)。このパターンマッチング方法では、モデルエッジ画像を生成する際に、検出対象物の角部付近のみのエッジを抽出し、それをモデルエッジ画像とする。実際の探索処理の際には、最初に被探索画像に対して角部検出を行い、次に、検出した角部の周辺領域のみでエッジ抽出を行い、予め生成しておいた角部のモデルエッジ画像を使用して、パターンマッチングを行う。これにより、エッジ抽出を行う領域が角部の周辺に絞られるため、被探索画像の全体をエッジ抽出するのに比べて処理時間を短縮することができる。

先行技術

0005

特開2010−91525号公報

発明が解決しようとする課題

0006

しかしながら、特許文献1に記載されたパターンマッチング方法は、検出対象物が角部を有している必要があるので、例えば、検出対象物が円形状のように角部を有しない場合は適用することができないという問題があった。また、検出対象物の背景に検出対象物以外の角部形状が存在する場合は、検出対象物以外の角部を検出してしまい、エッジ抽出領域が絞られなくなるという問題があった。

0007

本発明は、角部等の特定の形状的な特徴を使用することなく、被探索画像の中からエッジ抽出領域を特定することでパターンマッチング処理の高速化を図ることができるパターンマッチング方法及びパターンマッチング装置を提供することを目的とする。

課題を解決するための手段

0008

本発明は、検出対象物に関する探索エッジ画像とモデルエッジ画像とでパターンマッチングを行うことにより、前記検出対象物を撮像することにより得られる被探索画像の中から前記検出対象物の画像を検出するパターンマッチング方法において、前記検出対象物に基づいて生成した切り出し画像エッジ抽出処理することにより、前記モデルエッジ画像を生成する工程と、前記モデルエッジ画像をその回転中心を中心に所定範囲で回転させる回転処理、前記モデルエッジ画像を前記回転中心を中心に所定範囲で拡大縮小させる拡大縮小処理、及び前記モデルエッジ画像を所定範囲で平行移動させる平行移動処理のうちの少なくとも1つを利用して得られた複数の前記モデルエッジ画像を重ね合わせることにより、前記モデルエッジ画像が位置し得る部分として特定されたエッジ抽出領域を生成する工程と、前記被探索画像における前記エッジ抽出領域に対してエッジ抽出処理を行って生成された前記探索エッジ画像と、前記モデルエッジ画像とでパターンマッチングを行う工程と、を備えることを特徴とする。

0009

また、本発明は、少なくとも探索エッジ画像及びモデルエッジ画像を記憶可能な記憶部と、前記探索エッジ画像と前記モデルエッジ画像とでパターンマッチングを行う演算部と、を備えるパターンマッチング装置において、前記演算部は上記に記載のパターンマッチング方法を実行することを特徴とする。

発明の効果

0010

本発明によれば、演算部が、被探索画像に対してエッジ抽出領域を生成する際に、被探索画像の中でモデルエッジ画像が位置し得る部分として特定された領域をエッジ抽出領域としている。このため、被探索画像の中からパターンマッチングに不要な部分を省いてエッジ抽出領域を特定することができるので、パターンマッチング処理の高速化を図ることができる。しかも、角部等の特定の形状的な特徴を使用することがないので、検出対象物の形状によらず、パターンマッチング処理を実行することができる。

図面の簡単な説明

0011

本発明の第1実施形態に係るロボットシステム概略構成を示す説明図であり、(a)は全体の側面図、(b)はハンド把持されたワークの平面図、(c)は(b)を撮影した画像である。
本発明の第1実施形態に係るパターンマッチング装置を示す説明図である。
本発明の第1実施形態に係る被探索画像を示す説明図であり、(a)はモデルエッジ画像を1つ重ねた状態、(b)はモデルエッジ画像を回転させて回転形状和領域を生成した状態、(c)は回転形状和領域を平行移動した状態である。
本発明の第1実施形態に係るパターンマッチング装置によりエッジ抽出領域を生成する際の手順を示すフローチャートである。
本発明の第1実施形態に係るモデルエッジ画像を生成する手順を示す説明図であり、(a)は切り出し画像が切り出された参照画像、(b)は1画素ベクトル、(c)は切り出し画像から生成されたモデルエッジ画像である。
本発明の第1実施形態に係るエッジ抽出領域を生成する手順を示す説明図であり、(a)〜(c)はモデルエッジ画像を順次回転させて重ねて回転形状和領域を生成した状態、(d)は回転形状和領域を平行移動した状態である。
本発明の第1実施形態に係るパターンマッチング装置によりパターンマッチング処理を実行する際の手順を示すフローチャートである。
本発明の第2実施形態に係るパターンマッチング装置によりモデルエッジ画像を生成する際の手順を示すフローチャートである。
本発明の第2実施形態に係るパターンマッチング装置によりモデルエッジ画像を生成する際の説明図であり、(a)は3次元形状データ座標系カメラ座標系との関係、(b)は3次元形状データと切り出し画像との関係を示す。
本発明の第2実施形態に係るパターンマッチング装置によりエッジ抽出領域を生成する際の手順を示すフローチャートである。

実施例

0012

以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。

0013

[第1実施形態]
図1に示すように、ロボットシステム1は、ロボット装置2と、ロボット装置2にワーク6を供給するワーク供給装置3と、カメラ4と、ロボット装置2の制御装置(パターンマッチング装置)21とを備えている。

0014

ロボット装置2は、ワーク(検出対象物)6に対して作業可能であり、制御装置21は、ロボット本体20と、ロボット本体20及びカメラ4を制御する。図1では、ワークの例として、ワーク6は、円環形状を有し、位相の基準となるように一部に径方向外側に突出した突起部6aを備えている。ワーク6の位相の基準を突起部6aにより示しているが、これには限られず、例えばマーク等であってもよい。カメラ4は、カメラ固定台40に固定され、ワーク供給装置3によりロボット装置2に供給されたワーク6、即ちハンド23に把持されたワーク6を上方から撮影可能になっている。尚、ワーク6の形状はどのようなものであってもよい。そのため、以下では説明を簡単にするために、ワーク6の形状を楕円柱形状図3参照)や三角柱形状図5,6,9参照)として表している。

0015

ロボット本体20は、6軸の垂直多関節アーム(以下、アームと呼ぶ)22と、エンドエフェクタであるハンド23とを有している。本実施形態では、アーム22として6軸の垂直多関節アームを適用しているが、軸数は用途や目的に応じて適宜変更してもよい。また、本実施形態では、エンドエフェクタとしてハンド23を適用しているが、これには限られず、ワーク6を保持可能なツールの全般を含めることができる。

0016

アーム22は、7つのリンクと、各リンクを揺動又は回動可能に連結する6つの関節とを備えている。各リンクとしては、長さが固定されたものを採用している。但し、例えば、直動アクチュエータにより伸縮可能なリンクを採用してもよい。各関節には、図2に示すように、各関節を各々駆動するモータ80と、モータ80の回転角度を検知するエンコーダ81と、制御装置21と信号を送受信してモータ80及びエンコーダ81を制御するモータ制御部82とが設けられている。

0017

ハンド23は、アーム22の先端リンク60に取り付けられて支持され、アーム22の動作により位置及び姿勢の少なくとも一自由度が調整されるようになっている。ハンド23は、2本の指23aと、これら指23aの間隔を開閉可能に支持するハンド本体23bとを備え、指23a同士が接近する閉動作によりワーク6を把持可能になっている。

0018

図2に示すように、制御装置21は、コンピュータにより構成され、ロボット本体20を制御するようになっている。制御装置21を構成するコンピュータは、CPU50と、データを一時的に記憶可能なRAM(記憶部)51と、各部を制御するプログラムを記憶するROM52と、ロボット本体20と通信可能にする入出力インタフェース回路(I/F)53とを備えている。また、制御装置21は、パターンマッチングを実行するパターンマッチング装置を兼ねている。尚、本実施形態では、制御装置21は、パターンマッチング装置の機能を含んでいるが、パターンマッチング装置を制御装置21とは別個に設けてもよい。

0019

ROM52は、後述するパターンマッチングプログラム52aや、ロボット本体20の動作を制御するロボット制御プログラムや、その他のCPU50が行うワーク6の位置姿勢演算に関する演算プログラム等を保存している。ROM52に記憶されたデータは、CPU50からの書き込みや消去を除き、制御装置21の電源オフ状態にされても保持されるようになっている。RAM51は、後述する探索エッジ画像11や、モデルエッジ画像12等のCPU50にて処理中のデータを一時的に記憶するようになっている。

0020

CPU50は、ロボット本体20の動作を制御するロボット制御部54や、パターンマッチング演算部(演算部)55を備えている。ロボット制御部54は、ロボット制御プログラムの実行により、ロボット本体20の動作を制御するようになっている。

0021

詳細には後述するが、パターンマッチング演算部55は、パターンマッチングプログラム52aの実行により、探索エッジ画像11と、モデルエッジ画像12とでパターンマッチングを行う。

0022

具体的には、パターンマッチング演算部55は、実際の探索処理に先立って、設計上の撮像位置となるような理想状態の位置姿勢に設置したワーク6をカメラ4により撮影して、ワーク6をエッジ抽出処理することによりモデルエッジ画像12を生成する。また、パターンマッチング演算部55は、実際の探索処理に先立って、ハンド23に把持されたワーク6をカメラ4により撮影して得られた被探索画像10に、探索エッジ画像11を生成する領域であるエッジ抽出領域13を生成するようになっている。ここで、エッジ抽出領域13は、被探索画像10の中でモデルエッジ画像12が位置し得る部分、言い換えると実際の探索処理の際にワーク6の画像が位置し得る部分として特定された領域である。そして、パターンマッチング演算部55は、被探索画像10のエッジ抽出領域13に対してエッジ抽出を行って生成した探索エッジ画像11と、モデルエッジ画像12と、でパターンマッチングを行うようになっている。

0023

上述したロボット装置2の制御装置21により、パターンマッチング処理を行うためのモデルエッジ画像12を生成し、被探索画像10にエッジ抽出領域13を生成する手順を、図4に示すフローチャートに沿って説明する。尚、ここでは本実施形態のカメラ4及び制御装置21を利用してモデルエッジ画像12を生成する場合について説明するが、これには限られず、別のカメラ及びコンピュータを利用してもよい。

0024

<モデルエッジ画像12の生成>
まず、パターンマッチング用のモデルエッジ画像12を生成するために、ワーク6を設計上の撮像位置となるような理想状態の位置姿勢に配置すると共に、理想状態の照明条件に設定し、カメラ4により撮影を行う。例えばワーク6とカメラ4の位置関係が水平になり、傾きなくワーク6を撮像できることが理想状態として望ましい。また、照明条件としては、ワーク6全体に同一照度照明があたるように設定することが望ましい。そして、図5(a)に示すように、ワーク6を含む広域の参照画像14を得る(ステップS1)。カメラ4から出力された参照画像14の画像データは、制御装置21に入力されて記憶される。

0025

操作者は、例えばディスプレイに表示された参照画像14から、検出したいワーク6の周囲の矩形領域をモデル領域として設定する(図5(a)参照)。その設定方法は、制御装置21に付随したマウス等を利用し、ディスプレイに表示された参照画像14内のワーク6を包含する領域の左上の点と右下の点とをクリックする。クリックした2点の位置を矩形領域の左上及び右下の角の点として、参照画像14から矩形領域のみを切り出し、当該領域の画像を切り出し画像15とする(ステップS2)。尚、ステップS1〜ステップS2が、ワーク6を撮像して得られた参照画像14から切り出し画像15を生成する工程に相当する。

0026

次に、切り出し画像15に対してエッジ抽出を行い、モデルエッジ画像12を生成する(ステップS3)。ここでは、切り出し画像15の各画素ごとにエッジ強度及びエッジ方向を算出する。即ち、各画素において、エッジは強度と方向の要素を有するベクトルとして定義される。エッジ強度とは、コントラストの大きさを表し、注目画素に対し隣接する画素のコントラストが大きければ、当該注目画素のエッジ強度も大きくなる。エッジ方向とは、コントラストの方向を表し、注目画素のエッジ強度が最も大きくなる方向(角度)を示す。尚、ステップS3が、切り出し画像15からモデルエッジ画像12を生成する工程に相当する。

0027

エッジ強度の算出には、X軸方向及びY軸方向のソーベルフィルタを使用し、任意の画素70で、X軸方向のエッジ強度71とY軸方向のエッジ強度72とを算出する。そして、数式1に示すように、エッジ強度73を各軸方向のエッジ強度71,72の二乗和平方根で表す(図5(b)参照)。尚、本実施形態では、エッジ強度の算出にソーベルフィルタを使用しているが、これには限られず、例えば、ラプラシアンフィルタやキャニーフィルタ等の周知のエッジ抽出フィルタを使用してもよい。

0028

I:エッジ強度
ex:X軸方向のエッジ強度71
ey:Y軸方向のエッジ強度72

0029

エッジ方向の算出には、数式2を使用する。

0030

θ:エッジ方向
ex:X軸方向のエッジ強度71
ey:Y軸方向のエッジ強度72

0031

上述の手法により、切り出し画像15の全画素のエッジ強度及びエッジ方向を算出する。そして、エッジ強度がある所定の閾値以上になった画素をエッジ特徴として抽出し、モデルエッジ画像12を生成する(図5(c)参照)。モデルエッジ画像12のデータ保持方法は、モデルエッジ画像12の画素毎に2チャンネルのデータ領域を持っておき、エッジ特徴として抽出された画素74は有効画素として、1チャンネル目にエッジ強度、2チャンネル目にエッジ方向の情報を入れておく。エッジ特徴ではないと判断された画素75には、無効値(例えば0)を入れておく。図5(c)に示す例では、エッジ特徴の有効画素74を斜線表現し、無効画素75を白で表現している。

0032

本実施形態では、画素毎に2チャンネルのデータ領域を設けているが、これには限られず、例えば、エッジ強度のみを記憶したエッジ強度画像と、エッジ方向のみを記憶したエッジ方向画像との2画像を1組としたモデルエッジ画像として記憶してもよい。尚、本実施形態では、エッジ強度の算出にソーベルフィルタを使用しているが、これには限られず、ラプラシアンフィルタやキャニーフィルタ等の一般的に知られたエッジ抽出フィルタを使用してもよい。

0033

<エッジ抽出領域13の生成>
続いて、エッジ抽出領域13の生成について説明する。まず、制御装置21は、先に求めたモデルエッジ画像12を入力する(ステップS4)。そして、操作者が、パターンマッチングに必要な探索範囲(即ち、平行移動の探索範囲及び探索回転角)を指定する(ステップS5、ステップS6)。この指定は、ユースケースによって変わるものであり、モデルエッジ画像12を作成したときのワーク6の位置姿勢(即ち、設計上の位置)から、実際の探索処理において位置姿勢がどのくらい異なる可能性があるかによって決められるものである。また、ここで指定される探索範囲(即ち、平行移動の探索範囲と探索回転角)を、以下、幾何変換パラメータと呼ぶ。

0034

まず、制御装置21は、モデルエッジ画像12に回転中心17を設定する(図3参照)。本実施形態では、回転中心17は、モデルエッジ画像12の外接矩形の中心としている。このため、モデルエッジ画像12が複雑であっても、回転中心17を短時間で算出することができる。但し、回転中心17としては外接矩形の中心には限られず、例えば重心としたり、あるいは外接円内接円の中心としてもよい。重心を適用した場合は、より実際のワーク6の回転中心に近似した回転中心を得ることができる。

0035

そして、操作者は、まず平行移動の探索範囲を指定する(ステップS5)。ここでは、図3に示すように、モデルエッジ画像12の回転中心17が移動し得る所定範囲の領域として、平行移動領域16を設定する。尚、ここでの平行移動とは、ワーク6が回転することなく、水平、垂直方向に移動することを意味している。また、ここでの平行移動の移動ステップは、例えば、1ピクセルステップとしている。

0036

そして、操作者は、次に探索回転角を指定する(ステップS6)。ここでは、モデルエッジ画像12が回転し得る所定範囲の角度範囲、即ち、ワーク6がワーク供給装置3から取得された際に取り得る誤差の範囲を設定するようにし、例えば、回転角度を−90degから90degまでのように指定する。また、ここでの回転角度のステップは、例えば、1degステップとしている。

0037

尚、本実施形態では、操作者は先に平行移動領域16を設定し、その後に探索回転角を設定しているが、これには限られず、逆であってもよく、あるいは並行して同時に設定してもよい。また、平行移動及び回転角度のステップは、操作者が指定可能にしてもよく、あるいは操作者が指定できないように固定値にしておいてもよい。また、回転角度のステップにおいては、モデルエッジ画像12の大きさに基づいて、自動的にステップ数を決定するようにしてもよい。

0038

また、例えば、ワーク供給装置3がワーク6の位相まで位置決めして、ワーク6が供給される場合は、パターンマッチングの回転範囲微小の範囲で設定可能である。一方、ワーク供給装置3でワーク6の位相の位置決めが行われない場合は、360°の回転範囲を設定する必要がある。

0039

次に、先に指定された幾何変換パラメータに基づいて、エッジ抽出領域13を生成する(ステップS7〜ステップS12)。まず、パターンマッチング演算部55は、全ての回転範囲の処理(回転処理)を終了したか否かを判断する(ステップS7)。この判断は、例えば、モデルエッジ画像12を回転させる度にカウントアップされる回転カウンタにより判断される。パターンマッチング演算部55が全ての回転範囲の処理は終了していないと判断した場合は、モデルエッジ画像12を指定した回転角度のステップで回転させる(ステップS8)。そして、パターンマッチング演算部55は、回転させたモデルエッジ画像12aと、ステップS4で入力したモデルエッジ画像12とで、エッジ領域の和をとり、図6(a)に示すように、回転形状和領域18を作成する(ステップS9)。

0040

次に、パターンマッチング演算部55は、再度、全ての回転範囲の処理を終了したか否かを判断する(ステップS7)。このように、ステップS7〜ステップS9を、ステップS6で指定された全ての探索回転角で実行することにより、回転形状和領域18は、図6(b)に示す状態を経て、最終的に図6(c)に示すようになる。

0041

そして、回転方向の全ステップが完了して、パターンマッチング演算部55が全ての回転範囲の処理は終了したと判断した場合は、パターンマッチング演算部55は、全ての平行移動範囲の処理(平行移動処理)を終了したか否かを判断する(ステップS10)。この判断は、例えば、モデルエッジ画像12の回転中心17を平行移動領域16内で平行移動させる度にカウントアップされる平行移動カウンタにより判断される。パターンマッチング演算部55が全ての平行移動範囲の処理は終了していないと判断した場合は、先に生成した回転形状和領域18をステップS5で指定した探索範囲内で指定したステップで平行移動させる(ステップS11)。パターンマッチング演算部55は、平行移動した回転形状和領域18の和をとり、形状和領域19を作成する(ステップS12)。

0042

次に、パターンマッチング演算部55は、再度、全ての平行移動範囲の処理を終了したか否かを判断する(ステップS10)。このように、ステップS10〜ステップS12を全ての平行移動方向の幾何変換パラメータで実行することにより、形状和領域19は、最終的に図6(d)に示すようになる。パターンマッチング演算部55は、上述の手順で生成された形状和領域19をエッジ抽出領域13として記憶する。即ち、パターンマッチング演算部55は、複数のモデルエッジ画像12を重ね合わせて形状和領域19を形成することにより、それをモデルエッジ画像12が位置し得る部分として特定して、エッジ抽出領域13を生成している。尚、ステップS4〜ステップS12が、エッジ抽出領域13を生成する工程に相当する。

0043

<パターンマッチング処理>
上述したロボット装置2の制御装置21により、モデルエッジ画像12及びエッジ抽出領域13を用いて、実際にワーク6の検出を行うパターンマッチング処理を実行する手順を、図7に示すフローチャートに沿って説明する。

0044

まず、パターンマッチング演算部55は、モデルエッジ画像12を入力し(ステップS21)、エッジ抽出領域13を入力する(ステップS22)。そして、パターンマッチング演算部55は、ワーク6をカメラ4により撮影し、パターンマッチングを行うための被探索画像10を入力する(ステップS23)。更に、パターンマッチング演算部55は、被探索画像10におけるエッジ抽出領域13に対し、上述したエッジ抽出処理(ステップS3)と同様の方法により、エッジ特徴を抽出し、探索エッジ画像11を生成する(ステップS24)。そして、パターンマッチング演算部55は、モデルエッジ画像12と、探索エッジ画像11とでパターンマッチングを行う(ステップS25)。尚、ステップS21〜ステップS25が、パターンマッチングを行う工程に相当する。

0045

パターンマッチングの手法としては、モデルエッジ画像12を回転させながらその回転中心17を探索エッジ画像11の内部でピクセル単位ごとに移動させる。そして、移動させた各位置で、探索エッジ画像11からモデルエッジ画像12とマッチングするための画像を抽出する。そして、抽出した画像とモデルエッジ画像12との類似度Rを、数式3により求める。類似度Rは、モデルエッジ画像12を所定の角度だけ回転させるごと(第1の工程)に、及び、モデルエッジ画像12の中心を探索エッジ画像11の内部で所定のピクセルだけ移動させるごと(第2の工程)に計算される。

0046

Rij:探索エッジ画像11内のモデルエッジ画像12の中心位置(i,j)及び回転角度φにおける類似度
n:エッジの数
θI:探索エッジ画像11のエッジ方向
θT:モデルエッジ画像12のエッジ方向

0047

数式3において、画像内の位置とは、モデルエッジ画像12の中心の探索エッジ画像11内での位置を表す。また、数式3における類似度Rの範囲は0〜1となり、0が最も低い類似性、1が最も高い類似性となる。パターンマッチング演算部55は、探索エッジ画像11の平行移動領域16内の全座標において数式3により演算を実行し、最も類似度Rの高かった位置の座標(i,j)及び回転角度φを記憶しておく。そして、最も類似度Rの高かった位置の座標(i,j)及び回転角度φを、探索エッジ画像11のワーク6の検出位置及び検出角度(位相)とし、そこから被探索画像10でのワーク6の検出位置及び検出角度を算出する。即ち、第1の工程及び第2の工程を繰り返し、最も類似度Rの大きかったモデルエッジ画像12の探索エッジ画像11での位置の座標(i,j)と回転角度φとをパターンマッチングの結果として出力する(第3の工程)。

0048

上述したように本実施形態の制御装置21によれば、パターンマッチング演算部55が、被探索画像10でのエッジ抽出領域13を、被探索画像10の中でモデルエッジ画像12が位置し得る部分として特定された領域として設定している。このため、被探索画像10の中からパターンマッチングに不要な部分を省いてエッジ抽出領域13を特定することができるので、パターンマッチング処理の高速化を図ることができる。しかも、角部等の特定の形状的な特徴を使用することないので、ワーク6の形状によらず、パターンマッチング処理を実行することができる。

0049

また、本実施形態の制御装置21によれば、パターンマッチング演算部55がモデルエッジ画像12を回転させて回転形状和領域18を生成し、該回転形状和領域18を平行移動させて形状和領域19を作成している。このため、必要最低限のエッジ抽出領域13を生成することができる。

0050

また、本実施形態の制御装置21によれば、モデルエッジ画像12の回転中心17を外接矩形の中心とし、重心位置とほぼ同じ位置としている。このため、操作者は、直感的に幾何変換パラメータの設定範囲絞り込むことが可能であり、これによりパターンマッチングが高速化するとともに、エッジ抽出領域13もより絞り込まれるため、エッジ抽出にかかる処理時間がより短縮される。

0051

尚、上述した本実施形態の制御装置21では、エッジ抽出領域13を生成する際に、回転処理及び平行移動処理の2つの処理を実行する場合について説明したが、これには限られない。例えば、拡大縮小処理、回転処理、平行移動処理の3つの処理を実行するようにしたり、あるいは回転処理及び平行移動処理とは異なる組み合わせの2つの処理としたり、1つの処理のみを実行するようにしてもよい。これらの処理の選択は、ワーク6の形状や、カメラ4との位置姿勢関係や、要求される処理時間及び精度等に応じて、適宜設定することができる。

0052

例えば、拡大縮小処理、回転処理、平行移動処理の3つの処理を実行するようにした場合は、類似度Rを算出する際の第1の工程及び第3の工程での算出手順が異なる。即ち、第1の工程では、探索エッジ画像11上でモデルエッジ画像12を所定の角度だけ回転させ、又は所定の拡大縮小率だけ拡大縮小させるごとに算出するようにする。また、第3の工程では、最も類似度Rの大きかったモデルエッジ画像12の探索エッジ画像11での位置の座標と回転角度φ又は拡大縮小率とをパターンマッチングの結果として出力するようにする。

0053

[第2実施形態]
次に、本発明の第2実施形態に係るロボットシステム1について説明する。

0054

第2実施形態では、第1実施形態と比較して、モデルエッジ画像12を作成する際に、図9に示すように、ワーク6の設計データであるCADの3次元形状データ106に基づいて作成するようにしている。また、第2実施形態では、第1実施形態と比較して、エッジ抽出領域13を作成する際に、回転範囲及び平行移動範囲に加えて、拡大縮小範囲についても形状和領域を形成するようにしている。即ち、第2実施形態では、実際の探索処理において、ワーク6とカメラ4との距離が変動して探索エッジ画像11内でのワーク6の大きさが異なる場合も考慮している。

0055

本実施形態では、第1実施形態と比較してパターンマッチング演算部55における処理が異なるが、ハード構成は第1実施形態と同様であるので、同一の符号を付して詳細な説明は省略する。尚、本実施形態では、ワーク6の3次元形状データ106を用いてモデルエッジ画像12を生成し、かつ拡大縮小範囲についても形状和領域を形成しているが、これらの間には直接の関係はなく、いずれか一方のみを適用するようにしてもよい。

0056

上述したロボット装置2の制御装置21により、パターンマッチング処理を行うためのモデルエッジ画像12を生成する手順を、図8に示すフローチャートに沿って説明する。

0057

まず、制御装置21は、ワーク6の設計データに基づいて、3次元形状データ106を作成する(ステップS31)。3次元形状データは、ワーク6の形状を表す部分の3次元座標系W(x,y,z)を持つ。本実施形態では説明の簡略化のため、図9(a)に示すようにワーク6の頂点位置にのみ3次元座標系W(x,y,z)を持つものとする。そして、制御装置21は、3次元形状データ106の3次元座標系Wを、実際の探索処理時でのカメラ4とワーク6の配置に基づいて、カメラ座標系Vに変換する(ステップS32)。

0058

更に、制御装置21は、図9(b)に示すように、カメラ座標系Vに変換した三次元形状データ106を切り出し画像15に投影する(ステップS33)。尚、ステップS31〜ステップS33が、ワーク6の設計データに基づいて、切り出し画像15を生成する工程に相当する。三次元形状データ106を切り出し画像15に投影する際は、数式4により処理を行う。

0059

f:焦点距離
Sx,Sy:x,y方向のセンサ素子間のピッチ幅
Cx,Cy:画像中心点

0060

数式4において、焦点距離、センサピッチ幅、画像中心点はカメラ4に固有パラメータであり、事前にカメラキャリブレーションを行うことにより算出することができる。

0061

そして、制御装置21は、得られた切り出し画像15に基づいて、第1実施形態のステップS3と同様の手法で、モデルエッジ画像12を生成する(ステップS34)。尚、ステップS34が、切り出し画像15からモデルエッジ画像12を生成する工程に相当する。

0062

次に、上述したロボット装置2の制御装置21により、被探索画像10におけるエッジ抽出領域13を生成する手順を、図10に示すフローチャートに沿って説明する。

0063

まず、制御装置21は、エッジ抽出領域13を生成するために、先に求めたモデルエッジ画像12を入力する(ステップS41)。そして、操作者が、パターンマッチングに必要な探索範囲を指定する(ステップS42〜ステップS44)。ここで、平行移動領域を設定するステップS42と、探索回転角を設定するステップS43とは、それぞれ第1実施形態のステップS5及びステップS6と同様であるので、詳細な説明は省略する。

0064

操作者は、平行移動領域16及び探索回転角を設定した後、拡大縮小率を指定する(ステップS44)。ここでは、カメラ4とワーク6との距離により、モデルエッジ画像12が拡大縮小し得る所定範囲、即ち、ワーク6がワーク供給装置3から取得された際に取り得る誤差の範囲を設定するようにし、例えば、拡大縮小率を90%から110%までのように指定する。拡大縮小は、モデルエッジ画像12の回転中心17を中心に行うものとし、モデルエッジ画像12を作成したときの大きさを100%とし、90%と110%はそれぞれ10%の縮小と拡大を意味する。また、ここでの拡大縮小率のステップは、例えば、1%ステップとしている。

0065

ここで、ロボット装置2の動作精度により平行移動や拡大縮小の範囲を決めることができる。即ち、ロボット装置2がカメラ4の撮影範囲にワーク6を移動させる際に、撮影範囲内での位置の誤差範囲により平行移動範囲を決められ、カメラ4の光軸方向の誤差範囲により拡大縮小範囲を決めることができる。

0066

尚、本明細書中での拡大縮小とは、拡大または縮小の少なくとも一方を含む意味であり、いずれか一方のみであってもよい。また、本実施形態では、操作者は、平行移動領域16、探索回転角、拡大縮小率の順で設定しているが、これには限られず、第1実施形態と同様に、他の順序であってもよく、あるいは並行して同時に設定してもよい。また、平行移動、回転角度、拡大縮小率のステップは、操作者が指定可能にしてもよく、あるいは操作者が指定できないように固定値にしておいてもよい。

0067

次に、先に指定された幾何変換パラメータに基づいて、エッジ抽出領域13を作成する(ステップS45〜ステップS53)。まず、パターンマッチング演算部55は、全ての拡大縮小範囲の処理(拡大縮小処理)を終了したか否かを判断する(ステップS45)。この判断は、例えば、モデルエッジ画像12を拡大縮小させる度にカウントアップされる拡大縮小カウンタにより判断される。パターンマッチング演算部55が全ての拡大縮用範囲の処理は終了していないと判断した場合は、モデルエッジ画像12を指定した拡大縮小率のステップで拡大縮小させる(ステップS46)。そして、パターンマッチング演算部55は、拡大縮小させたモデルエッジ画像と、ステップS41で入力したモデルエッジ画像12とで、エッジ領域の和をとり、拡大縮小形状和領域を作成する(ステップS47)。

0068

次に、パターンマッチング演算部55は、再度、全ての拡大縮小範囲の処理を終了したか否かを判断する(ステップS45)。このように、ステップS45〜ステップS47を全ての拡大縮小の幾何変換パラメータで実行することにより、最終的な拡大縮小形状和領域を得る。

0069

そして、拡大縮小の全ステップが完了して、パターンマッチング演算部55が全ての拡大縮小範囲の処理は終了したと判断した場合は、パターンマッチング演算部55は、全ての回転範囲の処理を終了したか否かを判断する(ステップS48)。以下、ステップS48〜ステップS53については、第1実施形態のステップS7〜ステップS12と同様であるので、詳細な説明は省略する。パターンマッチング演算部55は、上述の手順で生成された形状和領域19をエッジ抽出領域13として記憶する。尚、ステップS41〜ステップS53が、エッジ抽出領域13を生成する工程に相当する。

0070

パターンマッチング演算部55は、モデルエッジ画像12及びエッジ抽出領域13を用いて、実際にワーク6の検出を行うパターンマッチング処理を実行する。ここでのパターンマッチング処理は、第1実施形態のステップS21〜ステップS25と同様であるので、詳細な説明は省略する。尚、本実施形態では、類似度Rを算出する際に、拡大縮小処理、回転処理、平行移動処理の3つの処理を実行するので、第1実施形態とは第1の工程及び第3の工程での算出手順が異なる。即ち、第1の工程では、探索エッジ画像11上でモデルエッジ画像12を所定の角度だけ回転させ、又は所定の拡大縮小率だけ拡大縮小させるごとに算出するようにする。また、第3の工程では、最も類似度Rの大きかったモデルエッジ画像12の探索エッジ画像11での位置の座標と回転角度φ又は拡大縮小率とをパターンマッチングの結果として出力するようにする。

0071

上述したように本実施形態の制御装置21によれば、第1実施形態と同様に、被探索画像10の中からパターンマッチングに不要な部分を省いてエッジ抽出領域13を特定することができる。これにより、パターンマッチング処理の高速化を図ることができ、しかも角部等の特定の形状的な特徴を使用することないので、ワーク6の形状によらず、パターンマッチング処理を実行することができる。

0072

また、本実施形態の制御装置21によれば、モデルエッジ画像12を生成する際に、3次元形状データ106に基づいて生成している。このため、実際のワーク6を撮影する操作者の作業が不要になり、演算処理のみでモデルエッジ画像12を得ることができるので、モデルエッジ画像12の生成処理を簡素化かつ処理時間の短縮化を図ることができる。

0073

また、本実施形態の制御装置21によれば、パターンマッチング演算部55が、モデルエッジ画像12を拡大縮小して拡大縮小形状和領域を生成する。そして、パターンマッチング演算部55は、拡大縮小形状和領域を回転させて回転形状和領域18を生成し、該回転形状和領域18を平行移動させて形状和領域19を作成している。このため、ワーク6の実際の探索処理時に、カメラ4とワーク6との距離が変動することで、被探索画像10におけるワーク6の大きさが異なる場合があっても、ワーク6の位置や大きさの変動範囲と、エッジ抽出領域13とを一致させることができる。よって、必要最低限のエッジ抽出領域13を生成することができる。

0074

また、本実施形態の制御装置21によれば、エッジ抽出領域13を生成する際に、モデルエッジ画像12を拡大縮小処理、回転処理、平行移動処理の順で処理している。即ち、平行移動に先立って拡大縮小及び回転の処理を行っている。このため、例えば、平行移動範囲が大きい場合に、大きな平行移動形状和領域を作成した後に回転や拡大縮小を行うことで最低限のエッジ抽出領域13に絞られない可能性が発生することを防止できる。

0075

上述した本実施形態の制御装置21では、エッジ抽出領域13を生成する際に、拡大縮小処理、回転処理、平行移動処理の順で処理する場合について説明した。しかしながら、これには限られず、例えば、回転処理、拡大縮小処理、平行移動処理の順で処理するようにしてもよい。あるいは、平行移動範囲が小さく、平行移動後の回転や拡大縮小等でも最低限のエッジ抽出領域13を得られる場合は、最初に平行移動処理を行うようにしてもよい。

0076

また、上述した本実施形態の制御装置21では、エッジ抽出領域13を生成する際に、拡大縮小処理、回転処理、平行移動処理の3つの処理を実行する場合について説明したが、これには限られない。例えば、第1実施形態のように回転処理及び平行移動処理の2つのみとしたり、あるいは回転処理及び平行移動処理とは異なる組み合わせの2つの処理としたり、1つの処理のみを実行するようにしてもよい。第1の実施形態と同様に、これらの処理の選択は、ワーク6の形状や、カメラ4との位置姿勢関係や、要求される処理時間及び精度等に応じて、適宜設定することができる。

0077

尚、以上述べた本実施形態の各処理動作は具体的にはパターンマッチング演算部55により実行されるものである。従って、上述した機能を実現するソフトウェアのプログラムを記録した記録媒体をパターンマッチング演算部55に供給するようにしてもよい。そして、パターンマッチング演算部55を構成するCPU50が記録媒体に格納されたパターンマッチングプログラム52aを読み出し実行することによって達成されるようにしてもよい。この場合、記録媒体から読み出されたプログラム自体が上述した各実施の形態の機能を実現することになり、プログラム自体及びそのプログラムを記録した記録媒体は本発明を構成することになる。

0078

また、本実施形態では、コンピュータ読み取り可能な記録媒体がROM52であり、ROM52にパターンマッチングプログラム52aが格納される場合について説明したが、これに限定するものではない。プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、プログラムを供給するための記録媒体としては、HDD外部記憶装置記録ディスク等を用いてもよい。

0079

1…ロボットシステム、2…ロボット装置、3…ワーク供給装置、4…カメラ、6…ワーク(検出対象物)、10…被探索画像、11…探索エッジ画像、12…モデルエッジ画像、13…エッジ抽出領域、15…切り出し画像、21…制御装置(パターンマッチング装置)、51…RAM(記憶部)、52…ROM(記録媒体)、55…パターンマッチング演算部(演算部)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 川崎重工業株式会社の「 医療用マニピュレータ」が 公開されました。( 2020/09/24)

    【課題】アームの回動に伴うケーブルへの負担を抑制しつつ、周辺機器の設置スペースを確保することが可能な医療用マニピュレータを提供する。【解決手段】医療用マニピュレータは、先端部に医療器具を保持する多自由... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ