図面 (/)

技術 先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システム

出願人 倉敷紡績株式会社
発明者 北井基善
出願日 2019年1月15日 (2年1ヶ月経過) 出願番号 2019-004276
公開日 2020年7月27日 (6ヶ月経過) 公開番号 2020-110881
状態 未査定
技術分野 マニプレータ
主要キーワード 把持システム 配置台 Y座標 固定端近傍 推定形状 モフォロジ処理 二次元カメラ 線状物
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年7月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

線状部材位置情報を正確に取得することが可能な、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムを提供する。

解決手段

この先端部材位置算出方法においては、プラグC11およびこのプラグC11が接続された電線C12を備えるコネクタC1の先端部材位置算出方法であって、プラグC11の画像情報を取得する画像取得工程と、この画像情報から先端部材領域を抽出する工程と、抽出した先端部材領域に基づき、プラグC11の位置を算出する先端部材位置算出工程と、を備える。

概要

背景

対象物三次元カメラ等で認識して自律的に把持するロボットの普及が進んでいる。線状部材を把持することについては、たとえば特開2014−176917号公報(特許文献1)に、線状体の組み付け作業を行なうロボット装置であって、一端が固定された線状体の固定端近傍を把持したのち、把持部を所定の軌跡スライドさせて他端に移動させる装置が記載されている。これにより、線状部材の一例である電線に付いた癖等により正確に推定することが困難な他端を素早く把持できるとされる。

概要

線状部材の位置情報を正確に取得することが可能な、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムを提供する。この先端部材位置算出方法においては、プラグC11およびこのプラグC11が接続された電線C12を備えるコネクタC1の先端部材位置算出方法であって、プラグC11の画像情報を取得する画像取得工程と、この画像情報から先端部材領域を抽出する工程と、抽出した先端部材領域に基づき、プラグC11の位置を算出する先端部材位置算出工程と、を備える。

目的

この発明は、上記課題を解決することを目的としており、線状部材の位置情報を正確に取得することが可能な、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

先端部材および前記先端部材が接続された線材を備える線状部材の先端部材位置算出方法であって、前記先端部材の画像情報を取得する画像取得工程と、前記画像情報から先端部材領域を抽出する工程と、抽出した前記先端部材領域に基づき、前記先端部材の位置を算出する先端部材位置算出工程と、を備える、先端部材位置算出方法。

請求項2

前記先端部材位置算出工程は、前記先端部材領域に基づき、前記先端部材の向きである軸線を算出する軸線算出工程を含む、請求項1に記載の先端部材位置算出方法。

請求項3

前記軸線算出工程は、前記先端部材領域における一端側の中点および他端側の中点を計算し、それぞれの中点を結んで軸線を算出する工程である、請求項2に記載の先端部材位置算出方法。

請求項4

前記軸線算出工程は、前記先端部材の画像情報における前記先端部材の主成分分析により、軸線を算出する工程である、請求項2に記載の先端部材位置算出方法。

請求項5

前記先端部材位置算出工程は、前記軸線と前記先端部材領域との重なる部分に基づき、前記先端部材の位置を算出する、請求項2から請求項4のいずれか一項に記載の先端部材位置算出方法。

請求項6

前記先端部材領域を抽出する工程は、前記線状部材の画像情報を取得し、取得した前記線状部材の前記画像情報を、先端部材画像領域線材画像領域とに分離する画像情報分離工程を含む、請求項1から請求項5のいずれか一項に記載の先端部材位置算出方法。

請求項7

請求項1から請求項6のいずれか一項に記載の前記先端部材位置算出方法で算出した前記先端部材の位置に基づき、ロボットハンドが前記先端部材を把持する把持工程を備える、先端部材把持方法

請求項8

先端部材接続方法であって、請求項7に記載の前記先端部材把持方法で把持した前記先端部材を、前記ロボットハンドを用いて、接続部材に接続する接続工程を有する、先端部材接続方法。

請求項9

前記先端部材の画像情報に基づいて、前記先端部材の回転角度を算出する回転角度算出工程をさらに備え、前記接続工程は、算出した前記回転角度に基づいて、前記先端部材を前記接続部材に接続する、請求項8に記載の先端部材接続方法。

請求項10

先端部材および前記先端部材が接続された線材を備える線状部材の先端部材位置算出システムであって、前記先端部材の画像情報を取得する画像取得装置と、前記画像情報から先端部材領域を抽出し、抽出した前記先端部材領域に基づき、前記先端部材の位置を算出する演算部と、を備える、先端部材位置算出システム。

請求項11

先端部材および前記先端部材が接続された線材を備える線状部材の先端部材把持システムであって、前記先端部材の画像情報を取得する画像取得装置と、前記画像情報から先端部材領域を抽出し、抽出した前記先端部材領域に基づき、前記先端部材の位置を算出する演算部と、算出された前記先端部材の位置に基づいて、前記先端部材を把持する把持部と、を有する、先端部材把持システム。

技術分野

0001

本発明は、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムに関する。

背景技術

0002

対象物三次元カメラ等で認識して自律的に把持するロボットの普及が進んでいる。線状部材を把持することについては、たとえば特開2014−176917号公報(特許文献1)に、線状体の組み付け作業を行なうロボット装置であって、一端が固定された線状体の固定端近傍を把持したのち、把持部を所定の軌跡スライドさせて他端に移動させる装置が記載されている。これにより、線状部材の一例である電線に付いた癖等により正確に推定することが困難な他端を素早く把持できるとされる。

先行技術

0003

特開2014−176917号公報

発明が解決しようとする課題

0004

線状部材としてのコネクタは、電線等の線材の先端部に、プラグ等の先端部材が接続されている場合が多い。ロボットハンドの把持部、例えば、グリッパで先端部材を直接把持し、先端部材を所定の位置に移動させたり、先端部材をコネクタハウジング等の接続部材に接続すること等が想定される。

0005

この場合、画像処理方法を用いて線状部材の位置情報を取得するが、先端部材の位置情報を正確に取得することが重要となる。

0006

この発明は、上記課題を解決することを目的としており、線状部材の位置情報を正確に取得することが可能な、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムを提供することにある。

課題を解決するための手段

0007

この開示における先端部材位置算出方法は、先端部材および上記先端部材が接続された線材を備える線状部材の先端部材位置算出方法であって、上記先端部材の画像情報を取得する画像取得工程と、上記画像情報から上記先端部材領域を抽出する工程と、抽出した上記先端部材領域に基づき、上記先端部材の位置を算出する先端部材位置算出工程と、を備える。

0008

他の形態においては、上記先端部材位置算出工程は、上記先端部材領域に基づき、上記先端部材の向きである軸線を算出する軸線算出工程を含む。

0009

他の形態においては、上記軸線算出工程は、上記先端部材領域における一端側の中点および他端側の中点を計算し、それぞれの中点を結んで軸線を算出する工程である。

0010

他の形態においては、上記軸線算出工程は、上記先端部材の画像情報における上記先端部材の主成分分析により、軸線を算出する工程である。

0011

他の形態においては、上記先端部材位置算出工程は、上記軸線と上記先端部材領域との重なる部分に基づき、上記先端部材の位置を算出する。

0012

他の形態においては、上記先端部材領域を抽出する工程は、上記線状部材の画像情報を取得し、取得した上記線状部材の上記画像情報を、先端部材画像領域線材画像領域とに分離する画像情報分離工程を備える。

0013

この開示における先端部材把持方法は、上述のいずれかに記載の先端部材位置算出方法で算出した上記先端部材の位置に基づき、ロボットハンドが上記先端部材を把持する把持工程を備える。

0014

この開示における先端部材接続方法は、上記先端部材把持方法で把持した上記先端部材を、上記ロボットハンドを用いて、接続部材に接続する接続工程を有する。

0015

他の形態においては、上記先端部材の画像情報に基づいて、上記先端部材の回転角度を算出する回転角度算出工程をさらに備え、上記接続工程は、算出した上記回転角度に基づいて、上記先端部材を上記接続部材に接続する。

0016

この開示における先端部材位置算出システムは、先端部材および上記先端部材が接続された線材を備える線状部材の先端部材位置算出システムであって、上記先端部材の画像情報を取得する画像取得装置と、上記画像情報から上記先端部材領域を抽出し、抽出した上記先端部材領域に基づき、上記先端部材の位置を算出する演算部と、を備える。

0017

この開示における先端部材把持システムは、先端部材および前記先端部材が接続された線材を備える線状部材の先端部材把持システムであって、上記先端部材の画像情報を取得する画像取得装置と、上記画像情報から上記先端部材領域を抽出し、抽出した上記先端部材領域に基づき、上記先端部材の位置を算出する演算部と、上記算出された上記先端部材の位置に基づいて、上記先端部材を把持する把持部と、を有する。

発明の効果

0018

この発明によれば、先端部材の位置情報を正確に取得することが可能な、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムを提供することを可能とする。

図面の簡単な説明

0019

関連技術の三次元計測装置機能ブロック図である。
関連技術の三次元計測方法を説明するための図である。
関連技術の三次元計測方法の工程フロー図である。
ステレオカメラ撮像された第1画像を示す図である。
ステレオカメラで撮像された第2画像を示す図である。
関連技術の三次元計測方法の第1抽出工程操作フロー図である。
第1線像が抽出された第1画像を示す図である。
第2線像が抽出された第1画像を示す図である。
着目点が選択された第1画像を示す図である。
エピポーラ線と第2線像との交点が求められた第2画像を示す図である。
色テーブルの一例を示す図である。
電線の先端部にプラグが接続されたコネクタを画像撮影した図である。
図12に示された図に基づき、電線およびプラグのY座標ごとの中心位置を計算した結果を示す図である。
図13に示す各点の三次元位置の情報から得られたコネクタの三次元位置の情報を示す図である。
本実施の形態における先端部材位置算出方法を示すフロー図である。
電線の先端部にプラグが接続されたコネクタを示す図である。
図16に示す電線およびプラグの画像処理情報を示す図である。
図17に示す電線の画像領域を分離した図である。
図18に示す各点の三次元情報から得られた電線の三次元画像情報である。
図17に示すプラグの画像領域を分離した図である。
図20に示す第1中心軸位置から得られたプラグの三次元画像情報である。
電線の先端部にプラグが接続された電気機器を示す図である。
プラグの正面を示す図である。
コネクタハウジングの正面を示す図である。
本実施の形態の先端部材把持システムの全体図である。
本実施の形態の接続工程の自動化システムのフローを示す図である。
本実施の形態のロボットハンドに採用されるグリッパの詳細構造を示す斜視図である。

実施例

0020

本実施の形態について、以下、図を参照しながら説明する。以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。図においては、実際の寸法比率では記載しておらず、構造の理解を容易にするために、一部比率を異ならせて記載している。

0021

以下の開示においては、線状物の一例として電線を用いた場合について説明しているが、電線に限定されるものではない。この説明での線状物とは、細長い形状を有する物体であれば何でもよい。線状物の一例としては、電線、ワイヤーハーネスはんだ、糸、繊維、ガラス繊維光ファイバチューブ、その他の線状物が挙げられる。細線を束にした電線に限定されず、一本線から構成される電線等も含まれる。

0022

(関連技術:線状物の三次元計測方法および三次元計測装置)
以下、図1から図11を参照して、関連技術として、線状物の三次元計測方法および装置の一例について説明する。

0023

図1を参照して、三次元計測装置10は、ステレオカメラ11、演算部15、記憶部16、および、入出力部17を備える。演算部15、記憶部16、および、入出力部17を総称して、制御部と呼ぶことがある。

0024

ステレオカメラ11は、第1カメラ12、第2カメラ13、および、カメラ制御部14を含む。第1カメラ12は、カラー二次元画像である第1画像を撮像するカラーカメラである。第2カメラ13は、カラーの二次元画像である第2画像を撮像するカラーカメラであって、第1カメラ12に対する相対位置が固定されている。

0025

カメラ制御部14は、第1カメラ12および第2カメラ13を制御し、演算部15との通信を行なう。カメラ制御部14は、たとえば、演算部15から撮像指示を受信して第1カメラ12および第2カメラ13に撮像指示を送信し、第1画像および第2画像を演算部15に転送する。

0026

演算部15は、カメラ制御部14との通信の他、ステレオカメラ11から受信した第1画像および第2画像を処理して線状物の三次元位置を算出する。記憶部16は、ステレオカメラ11が撮像した第1画像および第2画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部17は、作業者からの指令受け付けたり、作業者に対して計測結果を表示する。

0027

図2を参照して、この計測方法では、電線21、電線22および電線23を第1カメラ12および第2カメラ13で撮像する。電線21上のある点Pに対して、第1カメラによる第1画像30への投影点Qと、第2カメラによる第2画像40への投影点Rが得られれば、既知である第1カメラおよび第2カメラの位置情報を利用して、点Pの三次元位置を算出することができる。第1カメラおよび第2カメラの位置情報は、予め2つのカメラをキャリブレーションしておくことで取得できる。

0028

図2白黒で描かれているが、計測対象である3本の電線21、電線22および電線23は色分けされており、互いに異なる色、たとえば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されない。

0029

図3は、三次元計測方法のフロー図である。以下、各工程について説明する。
計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図11に、電線の種類毎に、その色を赤・緑・青(RGB)の3原色輝度で表した色テーブルを一例として示す。色テーブルは記憶部16に記憶される。

0030

計測時には、ステレオカメラ11で電線21、電線22および電線23を撮像する。電線21、電線22および電線23は第1カメラ12によって第1画像30に撮像される。それと同時に、電線21、電線22および電線23は第2カメラ13によって、第1カメラとは異なる視点から、第2画像40に撮像される。第1画像および第2画像は演算部15に転送され、記憶部16に記憶される。

0031

演算部15は、ステレオカメラ11から第1画像30および第2画像40を取得する。このとき、図4を参照して、第1画像30には3本の電線21、電線22および電線23のそれぞれ像31、像32および像33が写っている。同様に、図5を参照して、第2画像40には3本の電線21、電線22および電線23のそれぞれの像41、像42および像43が写っている。

0032

演算部15は、第1画像30上で、特定の電線21を第1線像として抽出する。図6を参照して、この第1線像を抽出する工程(第1線像抽出工程)は、色による比較操作、二値化操作、ノイズ除去操作、細線化操作等に基づく。

0033

色による抽出操作では、演算部15は計測しようとする電線21の色を色テーブルから取得して、第1画像30上でその特定の色の電線21の像31だけを第1線像34として抽出する。

0034

具体的には、第1画像の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行なうことができる。

0035

たとえば、電線21に対応するRGB値を色テーブルから取得して、第1画像30の各画素のRGB値をそれと比較し、RGBの各値の差が所定の値以下であれば、その画素は電線21と同じ色であると判断する。所定の値は、RGBの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。

0036

次に、第1画像30を二値化する。これは適当な閾値を用いて、各画素の値を0か1に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判定した画素を1とし、異なる色と判定した画素を0とすることで2値化できる。

0037

次に、第1画像30に対してノイズ除去操作を行なう。上記色による抽出操作によって第1線像34が抽出されたが、第1画像にはカメラのショットノイズなどによる孤立した画素が残っている。1つの画素に対するRGB用の撮像素子の位置が実際にはわずかにずれていることから、各電線の像31、像32および像33の輪郭部など、色が急峻に変化する部分で画像の色が乱れや孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第1線像34が得られる。

0038

次に、第1線像34を細線化する。これは第1線像の連結性を保ちながら線幅を1に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。

0039

図7に得られた第1線像34を示す。第1線像が抽出された第1画像30は記憶部16に記憶される。

0040

図3に戻って、第2画像40に対しても第1画像30と同様の操作を行い、第2線像44を抽出する(第2線像抽出工程)。図8に第2線像44を示す。第2線像が抽出された第2画像は記憶部16に記憶される。

0041

図9を参照して、演算部は、第1画像30の第1線像34上に着目点Qを選択する。点Qは電線21の点P(図2)の第1画像への投影点である。

0042

図10を参照して、演算部は、第2画像40上で、第1画像30の着目点Qに対応するエピポーラ線45を求める。第2線像44とエピポーラ線45との交点Rを求め、これを着目点Qに対応する点とする。点Rは電線21の点P(図2)の第2画像への投影点である。

0043

以上の工程により、図2に示した電線21の点Pに対して、第1画像30への投影点Qと、第2画像40への投影点Rが得られたので、演算部は点Pの三次元位置を算出する。

0044

次に、第1線像34上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Qをずらしながら、すなわち点Pを電線21上で移動させながら三次元位置を求めることによって、電線21の三次元計測を行なう。

0045

電線21について必要な情報が得られた時点で、上記繰り返し処理を終了する。引き続き他の電線、たとえば電線22の三次元計測を行なう場合は、電線22の色を色テーブルから取得して、第1カメラおよび第2カメラが撮像した当初の第1画像および第2画像に対して、第1線像抽出工程から後の工程を繰り返す。

0046

ここで、色テーブルについて、さらに詳しく説明する。
図11に例示した色テーブルは、線状物の種類毎に1つのRGB値が記載されたものであったが、線状物1種類に対して複数のRGB値を記載しておき、いずれかのRGB値と同色と判定されれば、当該線状物であると判断してもよい。色はRGB以外の表色系で記録されていてもよい。たとえば、国際照明委員会CIE)が策定したCIELAB表色系に基づいてL*、a*、b*で表現されていてもよい。ステレオカメラからの出力がRGB値であっても、表色系間換算は容易である。

0047

画素のRGB値と色テーブルのRGB値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、L*a*b*の値で表現されていた方が、光量変化ロバスト閾値範囲を設定しやすく、より好ましい。たとえば、L*値の閾値範囲を広く取っておき、a*値、b*値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブル混同せず同色であるとみなすことができる。

0048

色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第1カメラまたは第2カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第1画像および第2画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。

0049

たとえば、上記三次元計測方法における把持対象の線状物としては、ケーブルの他、ワイヤーハーネス、その他種々の線状物に適用可能である。上記工程および操作は、それが可能である場合には、実行する順序入れ替えたり、省略してもよい。

0050

上記三次元計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測先端部材の形状その他の特徴に着目したマッチング方法を併用するメリットがある。

0051

<先端部材位置算出方法についての検討>
次に、上記線状物の三次元計測方法を用いた、先端部材位置算出方法について検討する。具体的には、先端部材と、この先端部材が接続された線材とのそれぞれの三次元データを正確に取得するための、先端部材位置算出方法について検討する。

0052

図12は、先端部材としてのプラグC11と、このプラグC11が接続された線材としての電線C12とを備える線状部材としてのコネクタC1を画像撮影した図である。通常、電線C12の径は、プラグC11の径よりも細く、プラグC11と電線C12との接続部には、段差が生じる。

0053

図13に、図12に示された図に基づき、電線およびプラグのY座標ごとの中心位置を計算した結果を示す図である。上述した「線状物の三次元計測方法」を用いて、コネクタC1に対して、コネクタC1上のP1からP14の14点について、各点の三次元座標を算出する。

0054

図14に、図13に示す各点の三次元座標の情報から、コネクタC1の三次元座標標G1が得られる。三次元座標標G1のうち、プラグC11の三次元座標G11と電線C12の三次元座標G12が得られている。

0055

しかしながら、図14からも明らかなように、実際のコネクタC1の形状に対して、三次元座標標G1の形態は、乖離している。図14中の矢印で示す箇所には、大きな凹凸が発生している。これは、プラグC11と電線C12との接続部には段差が生じている結果、この部分でプラグC11および電線C12の正確な三次元座標が得られていないことに起因している。

0056

(本実施の形態:先端部材位置算出方法)
以下、図15から図21を参照して、上記検討結果に基づく、本実施の形態の先端部材位置算出方法について説明する。図15は、本実施の形態における先端部材位置算出方法を示すフロー図である。

0057

図15および図16を参照して、この先端部材位置算出方法は、プラグC11、および、プラグC11が接続された電線C12を備えるコネクタC1の先端部材位置算出方法であって、以下の工程を備えている。コネクタC1の画像情報を取得する画像取得工程と、この画像情報からプラグC11の先端部材領域を抽出する先端部材領域抽出工程と、抽出した先端部材領域に基づき、プラグC11の位置を算出する先端部材位置算出工程とを含む。

0058

画像取得工程は、コネクタC1の画像情報を取得する。先端部材領域抽出工程は、取得したコネクタC1の画像情報を二値化し、モフォロジ処理によって、プラグC11の先端部材画像領域と、電線C12の線材画像領域とに分離する(S1)。これにより、コネクタC1の画像情報からプラグC11のみの画像情報を得ることができる。図16に示すように、コネクタC1の形状は、図12に示すコネクタC1と同じ形状である。なお、先端部材領域抽出工程は、上述した「線状物の三次元計測方法」で用いた、色による比較操作、二値化操作、ノイズ除去操作、細線化操作等のいずれか単独操作に基づくものでも良く、図6のように2以上の各操作を組み合わせたものに基づくものでも良い。

0059

図15を用い、図17から図19を参照して、コネクタC1の先端部材位置算出方法について説明する。図17は、コネクタC1の画像情報を示す図であり、図18は、図17から電線C12の画像領域を分離した図、図19は、図18に示す各点の三次元情報から得られた電線の三次元画像情報である。

0060

図16に示すコネクタC1の画像情報を取得する(S1)。取得したコネクタC1の画像情報を2値化して図17に示すコネクタC1の画像情報を取得する。この時、ノイズ除去等の処理を行ってもよい(S2)。図17に示すコネクタC1の画像情報から、図18に示すように、電線C12の線材画像領域と図20に示すプラグC11の先端部材領域とに画像情報を分離する(S3)。線材領域と先端部材領域との画像情報分離処理は、モフォロジ処理等の公知の方法で行えばよい。

0061

次に、図18に示す、電線C12のみの画像情報に基づいて、上述した「線状物の三次元計測方法」を用いて、電線C12に対して、電線C12上のP11からP16の6点について、各点の三次元座標を算出する(S10〜S14)。本実施の形態では、6点について三次元座標を算出する場合について説明したが、2点以上の三次元座標から、電線C12の位置を推定してもよい。図19に示すように、この各点の三次元座標の情報から、電線C12のみの三次元座標G11が算出できる。得られた電線C12の三次元座標G11に基づき、線材の把持位置を算出する(S15)。線材の把持位置は、任意に決定することができるが、三次元座標G11上であることが好ましい。

0062

他方、図15を用い、図20および図21参照して、プラグC11の三次元情報の取得について説明する。図20は、図17に示すプラグC11の先端部材画像領域のみを取りだした図であり、図21は、図20に示す第1中心軸線から得られたプラグC11の推定三次元情報である。

0063

図20を参照して、コネクタC1の先端部材位置算出方法は、まず、プラグC11の先端部材領域に基づき、プラグC11の向きである軸線を算出する(軸線算出工程S20)。軸線の算出方法は、公知の手法を用いて先端部材領域の方向性を算出すればよく、例えば、プラグC11の画像情報におけるプラグC11の主成分分析により、軸線を算出することができる。また、プラグC11は、円筒形状であるとの前提の下、図20に示す画像情報に基づき、一端側の中点P1および他端側の中点P2とし、中点P1およびP2を結んで第1中心軸線CL1を算出してもよい。

0064

次に、図21を参照して、第1中心軸線CL1に予め定めた既知の太さの円筒M1の第2中心軸線CL2とを重ね合わせる。これにより、プラグC11の推定形状である円筒M1の三次元情報が得られる(S21)。

0065

以上により得られたプラグC11の推定形状に基づき、たとえばロボットアーム等を用いて、プラグC11を把持する工程(S23)(先端部材把持方法)を採用することが可能となる。把持位置は、第1中心軸線CL1に基づいて任意に決定できるが、第1中心軸線CL1上のP2からP1の間の任意の点を算出することが好ましい(S22)。

0066

なお、上記実施の形態では、プラグC11の三次元画像情報、および、電線C12の三次元画像情報を得る場合を説明しているが、プラグC11の推定形状に基づき、たとえばロボットアーム等を用いて、プラグC11を把持することが目的である場合には、図17に示すコネクタC1の画像情報から、図20に示すように、プラグC11の画像情報を分離して、プラグC11の推定形状を得る工程のみを採用してもよい。

0067

<先端部材接続方法、先端部材位置算出システム、先端部材把持システム>
次に、図22から図26を参照して、上述した先端部材位置算出方法で算出したプラグの位置に基づき、プラグを把持したロボットハンドを用いて、プラグをコネクタハウジングに接続する接続工程を有する先端部材接続方法、および、先端部材位置算出システム、並びに、先端部材把持システムについて以下説明する。

0068

図22にコネクタC1が接続された電気機器100を示す。コネクタC1は、電線C12の先端部にプラグC11が接続されている。電気機器100の一例としては、駆動モーターオルタネーターバッテリーコンプレッサ自動車電装品家電、その他の様々な電気機器を挙げることができる。

0069

本実施の形態では、電気機器100の導通テストを行なうために、後述するロボットハンドを用いて、電気機器100に電線C12を介して接続されたプラグC11を、コネクタハウジングC2に自動接続する工程(先端部材接続方法)について説明する。

0070

図23にプラグC11および図24にコネクタハウジングC2を図示する。図23を参照して、プラグC11は、筒状の胴体部C11aを有する。胴体部C11aの軸線方向(図13中矢印A方向)が、算出したプラグC11の第1中心軸線方向と一致すると推定する。

0071

胴体部C11aの内部には、複数のピンC11bが所定位置に配列されている。胴体部C11aの外周面には、プラグC11の位置決めを行なうため、胴体部C11aの軸線方向に沿って延びるリブC11cが設けられている。この図23に示す状態を、プラグC11の正面が認識できる状態とする。プラグC11の正面が認識できることにより、プラグC11の回転状態(リブC11cの位置に基づく回転角度の算出)を認識できることとなる。

0072

図24を参照して、コネクタハウジングC2は、ピンC11bに対応する位置にピン受けC22が設けられたハウジングC21を有する。ハウジングC21には、リブC11cが挿入される位置決め凹部C23が設けられている。

0073

次に、図25および図26を参照して、ロボットアーム500に設けられたロボットハンド600を用いて、プラグC11をコネクタハウジングC2に装着する自動化の一例について説明する。図25は、先端部材把持システム1000の全体図、図26は、装着工程の自動化システムのフローを示す図である。

0074

先端部材把持システム1000の制御は、後述の先端部材位置算出システム200で行なう。この先端部材位置算出システム200は、図1で説明した三次元計測装置10と同じである。以下、先端部材位置算出システム200の説明には、図1に示した三次元計測装置10と同じ参照符号を付す場合がある。

0075

図25を参照して、先端部材把持システム1000は、筐体700を有する。筐体700の上部は、透明壁400が配置され内部の装着工程を目視することができる。筐体700の内部には、所定位置にロボット900および対象物配置台800が配置されている。ロボット900は、ロボットアーム500を備えており、ロボットアーム500の先端部は、ロボットハンド600が装着されている。対象物配置台800の上には、図22に示したコネクタC1を有する電気機器100、および、コネクタハウジングC2が配置されている。

0076

さらに、筐体700の内部の所定位置には、ステレオカメラ11等を含む先端部材位置算出システム200、および、エリアカメラ300が配置されている。エリアカメラ300は、詳細は後述するが、正面画像得手段として機能し、画像処理により、プラグC11の向き(回転角度)を測定する際に用いられる。エリアカメラ300から得られた正面画像情報は、三次元計測装置10に入力される。三次元計測装置10は、この正面画像に基づき、プラグC11の回転角度を算出する回転角度算出工程を含む。この回転角度算出工程は、演算部15で実施してもよいし、別途、回転角度算出部を設けてもよい。

0077

なお、正面画像取得手段として二次元カメラのエリアカメラ300を採用する場合について説明しているが、ステレオカメラ11を正面画像取得手段として兼用させてもよい。

0078

ロボットアーム500には、たとえば、FANUC Robot LR Mate 200iD/7L(可搬重量7kg、リーチ長さ900mm)が採用される。ロボットハンド600の先端には、一対のグリッパ610が設けられており、エアシリンダによる平行開閉が行なわれる。グリッパ610の幅は約10mm、長さは約20mm程度である。グリッパ610の開閉ストロークは、約10mm程度である。

0079

先端部材位置算出システム200は、紡績製の線状物認識用3Dビジョンが用いられる。対象物とステレオカメラ11との距離は、約500mm、視野範囲は400mm×250mm、焦点深度は±100mmである。線状物把持位置認識機能として、把持位置等、および、ロボットハンド姿勢を出力する際に用いられる。

0080

エリアカメラ300には、Fanuc製のエリアカメラ、または、Balser製のエリアカメラ(Dart)が用いられる。視野範囲は、200mm×150mm程度である。コネクタ方向認識機能として、コネクタの回転角度を出力する際に用いられる。

0081

次に、図26を参照して、先端部材把持システム1000を用いた、プラグC11のコネクタハウジングC2への装着工程(配線自動化工程)について説明する。なお、以下のフローは、先端部材位置算出システム200内に設けられたカメラ制御部14および/または演算部15で実行する。

0082

先端部材位置算出システム200を用いて、コネクタC1(電線C12およびプラグC11)を3Dスキャンする(ステップ1(S1と称す。以下同様))。得られた3D画像情報に基づき、コネクタC1の把持が可能な位置にコネクタC1が位置するか否かの判別を行なう(S2)。具体的には、三次元計測装置10を用いて、先端部材把持位置算出機能を発揮させて、線状物把持位置を確認する。コネクタC1の把持が不可能と判断した場合には、テストを終了する(S3)。

0083

コネクタC1の把持が可能と判断した場合には、プラグC11の位置情報(把持位置)、把持手前位置(把持位置近傍の所定位置)、および把持方向をロボットアーム500およびロボットハンド600に送信する(S4)。把持手前位置とは、ロボットハンドが先端部材を把持する動作の前に待機または通過する位置であり、コネクタに干渉しない位置である。把持手前位置は、例えばプラグC11の上方、下方または側方であって、予め決められた距離だけ離れた位置であってもよいし、プラグC11の3次元形状に基づいて決定してもよい。

0084

ロボットハンド600がプラグC11を把持する把持方向(把持姿勢)は、ロボットハンドの把持部とプラグC11とが略直角をなすように把持することが好ましい。プラグC11を把持した後にコネクタハウジングC2に挿入する際もロボットの制御が容易になるからである。好ましくは、把持手前位置において、プラグC11を把持した際に把持部とプラグC11とが直角をなす向きになるように、ロボットハンド600の姿勢を調整する。その後、ロボットハンド600は、把持手前位置から把持位置に向かって直進し、把持位置に到達後、プラグC11を把持する。これにより、ロボットハンド600がコネクタハウジングC2に干渉しにくい状態で、プラグC11をコネクタハウジングC2に挿入することが可能となる。

0085

図26のプラグC11をコネクタハウジングC2に装着する自動化方法に戻って、先端部材位置算出システム200を用いて、ロボットハンド600をプラグC11の把持位置に移動させる(S5)。その後、ロボットハンドを直進させて、把持位置に移動させる(S6)。ロボットハンド600がプラグC11の把持位置に到達し、プラグC11の把持が可能か否かの判別を行なう(S7)。具体的には、ロボットハンド600の開いた一対のグリッパ610が把持手前位置に到達したか否かの判別を行なう。

0086

ロボットハンド600により、プラグC11の把持が不可能と判別した場合には、ロボットアーム500およびロボットハンド600の動作を停止させ(S8)、テストを終了させる。

0087

ロボットハンド600により、プラグC11の把持が可能と判別した場合には、ロボットハンド600の一対のグリッパ610を閉方向に平行移動させて、ロボットハンド600によりプラグC11を把持する(S9)。

0088

次に、ロボットアーム500により、プラグC11をプラグ方向認識ステーション(ST)に移動させる(S10)。プラグ方向認識ステーションへの移動とは、プラグC11の正面(図23)が認識できる位置に、ロボットアーム500およびロボットハンド600の位置を制御することを意味する。具体的には、エリアカメラ300を用いて、プラグ方向認識機能を発揮させて、プラグの回転方向(回転角度)を算出する(S11)。コネクタハウジングC2への装着が不可であると判断した場合には、先端部材把持システム1000を停止させる(S12)。

0089

コネクタハウジングC2への装着が可能であると判断した場合には、ロボットアーム500およびロボットハンド600を用いて、プラグC11をコネクタハウジングC2の手前まで移動させる(S13)。

0090

次に、ロボットアーム500およびロボットハンド600を用いて、プラグC11のリブC11cの位置が、コネクタハウジングC2の位置決め凹部C23に合う位置に、プラグC11の軸線を回転中心軸として回転させる(S14)。

0091

次に、ロボットアーム500およびロボットハンド600を用いて、プラグC11をコネクタハウジングC2に挿入する(S15)。なお、プラグC11の回転(S14)はプラグC11をコネクタハウジングC2へ移動する際(S13)に同時に行ってもよい。その後、電気機器100の導通テストを実行する(S16)。以上により、電気機器100の導通テストを終了する。

0092

上述した先端部材把持システム1000においては、プラグC11のみを把持する場合について説明しているが、ロボットハンド600を2以上設け、プラグC11の把持のみでなく、電線C12を他のロボットハンド600で把持することにより、電線C12の他の機器への干渉を回避させるようにしてもよい。

0093

図27を参照して、本実施の形態のロボットハンド600に採用されるグリッパ610の詳細構造について説明する。図27は、グリッパ610の詳細構造を示す斜視図である。グリッパ610は、対向するように一対に設けられている。

0094

グリッパ610は、支持部610aと、この支持部610aの下端において相互の対向する方向(内側)に延びる腕部610bとを含む。腕部610bの先端面には、半円柱状の第1溝部610cと、この第1溝部610cに連通する円柱状の第2溝部610eが設けられている。第2溝部610eよりも第1溝部610cの方が大径であることから、第1溝部610cと第2溝部610eとの間には、係止面610dが設けられる。

0095

ロボットハンド600でプラグC11を把持する際、グリッパ610の腕部610bが当接することで、コネクタC1が、保持される。第1溝部610cによりプラグC11が保持され、第2溝部610eにより電線C12が保持されるか、電線C12が第2溝部610e内に収まる。プラグC11をコネクタハウジングC2に挿入する際、係止面610dにプラグC11の一端側が押し付けられて挿入される。係止面610dにプラグC11が当接することで、グリッパ610からコネクタC1の抜けを防止することができる。

0096

なお、プラグC11に対する保持力を高めるために、第1溝部610cおよび/または第2溝部610eに、シート状の弾性部材滑り止め部材)を装着するようにしてもよい。

0097

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

0098

10三次元計測装置、11ステレオカメラ、12 第1カメラ、13 第2カメラ、14カメラ制御部、15演算部、16 記憶部、17入出力部、21,22,23電線、30 第1画像、31,32,33,41,42,43 像、34 第1線像、40 第2画像、44 第2線像、45エピポーラ線、200先端部材位置算出システム、300エリアカメラ、400 透明壁、500ロボットアーム、600ロボットハンド、610グリッパ、610a 支持部、610b 腕部、610c 第1溝部、610d係止面、610e 第2溝部、700筐体、800配線対象物配置台、1000 先端部材把持システム、C1コネクタ、C11プラグ、C11a胴体部、C11bピン、C11cリブ、C12 電線、C2コネクタハウジング、C21ハウジング、C22ピン受け、C23位置決め凹部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ