図面 (/)

技術 先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システム

出願人 倉敷紡績株式会社
発明者 北井基善小寺熱気
出願日 2019年1月15日 (2年1ヶ月経過) 出願番号 2019-004275
公開日 2020年7月27日 (6ヶ月経過) 公開番号 2020-112470
状態 未査定
技術分野 マニプレータ 光学的手段による測長装置
主要キーワード 把持システム 配置台 固定端近傍 端部コネクタ 推定点 二次元カメラ 線状物 三次元カメラ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年7月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

先端部材の位置と、さらに好ましくは先端部材の回転方向を把握するための、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムを提供する。

解決手段

この先端部材位置推定方法は、先端にコネクタC1を有する電線21の先端部材位置推定方法であって、電線21上の2点以上の座標を取得する座標取得工程と、電線21上の2点以上の座標に基づいて、コネクタC1の位置を推定する先端部材位置推定工程と、を備える。

概要

背景

対象物三次元カメラ等で認識して自律的に把持するロボットの普及が進んでいる。線状物を把持することについては、たとえば特開2014−176917号公報(特許文献1)に、線状体の組み付け作業を行なうロボット装置であって、一端が固定された線状体の固定端近傍を把持したのち、把持部を所定の軌跡スライドさせて他端に移動させる装置が記載されている。これにより、線状物の一例である電線に付いた癖等により正確に推定することが困難な他端を素早く把持できるとされる。

特開2016−192138号公報(特許文献2)には、ワイヤーハーネスの製造方法および画像処理方法に関する発明が開示され、ワイヤーハーネスを製造する過程において、電線集合体の三次元形状が測定されることによって加工位置が特定される加工位置特定処理が実施される。

概要

先端部材の位置と、さらに好ましくは先端部材の回転方向を把握するための、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムを提供する。この先端部材位置推定方法は、先端にコネクタC1を有する電線21の先端部材位置推定方法であって、電線21上の2点以上の座標を取得する座標取得工程と、電線21上の2点以上の座標に基づいて、コネクタC1の位置を推定する先端部材位置推定工程と、を備える。

目的

この発明は、上記課題を解決することを目的としており、線状物の先端部分の形状から先端部材の位置と、さらに好ましくは先端部材の回転方向を把握するための、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

先端に先端部材を有する線状物の先端部材位置推定方法であって、前記線状物上の2点以上の座標を取得する座標取得工程と、前記線状物上の2点以上の座標に基づいて、前記先端部材の位置を推定する先端部材位置推定工程と、を備える、先端部材位置推定方法。

請求項2

前記先端部材位置推定工程は、前記線状物上の2点以上の座標に基づいて、前記線状物の近似直線を算出する工程と、前記近似直線に基づいて、前記先端部材の位置を推定する工程と、を含む、請求項1に記載の先端部材位置推定方法。

請求項3

前記座標取得工程は、前記線状物上の3点以上の座標を取得する工程を含み、前記先端部材位置推定工程は、前記線状物上の3点以上の座標に基づいて、前記線状物の近似曲線を算出する工程と、前記近似曲線に基づいて、前記先端部材の位置を推定する工程と、を含む、請求項1に記載の先端部材位置推定方法。

請求項4

前記座標取得工程は、前記線状物の先端の座標を取得する工程を含む、請求項1から請求項3のいずれか一項に記載の先端部材位置推定方法。

請求項5

前記線状物上の座標が三次元座標である、請求項1から請求項4のいずれか一項に記載の先端部材位置推定方法。

請求項6

前記先端部材の画像を取得し、前記画像に基づいて、前記先端部材の回転角度を算出する回転角度算出工程をさらに備える、請求項1から請求項5のいずれか一項に記載の先端部材位置推定方法。

請求項7

線状物の先端に設けた先端部材をロボットハンド把持する方法であって、計測装置で前記線状物上の2点以上の座標を取得する座標取得工程と、前記線状物上の2点以上の座標に基づいて、前記先端部材の把持位置を算出する先端部材把持位置算出工程と、前記ロボットハンドが前記把持位置で前記先端部材を把持する把持工程と、を備える、先端部材把持方法

請求項8

先端部材接続方法であって、請求項7に記載の前記先端部材把持方法で前記ロボットハンドが前記先端部材を把持する工程と、前記ロボットハンドが把持した前記先端部材の画像を取得し、前記画像から前記先端部材の回転角度を算出する工程と、前記ロボットハンドを用いて、前記回転角度に基づき、前記先端部材を接続部材に接続する工程と、を有する、先端部材接続方法。

請求項9

線状物上の2点以上の座標を取得する計測装置と、前記線状物上の2点以上の座標に基づいて、前記線状物の先端に設けられた先端部材の位置を推定する演算部と、を備える、先端部材位置推定システム

請求項10

前記先端部材を撮像する画像取得手段と、前記画像取得手段で得られた画像に基づいて、前記先端部材の回転角度を算出する回転角度算出手段と、をさらに有する、請求項9に記載の先端部材位置推定システム。

請求項11

先端に先端部材を有する線状物の先端部材把持システムであって、前記線状物上の2点以上の座標を取得する計測装置と、前記線状物上の2点以上の座標に基づいて、前記線状物の先端に設けられた前記先端部材の位置を推定する演算部と、前記推定された前記先端部材の位置に基づいて、前記先端部材を把持する把持部と、を有する、先端部材把持システム。

技術分野

0001

本発明は、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムに関する。

背景技術

0002

対象物三次元カメラ等で認識して自律的に把持するロボットの普及が進んでいる。線状物を把持することについては、たとえば特開2014−176917号公報(特許文献1)に、線状体の組み付け作業を行なうロボット装置であって、一端が固定された線状体の固定端近傍を把持したのち、把持部を所定の軌跡スライドさせて他端に移動させる装置が記載されている。これにより、線状物の一例である電線に付いた癖等により正確に推定することが困難な他端を素早く把持できるとされる。

0003

特開2016−192138号公報(特許文献2)には、ワイヤーハーネスの製造方法および画像処理方法に関する発明が開示され、ワイヤーハーネスを製造する過程において、電線集合体の三次元形状が測定されることによって加工位置が特定される加工位置特定処理が実施される。

先行技術

0004

特開2014−176917号公報
特開2016−192138号公報

発明が解決しようとする課題

0005

電線等の線状物の先端部には、コネクタ等が接続されている場合が多い。ロボットハンドの把持部、例えば、グリッパで線状物の先端部またはコネクタを直接把持し、コネクタを所定の位置に移動させて固定すること、または、コネクタをコネクタハウジングに装着して、コネクタが接続された機器導通テストを行なうこと等が想定される。

0006

従来は、あらかじめコネクタのCADデータ等を登録しておき、計測したコネクタの形状と登録データとをパターンマッチングすることで、コネクタの位置と向きを認識し、ロボットにコネクタを把持させ、移動させていた。しかし、コネクタには多種多様な形状があり、全ての形状データを事前に登録しておくことが困難であるという課題があった。また、三次元データ同士のパターンマッチング処理負荷が大きく、計算時間がかかるという課題があった。

0007

さらに、コネクタのコネクタハウジングへの装着に際しては、ロボットハンドで把持したコネクタの線状物の軸線周りの回転方向を把握する必要もある。

0008

このように線状物の先端部に取り付けられたコネクタ等の先端部材を所定の接続部材に対して装着する場合には、先端部材の位置と、さらに好ましくは先端部材の回転方向を事前に把握しておくことが必要となる。

0009

この発明は、上記課題を解決することを目的としており、線状物の先端部分の形状から先端部材の位置と、さらに好ましくは先端部材の回転方向を把握するための、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムを提供することにある。

課題を解決するための手段

0010

この開示における先端部材位置推定方法においては、先端に先端部材を有する線状物の先端部材位置推定方法であって、上記線状物上の2点以上の座標を取得する座標取得工程と、上記線状物上の2点以上の座標に基づいて、上記先端部材の位置を推定する先端部材位置推定工程と、を備える。

0011

他の形態においては、上記先端部材位置推定工程は、上記線状物上の2点以上の座標に基づいて、上記線状物の近似直線を算出する工程と、上記近似直線に基づいて、上記先端部材の位置を推定する工程と、を含む。

0012

他の形態においては、上記座標取得工程は、上記線状物上の3点以上の座標を取得する工程を含み、上記先端部材位置推定工程は、上記線状物上の3点以上の座標に基づいて、上記線状物の近似曲線を算出する工程と、上記近似曲線に基づいて、上記先端部材の位置を推定する工程と、を含む。

0013

他の形態においては、上記座標取得工程は、上記線状物の先端の座標を取得する工程を含む。

0014

他の形態においては、上記線状物上の座標が三次元座標である。
他の形態においては、上記先端部材の画像を取得し、上記画像に基づいて、上記先端部材の回転角度を算出する回転角度算出工程をさらに備える。

0015

この開示における先端部材把持方法においては、線状物の先端に設けた先端部材をロボットハンドで把持する方法であって、計測装置で上記線状物上の2点以上の座標を取得する座標取得工程と、上記線状物上の2点以上の座標に基づいて、上記先端部材の把持位置を算出する先端部材把持位置算出工程と、上記ロボットハンドが上記把持位置で上記先端部材を把持する把持工程と、を備える。

0016

この開示における先端部材接続方法においては、上述に記載の先端部材把持方法で上記ロボットハンドが上記先端部材を把持する工程と、上記ロボットハンドが把持した上記先端部材の画像を取得し、上記画像から上記先端部材の回転角度を算出する工程と、上記ロボットハンドを用いて、上記回転角度に基づき、上記先端部材を接続部材に接続する工程と、を有する。

0017

この開示における先端部材位置推定システムにおいては、線状物上の2点以上の座標を取得する計測装置と、上記線状物上の2点以上の座標に基づいて、上記線状物の先端に設けられた先端部材の位置を推定する演算部と、を備える。

0018

他の形態においては、上記先端部材を撮像する画像取得手段と、上記画像取得手段で得られた画像に基づいて、上記先端部材の回転角度を算出する回転角度算出手段と、をさらに有する。

0019

この開示における先端部材把持システムにおいては、先端に先端部材を有する線状物の先端部材把持システムであって、上記線状物上の2点以上の座標を取得する計測装置と、上記線状物上の2点以上の座標に基づいて、上記線状物の先端に設けられた先端部材の位置を推定する演算部と、上記推定された上記先端部材の位置に基づいて、上記先端部材を把持する把持部と、を有する。

発明の効果

0020

この発明によれば、線状物の形状から先端部材の位置と、さらに好ましくは対象物の回転方向を把握するための、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムを提供することを可能とする。

図面の簡単な説明

0021

関連技術の三次元計測装置機能ブロック図である。
関連技術の三次元計測方法を説明するための図である。
関連技術の三次元計測方法の工程フロー図である。
ステレオカメラで撮像された第1画像を示す図である。
ステレオカメラで撮像された第2画像を示す図である。
関連技術の三次元計測方法の第1抽出工程操作フロー図である。
第1線像が抽出された第1画像を示す図である。
第2線像が抽出された第1画像を示す図である。
着目点が選択された第1画像を示す図である。
エピポーラ線と第2線像との交点が求められた第2画像を示す図である。
色テーブルの一例を示す図である。
本実施の形態の先端部材位置推定方法を示す概略図である。
電線の先端部にコネクタが接続された電気機器を示す図である。
コネクタの正面を示す図である。
コネクタハウジングの正面を示す図である。
本実施の形態の先端部材把持システムの全体図である。
本実施の形態の接続工程の自動化システムフローを示す図である。
本実施の形態のロボットハンドに採用されるグリッパの詳細構造を示す斜視図である。

実施例

0022

本実施の形態について、以下、図を参照しながら説明する。以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。図においては、実際の寸法比率では記載しておらず、構造の理解を容易にするために、一部比率を異ならせて記載している。

0023

以下の開示においては、線状物の一例として電線を用いた場合について説明しているが、電線に限定されるものではない。この説明での線状物とは、細長い形状を有する物体であれば何でもよい。線状物の一例としては、電線、ワイヤーハーネス、はんだ、糸、繊維、ガラス繊維光ファイバチューブ、その他の線状物が挙げられる。細線を束にした電線に限定されず、一本線から構成される電線等も含まれる。

0024

(関連技術:線状物の三次元計測方法および三次元計測装置)
以下、図1から図11を参照して、関連技術として、線状物の三次元計測方法および装置の一例について説明する。

0025

図1を参照して、三次元計測装置10は、ステレオカメラ11、演算部15、記憶部16、および、入出力部17を備える。演算部15、記憶部16、および、入出力部17を総称して、制御部と呼ぶことがある。

0026

ステレオカメラ11は、第1カメラ12、第2カメラ13、および、カメラ制御部14を含む。第1カメラ12は、カラー二次元画像である第1画像を撮像するカラーカメラである。第2カメラ13は、カラーの二次元画像である第2画像を撮像するカラーカメラであって、第1カメラ12に対する相対位置が固定されている。

0027

カメラ制御部14は、第1カメラ12および第2カメラ13を制御し、演算部15との通信を行なう。カメラ制御部14は、たとえば、演算部15から撮像指示を受信して第1カメラ12および第2カメラ13に撮像指示を送信し、第1画像および第2画像を演算部15に転送する。

0028

演算部15は、カメラ制御部14との通信の他、ステレオカメラ11から受信した第1画像および第2画像を処理して線状物の三次元位置を算出する。記憶部16は、ステレオカメラ11が撮像した第1画像および第2画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部17は、作業者からの指令受け付けたり、作業者に対して計測結果を表示する。

0029

図2を参照して、この計測方法では、電線21、電線22および電線23を第1カメラ12および第2カメラ13で撮像する。電線21上のある点Pに対して、第1カメラによる第1画像30への投影点Qと、第2カメラによる第2画像40への投影点Rが得られれば、既知である第1カメラおよび第2カメラの位置情報を利用して、点Pの三次元位置を算出することができる。第1カメラおよび第2カメラの位置情報は、予め2つのカメラをキャリブレーションしておくことで取得できる。

0030

図2白黒で描かれているが、計測対象である3本の電線21、電線22および電線23は色分けされており、互いに異なる色、たとえば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されない。

0031

図3は、三次元計測方法のフロー図である。以下、各工程について説明する。
計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図11に、電線の種類毎に、その色を赤・緑・青(RGB)の3原色輝度で表した色テーブルを一例として示す。色テーブルは記憶部16に記憶される。

0032

計測時には、ステレオカメラ11で電線21、電線22および電線23を撮像する。電線21、電線22および電線23は第1カメラ12によって第1画像30に撮像される。それと同時に、電線21、電線22および電線23は第2カメラ13によって、第1カメラとは異なる視点から、第2画像40に撮像される。第1画像および第2画像は演算部15に転送され、記憶部16に記憶される。

0033

演算部15は、ステレオカメラ11から第1画像30および第2画像40を取得する。このとき、図4を参照して、第1画像30には3本の電線21、電線22および電線23のそれぞれ像31、像32および像33が写っている。同様に、図5を参照して、第2画像40には3本の電線21、電線22および電線23のそれぞれの像41、像42および像43が写っている。

0034

演算部15は、第1画像30上で、特定の電線21を第1線像として抽出する。図6を参照して、この第1線像を抽出する工程(第1線像抽出工程)は、色による抽出操作二値化操作、ノイズ除去操作、細線化操作を含む。

0035

色による抽出操作では、演算部15は計測しようとする電線21の色を色テーブルから取得して、第1画像30上でその特定の色の線状物21の像31だけを第1線像34として抽出する。

0036

具体的には、第1画像の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行なうことができる。

0037

たとえば、電線21に対応するRGB値を色テーブルから取得して、第1画像30の各画素のRGB値をそれと比較し、RGBの各値の差が所定の値以下であれば、その画素は電線21と同じ色であると判断する。所定の値は、RGBの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。

0038

次に、第1画像30を二値化する。これは適当な閾値を用いて、各画素の値を0か1に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判定した画素を1とし、異なる色と判定した画素を0とすることで2値化できる。

0039

次に、第1画像30に対してノイズ除去操作を行なう。上記色による抽出操作によって第1線像34が抽出されたが、第1画像にはカメラのショットノイズなどによる孤立した画素が残っている。1つの画素に対するRGB用の撮像素子の位置が実際にはわずかにずれていることから、各電線の像31、像32および像33の輪郭部など、色が急峻に変化する部分で画像の色が乱れや孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第1線像34が得られる。

0040

次に、第1線像34を細線化する。これは第1線像の連結性を保ちながら線幅を1に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。

0041

図7に得られた第1線像34を示す。第1線像が抽出された第1画像30は記憶部16に記憶される。

0042

図3に戻って、第2画像40に対しても第1画像30と同様の操作を行い、第2線像44を抽出する(第2線像抽出工程)。図8に第2線像44を示す。第2線像が抽出された第2画像は記憶部16に記憶される。

0043

図9を参照して、演算部は、第1画像30の第1線像34上に着目点Qを選択する。点Qは電線21の点P(図2)の第1画像への投影点である。

0044

図10を参照して、演算部は、第2画像40上で、第1画像30の着目点Qに対応するエピポーラ線45を求める。第2線像44とエピポーラ線45との交点Rを求め、これを着目点Qに対応する点とする。点Rは電線21の点P(図2)の第2画像への投影点である。

0045

以上の工程により、図2に示した電線21の点Pに対して、第1画像30への投影点Qと、第2画像40への投影点Rが得られたので、演算部は点Pの三次元位置を算出する。

0046

次に、第1線像34上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Qをずらしながら、すなわち点Pを電線21上で移動させながら三次元位置を求めることによって、電線21の三次元計測を行なう。

0047

電線21について必要な情報が得られた時点で、上記繰り返し処理を終了する。引き続き他の電線、たとえば電線22の三次元計測を行なう場合は、電線22の色を色テーブルから取得して、第1カメラおよび第2カメラが撮像した当初の第1画像および第2画像に対して、第1線像抽出工程から後の工程を繰り返す。

0048

ここで、色テーブルについて、さらに詳しく説明する。
図11に例示した色テーブルは、線状物の種類毎に1つのRGB値が記載されたものであったが、線状物1種類に対して複数のRGB値を記載しておき、いずれかのRGB値と同色と判定されれば、当該線状物であると判断してもよい。色はRGB以外の表色系で記録されていてもよい。たとえば、国際照明委員会CIE)が策定したCIELAB表色系に基づいてL*、a*、b*で表現されていてもよい。ステレオカメラからの出力がRGB値であっても、表色系間換算は容易である。

0049

画素のRGB値と色テーブルのRGB値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、L*a*b*の値で表現されていた方が、光量変化ロバスト閾値範囲を設定しやすく、より好ましい。たとえば、L*値の閾値範囲を広く取っておき、a*値、b*値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブル混同せず同色であるとみなすことができる。

0050

色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第1カメラまたは第2カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第1画像および第2画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。

0051

たとえば、上記三次元計測方法における把持対象の線状物としては、ケーブルの他、ワイヤーハーネス、その他種々の線状物に適用可能である。上記工程および操作は、それが可能である場合には、実行する順序入れ替えたり、省略してもよい。

0052

上記三次元計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測先端部材の形状その他の特徴に着目したマッチング方法を併用するメリットがある。

0053

<先端部材位置推定方法の第1実施形態>
次に、図12を参照して、先端部材位置推定方法について説明する。図12は、本実施の形態の先端部材位置推定方法を示す概略図である。

0054

上記の電線21を例にして説明する。電線21の先端部には、先端部材としてコネクタC1が予め接続されている。先端部材はコネクタに限らず、線状物の先端に設けられ、線状物と太さ、形状、色のいずれかが異なる物であればよい。上記線状物の三次元計測方法に基づき、電線21の色を判別する。さらに、電線21の着目点として、電線21の先端部分にあるP1、P2、P3、P4、P5の三次元位置情報(三次元座標)を得る。図では説明上P1、P2、P3、P4、P5は離れて記載しているが、実際は、着目点は近接していてもよい。三次元位置情報を把握すべき先端部分の長さは任意に設定可能であり、取得すべき着目点の数量も任意に設定可能である。2点以上、好ましくは、3点以上の三次元座標を取得するとよい。取得すべき着目点の1点は、電線21と先端部材との接点である電線21の先端P21であることが好ましい。先端部材の起点位置を把握することで、より精確に先端部材の位置を推定することができるためである。

0055

電線21は、赤色等、任意の一色に着色されているか、又は、赤色等、任意の一色のカバーにより覆われていることで、正確な三次元計測方法を実施することができる。電線21の色とコネクタC1の色とが異なる色であれば、電線21とコネクタC1とを別々に認識しやすいため、より好適である。

0056

次に、コネクタC1の位置を推定する。コネクタC1の位置を推定するとは、電線21に取り付けられたコネクタC1の取り付け方向を推定することを意味する。コネクタC1の取り付け方向は、電線21の先端部分の延長線の方向と一致すると仮定する。次に、P1、P2、P3、P4、P5の三次元位置情報から、コネクタC1の取り付け方向を推定する。電線が柔軟物であって、コネクタC1は非柔軟物である場合、コネクタC1の位置および向きは、電線の先端部分の形状に倣うことが多いため、電線の先端部分の形状や位置情報から推定することができる。

0057

コネクタC1の取り付け方向を推定する方法として以下の(i)から(iii)が挙げられる。

0058

(i)任意の2点以上の着目点に基づいて、近似直線を算出し、算出した近似直線上に先端部材が位置すると推定する方法。具体的には、着目点P1および着目点P3の2点を結んだ近似直線が延びる方向(x線)を、コネクタC1の取り付け方向と推定する。

0059

(ii)任意の3点以上の着目点に基づいて、近似曲線を算出し、算出した近似曲線上に先端部材が位置すると推定する方法。具体的には、着目点P1から着目点P5を用いて電線21の近似曲線を計測し、この曲線(y曲線)が、電線21のコネクタC1の取り付け方向と推定する。

0060

(iii)任意の3点以上の着目点に基づいて、近似曲線を算出し、線状物の先端における算出した近似曲線の接線上に先端部材が位置すると推定する方法。具体的には、曲線(y曲線)の着目点P21上での接線(z線)が、電線21の先端部コネクタC1の取り付け方向と推定する。

0061

(i)に示す方法によりx線の延びる方向をコネクタC1の取り付け方向として近似推定する方法は、利用する着目点の数が少ない分、制御装置(たとえば図1の演算部15)での演算速度は速い。他方、(ii)および(iii)に示す方法によりx線の延びる方向をコネクタC1の取り付け方向として近似推定する方法は、利用する着目点の数が多い分、(i)に示す方法よりも精度は高いと考えられる。

0062

<先端部材位置推定方法の第2実施形態>
先端部材位置推定方法の第2実施形態は、ステレオカメラ11で線状物を撮像し、第1画像および第2画像を取得し、第1画像および第2画像上で計測対象となる第1線像と第2線像を抽出する工程までは、第1実施形態と同様である。

0063

次に、第1画像上で第1線像を延長し、第1線像の端点から所定距離にある第1先端部材推定点を求める。同様に、第2画像上で第2線像を延長し、第2線像の端点から所定距離にある第2先端部材推定点を求める。そして、第1先端部材推定点及び第2先端部材推定点がそれぞれの画像上における先端部材の位置する点と仮定する。

0064

演算部は、第1先端部材推定点と第2先端部材推定点をステレオ法における2枚の画像の対応点として、コネクタC1の三次元位置を算出する。

0065

<先端部材位置推定方法の第3実施形態>
線状物が所定の台上や壁に沿っている場合、線状物上の着目点の2次元情報を取得することで、先端部材の位置を推定することができる。この場合、2次元カメラを用いて、線状物を撮像し、先端部材位置推定方法の第1実施形態(i)から(iii)のいずれかと同様の方法で、コネクタC1の取り付け方向と推定する。

0066

<先端部材把持方法>
上記第1実施形態から第3実施形態のいずれかの方法を用いて、コネクタC1の取り付け方向を推定し、ロボットハンドによる先端部材把持方法を決定する。ロボットハンドによる具体的な把持位置は、電線21の着目点P21でもよいし、着目点P21から上述の方法で推定したコネクタの取り付け方向に、所定距離(L1)の位置にあるコネクタC1上の位置を把持位置と決定してもよい。

0067

上記先端部材位置推定方法の第1実施形態から第3実施形態のいずれの方法を用いるかについては、電線太さ、電線の材質、電線の固さ、芯線の有無、カメラの解像度等によって決定される。

0068

<先端部材位置推定システム200および先端部材把持システム1000>
次に、図13から図17を参照して、上記先端部材位置推定方法を用いた先端部材位置推定システム200およびロボットハンドによる先端部材把持システム1000について説明する。

0069

図13に電線21の先端部にコネクタC1が接続された電気機器100を示す。電気機器100の一例としては、駆動モーターオルタネーターバッテリーコンプレッサ自動車電装品家電、その他の様々な電気機器を挙げることができる。

0070

本実施の形態では、電気機器100の導通テストを行なうために、後述するロボットハンドを用いて、電気機器100に電線21を介して接続されたコネクタC1を、コネクタハウジングC2に自動接続する工程(先端部材接続方法)について説明する。

0071

図14にコネクタC1および図15にコネクタハウジングC2を図示する。図14を参照して、コネクタC1は、筒状の胴体部C11を有する。胴体部C11の軸方向(図13中矢印A方向)が、推定したコネクタC1の取り付け方向と一致すると推定する。

0072

胴体部C11の内部には、複数のピンC12が所定位置に配列されている。胴体部C11の外周面には、コネクタC1の位置決めを行なうため、胴体部C11の軸方向に沿って延びるリブC13が設けられている。この図14に示す状態を、コネクタC1の正面が認識できる状態とする。コネクタC1の正面が認識できることにより、コネクタC1の回転状態(リブC13の位置に基づく回転角度の算出)を認識できることとなる。

0073

図15を参照して、コネクタハウジングC2は、ピンC12に対応する位置にピン受けC22が設けられたハウジングC21を有する。ハウジングC21には、リブC13が挿入される位置決め凹部C23が設けられている。

0074

次に、図16および図17を参照して、ロボットアーム500に設けられたロボットハンド600を用いて、コネクタC1をコネクタハウジングC2に装着する自動化の一例について説明する。図16は、先端部材把持システム1000の全体図、図17は、装着工程の自動化システムのフローを示す図である。

0075

先端部材把持システム1000の制御は、後述の先端部材位置推定システム200で行なう。この先端部材位置推定システム200は、図1で説明した三次元計測装置10と同じである。以下、先端部材位置推定システム200の説明には、図1に示した三次元計測装置10と同じ参照符号を付す場合がある。

0076

図16を参照して、先端部材把持システム1000は、筐体700を有する。筐体700の上部は、透明壁400が配置され内部の装着工程を目視することができる。筐体700の内部には、所定位置にロボット900および対象物配置台800が配置されている。ロボット900は、ロボットアーム500を備えており、ロボットアーム500の先端部は、ロボットハンド600が装着されている。対象物配置台800の上には、図13に示したコネクタC1を有する電気機器100、および、コネクタハウジングC2が配置されている。

0077

さらに、筐体700の内部の所定位置には、ステレオカメラ11等を含む先端部材位置推定システム200、および、エリアカメラ300が配置されている。エリアカメラ300は、詳細は後述するが、正面画像得手段として機能し、画像処理により、コネクタC1の向き(回転角度)を測定する際に用いられる。エリアカメラ300から得られた正面画像情報は、三次元計測装置10に入力される。三次元計測装置10は、この正面画像に基づき、コネクタC1の回転角度を算出する回転角度算出手段を含む。この回転角度算出手段は、演算部15に設けてもよいし、回転角度算出部を設けてもよい。

0078

なお、正面画像取得手段として二次元カメラのエリアカメラ300を採用する場合について説明しているが、ステレオカメラ11を正面画像取得手段として兼用させてもよい。

0079

ロボットアーム500には、たとえば、FANUC Robot LR Mate 200iD/7L(可搬重量7kg、リーチ長さ900mm)が採用される。ロボットハンド600の先端には、一対のグリッパ610が設けられており、エアシリンダによる平行開閉が行なわれる。グリッパ610の幅は約10mm、長さは約20mm程度である。グリッパ610の開閉ストロークは、約10mm程度である。

0080

先端部材位置推定システム200は、クラボウ製の線状物認識用3Dビジョンが用いられる。対象物とステレオカメラ11との距離は、約500mm、視野範囲は400mm×250mm、焦点深度は±100mmである。線状物把持位置認識機能として、把持位置等、および、ロボットハンド姿勢を出力する際に用いられる。

0081

エリアカメラ300には、Fanuc製のエリアカメラ、または、Balser製エリアカメラ(Dart)が用いられる。視野範囲は、200mm×150mm程度である。コネクタ方向認識機能として、コネクタの回転角度を出力する際に用いられる。

0082

次に、図17を参照して、先端部材把持システム1000を用いた、コネクタC1のコネクタハウジングC2への装着工程(配線自動化工程)について説明する。なお、以下のフローは、先端部材位置推定システム200内に設けられたカメラ制御部14および/または演算部15で実行する。

0083

先端部材位置推定システム200を用いて、電線21の先端部分およびコネクタC1を3Dスキャンする(ステップ1(S1と称す。以下同様))。コネクタC1は必須ではなく、電線21の先端部分が3Dスキャンできればよい。得られた3D画像情報に基づき、コネクタC1の把持が可能な位置にコネクタC1が位置するか否かの判別を行なう(S2)。具体的には、三次元計測装置10を用いて、先端部分の把持位置認識機能を発揮させて、先端部分の把持位置を確認する。コネクタC1の把持が不可能と判断した場合には、テストを終了する(S3)。

0084

コネクタC1の把持が可能と判断した場合には、コネクタC1の根元から所定の距離(L1)の位置を把持するか、または、コネクタC1の根元部の近傍の電線の着目点P1を把持するかの情報(把持位置)、把持手前位置(把持位置近傍の所定位置)、および把持方向をロボットアーム500およびロボットハンド600に送信する(S4)。

0085

把持手前位置とは、ロボットハンドが先端部材を把持する動作の前に待機または通過する位置であり、電線やコネクタに干渉しない位置である。把持手前位置は、例えばコネクタC1の上方、下方または側方であって、予め決められた距離だけ離れた位置であってもよいし、コネクタC1の3次元形状に基づいて決定してもよい。

0086

ロボットハンド600がコネクタC1を把持する把持方向(把持姿勢)は、ロボットハンドの把持部とコネクタC1とが略直角をなすように把持することが好ましい。コネクタC1を把持した後にコネクタハウジングC2に挿入する際もロボットの制御が容易になるからである。好ましくは、把持手前位置において、コネクタC1を把持した際に把持部とコネクタC1とが直角をなす向きになるように、ロボットハンド600の姿勢を調整する。その後、ロボットハンド600は、把持手前位置から把持位置に向かって直進し、把持位置に到達後、コネクタC1を把持する。これにより、ロボットハンド600がコネクタハウジングC2に干渉しにくい状態で、コネクタC1をコネクタハウジングC2に挿入することが可能となる。

0087

いずれの位置を保持するかについては、予め設定しておくとよい。以下では、コネクタC1の根元部(電線との接点付近)を把持するものとして説明する。

0088

先端部材位置推定システム200を用いて、ロボットハンド600をコネクタC1の根元部に移動させる(S5)。ロボットハンド600がコネクタC1の根元部近傍(把持手前位置)に移動し、把持姿勢をとる(S5)。その後、ロボットハンドは直進して把持位置に到達し(S6)、コネクタC1の根元部を把持可能か否かの判別を行なう(S7)。具体的には、ロボットハンド600の開いた一対のグリッパ610が把持位置に到達したか否かの判別を行なう。

0089

ロボットハンド600により、コネクタC1の根元部の把持が不可能と判別した場合には、ロボットアーム500およびロボットハンド600の動作を停止させ(S8)、テストを終了させる。

0090

ロボットハンド600により、コネクタC1の根元部の把持が可能と判別した場合には、ロボットハンド600の一対のグリッパ610を閉方向に平行移動させて、ロボットハンド600によりコネクタC1の根元部を把持する(S9)。

0091

次に、ロボットアーム500により、コネクタC1をコネクタ方向認識ステーション(ST)に移動させる(S10)。コネクタ方向認識ステーションは、コネクタC1の正面(図14)が認識できる位置に、ロボットアーム500およびロボットハンド600の位置を制御することを意味する。具体的には、エリアカメラ300を用いて、コネクタ方向認識機能を発揮させて、コネクタの回転方向(回転角度)を計算する(S11)。コネクタハウジングC2への装着が不可であると判断した場合には、先端部材把持システム1000を停止させる(S12)。

0092

コネクタハウジングC2への装着が可能であると判断した場合には、ロボットアーム500およびロボットハンド600を用いて、コネクタC1をコネクタハウジングC2の手前まで移動させる(S13)。

0093

次に、ロボットアーム500およびロボットハンド600を用いて、コネクタC1のリブC13の位置が、コネクタハウジングC2の位置決め凹部C23に合う位置に、コネクタC1の軸を回転中心軸として回転させる(S14)。

0094

次に、ロボットアーム500およびロボットハンド600を用いて、コネクタC1をコネクタハウジングC2に挿入する(S15)。なお、コネクタC1の回転(S14)はコネクタC1をコネクタハウジング手前へ移動する際(S13)に同時に行ってもよい。その後、電気機器100の導通テストを実行する(S16)。以上により、電気機器100の導通テストを終了する。

0095

上述した先端部材把持システム1000においては、ロボットハンド600を用いてコネクタC1の根元部を把持する場合について説明したが、コネクタC1の中心部や先端部コネクタC1の根元部の近傍の電線の着目点P1を把持してもよい。ロボットハンド600は、コネクタC1の根元部の1箇所を把持する場合について説明しているが、ロボットハンド600を2以上設け、コネクタC1の根元部の把持のみでなく、電線21の他の箇所を他のロボットハンド600で把持することにより、電線21の他の機器への干渉を回避させるようにしてもよい。

0096

以上、本実施の形態における先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムによれば、先端部材の向きと、さらに好ましくは先端部材の回転方向を事前に把握するための、線状物先端方向推定方法、線状物先端方向推定装置、および、装着自動化装置の提供を可能としている。

0097

図18を参照して、本実施の形態のロボットハンド600に採用されるグリッパ610の詳細構造について説明する。図18は、グリッパ610の詳細構造を示す斜視図である。グリッパ610は、対向するように一対に設けられている。

0098

グリッパ610は、支持部610aと、この支持部610aの下端において相互の対向する方向(内側)に延びる腕部610bとを含む。腕部610bの先端面には、半円柱状の第1溝部610cと、この第1溝部610cに連通する円柱状の第2溝部610eが設けられている。第2溝部610eよりも第1溝部610cの方が大径であることから、第1溝部610cと第2溝部610eとの間には、係止面610dが設けられる。

0099

ロボットハンド600でプラグC11を把持する際、グリッパ610の腕部610bが当接することで、コネクタC1が、保持される。第1溝部610cによりプラグC11が保持され、第2溝部610eにより電線C12が保持されるか、電線C12が第2溝部610e内に収まる。プラグC11をコネクタハウジングC2に挿入する際、係止面610dにプラグC11の一端側が押し付けられて挿入される。係止面610dにプラグC11が当接することで、グリッパ610からコネクタC1の抜けを防止することができる。

0100

なお、プラグC11に対する保持力を高めるために、第1溝部610cおよび/または第2溝部610eに、シート状の弾性部材滑り止め部材)を装着するようにしてもよい。

0101

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

0102

10三次元計測装置、11ステレオカメラ、12 第1カメラ、13 第2カメラ、14カメラ制御部、15演算部、16 記憶部、17入出力部、21,22,23電線(線状物)、30 第1画像、31 第1画像上の電線21の像、32 第1画像上の電線22の像、33 第1画像上の電線23の像、34 第1線像、40 第2画像、41 第2画像上の電線21の像、42 第2画像上の電線22の像、43 第2画像上の電線23の像、44 第2線像、45エピポーラ線、200先端部材位置推定システム、300エリアカメラ、400 透明壁、500ロボットアーム、600ロボットハンド、610グリッパ、610a 支持部、610b 腕部、610c 第1溝部、610d係止面、610e 第2溝部、700筐体、800配線対象物配置台、1000 先端部材把持システム、C1コネクタ、C11胴体部、C12ピン、C13リブ、C2コネクタハウジング、C21ハウジング、C22ピン受け、C23位置決め凹部、P 電線21上の点、Q 点Pの第1画像への投影(着目点)、R 点Pの第2画像への投影(対応点)。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ