図面 (/)

技術 コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置

出願人 クーカ・ロボター・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング
発明者 アーリフ・カーヅィライナー・ビショフバハーディル・キューペリー
出願日 2004年2月10日 (15年7ヶ月経過) 出願番号 2004-033927
公開日 2004年9月2日 (15年0ヶ月経過) 公開番号 2004-243516
状態 特許登録済
技術分野 マニプレータ・ロボット イメージ処理・作成 マニプレータ
主要キーワード 技術部品 経路セクション 半透過的 光学レシーバ 運搬設備 集積化センサ 置換キー 光電子工学的
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2004年9月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

セットアッププログラミングロボットによって行なわれる動きシーケンスの教示等のための1つまたは複数のロボットの動作を簡略化する。

解決手段

設備内でのロボットの動作、ロボットによって行なわれる動作シーケンス再プログラミングおよび削除を改善するために、この発明はコンピュータによって支援された情報を視覚装置上の現実環境の画像に視覚化するための装置および方法を提供する。画像受取装置の位置および方向付けまたはポーズについての判定が行なわれ、この判定に対応するロボット特有の情報が視覚装置上の現実環境の画像に重ねられる。

概要

背景

発明の背景
WO 00/52536は、技術部品に関するデータバンクおよび状態情報などのコンピュータによって生成された情報を対応する技術部品の実像とともに特にテキストの形でディスプレイに表示することを開示している。実像とコンピュータによって生成された情報とをともに表示することを、強化現実(augmented reality;AR)と呼ぶ。

以前の産業ロボットは大抵、稼動時に一度だけプログラムされ、何の変更もなく長年同じ作業を行なっていた。より柔軟な自動化の枠組み内では、再プログラミングは時間およびコストの面で重要である。

ロボットを予め定められた位置または邪魔にならないところへと動かすためには、ロボットは、動きキーを使用してユーザによって手動で動かすこともできるし、または6Dのマウスによって制御することもできる。ロボットの動きの方向は、選択される基準座標系に依存する。ユーザには、どの基準座標系が選択されているかまたはどのようにこれが空間において方向付けられているかが常にすぐにわかるわけではない。実際には、慎重試行錯誤が何度も行なわれてロボットが所望の方向に動いているかが規定される。誤りは深刻な損傷または人間の負傷つながり得る。

ある程度、このことはロボットに関する経験の少ないユーザにも当てはまる。なぜなら、問題がある場合の基準座標系の概念は、ロボットシステムを効率的に動作できるようにするためにロボットユーザが持つべき知識を前提としているためである。しかしながら、このことを「ロボットモバイス(robot movice)」に理解できるようにするのは難しい。なぜなら、一般に彼らには対応する数学的な資質に欠けているためである。

今日、産業ロボット上のツール中央点(TCP)の測定は、通常、手動で行なわれる。したがって、たとえば、ツール中央を使用して、事前に設定された点を異なる方向からある回数まで動かし、対応するロボットの位置を記憶し、これらからロボットハンドフランジに関するツール中央の位置および任意で方向付けを判定する。工作物の測定、すなわち、基本基準系の規定は類似の態様で行なわれる。

ロボットシステムの意図される用途(ツールの本質−溶接、切断、接着および類似のツールならびに工作物に関する方向付け)の関数として、ロボットユーザは具体的な測定方法を選択しなければならない。たとえば、測定されるべき工作物座標系ゼロ点がロボットの動作領域外にある場合、測定は空間における既知の点を使用して間接的に行なわなければならない。機械加工される工作物がロボットフランジに固定されるグリップに案内される場合、異なる測定方法を選ばなくてはならない。すべての用途の事例を網羅するために、18より多くの異なる測定方法が知られている。幅広トレーニングの後でも、ロボットユーザには一般に、具体的な事例においてどの測定方法を使用すべきかはよくわからない。経験のあるユーザであっても、他の「ツール」および/または「工作物」などの新
しい構成の場合には知識不足に陥る。なぜなら、測定が行なわれるのは稀であるからである。

測定の手順は非常に複雑になることがあり、かなりの時間がかかる。工作物がロボットによって案内され、ツールが静止している頻繁に起こる事例では、たとえば、位置の測定を3回行なって、次に方向付けの判定を行なう必要がある。不正確位置付けは、測定方法の結果が得られなかったりまたは信頼性のない結果につながるため、慎重な手順が必要である。測定結果視認性の欠如も良好な結果が存在するかまたは方法の誤り、不正確な入力等によって誤ったものになっているかどうかがはっきりしないことにつながる。

今日、ロボットプログラムは、ロボットが動きのターゲットの位置へと手動で動かされ、対応する経路点が記憶されることで、教示によって作られることが多い。シミュレーションによってオフラインで作られたプログラムの経路点は、後にその本来の場所で教示されなければならないことが多い。なぜなら、シミュレーションモデル幾何学的構造と実際のロボットの使用環境とが正確にある程度一致することは稀であるからである。欠陥のあるロボット機構を別のそのような機構置換えるときでも、ロボットプログラムの経路点を再教示しなければならないことが多い。なぜなら、新しい機構は製造の許容差の結果としてわずかに異なる幾何学的構造を有するためである。

人間が近くにいる場合、ロボットは非常にゆっくりとしか動くことができず、ターゲット位置まで正確に動かされなければならないため、教示または事後教示は非常に時間がかかる。さらに、ゆっくりとした動きにかかわらず、常に物の損傷や人間の負傷といった危険が伴う。この危険は、特に新たに製造された(たとえば、シミュレーションによってオフラインで製造された)ロボットプログラムの場合に存在する。これをプログラム機はテストのためにロボット上で作動させなければならない。

動作において問題または失敗が起こると、ロボットはプログラムされた経路に沿って戻されることが多い。そのような状況またはその他の複雑な状況では、ロボットシステムの挙動はユーザによって直接的に予測することはできない。ここでも物の損傷または人間の負傷が起こり得る。

衝突を排除するため、ロボットシステムに対して動作領域が固定され、これはロボットツールまたはロボット全体によって貫通されてはならないかまたはロボットツールまたはロボットはそれを離れてはならない。いくつかの「協働」ロボットシステムおよび/またはその他の装備の構成要素および/または人間によってその他の動作領域が共同で使用されるため、それらの使用を管理しなければならない。

そのような施設における動作領域の固定は複雑な測定を前提とする。工場内での固定された動作領域の監視または適合も非常に複雑である。なぜなら、視覚的な表現または表示が存在しないためである。工場内ではロボットシステムの到達可能な動作領域が重なっているかまたはどのゾーンで重なっているかがはっきりしないため、衝突の危険が存在する。

ロボットシステムが手動で案内される動作の場合(知能支援装置または「コボット(cobot)」としてのロボット)、ロボットの動きの自由度はユーザの活動を容易にするために人工的に制限されていることが多い。仮想の固定によって、ロボットのエフェクタは、たとえば、常に1つの平面内で制御されて案内され、方向付けは常に地面等に平行に保たれる。

仮想の固定はロボットシステムの動作領域を制限する特別な事例である。動作領域は、
ロボットシステムまたはその一部が離れることのない、またはそれによって貫通されてはならない体積である。ロボットがツールに対してユーザによって案内される特別な適用例では、ソフトウェアベースでグリップの方向付けを固定し、空間でのグリップの位置はユーザによって常に自由に変化させることができるのが適切な場合がある。1つの適用例は、組立における接合支援としてのロボットの使用である。ロボットは重くかさばる可能性のある構成要素を運び、ユーザは力の消費量を制限してそれを動かすことができる。構成要素は最初から組立てられるべき位置にある。別の適用例は、たとえば、面の塗装であり、ロボットは塗装される面から予め定められた距離にツール(すなわち、塗料吹付け)を保持し、ユーザは面の上で銃を案内する。動きの可能性に対するそのようなソフトウェアベースの計画された制限は仮想の固定と称される。なぜなら、ロボットのグリップの機械的な強制的案内に類似した態様で作用するためである。

動作領域または仮想の固定に関する情報はロボット制御における概略的な数学的情報として提示される。

仮想の固定は現在の作業の関数として動的に変化させることができる。プログラミング中の仮想の固定または動作領域の固定または修正は、多くのユーザの必要な概念能力を超えるため、ロボットの経路および/または回転運動、もしくはより正確にはそのツール中央点またはTCPがどの方向で可能かまたは阻止されるかは、ユーザにはすぐにわからない。ロボットシステムの挙動を予測できないため、ユーザは確信が持てない。不正確な操作の結果、たとえば、1つの方向に大きな力を作用させると、仮想の固定によって阻止され、ロボットシステムが損傷することがある。

現在の製造工場では、多数のロボットが隣接して置かれていることが多い。これらロボットの各々は、それ自身の手動のプログラム機を有する。手動のプログラム機とロボットとの間の関連付けが存在することは原則的にその二者の間に任意で存在する接続ケーブルで明らかである。この状態では、ロボットシステムの稼動中およびプログラミング中ならびに後続の動作中に、関連付けられるロボット接続ケーブルを備えた1つの具体的な手動プログラム機を後に追跡することは多大な努力と時間を要するため、実際には試行錯誤の方法が一般に使用される。この場合、手動のプログラム機は慎重に動作され、所望のロボットが動いているかがチェックされ、そうでなければ、別の手動プログラム機が試される。ケーブルが存在せず、その代わりに手動プログラム機とロボット制御との間の通信無線の形で行なわれる場合もこれが当てはまる。

概要

セットアップ、プログラミング、ロボットによって行なわれる動きのシーケンスの教示等のための1つまたは複数のロボットの動作を簡略化する。設備内でのロボットの動作、ロボットによって行なわれる動作シーケンスの再プログラミングおよび削除を改善するために、この発明はコンピュータによって支援された情報を視覚装置上の現実環境の画像に視覚化するための装置および方法を提供する。画像受取装置の位置および方向付けまたはポーズについての判定が行なわれ、この判定に対応するロボット特有の情報が視覚装置上の現実環境の画像に重ねられる。

目的

この発明の課題は、セットアップ、プログラミング、1つまたは複数のロボットによって行なわれる動きのシーケンスの教示等のために、1つまたは複数のロボットの動作を簡略化する方法および装置を提供することである。

効果

実績

技術文献被引用数
2件
牽制数
9件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータによって生成された情報を視覚装置上にある画像受取装置によって検出される現実環境の画像へとフェードインするための方法であって、前記画像受取ユニットの位置および方向付けまたはポーズについて判定が行なわれ、この判定に対応するロボット特有の情報が前記視覚装置上の前記現実環境の画像に重ねられる、コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項2

少なくとも1つのロボット特有の座標系がフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項3

ハンドフランジに固定された座標系がフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項4

ロボットの軸がフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項5

少なくとも2次元可動のロボットの手動プログラム機制御要素の画像がフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項6

関連する制御ユニットおよびロボットハンドフランジの方向付けの画像がフェードインされる、請求項5に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項7

ロボットによって動かされる少なくとも1つのツール、好ましくはいくつかのロボット要素がロボットの作業環境へとフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項8

作業プロセスに関してロボットによってたどられるロボット経路、特にツール中央点経路が任意で付加的な情報を含めてフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項9

経路点がフェードインされ、空間での前記経路点の位置は可変であり、すべての前記経路点の前記位置に対応するロボット経路の湾曲がフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項10

ロボットによって機械加工される工作物の画像が、任意でそれに関連付けられる軸とともにフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項11

ロボット経路を検出された現実の工作物の位置に適合するために、前記工作物の仮想の画像がそれに適合されたロボット経路とともにフェードインされるため、前記仮想の工作物の画像を前記現実の工作物の画像に重ね合わせることで、実行される前記ロボット経路を前記現実の工作物の位置に適合することができる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項12

ロボットによって到達可能な作業領域および/または許可される動作領域が前記視覚装置上に視覚化される、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項13

ロボットツール、ロボットハンドおよび/またはさらに別のロボット要素の動き通路が前記視覚装置上に視覚化される、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項14

少なくとも1つのロボットの少なくとも1つの手動プログラム機の永久的および/または瞬間的な関連付けが視覚化される、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項15

表示の位置および方向付けは、空間において固定されたマーキングによって検出される、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項16

前記視覚装置の位置および方向付けは、無線によって判定される、請求項15に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項17

前記視覚装置の位置および方向付けは、光学的に判定される、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項18

前記ロボット特有のコンピュータによって生成された情報は、ユーザによって着用されるデータの眼鏡へとフェードインされる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項19

前記ロボット特有のコンピュータによって生成された情報は、前記視覚装置としての透明なスクリーンへと重ねられる、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項20

前記ロボット特有のコンピュータによって生成された情報は、前記視覚装置としての表示可能なスクリーン上に光電子工学的に記録された情報とともに表示される、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項21

前記ロボット特有のコンピュータによって生成された情報は、ロボットのための手動プログラム機の表示可能なスクリーンの形のスクリーン上に光電子工学的に記録された情報とともに表示される、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項22

前記ロボット特有のコンピュータによって生成された情報は、ロボットのための手動プログラム機に接続可能な視覚装置としての表示可能なスクリーン上に光電子工学的に記録された情報とともに表示される、請求項1に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。

請求項23

画像受取装置および視覚装置を有する、コンピュータによって生成された情報を現実環境の画像に視覚化するための装置であって、前記画像受取装置の位置および方向付けまたはポーズを判定するための手段、および対応するロボット特有の情報の判定を前記視覚装置上の現実環境の前記画像に重ねるための手段を特徴とする、コンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項24

少なくとも1つのロボットに特有の座標系の表示を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項25

ハンドフランジに固定された座標系の表示を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項26

ロボットの軸の表示を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項27

少なくとも2次元で可動のロボット手動プログラム機の動作ユニットの画像の表示を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項28

関連する動作ユニットおよび前記ロボットハンドフランジの方向付けの画像の表示を含む、請求項27に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項29

ロボットによって動かされる少なくとも1つのツールおよび好ましくはいくつかのロボット要素の表示をロボットの動作環境に含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項30

任意でロボット、特にロボットのハンドフランジのための付加的な情報とともに、動作プロセス中にたどられるロボット経路の表示を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項31

空間における前記経路点の位置の可変性に関する経路点の表示およびすべての経路点に対応するロボット経路の湾曲の位置の表示を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項32

任意で関連付けられる軸とともに、ロボットによって機械加工される工作物の画像の表示を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項33

検出された現実の工作物の位置にロボット経路を適合するための、工作物の仮想の画像の表示をそれに適合されたロボット経路とともに含み、前記仮想の工作物の画像を前記現実の工作物の画像と重ね合わせることで、実行されるロボット経路を前記現実の工作物の位置に適合することができる、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項34

ロボットによって到達可能な動作領域および/または許可される動作領域の表示を前記視覚装置上に含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項35

ロボットツール、ロボットハンドおよび/またはさらに別のロボット要素の動きの通路の表示を前記視覚装置上に含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項36

少なくとも1つの手動プログラム機と少なくとも1つのロボットとの永久的および/または瞬間的な関連付けの表示を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項37

前記表示の位置および方向付けを検出するために空間において固定されたマーキングを含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項38

前記マーキングは、無線レシーバ、特にトランスミッタである、請求項37に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項39

前記マーキングは、光学レシーバによって検出可能である、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項40

ロボット特有のコンピュータによって生成された情報を表示するための、ユーザによって着用されるデータ眼鏡を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項41

ロボットに特有のコンピュータによって生成された情報を表示するための透明なスクリーンを含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項42

ロボット特有のコンピュータによって生成された情報を光電子工学的に記録された情報とともに表示するための表示可能なスクリーンを含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項43

ロボットに特有のコンピュータによって生成された情報を光電子工学的に記録された情報とともに表示するための、ロボットのための手動プログラム機の表示可能なスクリーンの形の視覚装置を含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

請求項44

ロボットに特有のコンピュータによって生成された情報を光電子工学的に記録された情報とともに表示するための、ロボットの手動プログラム機と接続可能な視覚装置としての表示可能なスクリーンを含む、請求項23に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。

技術分野

0001

発明の分野
この発明は、コンピュータによって生成された情報を視覚化するための方法および装置に関する。

背景技術

0002

発明の背景
WO 00/52536は、技術部品に関するデータバンクおよび状態情報などのコンピュータによって生成された情報を対応する技術部品の実像とともに特にテキストの形でディスプレイに表示することを開示している。実像とコンピュータによって生成された情報とをともに表示することを、強化現実(augmented reality;AR)と呼ぶ。

0003

以前の産業ロボットは大抵、稼動時に一度だけプログラムされ、何の変更もなく長年同じ作業を行なっていた。より柔軟な自動化の枠組み内では、再プログラミングは時間およびコストの面で重要である。

0004

ロボットを予め定められた位置または邪魔にならないところへと動かすためには、ロボットは、動きキーを使用してユーザによって手動で動かすこともできるし、または6Dのマウスによって制御することもできる。ロボットの動きの方向は、選択される基準座標系に依存する。ユーザには、どの基準座標系が選択されているかまたはどのようにこれが空間において方向付けられているかが常にすぐにわかるわけではない。実際には、慎重試行錯誤が何度も行なわれてロボットが所望の方向に動いているかが規定される。誤りは深刻な損傷または人間の負傷つながり得る。

0005

ある程度、このことはロボットに関する経験の少ないユーザにも当てはまる。なぜなら、問題がある場合の基準座標系の概念は、ロボットシステムを効率的に動作できるようにするためにロボットユーザが持つべき知識を前提としているためである。しかしながら、このことを「ロボットモバイス(robot movice)」に理解できるようにするのは難しい。なぜなら、一般に彼らには対応する数学的な資質に欠けているためである。

0006

今日、産業ロボット上のツール中央点(TCP)の測定は、通常、手動で行なわれる。したがって、たとえば、ツール中央を使用して、事前に設定された点を異なる方向からある回数まで動かし、対応するロボットの位置を記憶し、これらからロボットハンドフランジに関するツール中央の位置および任意で方向付けを判定する。工作物の測定、すなわち、基本基準系の規定は類似の態様で行なわれる。

0007

ロボットシステムの意図される用途(ツールの本質−溶接、切断、接着および類似のツールならびに工作物に関する方向付け)の関数として、ロボットユーザは具体的な測定方法を選択しなければならない。たとえば、測定されるべき工作物座標系ゼロ点がロボットの動作領域外にある場合、測定は空間における既知の点を使用して間接的に行なわなければならない。機械加工される工作物がロボットフランジに固定されるグリップに案内される場合、異なる測定方法を選ばなくてはならない。すべての用途の事例を網羅するために、18より多くの異なる測定方法が知られている。幅広トレーニングの後でも、ロボットユーザには一般に、具体的な事例においてどの測定方法を使用すべきかはよくわからない。経験のあるユーザであっても、他の「ツール」および/または「工作物」などの新
しい構成の場合には知識不足に陥る。なぜなら、測定が行なわれるのは稀であるからである。

0008

測定の手順は非常に複雑になることがあり、かなりの時間がかかる。工作物がロボットによって案内され、ツールが静止している頻繁に起こる事例では、たとえば、位置の測定を3回行なって、次に方向付けの判定を行なう必要がある。不正確位置付けは、測定方法の結果が得られなかったりまたは信頼性のない結果につながるため、慎重な手順が必要である。測定結果視認性の欠如も良好な結果が存在するかまたは方法の誤り、不正確な入力等によって誤ったものになっているかどうかがはっきりしないことにつながる。

0009

今日、ロボットプログラムは、ロボットが動きのターゲットの位置へと手動で動かされ、対応する経路点が記憶されることで、教示によって作られることが多い。シミュレーションによってオフラインで作られたプログラムの経路点は、後にその本来の場所で教示されなければならないことが多い。なぜなら、シミュレーションモデル幾何学的構造と実際のロボットの使用環境とが正確にある程度一致することは稀であるからである。欠陥のあるロボット機構を別のそのような機構置換えるときでも、ロボットプログラムの経路点を再教示しなければならないことが多い。なぜなら、新しい機構は製造の許容差の結果としてわずかに異なる幾何学的構造を有するためである。

0010

人間が近くにいる場合、ロボットは非常にゆっくりとしか動くことができず、ターゲット位置まで正確に動かされなければならないため、教示または事後教示は非常に時間がかかる。さらに、ゆっくりとした動きにかかわらず、常に物の損傷や人間の負傷といった危険が伴う。この危険は、特に新たに製造された(たとえば、シミュレーションによってオフラインで製造された)ロボットプログラムの場合に存在する。これをプログラム機はテストのためにロボット上で作動させなければならない。

0011

動作において問題または失敗が起こると、ロボットはプログラムされた経路に沿って戻されることが多い。そのような状況またはその他の複雑な状況では、ロボットシステムの挙動はユーザによって直接的に予測することはできない。ここでも物の損傷または人間の負傷が起こり得る。

0012

衝突を排除するため、ロボットシステムに対して動作領域が固定され、これはロボットツールまたはロボット全体によって貫通されてはならないかまたはロボットツールまたはロボットはそれを離れてはならない。いくつかの「協働」ロボットシステムおよび/またはその他の装備の構成要素および/または人間によってその他の動作領域が共同で使用されるため、それらの使用を管理しなければならない。

0013

そのような施設における動作領域の固定は複雑な測定を前提とする。工場内での固定された動作領域の監視または適合も非常に複雑である。なぜなら、視覚的な表現または表示が存在しないためである。工場内ではロボットシステムの到達可能な動作領域が重なっているかまたはどのゾーンで重なっているかがはっきりしないため、衝突の危険が存在する。

0014

ロボットシステムが手動で案内される動作の場合(知能支援装置または「コボット(cobot)」としてのロボット)、ロボットの動きの自由度はユーザの活動を容易にするために人工的に制限されていることが多い。仮想の固定によって、ロボットのエフェクタは、たとえば、常に1つの平面内で制御されて案内され、方向付けは常に地面等に平行に保たれる。

0015

仮想の固定はロボットシステムの動作領域を制限する特別な事例である。動作領域は、
ロボットシステムまたはその一部が離れることのない、またはそれによって貫通されてはならない体積である。ロボットがツールに対してユーザによって案内される特別な適用例では、ソフトウェアベースでグリップの方向付けを固定し、空間でのグリップの位置はユーザによって常に自由に変化させることができるのが適切な場合がある。1つの適用例は、組立における接合支援としてのロボットの使用である。ロボットは重くかさばる可能性のある構成要素を運び、ユーザは力の消費量を制限してそれを動かすことができる。構成要素は最初から組立てられるべき位置にある。別の適用例は、たとえば、面の塗装であり、ロボットは塗装される面から予め定められた距離にツール(すなわち、塗料吹付け)を保持し、ユーザは面の上で銃を案内する。動きの可能性に対するそのようなソフトウェアベースの計画された制限は仮想の固定と称される。なぜなら、ロボットのグリップの機械的な強制的案内に類似した態様で作用するためである。

0016

動作領域または仮想の固定に関する情報はロボット制御における概略的な数学的情報として提示される。

0017

仮想の固定は現在の作業の関数として動的に変化させることができる。プログラミング中の仮想の固定または動作領域の固定または修正は、多くのユーザの必要な概念能力を超えるため、ロボットの経路および/または回転運動、もしくはより正確にはそのツール中央点またはTCPがどの方向で可能かまたは阻止されるかは、ユーザにはすぐにわからない。ロボットシステムの挙動を予測できないため、ユーザは確信が持てない。不正確な操作の結果、たとえば、1つの方向に大きな力を作用させると、仮想の固定によって阻止され、ロボットシステムが損傷することがある。

0018

現在の製造工場では、多数のロボットが隣接して置かれていることが多い。これらロボットの各々は、それ自身の手動のプログラム機を有する。手動のプログラム機とロボットとの間の関連付けが存在することは原則的にその二者の間に任意で存在する接続ケーブルで明らかである。この状態では、ロボットシステムの稼動中およびプログラミング中ならびに後続の動作中に、関連付けられるロボット接続ケーブルを備えた1つの具体的な手動プログラム機を後に追跡することは多大な努力と時間を要するため、実際には試行錯誤の方法が一般に使用される。この場合、手動のプログラム機は慎重に動作され、所望のロボットが動いているかがチェックされ、そうでなければ、別の手動プログラム機が試される。ケーブルが存在せず、その代わりに手動プログラム機とロボット制御との間の通信無線の形で行なわれる場合もこれが当てはまる。

発明が解決しようとする課題

0019

この発明の課題は、セットアップ、プログラミング、1つまたは複数のロボットによって行なわれる動きのシーケンスの教示等のために、1つまたは複数のロボットの動作を簡略化する方法および装置を提供することである。

課題を解決するための手段

0020

発明の概要
上述の種類の方法では、この発明の課題は、画像受取装置の位置および方向付けまたはポーズについての判定が行なわれ、この判定に対応するロボット特有の情報が視覚装置上の現実環境の画像に重ねられることで解決される。

0021

装置に関して、課題は、コンピュータによって生成された情報を現実環境の画像へと視覚的にフェードインするための装置によって解決され、この装置には画像受取装置のポーズを判定するための手段および判定に対応するロボット特有の情報を視覚装置上の現実環境の画像に重ねるための手段がある。

0022

この発明の範囲内では、ロボット特有の情報という言葉は、ロボットの動作に関する情報、たとえば、具体的には実際のロボット上の動作およびプログラムデータに関する情報、ロボットによって操作される工作物、および装備、部品など近くにある障害物に関する情報など、ポーズおよび動きに関する情報を含む。この情報は、視覚装置上に図形的にフェードインされる。

0023

再プログラミングが容易なため、この発明によって、ロボットによる動作シーケンスの自動化の柔軟性を高めることが可能になる。

0024

この発明は、ロボットの稼動、プログラミングおよび動作をより単純かつ効率的にする。具体的には、この発明は、運搬設備などの付加的なロボット構成要素を有する複雑な設備のロボットのグループに関する。

0025

この発明の第1の好ましい展開例によると、少なくとも1つのロボット特有の基準の座標系がフェードインされ、特にハンドフランジに固定された座標系がフェードインされる。ロボットハンドフランジ座標系およびハンドに固定されたツールの視覚化は、この座標系の原点がTCP(TCP座標系)上に再現されるように行なわれるのが好ましい。静止した「世界座標系」または静止した、工作物に固定された基本の座標系などの他の基準の座標系を視覚化することも可能であり、後者は静止したロボットベース対称中心にあることが好ましい。

0026

所与要件の関数としての静止した基本の座標系(世界、ベース)の場合、さらにまたはこれに代えて、TCPへと移動されかつ空間におけるその方向付けが静止した基準の座標系の方向付けに一致するがロボットフランジとともに動く座標系をフェードインすることが可能である。

0027

別の好ましい展開例によると、ロボットの軸がフェードインされる。仮想のロボットの軸は、ロボットの実像の上に重ね合わされ、それらはロボットの個々の部品(ベース、ロッカーロボットアームおよびロボットハンド)の軸に対応するかまたはそれらに一致し、このようにしてそれらが表現される。

0028

座標方向はロボットシステム上に、たとえば、そのツール中央点上にフェードインされ、任意で指定される(デカルト法の場合、たとえば、x、y、zと指定され、軸特定方法の場合、たとえば、軸1、軸2、軸3と指定される)。アクティブな座標方向または軸を図形的に、たとえば、色または動画によって強調することが適切な場合がある。

0029

基準の座標系を直接操作できるようにするために、選択された種類の座標系が予め定められた位置に自動的に生成され、視覚化される。座標系は、所望の位置および方向付けまたはポーズが得られるまで視覚的な制御の下でユーザによって移動および回転させることができる。

0030

この発明は強化現実(AR)によって現実のロボットシステム上に選択された基準の座標系またはロボットの軸を視覚化するが、これによってユーザは特にロボットシステム置換キーによる手動の置換を容易に予測することができる。

0031

この発明によって可能になる基準の座標系の操作性によって、ユーザは面倒で複雑な測定方法を学び、実行する必要がなくなる。増補された仮想の対象物の操作は、直感的にわかりやすく、時間および費用を節約し、ユーザ側に要求される資質を低減する。

0032

この発明のさらに別の好ましい展開例は、少なくとも2次元可動のロボット手動プログラム機の制御要素の画像がフェードインされ、特に関連する制御要素およびロボットハンドフランジの方向付けの画像がフェードインされることを特徴とする。ユーザにはわかりやすく、たとえば、手動プログラム機上の実際の制御要素が動作された場合に、ロボットおよびそのハンドがそこに固定されたツールとともにどのような動きを行なうかについての概念が容易になる。制御要素をロボットシステムTCP上にフェードインしかつそれとともに動かしてもよく、または入力要素を予め定められた位置でディスプレイに重ねてもよいし、または空間に固定してもよい。

0033

対称の構造を有する制御要素の場合、フェードインされた入力要素での座標系の位置がユーザには直接的に検出できないことがある。そのような場合、フェードインされた入力要素にさらにマーキング(たとえば、図形記号)を行なうのが適切な場合がある。この意味で、制御要素上でのユーザの手の通常の位置をフェードインしてもよい。6自由度の制御要素(たとえば、6Dマウス)では、制御要素なしにユーザの手をフェードインすれば十分な場合がある。

0034

座標系またはロボット軸などの仮想の要素、または手動プログラム機上の制御要素などの仮想の形の現実の要素を実際のロボットの画像とともに視覚化することとは別に、非常に好ましい展開例によると、ロボットおよびその動きのシーケンスを現実環境に視覚化して現実の工作物をそこに存在させることも可能である。これによって物の損傷や人の負傷の危険が低減される。増補されたロボットは、人がすぐ近くにいても無作為スピードで動くことができるため、タイム露出が低減される。

0035

経路点を教示するため、シミュレーションされるロボットはユーザによって動かされ、所望のターゲット位置に達した際に経路点が記憶される。プログラムをテストするとき、シミュレーションされるロボットは現実のシステムの代わりにプログラムされた経路をたどる。これはプログラムされたスピードまたは他の無作為なスピードで行なってもよい。経路の追従は現実に近いようにシミュレーションする必要はない。連続的にターゲットのポーズをフェードインして(すなわち、経路点から経路点へのジャンプ)、それらをチェックし、任意で適合するだけでよいので有利である。

0036

さらに別の展開例によると、動作中にロボットが通るロボット経路、およびツール中央点の経路を付加的な情報とともに、好ましくはロボットと関連付けて、より正確には現実のハンドフランジまたはツールのTCPの画像と関連させてフェードインすることができる。プロセスのプログラミングまたは操作は手動プログラム機上でオペレータによって行なわれるが、これによって、ロボットに関連して表示されるハンドフランジまたはツールのTCPを通って延在する視覚化されたロボット経路の表示に空間において変更が行なわれる。具体的には、これは、経路点がフェードインされ、空間での経路点の位置が可変であり、すべての経路点の位置に対応するロボット経路の湾曲がフェードインされることで行なわれる。

0037

空間的な経路パターンに加え、付加的な動きのパラメータ(たとえば、スピード、加速度等)または空間的な関数(たとえば、経路切換関数入出力の設定/読取、加工プロセスの開始/停止等)を視覚化してもよい。この情報はテキストの形で視覚化してもよいし、図形または動画によって視覚化してもよい。

0038

定められた現実の工作物の位置にロボット経路を適合するためのさらに別の実施例によると、工作物の仮想の画像がそれに適合されたロボット経路とともにフェードインされるため、仮想の工作物の画像およびロボットの経路点を現実の工作物の画像と重ね合わせることによって、実行されるロボット経路を現実の工作物の位置に適合することが可能にな
る。

0039

この発明の別の好ましい展開例によると、ロボットによって到達可能な総動作領域および/または許可される動作領域および/または許可されない動作領域がディスプレイに視覚化され、および/またはロボットツール、ロボットハンドおよび/またはさらに別のロボット要素の動きの通路がディスプレイに視覚化される。「総動作領域」は、TCPによって仮定することのできるすべてのポーズの総数を示す。「動作領域」はプログラム機によって無作為に固定することができる。

0040

たとえば、ある施設内で相互に作用する複数のロボットの場合、少なくとも1つのロボットの少なくとも1つの手動のプログラム機の永久的および/または瞬間的な関連付けを視覚化することもできる。

0041

ロボットシステムと手動プログラム機との間の関連付けに類似の態様で、ARを介してロボットシステムの現在の状態を視覚化し、必要であれば修正することも可能である。視覚化される状態の例は、選択された動作モード、ドライブの状態(オンまたはオフ)等である。

0042

上述の好ましい実施例のすべてに共通するのは、コンピュータによって生成された情報がユーザに対して常に視覚化されるか、またはユーザによって要求されたときに(たとえば、許可キーが押されない場合の置換キーの操作の場合における手動の置換とともに)視覚化されることである。別の代替例によると、情報は予め定められた時間に自動的にフェードインされる(たとえば、現実のロボットシステムが動きを開始する直前)。

0043

上述の4つの使用分野において、ARシステムは、連続する画像シーケンスまたはオペレータによって開始される個々の「スナップショット」を供給することができる。対応して、情報は画像シーケンスにオンラインでフェードインされるか、またはオフラインで記録された個々の画像にフェードインされる。

0044

視覚化はオフに切換えることもできる。連続する画像シーケンスの場合、任意で画像を静止させることもできる。

0045

生成された対象物の視覚化の、現実との近さの程度は無作為であってもよい。視覚化は、工場のユーザの視覚を損なわないために半透過的な態様またはエッジモデルとして行なってもよい。

0046

この発明のさらに別の利点および特徴は、特許請求の範囲、以下のこの発明の実施例の説明ならびに添付の図面から理解できるであろう。

発明を実施するための最良の形態

0047

発明の詳細な説明
図1aおよび図1bは、コンピュータによって生成された情報をディスプレイ上で現実環境の画像へとフェードインするためのこの発明の装置1の第1の実施例である。

0048

この発明による装置1は、ロボットの動作シーケンスを快適にプログラムすることのできるロボットのための手動プログラム機2を有する。このため、手動プログラム機2には、6つの置換キー2.1および6Dマウス2.2の形の制御または動作要素が設けられ、これによってロボットの6軸の動きをキー2.1によるのと同じように制御することができる。そのような手動プログラム機は、EP 840 910(US 6,134,102に対応する)またはEP 840 909(US 6,362,813に対応する)か
ら知られており、そのような手動プログラム機の開示に関してそれらを参照する。手動プログラム2はスクリーン2.3も有し、ロボットの動きのための動きのシーケンスに関するさまざまなパラメータなどの情報および制御プログラムのデータが表示される。たとえば、図示されない物理的なキーによって入力することが可能であり、またはスクリーン2.3をタッチスクリーンとして構成し、入力キーをスクリーン2.3に重ねることも可能である。

0049

図1aおよび図1bによる実施例では、スクリーン2.3とは別に、この発明の装置は付加的な視覚装置1.1を有するが、これは物理的に手動プログラム機2に接続され、たとえば、そこに装着されて旋回可能であってもよい。図示の実施例では、視覚装置1.1の後ろカメラの形の画像受取装置1.2が設けられ、現実環境を記録することができる。この記録の結果として、たとえば、空間に位置付けられるマーキングによって、画像受取装置1.2のポーズと称される、空間における位置および方向付けを数学的に判定することができる。またはこれに代えて、画像受取装置1.2のポーズは、それによって記録された実際の画像を記憶された基準の画像と比較することによって、または付加的なセンサシステムを使用することによって得られる。

0050

たとえば、図7から17の装置1.1の図に示されるように、視覚装置1.1には、一方で、カメラ1.2によって記録された現実環境の画像が示される。他方で、ロボット特有のコンピュータによって生成された情報も前記画像にフェードインされる。

0051

従来の表示可能なスクリーンの形の視覚装置1.1の代わりに、前記装置は透明なスクリーンであってもよく、任意で画像化光学機器によって現実環境の画像を光電子工学的な変換なしに前記視覚装置1.1に示し、目に見えるようにすることができる。そのような場合、ポーズの判定は、たとえば、空間に無線マーキングを設け、これらに対して、少なくとも視覚装置1.1に接続されるレシーバによってポーズを判定できるようにして、技術的に行なってもよい。

0052

視覚装置1.1は、図3による空間的な構成の場合のように、手動プログラム機2から空間的に離れていてもよい。

0053

たとえば、図1aおよび図1bの場合の視覚装置1.1としての別個のスクリーンの代わりに、現実環境の画像をロボット特有のコンピュータによって生成された情報とともに示す視覚装置1.1は、図2aおよび図2bの場合のように、たとえば、手動プログラム機2のスクリーンディスプレイ2.3内にあるスクリーンウィンドウとして手動プログラム機2に組込んでもよい。

0054

そのような場合、現実環境を記録するためのカメラ1.2は、特に図2から明らかであるように、手動プログラム機2に直接位置付けられる。それは、特に適切な記録場所にユーザがアクセスできないかまたは容易にアクセスできない場合、視覚装置1.1から完全に離してもよい。

0055

それ以外は、図2aおよび図2bの構成は、特に手動プログラム機2に関して、図1aおよび図1bの構成に対応する。

0056

図3は、眼鏡の形の視覚装置1.1を備えたこの発明による装置を示し、ユーザ4はレンズ1.3(シースルーの眼鏡)を通して現実環境を直接見ることができ、レンズ1.3はロボット特有のコンピュータによって生成された情報を重ねることができる透明なスクリーンとして構成されている。このため、視覚装置1.1はケーブル1.4によって手動プログラム機2に接続されているが、これはワイヤレス伝送、特に無線伝送によって置換
えることができ、赤外線伝送によっても置換えることができる。視覚装置1.1にはカメラ1.2が設けられ、空間における対応する光学的なマーキングを使用しかつカメラによって視覚装置1.1のポーズを規定することができる。これに加えてまたはこれに代えて、視覚装置1.1または画像受取装置1.2のポーズは、カメラ画像を記憶された画像と比較することによって得られる。根本的に、電磁気的、光学的または聴覚的なセンサシステムを設けることも可能であり、これらによって空間内の対応するマーキングトランスミッタに対する画像受取装置または視覚装置のポーズを上述の態様で規定することができる。

0057

この発明によって、ロボット自身、経路パターン、工作物等の仮想のまたは増補されたロボット特有の空間対象物を操作することでロボット特有のデータを操作することが可能なる。これは図4aから図4eに関して説明する。

0058

空間で動かされている現実のロボットシステムのTCPと同様に、置換キー/6Dマウスなどの手動プログラム機上の既知の制御要素は、ユーザの手4.1による操作によって、移動された空間対象物のポーズを示す、選択され増補された空間対象物AR′を移動および回転させるために使用することができる。純粋なAR視覚化と比較して、関与する時間は制限される。

0059

空間での入力要素の位置は、静止した受取システム3.1およびたとえば、ポインタの形の入力要素3.2を備えたセンサシステム3によって判定することができる。ユーザが入力要素3.2を動かすと、この動きは、選択され増補された対象物AR(または、任意でこれらのいくつか)に伝送される。

0060

人間工学的な面を改善するため、動きは、ユーザによって予め設定された倍率に対応する大きな倍率または小さな倍率で、選択された空間対象物へと伝送することができる。入力要素の空間的な動きおよび増補された空間対象物の「結合」の生成は、ユーザ側の対応する入力を通じて行なわれる(たとえば、ユーザが入力要素上のボタン押圧している間)。「結合」および「切り離し」を変更することで、入力要素を長い距離にわたって動かすことなく、増補された空間対象物をかなりの距離にわたって置換させることが可能である。このため「インデックス付け」が行なわれる。

0061

上述の意味での入力要素は、たとえば、ポインタ、ハンドルデータグローブまたは実際の手動プログラム機である。センサシステムは、電磁気的(たとえば、無線)、光学的(たとえば、赤外線)または聴覚的な(たとえば、超音波)追跡に基づいてもよい。手動プログラム機が入力要素として使用される場合、空間的なポーズを判定するために既にそこに存在する上述のシステムを空間対象物を操作するために使用してもよい。

0062

またはこれに代えて、地面の代わりに携帯手動プログラム機に対して入力要素(たとえば、ポインタ)のポーズを測定し、評価することができる。上述の可能性に加え、入力要素のポーズは、接合角度集積化センサを備えた多重接合キネマティックスなどの、入力要素と手動プログラム機との間の機械的な測定システムを通じて使用することができる。

0063

空間対象物は、入力要素3.1(たとえば、ポインタ、ハンドル、データグローブまたは完全な手動プログラム機)を使用して直接的に予め設定することができ、空間におけるそのポーズは対応するシステムで検出される。

0064

図4bおよび図4cによる操作性の本質的な利点は、入力要素の空間的な位置付けを介して空間対象物を操作することで時間が節約され、たとえば、動きのキーまたは6Dマウスを使用するときなどの、スピードが制御された置換および回転を使用するときよりもユ
ーザに直感的にわかりやすいことである。

0065

上述の操作性は、上述のARの使用状況(ツールおよび工作物座標系の測定中の基準座標系の移動、ロボット経路の支持点の置換、動作領域の角の点または側壁の置換等)であればどのような状況でも画像化することができる。

0066

図5に示されるロボット経路のARに支援された修正のためのシーケンスは、まず、機械加工が完了したか否かを規定するために機械加工の状態についての呼掛け信号を用いた再プログラム選択を伴う(ステップA)。答が否定であれば、経路セクションを修正するかの質問が行なわれる(ステップB)。これが当てはまらない場合、ジャンプして戻る。経路セクションが修正される場合、プログラム内で選択された経路セクションに関する判定または計算が行われ、これはツール中央点の経路全体を含み得る(ステップC)。選択された経路セクションまたは経路全体が視覚装置上の現実環境の画像へと重ねられる(ステップD)。これに続いて、置換命令またはいくつかのそのような命令を修正するかを規定するために質問が行なわれる。これが当てはまらない場合、視覚化は終了され(ステップD′)、経路セクションはフェードアウトされ(ステップD″)、質問Bへ戻る。

0067

置換命令またはこれらのいくつかを修正する際、任意で関連付けられる経路が判定される(ステップF)。選択された置換の動きのターゲットおよび任意でツール中央点の関連付けられる経路はAR表示に示されて強調される(ステップG)。後に図14に関して説明するように、座標系をフェードインすることで、任意で方向付けも適切に視覚化される。

0068

図4aから図4cに関して説明した、空間内で経路および任意でターゲットを移動させることによりユーザ側で予め設定された詳細に基づいて、修正されたターゲットおよび任意で経路が判定され(ステップH)、ARディスプレイに視覚化されるため(ステップI)、ターゲットの位置および任意でARディスプレイ内での経路をチェックすることができる。任意で、ロボット制御のソフトウェアはターゲットにロボットが到達し得るかをチェックし、任意で警告メッセージを生成する。

0069

ステップHおよびステップIに従って所望のターゲットおよび任意で経路を計算しかつ表示した後、所望のターゲットおよび任意で所望の経路パターンに到達しているかについての質問が行なわれる(ステップJ)。これが当てはまらない場合、別のターゲットおよび任意で経路パターンの判定および視覚化が繰返され、ステップHおよびステップIが繰返される。所望のターゲットに到達している場合、ターゲットおよび関連付けられる動きの命令の固定が行なわれる(ステップK)。

0070

次に、別の置換命令を修正すべきかについての質問Eに戻る。これが当てはまる場合、その別の置換命令についてステップFからKが再び行なわれ、これが当てはまらない場合、ステップE′、E″に関して説明したように、さらに別の経路セクションを修正すべきかについての質問に戻る(ステップB)。これが当てはまらない場合、既に説明したように、機械加工の状態についての質問に戻り、さらに機械加工が行なわれない場合、プログラムの選択が解除され、プログラムが終了する(ステップL)。

0071

置換の動きのさらに別のターゲットの挿入が対応して行なわれ、入力されるかまたはプログラムの部分上の開始位置は自動的に提案され、先行する動きのターゲット位置がそこに存在してもよい。

0072

表現されるプログラムのシーケンスは、たとえば、プログラムを開いた後にロボットの経路を自動的に直接フェードインし、および/またはあり得るロボット経路の選択を自動
的に視覚化することで、さらに自動化および簡略化することができる。ユーザは、手動プログラム機のプログラム調査の中でプログラムにマーキングする際にプレビューの種類の強化現実で対応するロボットの経路を任意で観察することができる。

0073

図6から図6bは、ロボット特有のコンピュータによって生成された情報を現実環境の画像へとフェードインするためのこの発明の装置の構造を示し、この発明によるシーケンスはここから容易に理解できる。

0074

この発明の装置1は、ロボット特有のコンピュータによって生成された情報を視覚装置1.1に表示するために処理するための処理ユニット5を有する。図4の破線で示されるように、処理ユニット5にはカメラ1.2を接続してもよく、これは現実環境の画像を記憶し、処理ユニット5に供給する。処理ユニット5内には、画像生成ユニット5.1があり、カメラ1.2に従って視覚装置1.2のポーズを評価し、カメラ画像をロボット特有のコンピュータによって生成された情報と混合するため、現実画像と表示されるべき情報とが視覚装置1.1上にともに表示される。

0075

このため、処理ユニット5は操作ユニット5.2を有し、ロボット制御6は、少なくとも1つのロボットを制御しかつそこからロボット特有の情報を入手するためのデータインターフェイスを有し、ロボット特有の情報は現実環境の画像とともに視覚装置1.1上に表示される。処理ユニット5は、たとえば、ロボットのための手動プログラム機などの、人間のユーザによってロボット特有の情報を空間的に操作できるようにする入力装置のためのインターフェイスを組込んでもよい。この発明による装置によって、ロボット特有の情報は、任意でユーザの入力を考慮しつつ強化現実モデルで使用することができ、強化現実モデルは画像生成ユニット5.1によってさらに処理して視覚装置1.1上に増補された画像を表示する。任意のユーザの入力によるロボットデータの変更は、モデル操作ユニット5.2によってロボット制御6へと戻すことができる。ARデータの空間的操作のためのユーザ入力は5.3と表わされる。

0076

処理ユニット5は、視覚装置1.1、手動プログラム機2またはロボット制御6に組込んでもよい。それは根本的にそれ自身の物理的なユニットを形成してもよい。処理ユニット5は、たとえば、画像生成ユニット5.1が視覚装置1.1または手動プログラム機2にあり、モデル操作ユニット5.2をロボット制御6に収納できるようにして、空間的にさらに分割してもよい。処理ユニット5またはその部分は、異なるロボットのための中央システム組合わせてもよく、任意で通信経路インターネットを経由してもよい。

0077

図6は基本的な事例を示し、図6aおよび図6bの携帯型または眼鏡状の視覚装置の特別な事例はそこから派生したものである。一般的なアーキテクチャは、後に説明する2つの具体的なアーキテクチャの共通点を表わす。

0078

図6aによる構成では、視覚装置1.1は、図1a、1b、2aおよび2bによる手動プログラム機2に接続されるか、または組込まれる。それには、カメラ1.2および入力要素2.1、2.2(キー、6Dマウス)が設けられる。カメラ1.2は上述の態様でその位置を判定することができ、したがって、視覚装置1.1の位置を判定することができ、入力要素2.1、2.2によってロボットデータを操作するための入力を人間のユーザによって入力することができる。これ以外は、図5による構成は図4の構成に対応する。

0079

図6は、図2のこの発明の装置に関するブロック図である。視覚装置1.1は強化現実眼鏡に組込まれ、これはカメラ1.2を備えてもよい。眼鏡は、カメラ画像を経由してではなく現実世界を直接認識することができ、かつコンピュータによって生成された情報のみがフェードインされるシースルーの種類のものであってもよい。たとえば、入力キー2
.1および/または6Dマウス2.2を備えた手動プログラム機2などの空間的入力要素とは別に、空間的視覚装置1.1が物理的に離れた形で設けられる。これ以外は、図6のブロック図は図4に対応する。

0080

手動プログラム機2の形の入力装置は、それが視覚装置1.1として働く程度で、異なる構成、たとえば、異なる入力装置として設けてもよく、異なる視覚装置を設けてもよい。特に後者についてはこれに関して既に説明した。

0081

図7aから図7cは、現実環境の領域とともに視覚装置1.1上のあり得る表現を示し、たとえば、ロボット7またはそれによって機械加工される工作物8などの現実環境の領域およびロボット特有のコンピュータによって生成された情報が現実環境のこの画像にフェードインされ、そこに接続される。溶接トングなどのツール7.1を備えた現実のロボット7の画像を用いて、それに関連付けられる座標系、たとえば、座標X+、Y+、Z+を備え静止した世界座標系K1などを生成することが可能である。座標系K+は、置換された座標X′+、Y′+、X′+を備えたTCPへと平行に置換された世界座標系である。世界座標系K1の原点は、ロボット7のベース7aの対称軸と背景との交点にあり、座標系K2の原点はハンドフランジの中央にあり、またはツールが存在するときは、ツール中央点へと置換される。座標系を表現することによって、特にプログラム機上の置換キーによって手動でロボットにデカルトの動きをさせる際の支援が得られる(図7a)。

0082

図7aの黒の矢印Vは、ロボットの動く準備ができていない限り、動く準備ができた場合の動きの方向およびスピードをその方向および長さで視覚化する。ロボットが動くと、矢印Vはロボットシステムの実際の動きの方向およびスピードを視覚化する。

0083

ロボットプログラムの準備、適合またはテストを容易にするため、機械加工される工作物8を現実のロボット7の画像と関連付けてコンピュータによって生成された態様で視覚化してもよい。シミュレーションされる構成要素8′は、ロボットプログラムの準備、適合およびテスト中に基準を形成する。シミュレーションされる構成要素8′の使用は、現実の構成要素8が嵩張るかまたは工場内でのユーザ4の自由な動きを妨げる場合にも有利である(図7b)。

0084

図7cは、手動でのデカルトの動きにおけるAR支援としての、座標X3+、Y3+、Z3+を備えたツール座標系K3のフェードインの図である。

0085

ツールまたは工作物は基準座標系を操作することによって測定可能である。シーケンスは、図5に関して説明したように経路の動きのターゲットの操作と類似である。基準座標系は、工作物に対して(基本座標系を測定するとき)またはツールに対して(ツール座標系を測定するとき)所望の位置になるまでユーザの視覚的な制御の下で空間内で移動され、回転される。

0086

ロボット経路がプログラムされるかまたは修正される場合でかつ実際の工作物が利用できない場合、この発明によると、この代わりに増補された工作物を用いて動作することが可能である。ユーザは、実際の工作物ではなく、増補された工作物上でロボットを手動で動かすことで点を教示する。工作物が存在するときと同じ態様で、存在しない工場の構成要素を増補し、たとえば、ロボット経路を固定して前記工場の構成要素の設置後に衝突が起きないようにすることが可能である。ほぼ増補された対象物のみがフェードインされる空間での手動によるロボットの動きは単純である。なぜなら、現実の対象物とのロボットの衝突を考慮する必要がなく、ユーザは空間内で妨げられることなく動くことができるためである。ここでの増補された対象物は静的な性質のものである。

0087

現実の工作物が存在しない場合、ARによる工作物の視覚化は、ロボットのどの動きの命令がある特定の機械加工プロセスに属するかについての価値のある付加的な情報をユーザに与えられる可能性がある(おそらく非常に複雑なロボット経路が視覚化され、調査が困難である)。

0088

増補された工作物の視覚化によって、ユーザには、ロボットが開始しようとしている工作物が明らかになる。ロボットが異なるプログラムを用いていくつかの工作物を機械加工する場合、現実の工作物と増補された工作物とを比較することによって、ユーザは正しい機械加工プログラムの選択を単純に検証することができる(これに関しては、図13の説明を参照)。

0089

増補された工作物は、ロボットがどの点に工作物があると仮定しているかをユーザに示す。ロボットプログラム経路が現実の工作物の位置に対応しない場合(たとえば、位置的な許容差のため)、ユーザは、現実の工作物と一致するまで増補された工作物を関連付けられるロボットプログラム経路点とともに移動および回転させて、ロボットプログラムを訂正することができる。操作は上述の態様で行なうことができる。

0090

記載される最後の3つの適用例では、ARによる工作物の視覚化は、ロボットプログラムの増補された経路パターンに対する付加的な情報を提示する。工作物の増補はロボット経路に依存する(その位置は、たとえば、対応する工作物の座標系の移動によって変化する)。結果として、これは動的な、操作可能なロボット特有の情報を提示する。

0091

特にプログラム機上の動きのキーを用いた手動によるロボットの軸に特有の動きの支援に対して、さらに座標系の代わりにロボットの軸A1からA6を表示することができる。すなわち、それらは画像内の実際の軸に一致するように現実のロボット7の画像にフェードインされる。さらに、対応する軸のまわりの正および負の回転の方向を表示してもよい(図8)。軸の視覚化は、単一接合構成の近くにいるユーザに対して1つまたは複数の軸がそれらの最大の加速度またはスピードの限界に達することを示すことで手動でのデカルトの動きに役立つ可能性がある。

0092

さらに、特に3Dマウス2.2による手動の動きは、これをロボット7のハンドフランジ7bまたはTCPの直接上流に仮想的な3Dマウス2.2′としてその画像にフェードインすることで容易にすることができる。さらに、ユーザの仮想の手4.1aをフェードインすることも可能である(図9)。

0093

図10は、コンピュータによって生成されたさらに別の位置7′および異なる位置にあるロッカー、ロボットアームおよびロボットハンドなどのロボットの部品とともに現実のロボット7の画像を示し、総動作領域等が示され、これによって、ロボットの動作シーケンスのプログラミングが容易になり得る。なぜなら、経路点の教示およびロボットのプログラムされた経路のチェックのために動く必要がなく、時間が節約され、負傷および損傷の危険が低減されるためである。

0094

現実のロボット7の画像およびその通過するハンドフランジ7bまたはTCPとともに、コンピュータによって生成されたロボットの動作経路をフェードインすることも可能であり、任意で具体的に英数字で示された経路の点P1からP6、および、たとえば、2点間の領域などのある領域での経路のスピード、ならびに経路点P4およびP5でのグリップの開放および閉鎖(開放されたグリップ、閉鎖されたグリップ)などの英数字の機能的な詳細とともにフェードインすることも可能である(図11)。

0095

英数字の情報に加え、記号または特定の経路点でのツールの方向付けを視覚化すること
も可能である。

0096

既存のロボットプログラムの適合のために、経路点は、図12に示される態様で、直接的に、個々にまたはグループで置換および回転させることができる。図5に関して説明したように、新しい経路点または完全な新しいプログラムもしくは経路シーケンスの設置を直接的に視覚化することも可能である。

0097

さらに別の展開例によると、現実の構成要素8の画像とともにコンピュータによって生成された構成要素8′を視覚化することも可能である(図13)。構成要素の位置に相違がある場合、増補された工作物8′が現実の工作物8と一致するようにするまで増補された工作物8′をそれに関係するロボットの経路点または経路とともに置換および回転させることで、ロボットプログラム内の経路点のグループの位置を訂正することができる。

0098

いくつかのロボットを含む現実の工場の動作領域を視覚化しかつ双方向に適合することも可能である。図14は、コンピュータによって生成された総動作領域7.1′、7.2′、7.3′とともに3つの協働するロボット7.1、7.2、7.3の現実の画像を示す。ロボットシステムの到達可能な総動作領域を視覚化することは、非常に隣接して配置されたロボットシステムの衝突の可能性のあるゾーンを検出するのに有利であり得る。ロボット経路の直接的な適用または適合は、到達可能な動作領域の視覚化によって結果的に効率よく支援される。

0099

ロボットが貫通してはならないかまたは離れてはならない領域を視覚化および適合することも可能である。これらはいくつかのロボットシステムまたはその他の工場の構成要素によって共同で使用される動作領域であり得るため、それらの使用を管理してもよい。ロボットシステムを手動による案内で動作する場合に使用される仮想の固定は、容易に固定し、視覚化しかつ適合することができる。動作領域の種類は、プログラム機によって定義するか、または対応するソフトウェアによって自動的に固定することができる。規定された動作領域は、ロボット構造の規定された点に関係し、ロボットまたはその部分のTCPまたはこれに代えて外形に関係することが好ましい。

0100

動作領域の視覚化は、たとえば、その動作領域に対応する同じサイズおよび幾何学的構造のボディをフェードインすることによって行なうことができる(図15)。仮想の固定または案内通路の視覚化も類似の態様で行なうことができ、図16に示されるように、3次元、2次元または1次元のボディを使用することができる。またはこれに代えて、ガイドレール接合機構等の視覚化など、対応する動きの可能性の制限を組込んだ相当する機械的構造を視覚化することも有利である。

0101

視覚化された動作領域を適合するために、空間において角または補助的な点を個々に訂正することができる。またはこれに代えて、図4aから図4cに関して説明したように、動作領域の横方向の面を個々に置換および回転させて動作領域を適合することも可能である。

0102

動作領域および仮想の固定のこの発明によるAR視覚化は、図15および16に示されるように、たとえば、許可された動作体積および許可されない動作体積をフェードインすることによって、ユーザが動作領域および仮想の固定を固定するのを支援する。プログラミング中、たとえば、手動プログラム機上の入力要素を用いて角の点を「移動させる」ことによって、動作領域または仮想の固定を操作することができる。

0103

1つの手動プログラム機を用いていくつかのロボットを連続してプログラムする場合、たとえば、矢印等の図形要素によって、プログラム機の関連付けられるロボットに印を付
けることができる(図17)。異なるロボットが手動プログラム機によって連続してまたは同時に制御される場合も、これが当てはまる。ここでも、現在手動プログラム機に関連付けられているロボットがユーザに視覚的に明示されて有利である。さらに、ユーザがフェードインされた仮想の入力要素に接触することで、ロボットシステムの選択および選択の解除をすることができる。または、プログラム機は対応するロボットを用いて方向付けられる。ロボットの基本的な選択性またはその使用性の欠如は、たとえば、ある所与の手動プログラム機によって制御することのできるロボットのグループにそのロボットが属していない場合、対応するマーキングまたは名称によって現実のロボットの画像上でユーザに対して直接的に示すことができる。選択された動作モード、ドライブの状態(オン、オフ)等のロボットシステムの実際の状態を視覚化し、必要であれば修正することも可能である。

図面の簡単な説明

0104

コンピュータによって生成された情報を現実環境の画像へとフェードインするための装置の第1の実施例の平面図である。
コンピュータによって生成された情報を現実環境の画像へとフェードインするための装置の第1の実施例の側面図である。
この発明の装置の別の実施例の平面図である。
この発明の装置の別の実施例の側面図である。
この発明の装置の別の実施例の図である。
この発明によって可能となる増補された空間的な対象物の操作の図である。
この発明によって可能となる増補された空間的な対象物の操作の図である。
この発明によって可能となる増補された空間的な対象物の操作の図である。
例示的な態様でのロボット経路のARに支援された修正のフロー図である。
この発明による装置のブロック図である。
図2aの実施例に対応するこの発明による装置のブロック図である。
図3の実施例に対応するこの発明による装置のブロック図である。
手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。
手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。
手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。

符号の説明

0105

1 装置、1.1視覚装置、1.2カメラ、1.3眼鏡のレンズ、1.4ケーブル、2手動プログラム機、2.1動きのキー、2.2 6Dマウス、2.3スクリーン、3センサシステム、3.1静止した受取システム、3.2入力要素、4 ユーザ、4.1,4.1′ 手、4.1a仮想の手、5処理ユニット、5.1画像生成ユニット、5.2操作ユニット、6ロボット制御、7ロボット、7′ さらに別の位置、7.1〜7.3協働ロボット、7.1′〜7.3′ 動作領域、7aベース、7bハンドフランジ、8工作物、8′シミュレーションされる工作物、P1〜P6経路点、AO,AO′増補された空間対象物。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ