図面 (/)

技術 情報処理装置及びその制御方法及びプログラム

出願人 キヤノン株式会社
発明者 鈴木達矢片山昭宏藤木真和鈴木雅博小林俊広
出願日 2019年9月11日 (1年11ヶ月経過) 出願番号 2019-165528
公開日 2021年3月18日 (5ヶ月経過) 公開番号 2021-043075
状態 未査定
技術分野 光学的手段による測長装置 イメージ分析
主要キーワード 付け元 未計測領域 産業用ロボットアーム ランダムドットパターン 可動範囲外 モデル特徴 視点変更後 データ特徴
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年3月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

複数視点計測するときの計測・移動回数をできるだけ減らしつつ、高精度に測定対象物位置姿勢推定が可能になる。

解決手段

本発明の情報処理装置は、計測対象物の形状を表すモデル特徴群を保持するモデル情報保持部と、第1の計測視点から計測した計測特徴を取得する計測特徴取得部と、モデル特徴群と計測特徴取得部が取得した計測対象物の計測特徴群から計測対象物の位置姿勢推定する位置姿勢推定部と、位置姿勢推定部で推定した位置姿勢値、モデル特徴群、および計測特徴群に基づいて、計測特徴取得部が取得した計測対象物の計測特徴群を評価する計測特徴評価部と、計測特徴評価部で評価した結果に基づいて、第1の計測視点とは異なる第2の計測視点を決定する計測視点決定部とを有する。

概要

背景

近年、ロボット技術の発展に伴い、工業製品の組み立てのようなこれまで人間が行っていた複雑なタスクを、ロボットが代わりに行うようになりつつある。このようなロボットでは、ハンドなどのエンドエフェクタによって部品ピックして組み付けを行う。ロボットによって部品を組み付けるためには、当然のことながら、把持している組み付け元部品と組み付け先部品との間の相対的な位置及び姿勢計測する必要がある。

特許文献1のように、撮像で得たフレーム間で隣接した視点で計測したデータ特徴を結合する方法が開示されている。この方法を用いて、ロボットを移動させながら複数の視点からデータ特徴を取得することにより、1つの視点から得た計測特徴だけでは特定できなかった部品の位置姿勢を特定することができる。

概要

複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度に測定対象物位置姿勢推定が可能になる。 本発明の情報処理装置は、計測対象物の形状を表すモデル特徴群を保持するモデル情報保持部と、第1の計測視点から計測した計測特徴を取得する計測特徴取得部と、モデル特徴群と計測特徴取得部が取得した計測対象物の計測特徴群から計測対象物の位置姿勢を推定する位置姿勢推定部と、位置姿勢推定部で推定した位置姿勢値、モデル特徴群、および計測特徴群に基づいて、計測特徴取得部が取得した計測対象物の計測特徴群を評価する計測特徴評価部と、計測特徴評価部で評価した結果に基づいて、第1の計測視点とは異なる第2の計測視点を決定する計測視点決定部とを有する。

目的

本発明は上記問題を鑑みてなされたものであり、物体を位置及び姿勢を計測するための、視点の移動と視点位置での計測回数を少なくする技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

計測対象物の形状を表す、モデル特徴群を保持するモデル情報保持手段と第1の計測視点から計測した計測特徴を取得する計測特徴取得手段と、前記モデル特徴群と前記計測特徴取得手段が取得した計測対象物の計測特徴群から計測対象物の位置姿勢推定する位置姿勢推定手段と、前記位置姿勢推定手段で推定した位置姿勢値、前記モデル特徴群、および前記計測特徴群に基づいて、前記計測特徴取得手段が取得した計測対象物の計測特徴群を評価する計測特徴評価手段と、前記計測特徴評価手段で評価した結果に基づいて、前記第1の計測視点とは異なる第2の計測視点を決定する計測視点決定手段と、を備えることを特徴とする情報処理装置

請求項2

前記計測特徴評価手段は、前記位置姿勢推定手段により求めた幾何学的に類似するモデル特徴群がない計測特徴群の数を評価値として算出し、前記計測視点決定手段は、前記第1の計測視点とは異なる視点で観測できるモデル特徴群の数が前記評価値よりも大きくなるように前記第2の計測視点を決定することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記計測特徴評価手段は、前記位置姿勢推定手段により求めた幾何学的に類似する計測特徴がないモデル特徴群の分布偏りを評価し、前記計測視点決定手段は、前記モデル特徴群の分布の偏りが大きい方向と前記計測特徴取得手段で取得した計測特徴群分布とが平行方向になるように、前記第2の計測視点を決定することを特徴とする請求項1に記載の情報処理装置。

請求項4

前記計測特徴評価手段は、前記位置姿勢推定手段により求めた幾何学的に類似する計測特徴がないモデル特徴群の分布の広がりを評価し、前記計測視点決定手段は、前記計測特徴評価手段の評価の結果に基づいて、前記計測特徴取得手段で取得した計測特徴の最小面積が、前記計測特徴群と前記モデル特徴群の分布の広がりがより小さくなるように、前記第2の計測視点を決定することを特徴とする請求項1に記載の情報処理装置。

請求項5

前記第2の計測視点で取得した計測対象物の計測特徴群を追加する計測特徴統合手段と前記計測特徴統合手段が追加した計測特徴群を保持する計測特徴保持手段を更に有し、前記位置姿勢推定手段は、前記モデル特徴群と前記計測特徴取得手段が取得した計測対象物の計測特徴群と、前記計測特徴保持手段が保持している計測対象物の計測特徴群に基づいて計測対象物の位置姿勢を推定し、前記計測特徴評価手段は、前記位置姿勢推定手段で推定した位置姿勢値、前記モデル特徴群、および前記計測特徴群に基づいて、前記計測特徴取得手段が取得した計測対象物の計測特徴群および前記計測特徴保持手段が保持している計測対象物の計測特徴群を評価し、前記計測視点決定手段は、前記計測特徴評価手段で算出した評価値に基づいて、前記第1の計測視点とは異なる第2の計測視点を決定することを特徴とする請求項1に記載の情報処理装置。

請求項6

前記計測特徴評価手段は、前記位置姿勢推定手段により求めた幾何学的にモデル特徴群と類似する計測特徴群の偏りを前記第1の計測視点での計測対象物上投影して評価し、前記計測視点決定手段は、前記計測特徴群の偏りが小さい方向で、かつ前記計測対象物が観測される位置に前記第2の計測視点を決定し、前記計測特徴統合手段は、前記第2の計測視点で計測した前記計測対象物の計測特徴群を統合することを特徴とする請求項5に記載の情報処理装置。

請求項7

前記計測特徴評価手段は、前記第1の計測視点で観測が可能なモデル特徴群の分布の広がりと、前記位置姿勢推定手段により求めた幾何学的にモデル特徴群と類似する計測特徴群の分布の広がりを評価し、前記計測視点決定手段は、前記観測が可能なモデル特徴群の分布と、前記幾何学的にモデル特徴群と類似する計測特徴群の分布が重ならない領域が観測できるように前記第2の計測視点を決定することを特徴とする請求項5に記載の情報処理装置。

請求項8

前記計測特徴取得手段は、前記計測対象物を撮影した2次元画像画像特徴群を取得することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。

請求項9

前記計測特徴取得手段は、前記計測対象物の表面上の3次元点群を取得することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。

請求項10

回転および/または並進移動軸からなる可動軸を有するロボットによって、前記計測視点決定手段で決定された計測視点に、前記計測特徴群を取得する計測装置および/または計測対象物を移動させる計測視点の変更手段と、前記第2の計測視点で取得した計測特徴を前記計測特徴保持手段に統合する計測特徴統合手段とを更に有することを特徴とする請求項5乃至7のいずれか1項に記載の情報処理装置。

請求項11

情報処理装置の制御方法であって、第1の計測視点から計測した計測特徴を取得する計測特徴取得工程と、計測対象物の形状を表すモデル特徴群と前記計測特徴取得工程で取得した計測対象物の計測特徴群から計測対象物の位置姿勢を推定する位置姿勢推定工程と、前記位置姿勢推定工程で推定した位置姿勢値、前記モデル特徴群、および前記計測特徴群に基づいて、前記計測特徴取得工程で取得した計測対象物の計測特徴群を評価する計測特徴評価工程と、前記計測特徴評価工程で評価した結果に基づいて、前記第1の計測視点とは異なる第2の計測視点を決定する計測視点決定工程と、を有することを特徴とする情報処理装置の制御方法。

請求項12

請求項11に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム

技術分野

0001

本発明は、物体位置姿勢推定技術に関するものである。

背景技術

0002

近年、ロボット技術の発展に伴い、工業製品の組み立てのようなこれまで人間が行っていた複雑なタスクを、ロボットが代わりに行うようになりつつある。このようなロボットでは、ハンドなどのエンドエフェクタによって部品ピックして組み付けを行う。ロボットによって部品を組み付けるためには、当然のことながら、把持している組み付け元部品と組み付け先部品との間の相対的な位置及び姿勢計測する必要がある。

0003

特許文献1のように、撮像で得たフレーム間で隣接した視点で計測したデータ特徴を結合する方法が開示されている。この方法を用いて、ロボットを移動させながら複数の視点からデータ特徴を取得することにより、1つの視点から得た計測特徴だけでは特定できなかった部品の位置姿勢を特定することができる。

先行技術

0004

特許第5285487号

発明が解決しようとする課題

0005

しかし、ロボットを用いて多数回視点を変えて対象物体を計測するには計測装置または対象物体の移動と計測を多数回繰り返さなければならない。そのため計測に多くの時間と労力を必要とする。

0006

本発明は上記問題を鑑みてなされたものであり、物体を位置及び姿勢を計測するための、視点の移動と視点位置での計測回数を少なくする技術を提供するものである。

課題を解決するための手段

0007

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
計測対象物の形状を表す、モデル特徴群を保持するモデル情報保持手段と
第1の計測視点から計測した計測特徴を取得する計測特徴取得手段と、
前記モデル特徴群と前記計測特徴取得手段が取得した計測対象物の計測特徴群から計測対象物の位置姿勢を推定する位置姿勢推定手段と、
前記位置姿勢推定手段で推定した位置姿勢値、前記モデル特徴群、および前記計測特徴群に基づいて、前記計測特徴取得手段が取得した計測対象物の計測特徴群を評価する計測特徴評価手段と、
前記計測特徴評価手段で評価した結果に基づいて、前記第1の計測視点とは異なる第2の計測視点を決定する計測視点決定手段とを備える。

発明の効果

0008

本発明によれば、複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度に測定対象物の位置姿勢推定ができるようになる。

図面の簡単な説明

0009

第1の実施形態におけるシステムの構成を示す図。
第1の実施形態における計測装置の構成を示す図。
第1の実施形態で投影パターン撮像処理を説明するための図。
第1の実施形態における情報処理装置の構成を示す図。
実施形態における計測対象物の3次元形状モデルを例示する図。
第1の実施形態における全体処理を表すフローチャート
第1の実施形態における計測視点の決定を説明するための図。
第2の実施形態における移動視点決定を説明するための図。
第2の実施形態における全体処理を表すフローチャート。
第3の実施形態における情報処理装置の構成を示す図。
第3の実施形態における全体処理を表すフローチャート。
第3の実施形態における計測特徴の統合処理を説明するための図。
第3の実施形態における計測特徴の評価値算出処理を示すフローチャート。
第3の実施形態における移動視点決定処理を示すフローチャート。
第3の実施形態における移動視点の決定を説明するための図。

実施例

0010

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

0011

[第1の実施形態]
本第1の実施形態では、計測特徴群をより多く取得する視点に決定する方法について説明する。このようにすることで、計測特徴群を多く取得すると安定して位置姿勢推定できるようになるため、計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0012

図1は、本実施形態におけるシステムの構成例を示す。情報処理装置1は、計測装置110及び移動装置120と通信可能に接続されている。

0013

計測装置110は、図2に示す通り、撮影装置111と投影装置112から構成される。図示の破線は、撮像範囲投影範囲を示している。

0014

投影装置112は照明パターンを計測対象物130に投影し、撮影装置111は、照明パターンが投影された計測対象物130を撮影する。この撮像で得た画像から、計測対象物130の表面上の3次元点群を取得することができる。撮影される画像の形式は、グレイスケールカラーなど、対象の距離が取得できるものであれば特に制限はない。また撮影装置111および投影装置112の焦点距離主点位置レンズ歪みパラメータなどの内部パラメータおよびカメラ間相対位置姿勢、およびカメラ-プロジェクタ間の相対位置姿勢は、例えば[R. Y. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses,"IEEE Journal of Robotics and Automation, vol.RA-3, no.4, 1987.]に示す方法によって事前キャリブレーションしておく。ここでいう撮影装置110および投影装置120の間の相対位置姿勢はオイラー角で示された回転成分(α、β、γ)と並進成分(x、y、z)で表せられる6自由度のパラメータである。投影装置120が投光するパターンは、本実施形態では図3(a)に表されるマルチラインパターンであり、計測対象物130から反射した像(図3(b))を撮影装置110により撮影する。3次元点群の取得には、例えば[井口、佐、3次元画像計測、昭晃堂、1990]に記載の方法により、撮像装置111で撮影した画像からパターンを復号することによりラインパターン投影位置を特定し、先にキャリブレーションした撮影装置111および投影装置112の間の相対位置姿勢から三角測量による方法で取得することができる。

0015

移動装置120は例えばロボットアームのような6軸に移動可能な装置であり、図1に示す通り、計測装置110を搭載する。つまり、計測装置110は、移動装置120側の視点で測定対象物130の計測を行うことになる。移動装置120は情報処理装置1から計測すべき視点を受け取り、次に計測すべき視点から計測装置110が計測できるようにロボットアームを制御し移動する。また、計測装置110の座標系から移動装置120の座標系への変換行列は、例えば[F. Dornaika and R. Horaud. "Simultaneous robot-world and hand-eye calibration. Robotics and Automation"IEEE Transactions on, 14(4):617-622, 1998.]に示す方法によって事前にキャリブレーションしておき、算出しておけばよい。

0016

次に情報処理装置1の構成について図4を用いて説明する。情報処理装置1は、モデル情報保持部100、計測特徴入力部101、位置姿勢推定部102、計測特徴評価部103、計測視点決定部104、及び、制御部105から構成されている。制御部105は、装置全体の制御を司るものであり、CPU、及び、当該CPUが実行するプログラムを格納するメモリで構成される。

0017

モデル情報保持部100は、計測対象物130の形状を表すモデル情報を保持している。本実施形態では、形状モデルのモデル特徴は、図5(b)に示すような、3次元位置と3次元法線方向から構成される物体表面上の局所的な3次元平面情報(以後、局所面特徴と称する)によって構成されるものとする。なお、モデルとして入力する形状情報は、単純な3次元点集合や、3次元点3点で構成されるポリゴンの形状情報などで表しても良い。

0018

計測特徴取得部101は、計測装置110で取得した計測情報から計測対象物130の計測特徴群の情報を取得する。本実施形態における計測特徴群は3次元点群である。

0019

位置姿勢推定部102は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴取得部101が入力した計測特徴群を用いて、計測対象物130の位置姿勢を推定する。本実施形態では、形状モデルのモデル特徴として局所面特徴、および計測特徴として3次元点群を用いて、[S.Rusinkiewicz, M.Levoy, "Efficient Variants of the ICP Algorithm", In 3-D Digital Imaging and Modeling,2001,Proceedings.Third International Conference on(pp.145-152).IEEE]に記載の技術であるICP(Iterative Closest Point)により計測対象物130の位置姿勢を推定する。位置姿勢を推定するためには局所面特徴の各点に対して、幾何学的に類似する3次元点を探索する必要があり、これらを対応点と呼ぶ。3次元点とモデル特徴の対応点を用いて位置合わせを行う。3次元点とモデル特徴間の対応点を求めるためには、3次元座標系において局所面特徴と3次元点の最近傍のペアの中から距離差がある閾値以下のペアを探索する。

0020

計測特徴評価部103は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴取得部101が取得した計測特徴、および位置姿勢推定部102で推定した計測対象物130の位置姿勢に基づいて、計測特徴群の評価値を算出する。評価値の算出方法については後述する。

0021

計測視点決定部104は、計測特徴評価部103の評価結果に基づいて、次に計測対象物130を計測する視点を決定する。移動装置120は、決定した視点に計測装置110を移動させる。視点決定方法については後述する。

0022

図6のフローチャートを用いて、情報処理装置1が実行する、測定対象物130に対する計測装置110の計測と視点決定処理を説明する。

0023

S1000にて、制御部105は、初期化処理を行う。初期化には計測装置110の露光時間、ゲインなどの撮影パラメータの読み込み、キャリブレーションパラメータの読み込み、計測装置110の座標系から移動装置120の座標系への変換行列の読み込み、モデル情報保持部100に保持しておく計測対象物130のモデル形状情報の読み込み等が含まれる。制御部105は、移動装置120の初期位置へ復帰、更には、移動装置120の初期位置への移動に伴い、計測装置110の位置姿勢値も初期状態に設定する。

0024

S1100にて、計測特徴取得部101は、現在の移動装置120の位置姿勢での計測装置110で撮像して得た画像から、計測対象物130の3次元点群を取得する。

0025

S1200にて、位置姿勢推定部102は、モデル情報保持部100が保持している局所面特徴と計測特徴取得部101が取得した3次元点群との位置合わせを、ICP法を用いて行う。

0026

S1300にて、計測特徴評価部103は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴取得部101が取得した3次元点群、および位置姿勢推定部102が推定した計測対象物130の位置姿勢に基づいて、局所面特徴と3次元点の最近傍のペアを決定し、そのペアの距離差が閾値以下である3次元点群の数を評価値Vとして算出する。

0027

S1400にて、制御部105は、現在の視点とは異なる視点で観察可能な局所面特徴の数が、S1300で算出した評価値Vよりも大きい視点があれば処理をS1500に、そうでなければ処理を終了する。

0028

S1500にて、計測視点決定部104は、S1400で他の視点で観察したときのモデル表面局所特徴群の数が最も多い視点の位置を決定する。

0029

S1600にて、制御部105は、S1500で決定した視点になるように移動装置120に対し制御値送り、視点を移動させる。そして、この移動が終了した場合、制御部105は処理をS1100に戻す。

0030

本実施形態における投影装置112が投影する照明パターンは実線のマルチラインパターンであったが、それに限るものではない。例えば、ライン上でパターンの輝度や色を変化させたようなパターンや破線状のパターン、ラインの幅が変わるようなパターンでもよい。またラインパターンの間隔は等間隔でも不等間隔でもよい。またラインパターン以外にもランダムドットパターングリッドパターンなどでもよい。いずれにしても、撮影画像上における計測対象物上に投影された照明パターンとパターンの背景部分が判別できるパターンであれば何でもよい。

0031

本実施形態における位置姿勢推定部102でのモデル特徴と計測特徴間の対応点探索の方法は3次元座標系において最近傍のペアを選択するものであったが、それに限らない。例えば、モデル特徴および3次元点を計測装置110で入力したマルチラインパターンの像が写っている画像に投影し、2次元座標系で最近傍のペアを探索して求めてもよい。

計測視点決定部104は、視点を選ぶときに、図7のように計測対象物130と計測装置110との間の距離Dを変えない半球状の中から視点を選ぶよう制限をかけてもよい。

0032

本実施形態では、S1600で決定した視点になるように移動装置120に対し制御値を送り、視点を移動させた後、再度S1100で計測を行うが、それに限るものではなく、移動途中で計測を行ってもよい。

0033

以上が本実施形態において、計測特徴群をより多く取得する視点に決定する方法である。このようにすることで、計測特徴群を多く取得すると安定して位置姿勢推定できるようになるため、計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0034

[変形例1]
上記実施形態では、計測特徴群として3次元点群を用いて、計測特徴群をより多く取得する視点に決定する方法について述べた。しかし、位置姿勢推定に用いる計測特徴群は3次元点群に限らず、濃淡画像上の画像特徴群を用いてもよい。この変形例1では、計測特徴群として画像特徴群を用いて、画像特徴群をより多く取得できる視点に決定する方法について説明する。

0035

本変形例1における情報処理装置の構成は上記第1の実施形態と同一であるため、その説明を省略する。変形例1における計測装置110は、計測対象物130の濃淡画像を撮影する。この際に投影装置112は照明パターンの投影を行わず、撮影装置111は計測対象物130を撮像する。

0036

変形例1におけるモデル情報保持部100は、形状モデルのモデル特徴は、図5(a)に示すような、3次元位置と3次元線分方向から構成される物体輪郭上の局所的な3次元線分情報(以後局所線特徴と称する)から構成されている。なおモデルとして入力する形状情報は稜線を表す3次元ラインの集合などで表してもよい。

0037

本変形例1における計測特徴取得部101は、計測装置110から取得した濃淡画像から画像特徴群を取得する。ここで取得する画像特徴としては、[Canny. J, A Computational Approach To Edge Detection,IEEE Trans.Pattern Analysis and Machine Intelligence, 8:679-714, 1986]に記載のエッジ特徴などを用いるものとする。なお、画像中における計測対象物130の輪郭を検出する方法であれば良いので、これに限るものではない。

0038

変形例1における位置姿勢推定部102は、[T. Drummond and R.Cipolla, "Real-time visual tracking of complex structures",IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.7, pp.932-946, 2002.]で開示されている方法を用いることにより、局所線特徴と画像特徴の最近傍のペアを選択し、距離差が閾値以下のペアのみ用いて、計測対象物130の位置姿勢を推定する。

0039

変形例1における計測特徴評価部103は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴取得部101が取得した画像特徴群、および位置姿勢推定部102が推定した計測対象物130の位置姿勢に基づいて、現在の視点で局所線特徴と画像特徴の最近傍のペアを選択したときに、距離差が閾値以下である画像特徴群の数を評価値Vとして算出する。この処理をS1300にて行う。

0040

変形例1における計測視点決定部104で決定する視点は、現在の視点とは異なる視点で観察可能な局所線特徴の数が計測特徴評価部103で算出した評価値Vよりも大きい視点に決定する。

0041

変形例1は投影装置112から照明パターンを投影せずに撮影装置111により撮影を行っていたが、これに限るものではない。例えば、計測装置110にもう1台撮影装置を設置し、照明パターンを透過しない光学フィルタセンサ面の前に設置して濃淡画像を取得する。計測装置110にパターンを透過しない光学フィルタを設置したセンサを追加して用いて、もしくはプリズムなどで分光して濃淡画像を取得するなど、照明パターンが投影されていない計測対象物130の画像を取得できる方法であれば何でもよい。またこれらを用いて照明パターンが投影された画像と、濃淡画像を同時に取得してもよい。

0042

変形例1における位置姿勢推定部102は、モデル情報保持部100が保持している局所線特徴と、画像特徴群の位置合わせを行い、計測対象物130の位置姿勢を求めていたがこれに限るものではない。例えば、[立野,小,内山,“実部品のビンピッキングのための距離・濃淡画像を最尤に統合する高精度高安定なモデルフィッティング手法”,画像の認識・理解シンポジウムMIRU2010,OS5−1(2010).7]に記載の方法により、計測装置110により濃淡画像の画像特徴群と3次元点群を取得し、計測対象物130の形状を表す3次元モデルの局所線特徴および局所面特徴を用いて、計測対象物130の位置姿勢を求めてもよい。いずれにしても計測対象物130の位置姿勢を推定できる方法であれば何でもよい。

0043

この場合の評価値Vは現在の視点で位置姿勢推定したときの局所線特徴との距離差が閾値以下の画像特徴群の数と、局所面特徴との距離差が閾値以下の3次元点群の数の総和とする。視点決定方法は、現在とは異なる視点で観察可能な局所線特徴および局所面特徴の数の総和を用いて、評価値Vよりも大きい視点に決定する。また単純な総和を評価値Vおよび視点決定に用いるのではなく、重みをつけて、画像特徴群の数または3次元点群の数をどちらかを優先して決定してもよい。

0044

以上が変形例1における、計測特徴群として画像特徴群を用いて、よりモデル特徴を多く取得できる視点に決定する方法である。このようにすることで、より画像特徴群を多く取得できる視点で計測できるようになるため、複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0045

[第2の実施形態]
上記第1の実施形態及びその変形例1では、現在計測した視点からよりも計測特徴群が多く取得できる視点に変更する方法について説明した。しかし、撮影装置と投影装置の画角および計測対象物との相対位置関係によって、計測対象物上に写る照明パターンの間隔が粗く投影されてしまい、微細な形状部分まで距離が計算できない場合がある。例えば図8(a)のように、計測対象物130の微細な形状部分である領域Cには照明パターンとしてラインパターンが投影されているが、照明パターンが短く識別できず3次元点を取得できない。そのため位置姿勢推定部102において3次元点が存在しないため、この部分のモデル特徴は位置姿勢に用いられない。そこで、画像上における未計測領域Cの形状をモデル特徴から算出しておき、その形状に合わせて図8(b)のように視点を変化させて、照明パターンが十分長く観測される向きに変更して再度計測する方法について説明する。このようにすることで、より多くの計測特徴が得られる位置が分かるようになるため、複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0046

本第2の実施形態における情報処理装置の構成は、第1の実施形態及びその変形例1と同じである。よって以下では、第1の実施形態及びその変形例1との違いについて説明する。

0047

本第2の実施形態における計測装置110の構成は、第1の実施形態と同様である。計測特徴評価部103は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴取得部101が取得した3次元点群、および位置姿勢推定部102で推定した計測対象物130の位置姿勢に基づいて、計測されていない領域Cの評価を行う(詳細は後述)。

0048

本実施形態における計測視点決定部104は、計測特徴評価部103が評価結果に基づいて視点を決定する(詳細は後述)。

0049

図9のフローチャートを用いて、本実施形態における計測と視点決定の処理について説明する。

0050

S2000にて、制御部105は初期化処理を行う。この初期化処理には、計測装置110の露光時間、ゲインなどの撮影パラメータの読み込み、キャリブレーションパラメータの読み込み、計測装置110の座標系から移動装置120の座標系への変換行列の読み込み、モデル情報保持部100に保持しておく計測対象物130のモデル形状情報の読み込みが含まれる。また制御部105は、移動装置120を初期位置へ復帰させ、視点は計測装置110が初期位置で計測したときの移動装置の座標系における計測装置の位置姿勢値に設定する。

0051

S2100にて、計測特徴取得部101は、現在の移動装置120の位置姿勢での計測装置110からの計測対象物130の3次元点群を取得する。

0052

S2200にて、位置姿勢推定部102は、モデル情報保持部100が保持している局所面特徴と、計測特徴取得部101が取得した3次元点群との位置合わせを行う。位置合わせの方法は第1の実施形態と同様の方法を用いるものとする。

0053

S2300にて、計測特徴評価部103は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴入力部101が入力した3次元点群、および位置姿勢推定部102で計算した計測対象物130の位置姿勢に基づいて、未計測領域Cの分布の方向性を検出する。まず未計測領域Cとして位置姿勢推定時、3次元空間上のある閾値範囲内に計測した3次元点群が存在しない局所面特徴群を検出する。次に領域Cの局所面特徴群を撮影画像上に投影したときの2次元の分布から、主成分分析で計算される第1主成分の固有値σ1と第2主成分の固有値σ2の差の絶対値を未計測領域評価値として算出する。

0054

S2400にて、制御部105は、S2300で算出した未計測領域評価値が閾値よりも小さければ、処理を終了する。そうでなければステップS2500へ進む。

0055

S2500にて、計測視点決定部104は、S2300で算出した主成分分析で計算される第1主成分の固有ベクトルと撮影画像上に投影したときの近傍のラインパターンの方向とが合う視点に決定する。このとき計測装置110の位置は固定し、計測装置110のカメラ原点から画像中心への視線ベクトル回りでの回転のみを行い、ラインパターンの方向と分布の第1主成分の固有ベクトルとが平行方向になるような視点を選ぶ。例えば計測視点決定部104は、図8(b)のように、領域Cの分布の方向性とラインパターンの方向が平行になるように、図8(a)の状態から計測装置を90°回転させるように視点を決定する。そして、計測視点決定部104は、S2500で決定した視点になるように移動装置120に対し制御値を送り、視点を移動させる。この移動が終了したら、制御部105は処理をS1100に戻す。

0056

計測特徴評価部103は、未計測領域Cとして位置姿勢推定時、3次元空間上のある閾値範囲内に計測した3次元点群が存在しない局所面特徴群を自動的に検出して評価をしていたが、それに限らない。例えば、自動的に領域Cを検出する代わりに、ユーザーが計測したい領域を選択することによって未計測領域評価値を算出してもよい。距離計測されていない領域を検出できさえすればよいからである。

0057

以上本実施形態において、計測装置110が形状に合わせて視点を変更して計測することにより多くの計測特徴が得られる位置が分かるようになるため、複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0058

[変形例2]
上記第2の実施形態で用いた計測装置110が投影する照明パターンは、マルチラインパターンであり、その照明パターンの方向性に合わせて視点を変更するものであったが、これに限らない。そこで変形例2では、照明パターンとしてランダムドットパターンを投影し、パターンをマッチングすることにより形状を計測する方法にした場合に、形状に合わせて視点を変更して計測する方法について説明する。

0059

本変形例2における情報処理装置の構成は、第1、第2の実施形態及び変形例1と同じである。以後第1、第2の実施形態および変形例1との違いについて説明する。

0060

本変形例2における計測装置110は、ランダムドットパターンを投影して計測対象物130の3次元点群を取得する。計測方法としては、[M. Sjodahl and P.Synnergren,“Measurement of shape by using projected random patterns and temporal digital speckle photography",Applied Optics,vol.38,No.23,1999]に記載の方法を用いる。

0061

変形例2における計測特徴評価部103は、現在観察している視点から見た時の計測対象物130の局所面特徴の内、3次元空間上のある閾値範囲内に計測した3次元点群が存在しない局所面特徴群分布の分散値n1を算出する。次に計測特徴評価部103は、ランダムドットパターンのマッチングを行うためのウィンドウサイズn2との比率M=n1/n2を算出してこれを未計測領域評価値とする。また、自動的に領域Cを検出する代わりに、ユーザーが計測したい領域を選択することによって未計測領域評価値を算出してもよく、計測されていない領域さえ検出できれば他の手法を採用してもよい。

0062

本変形例2における計測視点決定部104では、計測視点を計測対象物130に近づける視点を決定する。具体的には、まず計測特徴評価部103で検出した未計測領域Cの局所面特徴の現在の視点から見た時のデプス値平均値Zを算出する。次に計測特徴評価部103で算出した未計測領域評価値Mを用いて、視点変更後のデプス値Z’がZ/Mになるような視点を選ぶ。このとき計測装置110に対する視点変更方向は計測装置110の視線方向のみ限定する。

0063

以上、本変形例2によれば、計測装置110が形状に合わせて視点を変更して計測できる方法であるより多くの計測特徴が得られる位置が分かるようになるため、複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0064

[第3の実施形態]
第1、第2の実施形態および変形例1、2では、現在計測した視点からよりも計測特徴群が多く得られる視点に変更する方法について説明した。しかしながら、計測特徴群の分布に偏りがあると、位置姿勢推定においてロバスト性が低下し高精度に計測できなくなることがある。そこで本第3の実施形態では、3次元点群の空間分布を計測し、分布に偏りがあった場合、均一になるような方向に計測装置の視点を変更して3次元点群を統合して位置姿勢推定を行う方法について説明する。このようにすることで、複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0065

本第3の実施形態における計測装置110は、第1の実施形態と同様であり3次元点群を取得する。

0066

図10は、第3の実施形態における情報処理装置2のブロック構成図である。この情報処理装置2は、図1における情報処理装置1に替わるものと理解されたい。本第3の実施形態における情報処理装置2は、モデル情報保持部100、計測特徴取得部101、位置姿勢推定部102、計測特徴評価部103、計測視点決定部104、計測特徴統合部205、計測特徴保持部206、及び、制御部105から構成されている。

0067

本第3の実施形態における計測特徴取得部101は、計測装置110で取得した計測特徴を入力する。本第3の実施形態では計測特徴群は、計測対象物130の3次元点群である。

0068

本第3の実施形態における位置姿勢推定部102は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴入力部101が取得した計測特徴群と、計測特徴保持部205が保持している計測特徴群を用いて、計測対象物130の位置姿勢を推定する。位置姿勢の計測方法については第1の実施形態と同様である。

0069

計測特徴評価部103は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴入力部101が取得した計測特徴群、計測特徴保持部205が保持している計測特徴群、および位置姿勢推定部102で計算した計測対象物130の位置姿勢に基づいて、計測特徴の評価値を算出する。この計測特徴評価部103による評価値の算出方法については後述する。

0070

計測視点決定部104は、計測特徴評価部103の評価結果に基づいて、次に計測対象物130を計測する視点を決定し、移動装置120を、決定した視点となるように制御する。移動装置120は、この制御により、決定した視点に移動する。なお、視点決定方法についても後述する。

0071

計測特徴統合部205は、計測した計測特徴群の座標値を計測特徴保持部206に追加する。追加する際、予め計測視点決定部104で決定した視点の座標系への変換をする。そのため、決定した視点の座標系に対する現在の視点の相対位置姿勢を求めておく。方法は、磁気式センサ出力値を取得する、ロボットの関節位置情報を取得する、位置姿勢推定部102で推定した位置姿勢値を用いるなど、相対位置姿勢を取得できる方法であれば特に制限はない。

0072

計測特徴保持部206は、計測特徴統合部205から追加された計測特徴群を保持する。

0073

次に、図11のフローチャートを参照して、本第3の実施形態態における計測と視点決定・統合処理について説明する。

0074

S3000にて、制御部105は、情報処理装置2の初期化を行う。この初期化処理には、計測装置110の露光時間、ゲインなどの撮影パラメータの読み込み、キャリブレーションパラメータの読み込み、計測装置110の座標系から移動装置120の座標系への変換行列の読み込み、モデル情報保持部100に保持しておく計測対象物130のモデル形状情報の読み込みが含まれる。また制御部105は、移動装置120を初期位置へ復帰させ、視点は計測装置110が初期位置で計測したときの移動装置の座標系における計測装置の位置姿勢値に設定する。

0075

S3100にて、計測特徴取得部101は、現在の移動装置120の位置姿勢での計測装置110による撮像画像から計測対象物130の3次元点群を取得する。

0076

S3200にて、位置姿勢推定部102は、ICP法により、モデル情報保持部100が保持している局所面特徴と、計測特徴入力部101が取得した3次元点群と、計測特徴保持部206が保持している3次元点群の位置合わせを行う。

0077

S3300にて、計測特徴評価部103は、モデル情報保持部100で保持している計測対象物130の形状モデルと、計測特徴入力部101が取得した3次元点群と、計測特徴保持部102が保持している3次元点群、および位置姿勢推定部102で計算した計測対象物130の位置姿勢に基づいて、分布の偏りの大きさを示す計測特徴群の評価値Vを算出する(詳細は後述)。

0078

S3400にて、制御部105は、S3300で算出した分布の偏りの大きさを示す評価値Vが一定の閾値以下であるか否かを判定し、閾値以下であると判定した場合は処理を終了し、そうでなければ処理をS3500へ進める。

0079

S3500にて処理進むのは、評価値Vが一定の閾値を上回った場合である。そこで、計測視点決定部104は、現在とは異なる視点に移動して計測するために、視点を決定する(詳細は後述)。

0080

S3600にて、計測特徴統合部205は、現在の視点での3次元点群を、計測特徴保持部206に追加する。追加した3次元点群および計測特徴保持部206に保持している3次元点群は、S3500で決定した視点基準となる座標系に座標変換される。

0081

S3700にて、計測視点決定部104は、S3500で決定した視点になるように移動装置120に対し制御値を送り、視点を移動させる。制御部105は、この移動が終了したことに応じて処理をS1100に戻す。

0082

計測特徴保持部206で保持している視点移動前の計測対象物130の3次元点群は、図12(a)のようなラインパターン上の3次元点が計測され、視点移動後の計測対象物130の3次元点群は図12(b)のようなラインパターン上の3次元点が計測される。視点移動後のS3600において、計測特徴統合部205は、図12(a)と同図(b)の間の部品の相対位置姿勢を用いて逆変換をすることにより、図12(a)と同じ座標系になるように変換し、図12(c)のように統合する。

0083

次にS3300における計測特徴評価部103の処理の詳細を図13のフローチャートを用いて説明する。

0084

S3301にて、計測特徴評価部103は、S3200で形状モデルの位置合わせに用いられた、3次元点群を取得する。

0085

S3302にて、計測特徴評価部103は、S3301で得られた点群データの3次元の座標値(Xn,Yn,Zn)を濃淡画像上に投影したときの2次元の座標値(xn,yn)を計算する。本第3の実施形態では、[井口、佐藤、3次元画像計測、昭晃堂、1990]に記載している、撮影装置111の内部パラメータから透視投影変換により点群データの投影先の2次元の座標値(xn,yn)を算出する。

0086

S3303にて、計測特徴評価部103は、S3302で得られた点群データの2次元の座標値から点群分布の偏りを計算する。本実施形態では公知の技術である主成分分析により、点群データの2次元座標の第1主成分σ1と第2主成分σ2の固有値(分散値)を算出し、分布の偏りの大きさを表す、差の絶対値|σ2−σ1|として算出する。評価値Vとして出力する。

0087

以上がS3300における計測特徴評価部103の処理の詳細である。

0088

次にS3500における計測視点決定部104の詳細な処理を図14のフローチャートを参照して説明する。

0089

S3501にて、計測視点決定部104は、S3303で計算した点群データの分布の偏りから次の視点への移動方向を決定する。本第3の実施形態では、移動方向は図15のように、S3303で計算した濃淡画像へ投影したときの点群データ分布の第2主成分の固有ベクトル(u,v)とする。また(u,v)は単位ベクトルであるとする。

0090

S3502にて、計測視点決定部104は、移動方向の始点を決定する。本第3の実施形態において、始点は図15の“×”の位置である、濃淡画像へ投影したときの点群データ分布の重心位置(xs,ys)とする。

0091

S3503にて、計測視点決定部104は、移動方向の終点を決定する。本実施形態において、終点は図9の“○”の位置である、濃淡画像上の計測対象物130の領域境界位置である(xe,ye)とする。算出方法としては、次式(1)を用いる。

0092

ここでtは実数である。ここでtを変更して、物体領域内の座標値(xe,ye)を算出する。ここで物体領域であるかどうかは、濃淡画像を大津法やpタイル法などを用いて二値化して計測対象物の領域を検出する。

0093

S3504にて、計測視点決定部104は、S3503で算出した終点を移動装置120の座標系における座標系に変換して、次の視点位置を決定する。まず計測視点決定部104は、S3503で算出した終点(xe,ye)の3次元空間上での座標位置を算出する。具体的には撮影装置111の原点から終点への視線ベクトルを算出し、視線ベクトルと位置合わせに用いているモデルとの交点の3次元座標(Xe,Ye,Ze)を算出する。複数交点がある場合は、撮影装置111の原点に一番近い点を採用する。次に、計測視点決定部104は、予め読み込み済みの計測装置110の座標系から移動装置120の座標系への変換行列を用いて、次式(2)のように3次元座標(Xe,Ye,Ze)を移動装置の座標系(Xe’,Ye’,Ze’)に変換する。

0094

ここでr11〜r33は、移動装置110に対する計測装置120の姿勢を表し、tx,ty,tzは移動装置110に対する計測装置120の位置を表している。

0095

以上がS3500における計測視点決定部104の処理の詳細である。

0096

本第3の実施形態における計測特徴評価部103での評価値は位置姿勢推定に用いた3次元点群を濃淡画像上に投影したときの分布の偏りを、主成分分析を用いて評価したが、それに限るものではない。例えば、濃淡画像上の計測対象物130の面全体に対して、濃淡画像に投影した3次元点群の占める割合などでもよい。計測対象物130の位置姿勢を特定するために、くまなく計測対象物表面の3次元点数が計測されたか評価できさえすればよい。

0097

また計測特徴評価部103での評価値算出時に、位置姿勢推定に用いた3次元点群を濃淡画像上に投影したときの分布をみていたが、投影する対象は濃淡画像に限るものではない。例えば、ステップS1300でモデルと計測特徴の位置合わせを行った視点でモデルをレンダリングした画像を用いてもよい。画像上での対象物の占める領域を推定できる方法であれば他の手法でも構わない。

0098

本第3の実施形態では、計測視点決定部104で決定する視点は、3次元点群の分布の偏りが大きい方向に対して移動するように決定していたが、それに限るものではない。濃淡画像上の計測対象物130の面全体に対して、3次元点群が投影されていない箇所があれば、その箇所の重心位置に移動するように決定してもよい。またこのとき計測対象物130に対する計測装置110の姿勢や距離を変更しないように視点を決定してもよい。いずれにしても画像上での対象物の占める領域に対して3次元点が計測できていない領域に移動できさえすればよい。

0099

以上、本第3の実施形態は、位置姿勢推定時に用いられた3次元点群の空間分布を計測し、分布に偏りがあった場合、均一になるような方向に複数回計測装置の視点を変更して3次元点群を統合する方法である。このようにすることで、複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0100

[変形例3]
上記第3の実施形態では、計測特徴として3次元点群を用いて、空間分布が均一になるように視点に移動して計測することをしていた。しかし、用いることができる計測特徴群はこれに限らず、濃淡画像上の画像特徴群を用いてもよい。変形例3では、位置姿勢推定時に計用いられた画像特徴群の空間分布を計測し、分布に偏りがあった場合、均一になるような方向に計測装置の視点を変更して計測特徴を統合する。

0101

変形例3における情報処理装置の構成は、第3の実施形態と同じあるため、その説明を省略する。また、本変形例3で用いる画像特徴は、変形例1で用いた画像特徴と同様である。変形例3における計測装置110は計測対象物130が撮影された濃淡画像を撮影する。

0102

変形例3における位置姿勢推定部102は、[T. Drummond and R.Cipolla, “Real-time visual tracking of complex structures,"IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.7, pp.932-946, 2002.]で開示されている方法を用いることにより、画像特徴と局所線特徴とを対応点として求め、計測対象物130の位置姿勢を推定する。これに限らず、第1の実施形態で実施したような3次元点群を取得し、局所面特徴を用いて位置合わせを行う方法と併用してもよい。

0103

変形例3における計測特徴評価部103で評価する評価値Vは、位置姿勢推定部103で用いられた画像特徴の偏りを主成分分析の第1主成分と第2主成分の差の絶対値を計算することにより求める。

0104

変形例3における計測視点決定部104で決定する視点は、2次元空間上のある閾値範囲内に画像特徴群が存在しない、局所線特徴群の座標値の平均値が画像中心になるように移動する。このとき計測対象物130に対する計測装置110の姿勢や距離を変えないように視点を制限してもよい。

0105

変形例3における計測特徴統合部205は、計測視点決定部104で決定する視点で得られた画像特徴群を計測特徴保持部206に追加する。まず撮影装置111の原点から画像特徴への視線ベクトル(単位ベクトル)を算出し、視線ベクトルを、位置姿勢推定時に画像特徴と幾何学的に類似する局所線特徴のZ座標値倍することにより、仮想的に3次元空間上で座標に変換する。次に第3の実施形態と同様に、計測特徴統合部205は、視点変更前後の計測対象物130の相対位置姿勢から、逆変換することにより視点変更前の座標に変換する。最後に計測特徴統合部205は、座標変換後画像座標を濃淡画像上に投影し、計測特徴保持部206に追加する。

0106

以上が変形例3における、画像特徴群の空間分布を計測し、分布に偏りがあった場合、均一になるような方向に計測装置の視点を変更して画像特徴を統合する方法である。このようにすることで、複数視点で計測するときの計測・移動回数をできるだけ減らしつつ、高精度な位置姿勢推定ができるようになる。

0107

[第4の実施形態]
実施形態における情報処理装置1、2好適な適用事例としては、回転および/または並進移動軸からなる可動軸を有する産業用ロボットアームを移動装置120として利用し、計測装置を移動させ、その視点で得た計測特徴を統合する適用例が挙げられる。

0108

図1では、情報処理装置1、計測装置110、移動装置120であるロボットを用いて部品組み付け処理を行うロボットシステムの構成例を示動させ物体の把持・組み付け処理などを行うロボットである。ロボットに計測装置110を搭載し、計測対象物130の形状を取得する。計測装置110が、情報処理装置1で指示した視点で観察できるように、ロボットにより移動する。移動した視点で再度計測装置110によって計測特徴を取得し、統合する。また情報処理装置1はS1000の初期化時にロボットの関節位置可動範囲を取得しておき、計測視点決定部104で決定したロボットの関節位置の可動範囲外である場合は、ロボットの可動範囲内でかつその視点に移動できる範囲内で移動するようにロボットに指示する。また、情報処理装置1は計測視点決定部104で決定した位置に移動したときに、計測装置110、あるいはロボット自身が計測対象物130と物理干渉する場合に、計測対象物130と物理干渉しない範囲でかつその視点に移動できる範囲内で移動するようにロボットに指示する。

0109

以上に示すように、本発明の情報処理装置により、ロボットシステムによる組み付け作業中において、ロボットによって視点を変更して計測特徴を取得し統合する方法について説明した。ロボットを用いることにより、効率よく計測特徴が得られる位置に移動することができるため、高精度な位置姿勢推定を行えるようになる。

0110

本実施形態における計測特徴保持部102が保持している3次元点群の座標系は初期化後、最初に3次元点群を取得したときの移動装置120の位置姿勢を基準座標系としていたが、それに限るものではない。例えば、最初に位置姿勢推定部130で推定したときの計測対象物130の位置姿勢値や、ユーザーが定義した位置姿勢値を基準にするなど、位置姿勢6自由度で表せられるパラメータであれば特に制限はない。

0111

[実施形態の効果]
第1の実施形態により、十分な数の3次元点群が得られる位置が分かるようになるため、計測・移動回数をできるだけ減らしつつ、精度の高い位置姿勢推定を行えるようになる。

0112

変形例1により、十分な数の画像特徴群が得られる位置が分かるようになるため、計測・移動回数をできるだけ減らしつつ、精度の高い位置姿勢推定を行えるようになる。

0113

第2の実施形態により、形状に合わせて計測装置を回転させることによってより多くの計測特徴群が得られるようになるため、計測・移動回数をできるだけ減らしつつ、精度の高い位置姿勢推定を行えるようになる。

0114

変形例2により、形状に合わせて計測装置を近づけることによってより多くの計測特徴が得られるようになるため、計測・移動回数をできるだけ減らしつつ、精度の高い位置姿勢推定を行えるようになる。

0115

第3の実施形態により、計測対象物の形状を示す3次元の3次元点群が偏りなく計測できるようになるため、計測・移動回数をできるだけ減らしつつ、精度の高い位置姿勢推定を行えるようになる。

0116

変形例3により、計測対象物の濃淡画像上の画像特徴群の不足している部分へ視点を動かすことにより画像特徴群が増加するため、計測・移動回数をできるだけ減らしつつ、精度の高い位置姿勢推定を行えるようになる。

0117

第4の実施形態により、ロボットシステムによって、ロボットによって視点を変更して計測特徴群を取得できるようになるため、精度よく位置姿勢推定を行えるようになる。

0118

<定義>
本実施形態におけるモデル情報保持部が保持する計測対象物のモデル特徴は、物体表面上の局所的な3次元平面情報、3次元位置と3次元線分方向から構成される物体輪郭上の局所的な3次元線分情報で構成されていれば特に制限はない。また、単純な3次元点の集合や、稜線を表す3次元ラインの集合、3次元点3点で構成されるポリゴンの形状情報などで表しても良い。

0119

また、本実施形態における計測特徴取得部が取得する計測特徴群は、計測対象物の幾何情報を示す3次元点群および/または画像特徴群であれば良い。また、計測対象物の幾何情報を示す3次元点群は現実空間を基準とした3次元座標であってもよいし、撮像時の現実空間における位置及び姿勢が既知な撮像装置を基準とした座標における3次元座標であってもよい。また濃淡画像上の画像特徴群は濃淡画像上で検出される計測対象物のエッジ特徴など、計測対象物の輪郭を検出する方法であっても良い。

0120

本実施形態における位置姿勢推定部は、モデル情報保持部が保持しているモデル情報と計測特徴入力部が入力する計測特徴群により計測対象物の位置姿勢を求める方法であれば特に制限はない。情報保持部が保持している局所面特徴と、計測特徴入力部が入力した3次元点群の位置合わせを行ってもよいし、計測特徴入力部が入力した濃淡画像上の画像特徴群と局所線特徴を用いて位置合わせを行ってもよいし、あるいは3次元点群と画像特徴群両方を入力し、モデルの局所線特徴および局所面特徴を用いて、計測対象物の位置姿勢を求めてもよい。

0121

本実施形態における計測特徴評価部は、モデル情報保持部で保持している計測対象物モデル情報と、計測特徴入力部が入力した計測特徴群、および位置姿勢推定部で計算した計測対象物の位置姿勢に基づいて、計測対象物の表面上で計測特徴が取得できていない領域が存在することを評価できさえすればよい。例えば、位置姿勢推定部で位置合わせを行った後の、3次元空間上にモデル特徴の最近傍にある計測特徴群の数を評価する。もしくは3次元空間上のある閾値範囲内に計測した計測特徴点群が存在しないモデル特徴群の空間分布を計測し、計測した視点での2次元画像上の偏りや広がりを評価する。あるいは、計測した視点での計測対象物上に投影される計測特徴群分布の偏りや広がりを評価する。

0122

本実施形態における計測視点決定部は、計測特徴評価部で評価した結果に基づいて計測対象物の表面上で計測特徴が取得できていない領域の計測特徴が得られる視点に決定する。例えば計測した視点とは異なる視点で観察可能なモデル特徴群の数が、現在取得した計測特徴群よりも多く得られる視点に対して移動するように決定してもよい。また、計測できていない領域に対して、計測装置が計測できるように、計測できていない領域の分布の偏りと照明パターンの向きとが平行になる視点に決定してもよい。あるいは照明パターンを判定するために画像上で必要な最小面積よりも大きく映るになるように視点を決定してもよい。また、計測対象物が観測される面に対して3次元点がくまなく計測されるように、計測点分布の偏りが小さい方向に視点に決定してもよい。

0123

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0124

1…情報処理装置、110…計測装置、120…移動装置、130…計測対象物、100…モデル情報保持部、101…計測特徴取得部、102…位置姿勢推定部、103…計測特徴評価部、104…計測視点決定部、205…計測特徴統合部、206…計測特徴保持部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ