図面 (/)

技術 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱

出願人 株式会社東芝
発明者 園浦隆史小川昭人中本秀一衛藤春菜香月理絵田中淳也
出願日 2015年9月14日 (5年3ヶ月経過) 出願番号 2015-180344
公開日 2017年3月23日 (3年9ヶ月経過) 公開番号 2017-058130
状態 特許登録済
技術分野 物品の積降し 光学的手段による測長装置
主要キーワード 直動アーム 中間棚 隠れ状態 またぎ 積載荷物 基準マーカ 撮影点 デパレタイズ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年3月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

マーカが設けられた対象物を検出する対象物検出装置を提供する。

解決手段

撮影部は、多面体の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、マーカは第1の直線部分と第2の直線部分とを有し、積載された複数の多面体を撮影することによって撮影画像を得るS1501。抽出部は、撮影画像に含まれる複数のマーカを抽出するS1502。推定部は、抽出されたマーカを用いて、第1の直線部分および第2の直線部分の交点を多面体の面の隅に含まれる点として推定し、点を始点とする第1の直線および第2の直線を推定し、第1の直線および当該第2の直線によって挟まれ、且つ、マーカが設けられている面が含まれる領域を推定するS1503。検出部は、複数のマーカから推定された領域が重複する領域のうち、全ての隅にマーカが設けられた領域を所望の多面体の面として検出するS1505。

概要

背景

近年、流通分野では、取り扱い荷物の増加および労働者不足により、作業を自動化するニーズが高まりつつある。これまでも、荷物の運搬および仕分けの作業は、コンベヤおよびソータなどを用いて自動化されてきた。また、積載ボックスパレットボックス)に積載された荷物をコンベヤへ投入する荷下ろし作業も自動化されつつある。しかしながら、不定型な荷物が混在する場合に、個々の荷物を検出することが難しく、自動化の妨げとなっている。

通常、荷物の検出方法として、画像処理などが用いられることがある。例えば、荷物の検出装置として、ストロボとストロボに同期可能なカメラとを用い、荷物のエッジ部を強調して撮影することで、荷物の輪郭を抽出しやすくし、抽出した輪郭に基づいてそれぞれの荷物を検出するものが知られている。しかしながら、係る検出装置は、面が揃って密接している荷物の隙間を抽出しづらい、或いは、一つにまとめられた複数個の荷物を一つの荷物として検出することが難しいという問題がある。

また、この検出装置は、荷物が前後で接している場合に、どちらの荷物が後ろ側へ伸びているかなどの隠れ状態を判断することができず、適切な把持戦略が立てられない場合がある。さらに、この検出装置は、荷物にプリントされた模様および荷物に貼り付けられた伝票などのラベルを荷物の輪郭として誤検出する場合がある。

概要

マーカが設けられた対象物を検出する対象物検出装置を提供する。撮影部は、多面体の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、マーカは第1の直線部分と第2の直線部分とを有し、積載された複数の多面体を撮影することによって撮影画像を得るS1501。抽出部は、撮影画像に含まれる複数のマーカを抽出するS1502。推定部は、抽出されたマーカを用いて、第1の直線部分および第2の直線部分の交点を多面体の面の隅に含まれる点として推定し、点を始点とする第1の直線および第2の直線を推定し、第1の直線および当該第2の直線によって挟まれ、且つ、マーカが設けられている面が含まれる領域を推定するS1503。検出部は、複数のマーカから推定された領域が重複する領域のうち、全ての隅にマーカが設けられた領域を所望の多面体の面として検出するS1505。

目的

本発明が解決しようとする課題は、マーカが設けられた対象物を検出することである

効果

実績

技術文献被引用数
3件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

多面体の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、撮影される面の隅は第1の方向に伸びる第1の辺および当該第1の方向と交わる第2の方向に伸びる第2の辺を含み、当該マーカは前記第1の辺の上に第1の直線部分を有し、当該マーカは前記第2の辺の上に第2の直線部分を有し、積載された複数の前記多面体を撮影することによって撮影画像を得る撮影部と、前記撮影画像に含まれる複数の前記マーカを抽出する抽出部と、抽出された前記マーカのうちの一つを用いて、前記第1の直線部分および前記第2の直線部分の交点を多面体の面の隅に含まれる点として推定し、当該点を始点とする、前記第1の直線部分および前記第2の直線部分と一致する多面体の面の二辺にそれぞれ対応する第1の直線および第2の直線を推定し、当該第1の直線および当該第2の直線によって挟まれ、且つ、当該マーカが設けられている面が含まれる領域を推定する推定部と、複数の前記マーカから推定された前記領域が重複する領域のうち、全ての隅に前記マーカが設けられた領域を所望の多面体の面として検出する検出部とを具備する、対象物検出装置

請求項2

前記検出部は、抽出された前記マーカのうちの少なくとも1以上の第1のマーカによって推定された前記第1の直線と、当該第1のマーカとは異なる少なくとも1以上の第2のマーカによって推定された前記第1の直線とが一致し、当該第1のマーカおよび当該第2のマーカは鏡像の関係にあり、距離が最も近い第1のマーカおよび第2のマーカを選択し、選択された当該第1のマーカおよび当該第2のマーカが、前記重複する領域のいずれかの領域に含まれるマーカのうちの二つであることを決定する、請求項1に記載の対象物検出装置。

請求項3

前記多面体が直方体の場合に、前記検出部は、抽出された前記マーカのうちの少なくとも1以上の第1のマーカと、前記推定部によって推定された当該第1のマーカに対応する領域に含まれる当該第1のマーカの形状を180度回転した形状を持つ少なくとも1以上の第3のマーカとでそれぞれ推定された領域が重複する領域の面積が最小となる第1のマーカおよび第3のマーカを選択し、選択された当該第1のマーカおよび当該第3のマーカが、前記重複する領域のいずれかの領域に含まれるマーカのうちの二つであることを決定する、請求項1または請求項2に記載の対象物検出装置。

請求項4

前記多面体が直方体の場合に、前記検出部は、それぞれのマーカから推定された前記領域が重複する領域のうち、一つ以上三つ以下の隅に前記マーカが設けられた領域を、ある多面体の面に一部が隠れている多面体の面を含む領域として検出する、請求項1乃至請求項3のいずれか1項に記載の対象物検出装置。

請求項5

前記抽出部は、前記撮影画像からエッジを抽出し、前記検出部は、それぞれの前記マーカから推定された前記領域が重複する領域のうち、一方の領域のエッジが他方の領域に含まれている場合に、当該他方の領域に対応する多面体の面が当該一方の領域に対応する多面体の面に隠れていることを検出する、請求項1乃至請求項4のいずれか1項に記載の対象物検出装置。

請求項6

前記撮影部は、撮影位置から積載された前記多面体までの距離を示す距離情報をさらに取得し、前記検出部は、前記距離情報に基づいて、前記所望の多面体の面と、前記所望の多面体の面とは異なる他の多面体の面との位置関係を検出する、請求項1乃至請求項5のいずれか1項に記載の対象物検出装置。

請求項7

前記検出部は、前記マーカに相当する一方のマーカと当該一方のマーカとは色および形状の少なくともどちらかが異なる他方のマーカが存在する場合に、当該他方のマーカを優先して検出する、請求項1乃至請求項6のいずれか1項に記載の対象物検出装置。

請求項8

前記検出部は、マーカの内部および近傍の少なくともどちらかの位置に多面体の情報を登録した識別コードがさらに設けられた場合に、当該識別コードの値が大きいマーカを優先して検出する、請求項1乃至請求項7のいずれか1項に記載の対象物検出装置。

請求項9

前記マーカは、ある特定の波長の光を照射した場合にのみ撮影可能な無色透明塗料が用いられる、請求項1乃至請求項8のいずれか1項に記載の対象物検出装置。

請求項10

検出されたそれぞれの前記所望の多面体の面の位置関係に基づいて、多面体を把持するために選択する順番および多面体を移動させるための動作手順計画する計画部とを更に具備する、請求項1乃至請求項9のいずれか1項に記載の対象物検出装置。

請求項11

前記計画部は、一方の多面体が他方の多面体に干渉しないような動作手順を計画する、請求項10に記載の対象物検出装置。

請求項12

前記検出部は、一つのマーカの一部分だけが抽出された場合に、前記一つのマーカの残りの部分を推定し、前記計画部は、前記残りの部分に大きさに基づいて多面体を移動させるための動作手順を計画する、請求項10または請求項11に記載の対象物検出装置。

請求項13

請求項10乃至請求項12のいずれか1項に記載の対象物検出装置と、前記順番および前記動作手順に基づいて、前記多面体をピックアップする取得部とを具備する、デパレタイズ自動化装置

請求項14

直方体の面のうちの少なくとも撮影される面の全ての辺を含む部分にマーカが設けられ、当該マーカはそれぞれの面に含まれる一辺の全てを含み、当該マーカ同士が重複せずに全ての辺に存在し、積載された複数の前記直方体を撮影することによって撮影画像を得る撮影部と、前記撮影画像に含まれる複数の前記マーカを抽出する抽出部と、抽出された前記マーカのうちの一つを用いて、前記マーカの直線部分と一致する多面体の辺を推定し、推定された辺を境界とし、且つ、当該マーカが設けられている面が含まれる領域を推定する推定部と、複数の前記マーカから推定された前記領域が重複する領域のうち、少なくとも二つの辺に前記マーカが設けられた領域を所望の直方体の面として検出する検出部と検出されたそれぞれの前記所望の直方体の面の位置関係に基づいて、直方体を把持するために選択する順番および直方体を移動させるための動作手順を計画する計画部とを具備する、対象物検出装置。

請求項15

請求項14に記載の対象物検出装置と、前記順番および前記動作手順に基づいて、前記直方体をピックアップする取得部とを具備する、デパレタイズ自動化装置。

請求項16

多面体の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、撮影される面の隅は第1の方向に伸びる第1の辺および当該第1の方向と交わる第2の方向に伸びる第2の辺を含み、当該マーカは前記第1の辺の上に当該第1の辺の方向を示す第1の直線部分を有し、当該マーカは前記第2の辺の上に当該第2の辺の方向を示す第2の直線部分を有し、積載された複数の前記多面体を撮影することによって撮影画像を得ることと、前記撮影画像に含まれる複数の前記マーカを抽出することと、抽出された前記マーカのうちの一つを用いて、前記第1の直線部分および前記第2の直線部分の交点を多面体の面の隅に含まれる点として推定し、当該点を始点とする、前記第1の直線部分および前記第2の直線部分と一致する多面体の面の二辺にそれぞれ対応する第1の直線および第2の直線を推定し、当該第1の直線および当該第2の直線によって挟まれ、且つ、当該マーカが設けられている面が含まれる領域を推定することと、複数の前記マーカから推定された前記領域が重複する領域のうち、全ての隅に前記マーカが設けられた領域を所望の多面体の面として検出することとを具備する、対象物検出方法

請求項17

直方体の箱と、前記箱の頂点を含む第1の辺の上に第1の直線部分を有し、前記頂点を含む第1の辺とは異なる第2の辺の上に第2の直線部分を有し、且つ、当該第1の直線部分上の第1の点と当該第2の直線部分上の第2の点とにおいて交わる円弧を有するマーカとを具備し、前記第1の直線部分は前記第1の点をまたぎ、前記第2の直線部分は前記第2の点をまたぎ、前記マーカは前記箱の面の全ての隅に設けられる、梱包箱

技術分野

0001

実施形態は、対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱に関する。

背景技術

0002

近年、流通分野では、取り扱い荷物の増加および労働者不足により、作業を自動化するニーズが高まりつつある。これまでも、荷物の運搬および仕分けの作業は、コンベヤおよびソータなどを用いて自動化されてきた。また、積載ボックスパレットボックス)に積載された荷物をコンベヤへ投入する荷下ろし作業も自動化されつつある。しかしながら、不定型な荷物が混在する場合に、個々の荷物を検出することが難しく、自動化の妨げとなっている。

0003

通常、荷物の検出方法として、画像処理などが用いられることがある。例えば、荷物の検出装置として、ストロボとストロボに同期可能なカメラとを用い、荷物のエッジ部を強調して撮影することで、荷物の輪郭を抽出しやすくし、抽出した輪郭に基づいてそれぞれの荷物を検出するものが知られている。しかしながら、係る検出装置は、面が揃って密接している荷物の隙間を抽出しづらい、或いは、一つにまとめられた複数個の荷物を一つの荷物として検出することが難しいという問題がある。

0004

また、この検出装置は、荷物が前後で接している場合に、どちらの荷物が後ろ側へ伸びているかなどの隠れ状態を判断することができず、適切な把持戦略が立てられない場合がある。さらに、この検出装置は、荷物にプリントされた模様および荷物に貼り付けられた伝票などのラベルを荷物の輪郭として誤検出する場合がある。

先行技術

0005

特開2004−12143号公報

発明が解決しようとする課題

0006

本発明が解決しようとする課題は、マーカが設けられた対象物を検出することである。

課題を解決するための手段

0007

実施形態によれば、対象物検出装置は、撮影部と、抽出部と、推定部と、検出部とを備える。撮影部は、多面体の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、撮影される面の隅は第1の方向に伸びる第1の辺および当該第1の方向と交わる第2の方向に伸びる第2の辺を含み、当該マーカは第1の辺の上に第1の直線部分を有し、当該マーカは第2の辺の上に第2の直線部分を有し、積載された複数の多面体を撮影することによって撮影画像を得る。抽出部は、撮影画像に含まれる複数のマーカを抽出する。推定部は、抽出されたマーカのうちの一つを用いて、第1の直線部分および第2の直線部分の交点を多面体の面の隅に含まれる点として推定し、当該点を始点とする、第1の直線部分および第2の直線部分と一致する多面体の面の二辺にそれぞれ対応する第1の直線および第2の直線を推定し、当該第1の直線および当該第2の直線によって挟まれ、且つ、当該マーカが設けられている面が含まれる領域を推定する。検出部は、複数のマーカから推定された領域が重複する領域のうち、全ての隅にマーカが設けられた領域を所望の多面体の面として検出する。

図面の簡単な説明

0008

マーカが設けられた梱包箱を例示する図。
図1Aの梱包箱に設けられたマーカの形状を例示する図。
マーカの形状を例示する図。
マーカの形状を例示する図。
第1の実施形態に係る対象物検出装置を例示する図。
撮影画像を例示する図。
図4Aのマーカの抽出を例示する図。
密接しているマーカの切り出しを例示する図。
密接しているマーカの切り出しを例示する図。
面の頂点および辺に対応する直線を推定する方法を例示する図。
面の頂点および辺に対応する直線を推定する方法を例示する図。
梱包箱の面が含まれる領域を推定する方法を例示する図。
マーカ同士の対応関係を検出する方法を例示する図。
マーカ同士の対応関係を検出する方法を例示する図。
マーカ同士の対応関係を検出する方法を例示する図。
梱包箱の面を検出する方法を例示する図。
梱包箱の配置を例示する図。
梱包箱の配置を例示する図。
マーカの一部分が隠れている梱包箱の配置を例示する図。
図1Bのマーカの隠れている部分の長さを推定する方法を例示する図。
図3の対象物検出装置のフローチャートを例示する図。
マーカシールを例示する図。
マーカシールを例示する図。
マーカスタンプ描画方法を例示する図。
描画自動化装置の構成を例示する図。
バンド束ねられた梱包箱を例示する図。
優先マーカが設けられた梱包箱を例示する図。
マーカが設けられた梱包箱を例示する図。
図20Aの梱包箱に設けられたマーカの形状を例示する図。
梱包箱の辺および頂点を推定する方法を例示する図。
梱包箱の面が含まれる領域を推定する方法を例示する図。
梱包箱の面が含まれる領域を推定する方法を例示する図。
梱包箱の面を検出する方法を例示する図。
梱包箱の配置を例示する図。
図20Bのマーカの隠れている部分の長さを推定する方法を例示する図。
パレットボックスを例示する図。
第2の実施形態に係るデパレタイズ自動化装置の構成を例示する図。
図26のデパレタイズ自動化装置の動作を例示するフローチャート。

実施例

0009

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、解説済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

0010

以降の説明において、「多面体」の例として直方体の「梱包箱」が用いられるが、これに限らず、他の形状が用いられてもよい。また、「対象物」の例として「梱包箱」が用いられるが、これに限らず、他の物が用いられてもよい。さらに、具体例として梱包箱の側面のマーカを検出する方法が述べられるが、これに限らず、梱包箱の上面のマーカを検出してもよい。さらに、マーカを設ける方法は、マーカの形状を描画する、マーカの形状を持つシールを貼付するなどに限らず、他の様々な方法を用いてもよい。

0011

(第1の実施形態)
第1の実施形態に係る対象物検出装置は、例えば図1Aに例示される梱包箱100を検出するために用いられる。梱包箱100は、各面の四隅においてマーカ101が設けられている。マーカ101は、図1Bに例示されるように、中心角90度の扇形を含む形状を持つ。さらに、マーカ101は、扇形の中心点から伸びる二本の直線を持つ。

0012

図1Aの梱包箱100において、マーカ101の扇形の中心点は、梱包箱100の頂点と一致している。また、マーカ101の扇形の中心点から伸びる二本の直線は、梱包箱100の頂点を共有する隣り合う二辺と重なっている。

0013

梱包箱の各面の四隅に設けられるマーカは、図2Aおよび図2Bなどを用いてもよい。図2Aに例示されるマーカ201は、マーカ101とは異なり、扇形の中心点を含む領域を持たない形状となっている。図2Bに例示されるマーカ202は、扇形の円弧が扇形の弦とは対称の位置に配置された形状となっている。即ち、マーカの形状は、直方体の梱包箱において、箱の頂点を含む第1の辺の上に第1の直線部分を有し、頂点を含む第1の辺とは異なる第2の辺の上に第2の直線部分を有し、且つ、第1の直線部分上の第1の点と第2の直線部分上の第2の点とにおいて交わる円弧を有し、第1の直線部分は第1の点をまたぎ、第2の直線部分は第2の点をまたいでいればよい。

0014

図3に例示されるように、第1の実施形態に係る対象物検出装置は、撮影部310と、画像処理部320と、計画部330とを含む。画像処理部320は、抽出部321と、推定部322と、検出部323とを含む。撮影部310は、例えば撮影位置から梱包箱までの距離も取得可能な距離画像センサに相当する。画像処理部320および計画部330は、例えばコンピュータに相当し、図示されない制御部によってそれぞれ制御されてもよい。

0015

撮影部310は、多面体(梱包箱)の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、撮影される面の隅は第1の方向に伸びる第1の辺および第1の方向と交わる第2の方向に伸びる第2の辺を含み、マーカは第1の辺の上に第1の直線部分を有し、マーカは第2の辺の上に第2の直線部分を有し、積載された複数の多面体を撮影することによって撮影画像を得る。具体的には、撮影部310は、積載された梱包箱の側面を撮影することによって図4Aに例示される撮影画像401を得る。撮影部310は、撮影画像を抽出部321へと出力する。尚、撮影部310は、撮影位置から梱包箱までの距離を示す距離情報を取得してもよい。

0016

抽出部321は、撮影部310から撮影画像が入力される。抽出部321は、撮影画像に含まれる複数のマーカを抽出データとして抽出する。このとき、抽出部321は、梱包箱に設けられたマーカの形状を既知の情報として抽出することができる。また、抽出部321は、回転したマーカおよび一部分が隠れているマーカにも対応して抽出することができる。抽出部321は、抽出データを推定部322へと出力する。尚、抽出部321は、撮影画像からエッジを抽出することによって、梱包箱の輪郭線候補を取得してもよい。また、抽出部321は、撮影部310によって得られる距離情報を用いて、抽出する梱包箱以外を除外してもよい。

0017

具体的には、抽出部321は、図4Aの撮影画像401に含まれるマーカを抽出することによって図4Bに例示される抽出データ402を得る。また、抽出部321は、図5Aに例示されるようにマーカ同士が密接している場合において、マーカの直線部分を利用して、拡大図の点線に沿って各々のマーカを切り出して抽出することができる。さらに、抽出部321は、図5Bに例示されるように、密接したマーカが傾いている場合であっても、各々のマーカを切り出して抽出するができる。

0018

推定部322は、抽出部321から抽出データが入力される。推定部322は、抽出データに含まれるマーカのうちの一つを用いて、第1の直線部分および第2の直線部分の交点を多面体の面の隅に含まれる点として推定し、その点を始点とする、第1の直線部分および第2の直線部分と一致する多面体の面の二辺にそれぞれ対応する第1の直線および第2の直線を推定し、第1の直線および第2の直線によって挟まれ、且つ、マーカが設けられている面が含まれる領域を推定する。このとき、推定部322は、抽出部321によって得られた輪郭線候補をさらに利用して、撮影された梱包箱の辺に対応する直線を推定してもよい。推定部322は、マーカを用いて推定される梱包箱の頂点、梱包箱の辺に対応する直線および梱包箱の面が含まれる領域などの情報を示すマーカ情報を検出部323へと出力する。

0019

具体的には、推定部322は、図6Aに例示されるように、マーカ601の直線部分を伸長させた直線602および直線603を、マーカ601が設けられている梱包箱の面の頂点を共有する二辺のそれぞれに対応する二つの直線として推定する。また、推定部322は、マーカ601の扇形の中心点を、マーカ601が設けられている梱包箱の頂点604として推定する。或いは、推定部322は、直線602および直線603の交点を、マーカ601が設けられている面の頂点604として推定してもよい。尚、図6Aにおける直線602および直線603の矢印は、矢印の方向に沿って辺が存在していることを表す。

0020

推定部322は、図6Bに例示されるマーカ605についても梱包箱の面の頂点を推定することができる。図6Bのマーカ605は、扇形の中心点を含む領域を持たない形状となっている。或いは、マーカ605は、梱包箱の角がつぶれているなどの事象により、扇形の中心点を含む領域が欠けている状態で抽出されている。推定部322は、直線602および直線603の交点を、マーカ605が設けられている面の頂点604として推定する。

0021

さらに、推定部322は、図7に例示されるように、マーカ701の直線702および直線703を境界線としてマーカ701が設けられている梱包箱のある面が含まれる領域704を推定する。

0022

検出部323は、推定部322からマーカ情報が入力される。検出部323は、複数のマーカから推定された領域が重複する領域のうち、全ての隅にマーカが設けられた領域を所望の梱包箱の面として検出する。具体的には、検出部323は、基準とするマーカ(基準マーカ、第1のマーカともいう)と他のマーカ(他マーカ、第2のマーカまたは第3のマーカともいう)との対応関係(同一の梱包箱のある面に含まれること)をそれぞれ検出し、それらのマーカで形成される領域の和集合を所望の梱包箱の面として検出する。検出部323は、検出したそれぞれの所望の梱包箱の面の位置関係を示す位置情報を計画部330へと出力する。

0023

検出部323は、図8に例示される方法を用いて基準マーカと他マーカとの対応関係を検出してもよい。ここで、他マーカは、基準マーカの直線上において鏡像の関係となっている。検出部323は、基準マーカ801の直線802と、他マーカ811の直線812とが一致する場合に、基準マーカ801と他マーカ811とが同一の梱包箱のある面に含まれることを検出する。

0024

また、図9に例示されるように、検出部323は、基準マーカ901の直線902と、他マーカ911の直線912および他マーカ921の直線922の両方とが一致する場合に、基準マーカ901と基準マーカ901からの距離が最も近い他マーカ911とが同一の梱包箱のある面に含まれることを検出する。

0025

換言すると、検出部323は、抽出されたマーカのうちの少なくとも1以上の第1のマーカによって推定された直線と、第1のマーカとは異なる少なくとも1以上の第2のマーカによって推定された直線とが一致し、第1のマーカおよび第2のマーカは鏡像の関係にあり、距離が最も近い第1のマーカおよび第2のマーカを選択し、選択された第1のマーカおよび第2のマーカが、複数のマーカから推定された領域が重複する領域のいずれかの領域に含まれるマーカのうちの二つであることを決定する。

0026

検出部323は、図10に例示される方法を用いて基準マーカと他マーカとの対応関係を検出してもよい。ここで、他マーカは、基準マーカの形状を180度回転した形状を持つ。検出部323は、基準マーカ1001から推定された領域1002と、他マーカ1011から推定された領域1012および他マーカ1021から推定された領域1022の両方とが重なる場合に、重なる面積が最小となる領域1031(これは領域1002と領域1012とが重なる領域)を形成する基準マーカ1001および他マーカ1011が同一の梱包箱のある面に存在することを検出する。

0027

換言すると、検出部323は、抽出されたマーカのうちの少なくとも1以上の第1のマーカと、推定部322によって推定された第1のマーカに対応する領域に含まれる第1のマーカの形状を180度回転した形状を持つ少なくとも1以上の第3のマーカとでそれぞれ推定された領域が重複する領域の面積が最小となる第1のマーカおよび第3のマーカを選択し、選択された第1のマーカおよび第3のマーカが、複数のマーカから推定された領域が重複する領域のいずれかの領域に含まれるマーカのうちの二つであることを決定する。

0028

検出部323は、図11に例示されるように、マーカ1101、マーカ1111、マーカ1121およびマーカ1131が同一の梱包箱のある面に存在する場合に、それぞれのマーカから推定された領域1102、領域1112、領域1122および領域1132が全て重なる領域1141を所望の梱包箱の面として検出する。尚、検出部323は、それぞれのマーカから推定された領域が重複する領域のうち、一つ以上三つ以下の隅にマーカが設けられた領域を、所望の梱包箱の面が含まれる可能性がある領域として検出してもよい。また、検出部323、所望の梱包箱の面が含まれる可能性がある領域を図示されないメモリへと記憶し、後述される計画部330において用いられてもよい。

0029

計画部330は、検出部323から位置情報が入力される。計画部330は、位置情報に基づいて、梱包箱を把持するために選択する順番および梱包箱を移動させるための動作手順を計画する。例えば、計画部330は、一方の梱包箱が他方の梱包箱に干渉しないような動作手順を計画する。

0030

対象物検出装置は、梱包箱の前後の位置関係を認識し、動作計画に用いることができる。例えば、図12に示されるように、梱包箱1201の後方に梱包箱1211および梱包箱1221が配置される場合がある。このとき、検出部323は、梱包箱1201の面が含まれる領域および梱包箱1211の面が含まれる領域をそれぞれ検出する。検出部323は、マーカ1202が梱包箱1211の領域の内側に存在するため、梱包箱1211の面の手前に梱包箱1201の面が存在する(即ち、梱包箱1201の面が最前面に存在する)ことを検出する。従って、計画部330は、梱包箱の前後関係を考慮して把持の順番を計画することができる。例えば、計画部330は、梱包箱1211を抜き取る前に、梱包箱1201を先に抜き取るような動作計画をすることができる。

0031

ここで、検出部323は、マーカ1202が検出されなかった場合に、重複する領域の輪郭線候補(エッジ)を用いて、梱包箱の前後関係を検出してもよい。換言すると、検出部323は、それぞれのマーカから推定された領域が重複する領域のうち、一方の領域のエッジが他方の領域に含まれている場合に、他方の領域に対応する梱包箱の面が一方の領域に対応する梱包箱の面に隠れていることを検出する。

0032

また、図13に例示されるように、梱包箱1320の後方に梱包箱1310が配置され、梱包箱1310に設けられたマーカのみが抽出される場合がある。このとき、検出部323は、梱包箱1310のマーカが四つ未満しか検出されなかったため、梱包箱1310よりも手前に梱包箱が存在することを検出してもよい。換言すると、検出部323は、それぞれのマーカから推定された領域が重複する領域のうち、一つ以上三つ以下の隅にマーカが設けられた領域を、ある梱包箱の面に一部が隠れている梱包箱の面を含む領域として検出する。従って、計画部330は、梱包箱1310を梱包箱1320の上面を越える位置まで引き上げてから抜き取る、梱包箱1310を梱包箱1320に被らない位置まで横方向に動かしてから抜き取る、或いは、梱包箱1310を抜き取る前に、梱包箱1320を先に抜き取るなどのような動作計画をすることができる。

0033

対象物検出装置は、マーカの一部分が隠れている場合に、マーカの残りの部分を推定し、動作計画に用いることができる。例えば、図14Aに示されるように、梱包箱1420の後方に梱包箱1410が配置され、梱包箱1410に設けられたマーカの一部分であるマーカ1411が抽出される場合がある。このとき、検出部323は、図14Bに例示されるように、梱包箱1410が梱包箱1420にどれくらい隠れているかを示す隠れ量(図中の矢印の長さに対応)を推定することができる。

0034

具体的には、検出部323は、マーカ1411の円弧部分に一致する円1431および中心点1432を求める。検出部323は、中心点1432を中心として、マーカ1411の直線部分を右へ90度回転させた位置における梱包箱1410の隠れている辺に対応する直線からマーカの残りの部分を推定する。計画部330は、推定されたマーカの残りの部分に基づいて、梱包箱1410を横に動かしてから移動させる、或いは、梱包箱1410を上に動かしてから移動させるなどの動作手順から、効率のよい動作手順を計画することができる。

0035

図3の対象物検出装置は、図15に例示されるように動作する。各部の具体例などは、上述されているため詳しい説明を省略する。

0036

テップS1501において、撮影部310は、マーカが設けられ、積載された梱包箱を撮影することによって撮影画像を得る。尚、撮影部310は、撮影点から梱包箱までの距離情報を取得してもよい。

0037

ステップS1502において、抽出部321は、撮影画像に含まれるマーカを抽出データとして抽出する。尚、抽出部321は、撮影画像からエッジを抽出することによって、梱包箱の輪郭線候補を取得してもよい。また、抽出部321は、撮影部310によって得られる距離情報を用いて、抽出するマーカが設けられる梱包箱以外を除外してもよい。

0038

ステップS1503において、推定部322は、抽出データに含まれるマーカを用いて梱包箱の面が含まれる領域を推定する。

0039

ステップS1504において、検出部323は、基準マーカと基準マーカが設けられた梱包箱のある面に含まれる他マーカとの対応関係(即ち、マーカ同士の対応関係)を検出する。

0040

ステップS1505において、検出部323は、複数のマーカから推定された領域が重複する領域のうち、全ての隅にマーカが設けられた領域を所望の梱包箱の面として検出する。

0041

ステップS1506において、検出部323は、梱包箱の前後関係を検出する。

0042

ステップS1507において、検出部323は、一方の梱包箱が他の梱包箱にどれくらい隠れているか(即ち、梱包箱の隠れ量)を推定する。

0043

ステップS1508において、計画部330は、把持の順番および動作手順を計画する。

0044

第1の実施形態に係る対象物検出装置は、複数の梱包箱に設けられたマーカを検出することで個々の梱包箱を検出することができる。しかしながら、対象物検出装置は、マーカ部分に損傷などがある場合に、マーカを正しく認識できない恐れがある。認識できない事例としては、マーカのない梱包箱を利用している、マーカ部分に汚れがある、マーカ部分に伝票が貼ってあることなどが考えられる。そのため、梱包箱のマーカを再描画(或いは、新しく描画)する必要がある。

0045

梱包箱にマーカを描画する方法として、シールを貼る、スタンプを押すなどの方法が挙げられる。例えば、図16Aに例示されるマーカシール1601は、あるマーカに損傷があった場合に、そのマーカの上から貼ることができる。また、図16Bに例示されるマーカシール1602は、梱包箱の角に設けられるマーカの展開図となっているため、マーカのない梱包箱に適している。さらに、図17に例示されるマーカスタンプ1701は、マーカのない梱包箱1702の各角に押すことで、マーカを描画することができる。

0046

梱包箱に設けられるマーカは、ある特定の波長の光を照射した場合にのみ撮影可能な無色透明塗料が用いられてもよい。例えば、マーカに使用する塗料は、紫外線を照射した場合のみ認識できる無色透明なものでもよい。これらは、マーカを再描画する位置に重要な情報(例えば伝票など)が含まれていたり、贈り物などのような綺麗なラッピングが施されていたりする場合に有効である。

0047

梱包箱にマーカを描画する方法は、自動化されてもよい。図18に例示される描画自動化装置は、計測部1810と、照合部1820と、描画部1830とを備える。描画自動化装置は、例えばマーカが設けられていない梱包箱1801の角に対して、マーカを描画することができる。梱包箱1801は、図中の矢印の方向に進み、マーカが描画される。

0048

計測部1810は、梱包箱1801の形状を計測する。照合部1820は、計測された梱包箱1801の形状から頂点(角)の位置を特定し、内蔵のカメラによって頂点位置の画像を取得し、頂点位置に規定のマーカが描画されているかを照合する。描画部1830は、規定のマーカが描画されていない梱包箱1801の頂点位置に対して、マニピュレーターを用いてマーカを描画する。尚、描画部1830は、マニピュレーターの代わりに直動機構などを利用してもよい。

0049

図19Aに例示される荷物1900は、梱包箱1910と梱包箱1920とがバンド1903で束ねられている。このとき、対象物検出装置は、梱包箱1910と梱包箱1920とをそれぞれ個々の梱包箱として検出する。そこで、図19Bに例示される優先マーカ1904を用いることで、対象物検出装置は、荷物1900を一つの梱包箱として認識することができる。即ち、検出部323は、通常のマーカに相当する一方のマーカと、一方のマーカとは色および形状の少なくともどちらかが異なる他方のマーカ(前述の優先マーカ1904)とが存在する場合に、他方のマーカを優先して検出する。例えば、マーカの色別に検出の順番を示す優先度を設定した場合に、検出部323は、この優先度に従ってマーカを検出してもよい。よって、検出部323は、優先マーカ1904によって推定された領域内にある通常のマーカを検出の対象から除外することができる。また、検出部323は、マーカの内部および近傍の少なくともどちらかの位置に梱包箱の情報を登録した識別コードがさらに設けられた場合に、当該コードの値が大きいマーカを優先して検出してもよい。例えば、識別コードは、日付および時刻などの情報でもよい。

0050

第1の実施形態に係る対象物検出装置は、例えば図20Aに例示される梱包箱2000を検出するために用いられてもよい。梱包箱2000は、各面の四辺を全て含むようにマーカ2001が設けられている。マーカ2001は、図20Bに例示されるように、扇形の円弧と弦とで構成された形状を持つ。

0051

図20Aの梱包箱2000において、マーカ2001の弦を形成する直線は、梱包箱2000の辺と一致している。また、マーカ2001の弦を形成する直線の両端は、梱包箱2000の二つの頂点と一致している。

0052

撮影部310は、直方体の面のうちの少なくとも撮影される面の全ての辺を含む部分にマーカが設けられ、マーカはそれぞれの面に含まれる一辺の全てを含み、マーカ同士が重複せずに全ての辺に存在し、積載された複数の前記直方体を撮影することによって撮影画像を得る。

0053

抽出部321は、撮影画像に含まれる複数のマーカを抽出データとして抽出する。

0054

推定部322は、抽出データに含まれるマーカのうちの一つを用いて、マーカの直線部分と一致する多面体の辺を推定し、推定された辺を境界とし、且つ、マーカが設けられている面が含まれる領域を推定する
具体的には、推定部322は、図21に例示されるように、マーカ2101の直線2102を、マーカ2101が設けられている梱包箱の辺として推定する。推定部322は、直線2102とマーカ2101の円弧との交点を、マーカ2101が設けられている梱包箱の二つの頂点(頂点2103および頂点2104)として推定する。

0055

また、推定部322は、図22Aに例示されるように、推定された辺(直線2202)を境界線として、マーカ2201が設けられている梱包箱の面が含まれる領域2203を推定する。

0056

さらに、推定部322は、図22Bに例示されるように、頂点を共有する二つのマーカ(マーカ2211およびマーカ2221)が検出された場合に、それぞれ推定された辺(直線2212および直線2222)を境界線として、マーカ2211およびマーカ2221が設けられている梱包箱の面が含まれる領域2231を推定する。

0057

検出部323は、複数のマーカから推定された領域が重複する領域のうち、少なくとも二つの辺にマーカが設けられた領域を所望の直方体の面として検出する。具体的には、検出部323は、図23に例示されるように、少なくとも二つのマーカ(マーカ2301およびマーカ2311)が同一の梱包箱のある面に存在する場合に、それぞれのマーカから推定された領域2302および領域2312が重なる領域2321を梱包箱のある面として検出する。

0058

計画部330は、検出されたそれぞれの所望の直方体の面の位置関係に基づいて、直方体を把持するために選択する順番および直方体を移動させるための動作手順を計画する。

0059

対象物検出装置は、マーカの一部分が隠れている場合に、マーカの残りの部分を推定し、動作計画に用いることができる。例えば、図24Aに示されるように、梱包箱2420の後方に梱包箱2410が配置され、梱包箱2410に設けられたマーカの一部分であるマーカ2411が抽出される場合がある。このとき、検出部323は、図24Bに例示されるように、梱包箱2410が梱包箱2420にどれくらい隠れているかを示す隠れ量(図中の矢印の長さに対応)を推定することができる。

0060

具体的には、検出部323は、マーカ2411の円弧部分に一致する円2431および中心点2432を求める。検出部323は、マーカ2411の直線部分を右へ伸長させて、円2431との交点からマーカの残りの部分を推定する。計画部330は、推定されたマーカの残りの部分に基づいて、梱包箱2410を横に動かしてから移動させる、或いは、梱包箱2410を上に動かしてから移動させるなどの動作手順から、効率のよい動作手順を計画することができる。尚、梱包箱の輪郭を目立たせるような太線のマーカでは、このような推定をすることができない。

0061

以上説明したように、第1の実施形態に係る対象物検出装置は、梱包箱に設けられたマーカを用いることによって、積載された梱包箱をそれぞれ検出することができる。また、この対象物検出装置は、撮影位置から見た梱包箱の前後関係を検出することができる。故に、この対象物検出装置は、マーカが設けられた対象物を検出することができる。

0062

さらに、この対象物検出装置は、種類の異なるマーカを検出することで、任意の梱包箱について、検出する優先度を高くすることができる。また、この対象物検出装置は、検出した梱包箱の位置関係に基づいて、梱包箱を把持するために選択する順番および移動させるための動作手順を計画することができる。

0063

(第2の実施形態)
前述の第1の実施形態に係る対象物検出装置は、種々の用途に応用可能である。具体的には、この対象物検出装置は、パレットボックスに積載され、マーカが設けられた梱包箱を個別に検出し、自動で荷下ろし動作が可能なデパレタイズ自動化装置によって利用されてもよい。

0064

梱包箱は、例えば図25に示されるパレットボックス2500に積載される。このとき、積載される梱包箱は、それぞれが一様な大きさであってもよいし、それぞれが異なる大きさであってもよい。パレットボックス2500は、梱包箱の仕分け作業を容易にするために、中間棚2501が備え付けられている。尚、図25の梱包箱はマーカの描画を省略しているが、全ての梱包箱に前述の第1の実施形態のマーカが設けられているものとする。

0065

第2の実施形態に係るデパレタイズ自動化装置は、例えばパレットボックスに積載された梱包箱を所定の位置から撮影し、撮影画像からマーカを抽出することによってそれぞれの梱包箱を個別に検出し、動作手順に従って荷下ろしをしてもよい。

0066

具体的には、図26に例示されるように、第2の実施形態に係るデパレタイズ自動化装置は、距離画像センサ2610と、制御部2620と、X方向直動アーム2631と、Y方向直動アーム2632と、Z方向直動アーム2633と、吸着パッド2641と、エンドエフェクタ2642と、真空ポンプ2651と、電磁弁2652と、エアチューブ2653とを含む。距離画像センサ2610は、撮影部310と同一または類似であってよい。制御部2620は、画像処理部320および計画部330を含む。尚、距離画像センサ2610および制御部2620以外の各部を総称して取得部と呼ぶ。また、X方向直動アーム2631と、Y方向直動アーム2632と、Z方向直動アーム2633とを総称してアームと呼ぶ。

0067

距離画像センサ2610は、所定の位置に固定されたパレットボックス2500の取り出し方向(正面)を向くように配置される。このとき、パレットボックス2500は、距離画像センサ2610がパレットボックス2500の横幅を全て撮影可能な位置に配置される。距離画像センサ2610は、Z軸方向に移動することにより、積載荷物を撮影することができる。距離画像センサ2610は、画角内画像情報を取得するとともに、取得画像画素単位でその画素撮像している物体までの距離情報を取得することができる。

0068

制御部2620は、それぞれの梱包箱の面を検出し、梱包箱を把持するために選択する順番および梱包箱を移動させるための動作手順に基づいて、取得部を制御する。取得部は、順番および動作手順にもとづいて、梱包箱をピックアップする。尚、梱包箱を検出する方法は、第1の実施形態における画像処理部320および計画部330において述べられているため、説明を省略する。

0069

アームは、パレットボックス2500の正面から挿入し、梱包箱の正面、あるいは上面に移動が可能である。また、アームの一端には、梱包箱の正面、あるいは上面方向から把持が可能な吸着パッド2641を備えたエンドエフェクタ2642が取り付けられている。

0070

吸着パッド2641は、外付けの真空ポンプ2651と電磁弁2652とを介してエアチューブ2653で接続されている。また、吸着パッド2641は、電磁弁2652が開閉することによって梱包箱が把持または解放される。

0071

図26のデパレタイズ自動化装置は、図27に例示されるように動作する。

0072

ステップS2701において、制御部2620は、距離画像センサ2610を積載荷物の上部正面へ移動させる。ステップS2701の後に、対象物検出装置の処理(図15のフローチャート)が行われる。

0073

対象物検出装置の処理の詳細が図15に例示される。対象物検出装置の処理は、上述されているため詳しい説明を省略する。対象物検出装置の処理の後に、処理は図27のステップS2703へと進む。

0074

ステップS2703において、制御部2620は、アームを動作させ、エンドエフェクタ2642を梱包箱を把持する位置まで移動させる。

0075

ステップS2704において、制御部2620は、電磁弁2652を切り替え、吸着パッド2641を吸引状態にし、梱包箱を把持させる。

0076

ステップS2705において、制御部2620は、アームを動作させ、把持した梱包箱を荷下ろし位置まで運搬させる。

0077

ステップS2706において、制御部2620は、電磁弁2652を切り替え、吸着パッド2641を非吸引状態にし、梱包箱を解放させる。

0078

ステップS2707では、制御部2620は、検出した梱包箱を全て荷下ろししたか否かを判定する。検出した梱包箱を全て荷下ろしした場合は、処理はステップS2708へと進み、そうでなければ処理はステップS2703へと戻る。尚、ステップS2707において、制御部2620は、いくつかの梱包箱を荷下ろしした後に、ステップS2702の処理を再度行ってもよい。

0079

ステップS2708では、制御部2620は、検出していない梱包箱があるか否かを判定する。検出していない梱包箱がある場合には、処理はステップS2702へと戻り、そうでなければ処理は終了する。

0080

以上説明したように、第2の実施形態に係るデパレタイズ自動化装置は、前述の第1の実施形態に係る対象物検出装置を含む。従って、このデパレタイズ自動化装置によれば、マーカが設けられた対象物を検出し、ピックアップすることができる。

0081

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0082

100,1201,1211,1221,1310,1320,1410,1420,1702,1801,1910,1920,2000,2410,2420・・・梱包箱、101,201,202,601,605,701,1101,1111,1121,1131,1202,1411,1901,2001,2101,2201,2211,2221,2301,2311,2411・・・マーカ、310・・・撮影部、320・・・画像処理部、321・・・抽出部、322・・・推定部、323・・・検出部、330・・・計画部、401・・・撮影画像、402・・・抽出データ、602,603,702,703,802,812,902,912,922,2102,2202,2212,2222・・・直線、604,2103,2104,2204・・・頂点、704,1002,1012,1022,1031,1102,1112,1122,1132,1141,2203,2205,2231,2232,2302,2312,2321・・・領域、801,901,1001・・・基準マーカ、811,911,921,1011,1021・・・他マーカ、1431,2431・・・円、1432,2432・・・中心点、1601,1602・・・マーカシール、1701・・・マーカスタンプ、1810・・・計測部、1820・・・照合部、1830・・・描画部、1900・・・荷物、1903・・・バンド、1904・・・優先マーカ、2500・・・パレットボックス、2501・・・中間棚、2610・・・距離画像センサ、2620・・・制御部、2631・・・X方向直動アーム、2632・・・Y方向直動アーム、2633・・・Z方向直動アーム、2641・・・吸着パッド、2642・・・エンドエフェクタ、2651・・・真空ポンプ、2652・・・電磁弁、2653・・・エアチューブ。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ