図面 (/)

技術 物体認識装置及び物体認識方法

出願人 村田機械株式会社
発明者 飯田雅臣松山岳
出願日 2014年5月27日 (6年5ヶ月経過) 出願番号 2014-109325
公開日 2015年12月14日 (4年11ヶ月経過) 公開番号 2015-225453
状態 特許登録済
技術分野 イメージ分析
主要キーワード 幾何的条件 角度差φ 角度差α 下端エッジ 二次元モデル 折曲面 幾何的関係 スケールσ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年12月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

物体認識の精度を低下させることなく、演算負荷を低減することが可能な物体認識装置を提供する。

解決手段

物体認識装置22は、パレット3の点の集合及び各点を結んで構成される線分の集合によって定義されるパレット3の二次元モデルのデータを保存するモデル保存部45と、パレット3が含まれる三次元画像を入力する三次元画像入力部41と、三次元画像における特徴点118,119,120を検出する画像特徴点検出部42と、三次元画像上の各点における特徴量を算出する特徴量算出部43と、特徴点118,119,120と、補間点123,124とにおける特徴量に基づいて、二次元モデルのデータとの類似度を比較することで物体の認識を行うパターンマッチング部44とを備える。

概要

背景

物体撮影した画像情報に基づいて、物体の認識を行う物体認識装置は、種々のものが提案されている。
例えば、特許文献1には、位置を変えて設けられた一対のカメラにより撮影された2つの画像データに基づいて、距離情報を備える三次元画像を生成し、これに基づいて物体認識を行う装置が開示されている。

また、特許文献2には、TOF(Time Of Flight)カメラにより得られる距離画像(三次元画像)を用いて、特徴点ヒストグラム化して特徴量を算出し、参照パターンとの比較により物体の認識を行う装置が開示されている。
さらに、特許文献3には、物体の二次元画像と距離画像とから物体の三次元座標を算出して、参照パターンとなる三次元モデルのデータを当てはめて、物体の認識を行う装置が開示されている。

概要

物体認識の精度を低下させることなく、演算負荷を低減することが可能な物体認識装置を提供する。物体認識装置22は、パレット3の点の集合及び各点を結んで構成される線分の集合によって定義されるパレット3の二次元モデルのデータを保存するモデル保存部45と、パレット3が含まれる三次元画像を入力する三次元画像入力部41と、三次元画像における特徴点118,119,120を検出する画像特徴点検出部42と、三次元画像上の各点における特徴量を算出する特徴量算出部43と、特徴点118,119,120と、補間点123,124とにおける特徴量に基づいて、二次元モデルのデータとの類似度を比較することで物体の認識を行うパターンマッチング部44とを備える。

目的

本発明の課題は、物体認識装置において、物体認識の精度を低下させることなく、演算負荷を低減することにある

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体の幾何的特徴を表すモデルのデータを保存するモデル保存部と、前記物体が含まれる三次元画像を入力する三次元画像入力部と、前記三次元画像における特徴点を検出する画像特徴点検出部と、前記三次元画像上の各点における特徴量を算出する特徴量算出部と、前記画像特徴点検出部で検出された特徴点と、前記特徴点に対して特定の幾何的条件を満たす補間点とをパターンマッチングのためのマッチング候補点グループとし、各グループに含まれるマッチング候補点の特徴量に基づいて、前記モデルのデータとの類似度を比較することで前記物体の認識を行うパターンマッチング部と、を備える物体認識装置

請求項2

前記パターンマッチング部は、前記画像特徴点検出部で検出された特徴点から、所定の幾何的条件を満たす所定数の特徴点を前記マッチング候補点として抽出する、請求項1に記載の物体認識装置。

請求項3

前記補間点は、1対又は複数対の特徴点の中間点である、請求項1又は2に記載の物体認識装置。

請求項4

前記パターンマッチング部は、前記特徴量算出部が前記マッチング候補点のそれぞれについて作成されるヒストグラムに基づいて、前記物体の認識を行う、請求項1〜3のいずれかに記載の物体認識装置。

請求項5

前記特徴量算出部は、FPFH(FirstPointFeatureHistogram)により記述されるヒストグラムを作成する、請求項4に記載の物体認識装置。

請求項6

前記物体は、3個の特徴点を有するパレットであり、前記所定の幾何的条件を満たす所定数の特徴点とは、3個の特徴点の特徴点のなす角度が所定範囲内である3個の特徴点である、請求項2又は3に記載の物体認識装置。

請求項7

前記三次元画像入力部は、TOF(TimeOfFlight)カメラ、又はステレオカメラを有する、請求項1〜6のいずれかに記載の物体認識装置。

請求項8

前記画像特徴点検出部は、Harris処理、又はSIFT(ScaleInvariantFeatureTransform)処理することにより、前記特徴点を検出する、請求項1〜7のいずれかに記載の物体認識装置。

請求項9

前記三次元画像とほぼ同一視点撮影された前記物体を含む二次元画像を入力する二次元画像入力部と、前記二次元画像における前記物体の画像特徴を検出する二次元画像処理部と、をさらに備えている、請求項1〜8のいずれかに記載の物体認識装置。

請求項10

前記画像特徴点検出部が前記特徴点の検出を行うのは、前記三次元画像において、前記二次元画像処理部において検出された前記物体の画像特徴に対応する領域のみである、請求項9に記載の物体認識装置。

請求項11

前記特徴量算出部は、前記三次元画像において前記領域にある前記特徴点における特徴量を算出し、前記パターンマッチング部は、前記三次元画像において前記領域にある前記特徴点の前記特徴量を用いる、請求項10に記載の物体認識装置。

請求項12

認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体の幾何的特徴を表すモデルのデータを保存するステップと、物体が含まれる三次元画像を入力するステップと、前記三次元画像における特徴点を検出するステップと、前記特徴点と、前記特徴点に対して特定の幾何的条件を満たす補間点とにおける特徴量を算出するステップと、前記特徴量に基づいて、前記モデルのデータとの類似度を比較して物体の認識を行うステップと、を備える物体認識方法

技術分野

0001

本発明は、物体の位置を認識するための物体認識装置及び物体認識方法であって、特に、無人搬送車パレットケース等の物体を搬送する際に、物体の載置位置を認識するための物体認識装置及び物体認識方法に関する。特に、人の顔などの不特定の画像ではなく、パレット等の既定の物体の特定画像を認識する物体認識装置に関する。

背景技術

0002

物体を撮影した画像情報に基づいて、物体の認識を行う物体認識装置は、種々のものが提案されている。
例えば、特許文献1には、位置を変えて設けられた一対のカメラにより撮影された2つの画像データに基づいて、距離情報を備える三次元画像を生成し、これに基づいて物体認識を行う装置が開示されている。

0003

また、特許文献2には、TOF(Time Of Flight)カメラにより得られる距離画像(三次元画像)を用いて、特徴点ヒストグラム化して特徴量を算出し、参照パターンとの比較により物体の認識を行う装置が開示されている。
さらに、特許文献3には、物体の二次元画像と距離画像とから物体の三次元座標を算出して、参照パターンとなる三次元モデルのデータを当てはめて、物体の認識を行う装置が開示されている。

先行技術

0004

特開平09−218014号公報
国際公開第2010/140613号パンフレット
特開2012−123781号公報

発明が解決しようとする課題

0005

二次元画像から物体の認識を行う場合には、各画素輝度値パターンに基づいて物体の認識を行える。この場合、認識対象となる物体の形状が単純パターンであれば、誤認識を生じやすく、照明条件によっても誤認識が生じる。さらに、二次元画像上におけるパターンが、実際のどのような大きさであるかを判別することが困難である。特に、カメラの撮影方向が斜めである場合には、二次元画像上のパターンを正確に認識することが困難である。

0006

このため、特許文献1〜3の物体認識装置では、物体を撮影した三次元画像から、物体の特徴点を抽出して、物体の認識を行っている。しかし、パターンマッチングを行うための特徴点の候補を多数抽出する必要があり、演算負荷が大きくなる。また、背景に含まれる特徴点や、対象となる物体と類似する特徴点を有する物体が画像情報に含まれる場合には、誤認識するおそれがある。また、画像全体に比して物体が小さい場合にも、誤認識を生じるおそれがある。
特許文献3に記載されているように、二次元画像において抽出した物体の画像特徴に、三次元画像により三次元座標を算出して、三次元モデルデータとの照合を行った場合には、多数の特徴点を抽出する際の演算負荷が大きくなる。このような演算負荷を低減するためには、パターンマッチングを行うための特徴点の候補を少なくすることが考えられるが、その場合、パターンマッチングの精度が低下するという問題がある。

0007

本発明の課題は、物体認識装置において、物体認識の精度を低下させることなく、演算負荷を低減することにある。

課題を解決するための手段

0008

以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。
本発明の一見地による物体認識装置は、モデル保存部と、三次元画像入力部と、画像特徴点検出部と、特徴量算出部と、パターンマッチング部とを備える。モデル保存部は、認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体の幾何的特徴を表すモデルのデータを保存する。三次元画像入力部は、物体が含まれる三次元画像を入力する。画像特徴点検出部は、三次元画像における特徴点を検出する。特徴量算出部は、三次元画像上の各点における特徴量を算出する。パターンマッチング部は、画像特徴点検出部で検出された特徴点と、特徴点に対して特定の幾何的条件を満たす補間点とにおける特徴量に基づいて、モデルのデータとの類似度を比較することで物体の認識を行う。
物体の形状によっては、モデル上の特徴点ではない点に、物体の特徴を表す点としての属性を与えることができる。このような点を、特徴点と特定の幾何的条件を満たす補間点とすることで、パターンマッチングを行う際の特徴点のダウンサンプリングが可能となり、その結果、背景に存在する他の特徴点と識別して、物体の認識を確実に行うことができる。また、これにより、パターンマッチング処理の演算負荷を軽減できる。

0009

パターンマッチング部は、画像特徴点検出部で検出された特徴点から、所定の幾何的条件を満たす所定数の特徴点をマッチング候補点として抽出してもよい。
物体の特徴を表す特徴点の幾何的条件を設定することにより、三次元画像から検出した特徴点から、マッチングを行うためのマッチング候補点をダウンサンプリングすることが容易であり、この結果、演算負荷を低減できる。

0010

補間点は、1対又は複数対の特徴点の中間点であってもよい。
物体のエッジ断続するような部分では、検出される特徴点の間に、物体上の特徴点ではない点が存在することになる。このような点は、画像上に存在する物体を認識する際に、有効な情報となり得る。このため、特徴点の中間点を補間点としてマッチング候補点とすることで、マッチング精度を向上できる。

0011

パターンマッチング部は、特徴量算出部が作成するマッチング候補点のヒストグラムに基づいて、物体の認識を行ってもよい。
特徴量の算出には、公知の技術を用いることが可能であり、例えば、法線方向ヒストグラム距離ヒストグラム輝度レベルのヒストグラムなどを用いることが可能であり、より具体的には、FPFH(Fast Point Feature Histograms)を用いることができる。
物体は、3個の特徴点を有するパレットであってもよい。その場合、所定の幾何的条件を満たす所定数の特徴点とは、3個の特徴点のなす角度が所定範囲内である3個の特徴点である。

0012

三次元画像入力部は、TOF(Time Of Flight)カメラ、又はステレオカメラを有していてもよい。
この場合、TOFカメラ、又はステレオカメラを用いて撮影される物体の距離画像を三次元画像として入力できる。TOFカメラ及びステレオカメラにより撮影された距離画像を用いて特徴点を検出する技術については、公知のものを用いることができる。

0013

画像特徴点検出部は、Harris処理、又はSIFT(Scale Invariant Feature Transform)処理することにより、特徴点を検出してもよい。また、ISS(Intrinsic Shape Signatures)でもよい。
特徴点の検出方法は、画像の各画素について、色や輝度変化が大きくなる点を検出できればよく、Harris作用素、又はSIFT作用素を用いる方法の他に、公知の技術を用いることができる。

0014

物体認識装置は、三次元画像とほぼ同一視点で撮影された物体を含む二次元画像を入力する二次元画像入力部と、二次元画像における物体の画像特徴を検出する二次元画像処理部とをさらに備えていてもよい。
画像特徴点検出部が特徴点の検出を行うのは、三次元画像において、二次元画像処理部において検出された物体の画像特徴に対応する領域のみであってもよい。
この場合、二次元画像により特定された物体の画像特徴に対応する領域において、特徴点を検出していることから、通常の三次元画像からの特徴点の抽出に比して、演算負荷を軽減でき、高速化が可能になる。
特徴量算出部は、三次元画像において前記領域にある特徴点における特徴量を算出し、パターンマッチング部は、三次元画像において前記領域にある前記特徴点の前記特徴量を用いてもよい。

0015

本発明の他の見地に係る物体認識方法は、以下のステップを備えている。
◎認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体の幾何的特徴を表すモデルのデータを保存するステップ
◎物体が含まれる三次元画像を入力するステップ
◎三次元画像における特徴点を検出するステップ
◎特徴点と、特徴点に対して特定の幾何的条件を満たす補間点とにおける特徴量を算出するステップ
◎特徴量に基づいて、モデルのデータとの類似度を比較して物体の認識を行うステップ
この場合、CPU、ROM、RAMを備えるマイクロプロセッサにより、各ステップを備えるプログラムを実行することにより、サンプリング数の少ない特徴点から物体の認識を行うことができ、その結果、演算負荷を軽減できる。

発明の効果

0016

本発明によれば、物体認識の精度を低下させることなく、演算負荷を低減することが可能な物体認識装置を提供できる。

図面の簡単な説明

0017

物体認識装置を搭載する無人フォークリフトの説明図。
物体認識装置の概略構成を示すブロック図。
物体認識処理の概略構成を示すフローチャート
三次元画像入力部の一例を示すブロック図。
スケールσとDoGフィルタ出力値の一例を示す特性図。
SIFT特徴量を用いて検出した特徴点の説明図。
Harris特徴点の検出方法に関する説明図。
Harris作用素を用いて検出した特徴点の説明図。
画像特徴量検出処理〜パターンマッチング処理のフローチャート。
特徴点間の幾何的条件を示す説明図。
幾何的条件を適用して抽出したマッチング候補点の説明図。
特徴点と補間点との関係を示す説明図。
FPFHによる特徴量算出方法の説明図。
FPFHによる特徴量算出方法の説明図。
FPFH特徴量を示すグラフ
マッチング候補点のFPFH特徴量の説明図。

実施例

0018

(1)概略構成
図1は、物体認識装置を搭載する無人フォークリフトの説明図である。
無人フォークリフト2は、内部に設置された制御部(図示せず)の制御に基づいて自律走行可能な本体部21を備えている。
本体部21の前面には、上下移動可能に配置された1対のフォーク23,24を備えており、パレット3をリフトアップして搬送可能となっている。
さらに、本体部21は、物体認識装置22を備えている。物体認識装置22は、少なくとも本体部21の前方の画像情報を取得できるカメラ(詳細は後述する)を備えている。物体認識装置22は、カメラにより撮影された画像情報に基づく三次元画像から、認識対象であるパレット3を認識する。物体認識装置22のカメラをフォーク23,23の先端部に設けても良い。

0019

パレット3は、例えば、図示したように、フォーク23,24が挿入可能な差し込み口31,32が設けられている。パレット3の差し込み口31,32が形成される面には、差し込み口31,32を挟む垂直面33,34,35が形成されている。
物体認識装置22は、無人フォークリフト2に対向する面に形成された垂直面33〜35の特徴点を検出することによって、パレット3をその位置、形状及び大きさを含め認識・識別できる。

0020

無人フォークリフト2は、例えば、倉庫内において物品が載置されるパレット3を搬送する。無人フォークリフト2の制御部は、倉庫内の環境上における自己の現在位置を把握し、搬送対象であるパレット3の近傍を目的位置として、走行経路を決定して走行制御する。物体認識装置22は、目的位置において、カメラにより撮影された画像方向に基づいて、パレット3の位置、形状及び大きさを認識・識別する。無人フォークリフト2の制御部は、フォーク23,24をパレット3の差し込み口31,32に差し込んでパレット3を持ち上げ、次の目的位置に移動する。
パレット3の上面には、物品が載置されている場合と物品が載置されていない場合があり、物体認識装置22は、そのいずれの場合にもパレット3を認識できるようにする。

0021

図2は、物体認識装置の概略構成を示すブロック図である。
物体認識装置22は、三次元画像入力部41と、画像特徴点検出部42と、特徴量算出部43と、パターンマッチング部44と、モデル保存部45とを備える。
三次元画像入力部41は、物体の三次元画像を入力する。例えば、三次元画像入力部41は、位置が異なる2つのカメラを有するステレオカメラを含んでいてもよく、その場合は、2つの二次元画像の視差により、二次元画像上の特徴点に距離データ処理がなされた距離画像を三次元画像として入力する。この他にも、TOFカメラ、又は距離センサで得られる距離データに基づいて生成される距離画像が、三次元画像として入力できる。

0022

画像特徴点検出部42は、三次元画像に対して特徴点を検出する。具体的には、画像特徴点検出部42は、三次元画像の各画素について、色や濃淡変化が激しい点を検出することで、特徴点を検出できる。このことから、画像特徴点検出部42は、例えば、Harrris作用素を用いた方法により、特徴点を検出できる。画像特徴点検出部42は、この他に、SIFT作用素を用いた方法により特徴点を検出でき、その他、公知の技術を用いて特徴点の検出を行える。

0023

特徴量算出部43は、三次元画像上の各点における特徴量を算出する。特に、特徴量算出部43は、パターンマッチングを行う際のマッチング候補点について、特徴量を算出する。特徴量は、各点における法線方向ベクトルが、周辺特徴点法線ベクトルとなす角度に基づいて生成される法線方向ヒストグラムにより算出できる。具体的には、FPFH(Fast Point Feature Histgrams)を用いることができる。また、入力される画像情報が三次元画像であることから、特徴量算出部43は、距離データに基づく各点における距離ヒストグラムを作成できる。この他にも、各画素の輝度に基づいて輝度ヒストグラムを作成して、各点の特徴量を算出することが可能である。

0024

パターンマッチング部44は、画像特徴点検出部42で検出された特徴点に基づいて、三次元画像上のマッチング候補点を抽出し、抽出されたマッチング候補点の特徴量と、モデルのデータとの類似度を比較することにより、物体の認識を行う。
例えば、パターンマッチング部44は、画像特徴点検出部42により検出された特徴点のうちから、特定の幾何的関係にある1又は複数の特徴点対を抽出する。例えば、パレット3の垂直面33〜35が、床面と接するエッジに複数の特徴点がある場合、各垂直面33〜35上に位置する特徴点は、ほぼ直線上にあると考えられる。したがって、3点の特徴点の中央に位置する特徴点と他の2つの特徴点を結ぶ線分がほぼ180度の角度となる。また、パレット3が規格合致するものであれば、3点の特徴点の距離は所定範囲となる。
したがって、パターンマッチング部44は、所定範囲の距離だけ離間し、各点を結ぶ線分がなす角度が所定範囲であれば、この3点の特徴点をマッチング候補点とする。さらに、パターンマッチング部44は、中央に位置する特徴点と、他の2つの特徴点との間の中間点を、それぞれパターンマッチングの候補点とする。パターンマッチング部44は、このようにして、パターンマッチングを行うためのマッチング候補点を選択することによって、特徴点のダウンサンプリングを行う。

0025

次に、パターンマッチング部44は、マッチング候補点について、それぞれ特徴量算出部43で算出される特徴量を、モデル保存部45に保存されたモデルのデータと比較する。このようにして、物体の認識が行われる。
モデル保存部45は、物体の幾何的特徴を表す二次元モデルのデータを保存する。二次元モデルのデータは、三次元画像に撮影された物体を認識する際に、物体の位置や姿勢を算出する際に用いられるものであり、例えば、点の集合及び各点を結んで構成される線分の集合によって定義される。具体的には、基本のモデルのデータは、1)特徴点3点の隣り合う点間の距離範囲、2)3点の両端の点間の距離範囲、3)3点の特徴点の間をなす角度範囲、4)各特徴点・補間点のFPFHヒストグラムの次元(角度)ごとの平均及び分散である。
また、二次元モデルのデータは、物体の三次元画像から得られる特徴点と、その特徴点の中間点における特徴量とすることもできる。この場合、特徴点を検出する方法は画像特徴点検出部42と同一の方法とし、各点の特徴量を算出する方法は、特徴量算出部43と同一の方法とする。
モデル保存部45は、EEPROM、RAM、ハードディスク、その他の記憶装置の所定の領域で構成される。

0026

(2)処理の概略構成
図3は、物体認識処理の概略構成を示すフローチャートである。
物体認識装置22は、CPU、ROM、RAMなどを含むマイクロプロセッサで構成される制御部が、所定のプログラムを実行することにより、画像情報から物体認識を行う。
ステップS301において、制御部は、二次元モデルのデータを保存する。制御部は、認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される二次元モデルのデータを、モデル保存部45に保存する。

0027

ステップS302において、三次元画像入力部41は、物体の三次元画像を入力する。前述したように、三次元画像入力部41は、ステレオカメラ51が撮影した距離情報を含む三次元画像を入力できる。

0028

ステップS303において、画像特徴点検出部42は、三次元画像に対して特徴点を検出する。具体的には、画像特徴点検出部42は、Harrris作用素を用いて、三次元画像上の特徴点を検出する。前述したように、特徴点の検出は、三次元画像の各画素について、色や濃淡が変化する点を特徴点として検出できればよく、SIFT作用素による特徴点検出、その他、公知の技術を用いた検出が可能である。
また、パターンマッチング部44が、所定の幾何的条件を満たす所定数の特徴点をマッチング候補点として抽出し、さらに抽出された特徴点に対して特定の幾何的条件を満たす補間点を決定する。

0029

ステップS304において、特徴量算出部43は、検出された特徴点と、補間点とにおける特徴量を算出する。
特徴量算出部43は、マッチング候補点に関して、FPFHにより法線方向ヒストグラムを作成し、各点における特徴量を算出する。

0030

ステップS305において、パターンマッチング部44は、特徴点及び補間点により構成されるマッチング候補点のグループと、二次元モデルのデータとの類似度を求めることにより、パターンマッチングを行う。パターンマッチング部44は、幾何的条件を満たす特徴点を抽出し、抽出された特徴点に関連する補間点をマッチング候補点として、二次元モデルのデータと比較する。したがって、パターンマッチングにおける演算負荷を軽減でき、演算速度を向上できる。

0031

(3)三次元画像入力
三次元画像入力部41の具体例について、その一例を以下に説明する。
図4は、三次元画像入力部の一例を示すブロック図である。
図4に示す三次元画像入力部41は、ステレオカメラ51からの画像情報に基づいて、距離情報を有する三次元画像を生成する。

0032

ステレオカメラ51は、二次元画像を撮影する2つのカメラが異なる位置に配置される。ステレオカメラ51は、例えば、無人フォークリフト2の前面に取り付けられ、少なくとも、フォーク23,24の前方位置の2次元画像を撮影する。
無人フォークリフト2に対する2つのカメラの位置及び向きに関するパラメータは、予め設定されており、物体認識装置1の所定の記憶領域に記憶されている。

0033

フレームメモリ52は、ステレオカメラ51により撮影された2つの二次元画像情報を記憶する。フレームメモリ52に記憶される二次元画像情報は、画像バス53を介して、二次元特徴点抽出部54に提供される。
二次元特徴点抽出部54は、2つの二次元画像情報のそれぞれについて、輝度情報に基づく二次元特徴点を検出する。また、パレット3の垂直面33〜35に、所定のパターンが形成されている場合には、この所定のパターンに沿って二次元特徴点を検出することもできる。この場合、二次元特徴点抽出部54は、2つの二次元画像情報を同一方向に追跡して、所定のパターンの外周の曲がり点を検出して、これを二次元特徴点とすることができる。

0034

対応付け処理部55は、二次元特徴点抽出部54により抽出された二次元特徴点の対応関係の候補を発生させる。対応付け処理部55は、各対応関係の候補に対して、変換行列を発生させ、この変換誤差を求めて、変換誤差が最小となる対応関係の候補を抽出する。

0035

座標算出部56は、対応付け処理部55により抽出された対応関係の候補の各特徴点の座標を算出する。例えば、ステレオカメラ51による2つの二次元画像情報は、位置の異なるカメラにより同一点を撮影したものであることから、特徴点までの距離情報を得ることが可能である。座標算出部56は、対応付け処理部55により対応付けられた2つの二次元画像情報の特徴点に基づいて、各特徴点の3次元座標を発生させて、距離情報を備える三次元画像情報を生成する。

0036

三次元画像は、TOF(Time Of Flight)カメラにより撮影された画像情報を用いることができる。TOFカメラは、カメラの周囲に設けられたLEDにより赤外光照射し、対象物から反射した反射光が、カメラで観測されるまでの時間を計測することで、対象物まで距離を測定する。TOFカメラでは、画像を構成する各画素の距離を測定でき、各画素のカメラからの距離に応じて異なる輝度で表示される距離画像を生成する。
前述したステレオカメラ51を用いた場合には、2つの二次元画像の対応付け処理を行う必要があったが、TOFカメラにより撮影された画像情報を用いることで、処理コストを削減し、処理時間を削減してリアルタイム処理が可能となる。

0037

(4)画像特徴点検出
画像特徴点検出部42において、入力される3次元画像情報から特徴点を検出する方法は、公知の方法を用いることができる。
例えば、SIFT作用素を用いた特徴点の検出方法では、拡大又は縮小を行った際に、形状が急激に変化するスケール極値を利用する。

0038

SIFT作用素を用いた特徴点の検出方法では、様々なスケールのLoG(Laplacian of Gaussian)フィルタをかけたとき、特徴点として用いるのに適切なスケールの極値をもつことを利用する。実際には、LoGフィルタの代わりに、標準偏差を様々に変えたガウス関数を用いて画像を平滑化し、その差を計算するDoG(Difference of Gaussian)フィルタを用いて、LoGフィルタに近似させる。

0039

図5は、スケールσとDoGフィルタ出力値の一例を示す特性図である。
図5(a)に示すような、所定のパターンが形成された画像情報について、スケールσを変更してDoGフィルタの出力値を検出した特性図が、図5(b)である。
図示した例では、DoGフィルタの出力値が最も大きくなるスケールσの極値が、10.15程度であることがわかる。
画像特徴点検出部42は、図5(a)の画像情報上の特徴点の候補位置と、図5(b)で得られるスケールσとを決定する。
このことにより、画像特徴点検出部42は、スケール変化に対して、不変の特徴量をもつ特徴点を選択することができる。

0040

図6は、SIFT特徴量を用いて検出した特徴点の説明図である。
図6では、垂直面33〜35及び差し込み口31〜32を含むパレット3の前面61に特徴点が多く現れている。特に、第1領域62及び第2領域63に示すように、パレット3が床面と接するエッジ部分であって、差し込み口31〜32の近傍に特徴点が多く現れる。
スケールを変えた場合や、画像を回転させて、SIFT特徴量の算出を行った結果、同様にして、パレット3が床面と接するエッジ部分に多くの特徴点が現れる。

0041

画像特徴点検出方法として、Harris作用素を用いる方法が知られている。
Harris作用素を用いる特徴点の検出方法では、所定領域内の画像を微少シフトさせた場合に、輝度値差二乗和(SSD:Sum of Squared Difference)が大きくなる点を検出する。
図7は、Harris特徴点の検出方法に関する説明図である。
画像70上に物体画像71が存在するとして、画像70上に設定される所定領域72を微少シフトさせる場合を考える。
図7(a)に示すように、所定領域72が物体画像71上に設定されている場合、画像70の微少シフトによる輝度値の変化が少ない。したがって、この場合には、どの方向に移動させても、特徴点を検出することは難しい。

0042

図7(b)に示すように、所定領域72が物体画像71のエッジ上に設定されている場合、図の上下方向への移動に対しては、輝度値の変化は少ないが、図の左右方向への移動に対しては、輝度値の変化が大きくなる。したがって、図の左右方向に画像70を移動させて、縦方向のエッジを特徴点として検出できる。
また、図7(c)に示すように、所定領域72が物体画像71のコーナー付近に設定されている場合、画像70をいずれの方向に移動させても、輝度値の変化が大きくなる。したがって、認識対象である物体のコーナー位置を特徴点として検出できる。

0043

このようなHarris作用素を用いる特徴点の検出方法によれば、図7(d)に示すように、床面73上に物体74が載置されている場合に、床面73と接するコーナー75を特徴点として検出できる。例えば、コーナー75を含む所定領域76を微少シフトして、輝度値の二乗和に基づいて、特徴点を検出できる。

0044

図8は、Harris作用素を用いて検出した特徴点の説明図である。
図8では、垂直面33〜35及び差し込み口31〜32を含むパレット3の前面81に特徴点が多く現れる。特に、第1領域82、第2領域83、第3領域84に示すように、パレット3の垂直面33〜35が床面と接するエッジ部分に特徴点が多く現れる。
スケールを変えた場合や、画像を回転させて、Harris特徴量の算出を行った結果、同様にして、垂直面33〜35が床面と接するエッジ部分に多くの特徴点が現れる。
このことから、三次元画像情報から検出した特徴点のうちから、所定の幾何的条件を満たす特徴点のグループをマッチング候補点として抽出すれば、効率良くパターンマッチングを行うことができる。

0045

(5)画像特徴点検出〜パターンマッチング処理
パターンマッチング部44は、画像特徴点検出部42により検出された特徴点に基づいて、マッチング候補点の特徴量を二次元モデルのデータの特徴量と比較して、画像上の物体の認識・識別を行う。この画像特徴量検出処理〜パターンマッチング処理を以下に詳述する。
図9は、画像特徴量検出処理〜パターンマッチング処理のフローチャートである。図9では、三次元画像情報が入力された後の処理を示すものであり、図3のステップS303〜ステップS305に対応する処理を示す。
ステップS901において、画像特徴点検出部42は、三次元画像上の点群から特徴点を検出する。具体的には、画像特徴点検出部42が、Harris作用素を用いた特徴点の検出方法を用いて、三次元画像上の特徴点を抽出する。

0046

ステップS902において、パターンマッチング部44は、幾何的条件によるマッチング候補点の抽出を行う。例えば、パレット3の前面に位置する垂直面33〜35に対応する3点の特徴点を抽出する場合、各特徴点の間隔が所定の規格に合致するような距離であり、各特徴点を結ぶ線分の角度が所定範囲であるような幾何的条件が設定される。

0047

図10は、特徴点間の幾何的条件を示す説明図である。
前述したように、パレット3を撮影した3次元画像情報にHarris作用素を用いた特徴点の検出を行う場合、パレット3の前面下部に位置する3点を特徴点として抽出できる。
3つの特徴点は、それぞれ、パレット3の垂直面33〜35が床面と接するエッジに対応して現れる。したがって、3つの特徴点は、ほぼ直線上に並んで現われる。
このことから、第1特徴点と第2特徴点とを結ぶ線分と、第1特徴点と第3特徴点とを結ぶ線分とが、180度に近い角度範囲であるような3つの特徴点を抽出することで、パレット3の前面形状に対応する特徴点を抽出できる。

0048

図10に示すように、3つの特徴点のうち、中央に位置する特徴点を第1特徴点91とし、その両側に第2特徴点92、第3特徴点93があるとする。
第1特徴点91と第2特徴点92との距離α1、第1特徴点91と第3特徴点93との距離α2、第2特徴点92と第3特徴点93との距離をβとする。また、第1特徴点91と第2特徴点92とを結ぶ線分94と、第1特徴点91と第3特徴点93とを結ぶ線分95とがなす角度をθとする。

0049

パレット3が規格に合致したサイズである場合、第1特徴点91〜第3特徴点93間の距離α1、α2、βの値は、所定範囲内となる。例えば、日本で多く使用されているT11型のパレットのサイズは、1100×1100×144(mm)である。したがって、距離α1、α2の値は約500(mm)、距離βの値は約1000(mm)であると考えられる。
このことから、距離α1、α2が340(mm)〜600(mm)の範囲、距離βが800(mm)〜1050(mm)の範囲という幾何的条件を設定できる。

0050

また、第1特徴点91〜第3特徴点93はほぼ直線上にあることから、角度θはほぼ180度になる。したがって、cosθの値が−0.95以下であるという幾何的条件を設定できる。
このような幾何的条件を設定することにより、パレット3の参照パターンとパターンマッチングするための3つの特徴点を安定して抽出できる。

0051

図11は、幾何的条件を適用して抽出したマッチング候補点の説明図である。
このような幾何的条件を適用することにより、図11に示すように、パレット3の垂直面33〜35の下端エッジに対応するマッチング候補点101〜103を抽出できる。
ただし、パレット3が存在していない第1領域105、第2領域106においても、同様の特徴を有するマッチング候補が存在している。
第1領域105及び第2領域106に存在するマッチング候補を排除するためには、特徴点に対して特定の幾何的条件を満たす補間点を設定する。
ステップS903において、パターンマッチング部44は、マッチング候補として抽出された特徴点に基づいて、特徴点に対して特定の幾何的条件を満たす補間点を決定する。

0052

図12は、特徴点と補間点との関係を示す説明図である。
図12では、図1におけるパレット3を撮影した画像をパレット111として示し、垂直面33〜35に対応する画像を垂直面112〜114として示す。
図12に示す画像では、床面110上にパレット111が載置されており、パレット111の前面に垂直面112,113,114を有している。この垂直面112,113,114と、床面110の一部により形成される折れ曲がった折曲面に対応する第1領域115,第2領域116,第3領域117が存在している。特徴点118,119,120は、第1領域115,第2領域116,第3領域117において、垂直面112,113,114と床面110とが接する位置に現れる。

0053

第1領域115及び第2領域116の中間、第2領域116及び第3領域117の中間には、それぞれ床面110からパレット111の内方に連続する平面に対応する第4領域121,第5領域122が存在する。この第4領域121及び第5領域122に、それぞれ補間点123、124を設定する。
制御部は、特徴点118,119,120と、補間点123,124とをマッチング候補点として抽出する。

0054

ステップS904において、特徴量算出部43は、マッチング候補点のそれぞれについて、特徴量を算出する。特徴量の算出は、各マッチング候補点について、法線方向ベクトルが、周辺特徴点の法線ベクトルとなす角度に基づいて生成される法線方向ヒストグラムにより算出できる。具体的には、FPFH(Fast Point Feature Histgrams)を用いることができる。

0055

図13及び図14は、FPFHによる特徴量算出方法の説明図である。
図13に示すように、対象となる特徴点Psに対して、近傍点Pk1〜Pk5、P6〜P11を設定する。
図14に示すように、特徴点Psの法線nsと、近傍点Ptの法線ntとの3次元座標u,v,wに対する角度差α、φ、θを求める。
特徴点Psの法線nsと、11個の近傍点Ptの法線ntとの角度差α、φ、θにより、180度を11分割したヒストグラムを3つ並べて、33次元のヒストグラムを構成する。

0056

図15は、FPFH特徴量を示すグラフである。
前述したようにしてFPFHによる特徴量をグラフ化すると、図15に示すように、角度差α、φ、θについて、頻度(%)が縦軸に現れる。
このようにして、制御部は、マッチング候補点として抽出した特徴点118,119,120と、補間点123,124とにおけるFPFH特徴量を算出する。

0057

ステップS905において、制御部は、モデル保存部45に記憶されている二次元モデルのデータを読み出す。
FPFH特徴量を用いたパターンマッチングを行う場合、認識対象である物体の撮影した画像に基づいて、FPFH特徴量を予め算出して、これを二次元モデルのデータとしてモデル保存部45に記載する。

0058

FPFH特徴量の算出は、例えば、パレット3を距離や角度を変更した様々な条件で撮影した所定数の画像から行われる。さらに、算出されたFPFH特徴量の平均値分散値を算出し、これを特徴点のモデルとする。FPFH特徴量の平均値を33個、分散値を33個の計66個の値を1つの特徴点のモデルとする場合、パレット3の前面に位置する3つの特徴点118,119,120について、198個の値をパレット3の特徴として、モデル保存部45に記憶する。

0059

また、特徴点118,119,120の中間点である補間点123,124についても、同様に、FPFH特徴量が算出され、モデル保存部45に保存される。
図16は、マッチング候補点のFPFH特徴量の説明図である。
図16(a)は、パレット3の前面における中心に位置する特徴点119のFPFH特徴量を示している。特徴点119では、パレット3の前面中央に位置していることから、近傍点との法線方向の角度差が安定している。
図16(b)は、パレット3の前面における左右に位置する特徴点118,120のFPFH特徴量を示している。特徴点118,120では、パレット3の側面にある特徴点の影響を受けて、近傍点との法線方向の角度差が安定しておらず、角度差θに対応する右側のグラフにおける分散値が大きくなっている。
図16(c)は、角がない平面に位置する補間点123,124のFPFH特徴量であって、角度差φに対応する中央のグラフにおけるバラツキが小さくなっている。

0060

ステップS905では、パターンマッチング部44は、モデル保存部45に保存されている3つの特徴点と2つの補間点のFPFH特徴量を読み出す。
ステップS906において、パターンマッチング部44は、マッチング候補点の特徴量と、二次元モデルの特徴量とを照合する。具体的には、読み出された二次元モデルのFPFH特徴量と、特徴量算出部43により算出されたマッチング候補点のFPFH特徴量との差分を算出し、差分の最も小さいマッチング候補点のグループを選択する。

0061

ステップS907において、パターンマッチング部44は、認識結果(物品の位置)を出力する。具体的には、二次元モデルのデータに最も類似すると判断されたマッチング候補点のグループについて、各特徴点の三次元座標を用いて、物体の位置を計算する。

0062

以上のようにした手順で、三次元画像に撮影されたパレット3の画像の位置を認識できる。この場合、パターンマッチングを行うためのマッチング候補点を、所定の幾何的条件を満たす特徴点により抽出していることから、演算負荷を低減することが可能となる。
また、特徴点に対して、所定の幾何的条件を満たす補間点をマッチング候補点として設定しているので、パターンマッチングの精度を向上できる。

0063

(6)実施形態の特徴
物体認識装置(例えば、物体認識装置22)は、モデル保存部(例えば、モデル保存部45)と、三次元画像入力部(例えば、三次元画像入力部41)と、画像特徴点検出部(例えば、画像特徴点検出部42)と、特徴量算出部(例えば、特徴量算出部43)と、パターンマッチング部(例えば、パターンマッチング部44)とを備える。モデル保存部(モデル保存部45)は、認識対象である物体表面の点の集合及び各点を結んで構成される線分の集合によって定義される物体(例えば、パレット3)の幾何的特徴を表すモデルのデータを保存する。三次元画像入力部(三次元画像入力部41)は、物体が含まれる三次元画像を入力する。画像特徴点検出部(画像特徴点検出部42)は、三次元画像における特徴点(例えば、特徴点118,119,120)を検出する。特徴量算出部(特徴量算出部43)は、三次元画像上の各点における特徴量(例えば、FPFH特徴量)を算出する。パターンマッチング部(パターンマッチング部44)は、画像特徴点検出部(画像特徴点検出部42)で検出された特徴点(特徴点118,119,120)と、特徴点(特徴点118,119,120)に対して特定の幾何的条件(特徴点の中間点)を満たす補間点(補間点123,124)とにおける特徴量に基づいて、モデルのデータとの類似度を比較することで物体の認識を行う。
物体の形状によっては、モデル上の特徴点ではない点に、物体の特徴を表す点が出現する場合がある。このような点を、特徴点と特定の幾何的条件を満たす補間点とすることで、パターンマッチングを行う際の特徴点のダウンサンプリングが可能となり、その結果、背景に存在する他の特徴点と識別して、物体の認識を確実に行うことができる。また、これにより、パターンマッチング処理の演算負荷を軽減できる。

0064

(7)他の実施形態
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。

0065

前記実施形態では、画像特徴点検出部42は得られた三次元画像の全ての領域において特徴点を検出していた。しかし、同時に得られる二次元画像に基づいて、三次元画像の領域を予め限定していてもよい。例えば、ステレオカメラ51のいずれか1つのカメラは、三次元画像とほぼ同一視点で撮影されたパレット3を含む二次元画像を入力する二次元画像入力部として機能する。また、二次元画像処理部(図示せず)が、二次元画像におけるパレットの画像特徴を抽出する。この抽出動作は高速に行われる。続いて、二次元画像処理部は、抽出されたパレットのカメラ座標(水平方向、垂直方向)をキャリブレーションによって、カメラ位置原点とする現実世界の座標に変換する。
画像特徴点検出部42は、三次元画像に対して、二次元画像処理部によって絞られたパレットの画像特徴に対応する領域について、特徴点を検出する。この場合、二次元画像により特定された物体の画像特徴に対応する領域において特徴点を検出していることから、通常の三次元画像からの特徴点の抽出に比して演算負荷を軽減でき、高速化が可能になる。
特徴量算出部43は、三次元画像において前記領域にある特徴点における特徴量を算出する。パターンマッチング部44は、三次元画像において前記領域にある特徴点の特徴量を用いる。
なお、二次元画像を取得するカメラは、三次元画像を取得するカメラと別に設けられていてもよい。

0066

補間点は、少なくとも2個の特徴点に特定の幾何的条件を満たす点であれば何でもよく、2個の特徴点の中間点でなくてもよい。例えば、SIFTのオリエンテーション又はISSの主方向を使って、それらの極値、変曲点としてもよく、又は2個の特徴点の方向の線分に交差する線分の一点であってもよい。

0067

本発明は、三次元画像から物体を認識する認識装置に適用でき、例えば、無人搬送車や無人フォークリフトなどに搭載される物体認識装置に適用可能である。

0068

2無人フォークリフト
3パレット
21 本体部
22物体認識装置
31差し込み口
32 差し込み口
33垂直面
34 垂直面
35 垂直面
41三次元画像入力部
42画像特徴点検出部
43特徴量算出部
44パターンマッチング部
45モデル保存部
51ステレオカメラ
52フレームメモリ
53画像バス
54 二次元特徴点検出部
55対応付け処理部
56座標算出部
61 前面
62 第1領域
63 第2領域
70 画像
71物体画像
72 所定領域
73 床面
74物体
75コーナー
76 所定領域
81 前面
82 第1領域
83 第2領域
84 第3領域
91 第1特徴点
92 第2特徴点
93 第3特徴点
110 床面
111 パレット
112 垂直面
113 垂直面
114 垂直面
115 第1領域
116 第2領域
117 第3領域
118 特徴点
119 特徴点
120 特徴点
121 第4領域
122 第5領域
123補間点
124 補間点

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 株式会社NGRの「 パターンマッチング方法」が 公開されました。( 2020/09/24)

    【課題】正しいマッチング位置を決定することができるパターンマッチング方法を提供する。【解決手段】パターンマッチング方法は、画像200上のパターンと、対応するCADパターン210とのマッチングを実施し、... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ