図面 (/)

技術 3次元データ映像の階段認識方法

出願人 三星電子株式会社
発明者 尹碩浚黄孝錫安成桓ひょん乘龍呂炯錫
出願日 2012年7月23日 (8年5ヶ月経過) 出願番号 2012-162639
公開日 2013年6月6日 (7年6ヶ月経過) 公開番号 2013-109750
状態 特許登録済
技術分野 イメージ分析
主要キーワード 階段領域 底平面 RFセンサ ポイント群 TOFカメラ 蹴上げ 踏み面 設計指針
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年6月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

次元データ映像から階段蹴上げ面及び踏み面を検出して、階段を認識する3次元データ映像の階段認識方法を提供する。

解決手段

3次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の3次元データ映像を獲得する段階と、映像処理部が、前記3次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、前記3次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階とを含む。

概要

背景

ヒューマノイドまたは移動ロボット階段を上がるためには、ロボットの現在位置を基準にして、階段の位置、階段の高さ及び幅などの情報を認識しなければならない。そのために、ロボットには、階段が位置する空間の3次元データ映像を獲得するための3次元センサが設置され、ロボットに設置されたマイクロコントローラを通じて、3次元データ映像を処理し、分析して階段を認識することができる。

従来の階段認識方法として、ICP(Interative Closest point)方法は、3次元データ映像から検出した3次元モデルと、既に格納された3次元モデルをマッチングする方法である。ICP方法は、前記2つの3次元モデルの間の距離が最小になるように、反復的な計算を通じて、前記2つの3次元モデルをマッチングする。したがって、ICP方法は、既に格納された3次元モデルが要求され、既に格納された3次元モデルとのマッチングのために反復的な計算が要求される。他の方法としては、3次元データ映像から頂点を通じて直線を検出し、この直線に基づいて階段を認識する方法がある。この方法は、3次元データ映像において、階段をなす連続する2つの直線は、同じ平面上に位置すると仮定して、階段の踏み面を認識する。このように、3次元データ映像から直線を検出する方法は、3次元データ映像の特性上、誤差に敏感であるため、階段認識の正確度が低下するという問題点がある。

概要

3次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識する3次元データ映像の階段認識方法を提供する。3次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の3次元データ映像を獲得する段階と、映像処理部が、前記3次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、前記3次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階とを含む。

目的

本発明の一側面は、3次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識する3次元データ映像の階段認識方法を提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像獲得部が、階段が位置する空間の3次元データ映像を獲得する段階と、映像処理部が、前記3次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、前記映像処理部が、前記3次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階と、を含む、3次元データ映像の階段認識方法

請求項2

前記映像処理部が、RANSACアルゴリズムを用いて、前記3次元データ映像から前記階段が位置する底平面を検出する段階をさらに含む、請求項1に記載の3次元データ映像の階段認識方法。

請求項3

前記底平面を検出する段階は、次の式によって、前記底平面の式を算出する、請求項2に記載の3次元データ映像の階段認識方法。 ここで、a、b、cは、前記底平面の法線ベクトルの成分であり、dは、前記底平面と原点との最短距離を示す定数である。

請求項4

前記映像処理部が、前記3次元データ映像をラベリングして、前記階段領域を分離し、前記底平面と前記分離された階段領域との接線から前記階段の始めを判断して、階段認識を始める段階をさらに含む、請求項2に記載の3次元データ映像の階段認識方法。

請求項5

前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面と前記階段の1番目の踏み面とが平行であることを通じて、前記1番目の踏み面の式を限定し、前記底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記1番目の踏み面の式を推定する、請求項2に記載の3次元データ映像の階段認識方法。

請求項6

前記蹴上げ面を検出する段階は、次の式によって、前記1番目の踏み面の式を限定する、請求項5に記載の3次元データ映像の階段認識方法。ここで、a、b、cは、前記1番目の踏み面の法線ベクトルの成分であって、前記底平面の法線ベクトルの成分と同一であり、d’は、前記1番目の踏み面と原点との最短距離を示す変数である。

請求項7

前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面の式と前記推定した1番目の踏み面の式とを比較して、前記底平面と前記推定した1番目の踏み面との間の高さを計算する、請求項5に記載の3次元データ映像の階段認識方法。

請求項8

前記蹴上げ面を検出する段階は、前記映像処理部が、前記1番目の蹴上げ面が前記底平面、及び前記推定した1番目の踏み面と垂直であることを通じて、前記1番目の蹴上げ面の式を限定し、前記底平面と前記推定した1番目の踏み面との間に位置する各ポイントを通じて、前記1番目の蹴上げ面の式を算出する、請求項7に記載の3次元データ映像の階段認識方法。

請求項9

前記蹴上げ面を検出する段階は、次の式によって、前記1番目の蹴上げ面の式を限定する、請求項8に記載の3次元データ映像の階段認識方法。 ここで、n、m、lは、前記1番目の蹴上げ面の法線ベクトルの成分であって、前記1番目の蹴上げ面の法線ベクトルと前記底平面、及び前記推定した1番目の踏み面の法線ベクトルの内積は、0を満足し、kは、前記1番目の蹴上げ面と原点との最短距離を示す変数である。

請求項10

前記蹴上げ面を検出する段階は、前記映像処理部が、前記階段の連続する下踏み面と上踏み面とが平行であることを通じて、前記上踏み面の式を限定し、前記下踏み面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記上踏み面の式を推定する、請求項1に記載の3次元データ映像の階段認識方法。

請求項11

前記蹴上げ面を検出する段階は、次の式によって、前記上踏み面の式を限定する、請求項10に記載の3次元データ映像の階段認識方法。 ここで、a、b、cは、前記上踏み面の法線ベクトルの成分であって、前記下踏み面の法線ベクトルの成分と同一であり、d’は、前記上踏み面と原点との最短距離を示す変数である。

請求項12

前記蹴上げ面を検出する段階は、前記映像処理部が、前記下踏み面の式と前記推定した上踏み面の式とを比較して、前記下踏み面と前記推定した上踏み面との間の高さを計算する、請求項10に記載の3次元データ映像の階段認識方法。

請求項13

前記蹴上げ面を検出する段階は、前記映像処理部が、前記蹴上げ面がその下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記下踏み面と前記推定した上踏み面との間に位置する各ポイントを通じて、前記蹴上げ面の式を算出する、請求項12に記載の3次元データ映像の階段認識方法。

請求項14

前記蹴上げ面を検出する段階は、次の式によって、前記蹴上げ面の式を限定する、請求項13に記載の3次元データ映像の階段認識方法。 ここで、n、m、lは、前記蹴上げ面の法線ベクトルの成分であって、前記その下の蹴上げ面の法線ベクトルの成分と同一であり、kは、前記蹴上げ面と原点との最短距離を示す変数である。

請求項15

前記踏み面を検出する段階は、前記映像処理部が、前記階段の連続する下蹴上げ面と上蹴上げ面とが平行であることを通じて、前記上蹴上げ面の式を限定し、前記下蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを通じて、前記上蹴上げ面の式を推定する、請求項1に記載の3次元データ映像の階段認識方法。

請求項16

前記踏み面を検出する段階は、次の式によって、前記上蹴上げ面の式を限定する、請求項15に記載の3次元データ映像の階段認識方法。 ここで、n、m、lは、前記上蹴上げ面の法線ベクトルの成分であって、前記下蹴上げ面の法線ベクトルの成分と同一であり、k’は、前記上蹴上げ面と原点との最短距離を示す変数である。

請求項17

前記踏み面を検出する段階は、前記映像処理部が、前記下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、前記下蹴上げ面と前記推定した上蹴上げ面との間の幅を計算する、請求項15に記載の3次元データ映像の階段認識方法。

請求項18

前記踏み面を検出する段階は、前記映像処理部が、前記踏み面がその下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記下蹴上げ面と前記推定した上蹴上げ面との間に位置する各ポイントを通じて、前記踏み面の式を算出する、請求項17に記載の3次元データ映像の階段認識方法。

請求項19

前記踏み面を検出する段階は、次の式によって、前記踏み面の式を限定する、請求項18に記載の3次元データ映像の階段認識方法。 ここで、a、b、cは、前記踏み面の法線ベクトルの成分であって、前記その下の踏み面の法線ベクトルの成分と同一であり、d’は、前記踏み面と原点との最短距離を示す変数である。

請求項20

前記映像処理部が、前記3次元データ映像から前記階段の終わりか否かを判断して、前記階段が終わる場合、階段認識を終了し、前記階段が終わらない場合、前記階段の次の蹴上げ面及び次の踏み面を検出する段階をさらに含む、請求項1に記載の3次元データ映像の階段認識方法。

請求項21

前記階段の終わりか否かを判断する段階は、前記連続する両蹴上げ面の間の幅が、既に決まった臨界値以上である場合、前記階段が終わるものと判断する、請求項20に記載の3次元データ映像の階段認識方法。

技術分野

0001

本発明は、階段が位置する空間の3次元データ映像から、階段をなすデータポイントを検出する3次元データ映像の階段認識方法に関するものである。

背景技術

0002

ヒューマノイドまたは移動ロボットが階段を上がるためには、ロボットの現在位置を基準にして、階段の位置、階段の高さ及び幅などの情報を認識しなければならない。そのために、ロボットには、階段が位置する空間の3次元データ映像を獲得するための3次元センサが設置され、ロボットに設置されたマイクロコントローラを通じて、3次元データ映像を処理し、分析して階段を認識することができる。

0003

従来の階段認識方法として、ICP(Interative Closest point)方法は、3次元データ映像から検出した3次元モデルと、既に格納された3次元モデルをマッチングする方法である。ICP方法は、前記2つの3次元モデルの間の距離が最小になるように、反復的な計算を通じて、前記2つの3次元モデルをマッチングする。したがって、ICP方法は、既に格納された3次元モデルが要求され、既に格納された3次元モデルとのマッチングのために反復的な計算が要求される。他の方法としては、3次元データ映像から頂点を通じて直線を検出し、この直線に基づいて階段を認識する方法がある。この方法は、3次元データ映像において、階段をなす連続する2つの直線は、同じ平面上に位置すると仮定して、階段の踏み面を認識する。このように、3次元データ映像から直線を検出する方法は、3次元データ映像の特性上、誤差に敏感であるため、階段認識の正確度が低下するという問題点がある。

発明が解決しようとする課題

0004

本発明の一側面は、3次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識する3次元データ映像の階段認識方法を提供する。

課題を解決するための手段

0005

このための本発明の一実施例による3次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の3次元データ映像を獲得する段階と;映像処理部が、前記3次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と;前記映像処理部が、前記3次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階と;を含む。

0006

前記映像処理部が、RANSACアルゴリズムを用いて、前記3次元データ映像から前記階段が位置する底平面を検出する段階をさらに含むことができる。

0007

前記底平面を検出する段階は、次の式によって、前記底平面の式を算出できる。

0008

ここで、a、b、cは、前記底平面の法線ベクトルの成分であり、dは、前記底平面と原点との最短距離を示す定数である。

0009

前記映像処理部が、前記3次元データ映像をラベリングして、前記階段領域を分離し、前記底平面と前記分離された階段領域との接線から前記階段の始めを判断して、階段認識を始める段階をさらに含むことができる。

0010

前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面と前記階段の1番目の踏み面とが平行であることを通じて、前記1番目の踏み面の式を限定し、前記底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記1番目の踏み面の式を推定できる。

0011

前記蹴上げ面を検出する段階は、次の式によって、前記1番目の踏み面の式を限定できる。

0012

ここで、a、b、cは、前記1番目の踏み面の法線ベクトルの成分であって、前記底平面の法線ベクトルの成分と同一であり、d’は、前記1番目の踏み面と原点との最短距離を示す変数である。

0013

前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面の式と前記推定した1番目の踏み面の式とを比較して、前記底平面と前記推定した1番目の踏み面との間の高さを計算できる。

0014

前記蹴上げ面を検出する段階は、前記映像処理部が、前記1番目の蹴上げ面が前記底平面、及び前記推定した1番目の踏み面と垂直であることを通じて、前記1番目の蹴上げ面の式を限定し、前記底平面と前記推定した1番目の踏み面との間に位置する各ポイントを通じて、前記1番目の蹴上げ面の式を算出できる。

0015

前記蹴上げ面を検出する段階は、次の式によって、前記1番目の蹴上げ面の式を限定できる。

0016

ここで、n、m、lは、前記1番目の蹴上げ面の法線ベクトルの成分であって、前記1番目の蹴上げ面の法線ベクトルと前記底平面、及び前記推定した1番目の踏み面の法線ベクトルの内積は、0を満足し、kは、前記1番目の蹴上げ面と原点との最短距離を示す変数である。

0017

前記蹴上げ面を検出する段階は、前記映像処理部が、前記階段の連続する下踏み面と上踏み面とが平行であることを通じて、前記上踏み面の式を限定し、前記下踏み面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記上踏み面の式を推定できる。

0018

前記蹴上げ面を検出する段階は、次の式によって、前記上踏み面の式を限定できる。

0019

ここで、a、b、cは、前記上踏み面の法線ベクトルの成分であって、前記下踏み面の法線ベクトルの成分と同一であり、d’は、前記上踏み面と原点との最短距離を示す変数である。

0020

前記蹴上げ面を検出する段階は、前記映像処理部が、前記下踏み面の式と前記推定した上踏み面の式とを比較して、前記下踏み面と前記推定した上踏み面との間の高さを計算できる。

0021

前記蹴上げ面を検出する段階は、前記映像処理部が、前記蹴上げ面がその下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記下踏み面と前記推定した上踏み面との間に位置する各ポイントを通じて、前記蹴上げ面の式を算出できる。

0022

前記蹴上げ面を検出する段階は、次の式によって、前記蹴上げ面の式を限定できる。

0023

ここで、n、m、lは、前記蹴上げ面の法線ベクトルの成分であって、前記その下の蹴上げ面の法線ベクトルの成分と同一であり、kは、前記蹴上げ面と原点との最短距離を示す変数である。

0024

前記踏み面を検出する段階は、前記映像処理部が、前記階段の連続する下蹴上げ面と上蹴上げ面とが平行であることを通じて、前記上蹴上げ面の式を限定し、前記下蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを通じて、前記上蹴上げ面の式を推定できる。

0025

前記踏み面を検出する段階は、次の式によって、前記上蹴上げ面の式を限定できる。

0026

ここで、n、m、lは、前記上蹴上げ面の法線ベクトルの成分であって、前記下蹴上げ面の法線ベクトルの成分と同一であり、k’は、前記上蹴上げ面と原点との最短距離を示す変数である。

0027

前記踏み面を検出する段階は、前記映像処理部が、前記下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、前記下蹴上げ面と前記推定した上蹴上げ面との間の幅を計算できる。

0028

前記踏み面を検出する段階は、前記映像処理部が、前記踏み面がその下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記下蹴上げ面と前記推定した上蹴上げ面との間に位置する各ポイントを通じて、前記踏み面の式を算出できる。

0029

前記踏み面を検出する段階は、次の式によって、前記踏み面の式を限定できる。

0030

ここで、a、b、cは、前記踏み面の法線ベクトルの成分であって、前記その下の踏み面の法線ベクトルの成分と同一であり、d’は、前記踏み面と原点との最短距離を示す変数である。

0031

前記映像処理部が、前記3次元データ映像から前記階段の終わりか否かを判断して、前記階段が終わる場合、階段認識を終了し、前記階段が終わらない場合、前記階段の次の蹴上げ面及び次の踏み面を検出する段階をさらに含むことができる。

0032

前記階段の終わりか否かを判断する段階は、前記連続する両蹴上げ面の間の幅が、既に決まった臨界値以上である場合、前記階段が終わるものと判断できる。

発明の効果

0033

上述した本発明の一側面によれば、3次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識するので、既に格納された3次元モデルが要求されず、既に格納された3次元モデルとのマッチングのために反復的な計算が要求されないので、早い時間内に3次元データ映像から階段を認識できる。また、3次元データ映像において連続する直線を通じて、階段の蹴上げ面または踏み面を検出しないので、誤差に敏感でなく、高い正確度で3次元データ映像から階段を認識できる。

図面の簡単な説明

0034

本発明の一実施例による3次元データ映像の階段認識方法の概略的なフローチャートである。
本発明の一実施例による3次元データ映像から階段の始めを判断する方法の概略的なフローチャートである。
本発明の一実施例による3次元データ映像から階段の蹴上げ面を検出する方法の概略的なフローチャートである。
本発明の一実施例による3次元データ映像から階段の踏み面を検出する方法の概略的なフローチャートである。
本発明の一実施例による3次元データ映像から階段を認識するシステムの概略的なブロック図である。
本発明の一実施例による3次元データ映像から底平面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から底平面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の始めを判断する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
本発明の一実施例による3次元データ映像から階段の終わり否かを判断する方法を概略的に説明するための図である。

実施例

0035

以下では、添付の図面を参照して、本発明について詳細に説明する。

0036

図1は、本発明の一実施例による3次元データ映像の階段認識方法の概略的なフローチャートである。図1を参照して説明すると、映像獲得部が、階段が位置する空間の3次元データ映像を獲得することができる(S110)。ここで、3次元データ映像は、例えば、3次元ポイントクラウド(point cloud)映像であってもよいが、これに限定されるものではなく、x、y、zの3次元座標を持つデータポイントからなる形態であれば、本発明の一実施例による3次元データ映像の階段認識方法を適用することができる。一方、3次元データ映像には、3次元座標系が存在することができ、例えば、ロボットの中心を原点にして、ロボットの正面方向をx軸、ロボットの側面方向をy軸、ロボットの上面方向をz軸に設定できる。

0037

映像処理部は、RANSAC(Random Sample Consensus)アルゴリズムを用いて、3次元データ映像から階段が位置する底平面の式を算出することができる(S120)。RANSACアルゴリズムは、本発明が属する技術分野における通常の技術者にとって自明な事項であって、RANSACアルゴリズムに対する詳細な説明は省略する。映像処理部が、3次元データ映像から底平面の式を算出する具体的な方法は、以下で、図6A及び図6Bを参照して詳細に説明する。

0038

図6A及び図6Bは、本発明の一実施例による3次元データ映像から底平面を検出する方法を概略的に説明するための図である。

0039

図6A及び図6Bを参照して説明すると、図6Aに示すように、映像処理部は、RANSACアルゴリズムを用いて、3次元データ映像から階段が位置する底平面(ground plane)を検出することができ、検出された底平面に対して、次の式(1)によって、底平面の式を算出できる。

0040

図6Bに示すように、式(1)で、a、b、cは、底平面の法線ベクトル(v1)の成分であり、dは、底平面と原点との最短距離を示す定数である。

0041

映像処理部が階段の始めを判断して、階段認識を始めることができる(S130)。映像処理部が、3次元データ映像から階段の始めを判断する具体的な方法は、以下で、図2及び図7を参照して詳細に説明する。

0042

図2は、本発明の一実施例による3次元データ映像から階段の始めを判断する方法の概略的なフローチャートである。図2を参照して説明すると、映像処理部が、3次元データ映像をラベリングして、階段領域を分離する(S210)。映像処理部は、3次元データ映像をラベリングして、階段領域を分離するために、3次元データ映像から底平面を除外した各ポイントを対象としてラベリングすることができる。そして、映像処理部は、ラベリングによるポイント群集のうち、最も多いポイントを含んでいるポイント群集を階段領域と判断して、3次元データ映像から階段領域を分離できる。

0043

映像処理部が3次元データ映像をラベリングする基本的な方法は、次の通りである。まず、映像処理部は、3次元データ映像からラベリングの対象である各ポイントのラベルとラベルインデックスを0と初期化する。そして、映像処理部は、前記全てのポイントを探索しながら、該当のポイントのラベルが0であるかを確認して、該当のポイントにラベルが割り当てられたか否かを判断する。

0044

該当のポイントにラベルが割り当てられていない場合、映像処理部は、該当のポイントから既に決まった距離以内の各ポイントを探索する。既に決まった距離以内の各ポイントのうち、ラベルが割り当てられたポイントが存在する場合、映像処理部は、該当のポイントと既に決まった距離以内の各ポイントのうち、ラベルが割り当てられていない各ポイントに、それと同様のラベルを割り当てる。

0045

既に決まった距離以内の各ポイントのうち、ラベルが割り当てられたポイントが存在しない場合、映像処理部は、ラベルインデックスを1だけ増加し、該当のポイントと既に決まった距離以内の各ポイントに、ラベルインデックスに該当するラベルを割り当てる。

0046

該当のポイントにラベルが割り当てられた場合、映像処理部は、次のポイントを探索して、ラベルが割り当てられたか否かを判断する過程を繰り返す。

0047

すなわち、2次元ラベリング方法は、該当の画素と隣接した8個の画素を探索してラベルを割り当てるが、3次元ラベリング方法は、該当のポイントから既に決まった距離以内のポイントを探索してラベルを割り当てる。

0048

図7は、本発明の一実施例による3次元データ映像から階段の始めを判断する方法を概略的に説明するための図である。図7を参照して説明すると、映像獲得部が、階段の正面から一定の角度で3次元データ映像を獲得した場合、映像処理部は、階段の蹴上げ面及び踏み面をなすポイント群集を階段領域(stairs area)と判断できる。一方、図7は、階段の斜視図を示しているが、これは、3次元データ映像から階段領域を分離する方法の理解を助けるためのもので、実際的な階段の側壁が外部に露出する場合は少なく、一般的に映像獲得部は、階段の正面に関する3次元データ映像を獲得する。

0049

そして、映像処理部は、底平面と分離された階段領域との接線を通じて、階段の始めを判断することができる(S220)。映像処理部は、階段の始めを判断して、階段が始まるラインから階段認識を始める。そして、映像処理部は、前記分離された階段領域に対してのみ階段認識を行う。

0050

図7に示すように、映像処理部は、底平面と階段領域との接線を通じて、階段の始めを判断することができる。例えば、映像処理部は、3次元データ映像から階段の1番目の蹴上げ面の頂点を検出し、接線と底平面とが平行であることを通じて、前記接線の式を算出できる。このとき、検出した接線が、階段が始まるライン(start line)に該当する。

0051

映像処理部は、階段の連続する両踏み面の間に位置する各ポイントを通じて、前記両踏み面の間に位置する蹴上げ面を検出することができる(S140)。すなわち、映像処理部は、前記両踏み面の間に位置する各ポイントが通る踏み面の式を算出することができ、このような踏み面の式は、前記両踏み面の間に位置する蹴上げ面の式に該当する。

0052

一方、映像処理部は、前記両踏み面の間の高さを通じて、前記両踏み面の間に位置する各ポイントを判断することができ、前記両踏み面の間の高さは、前記両踏み面の式を比較して計算することができる。映像処理部が、3次元データ映像から蹴上げ面を検出する具体的な方法は、以下で、図3図8A乃至図8Dを参照して詳細に説明する。

0053

図3は、本発明の一実施例による3次元データ映像から階段の蹴上げ面を検出する方法の概略的なフローチャートである。図3を参照して説明すると、映像処理部が蹴上げ面を検出する方法は、次の通りである。まず、階段の連続する両踏み面は平行であると仮定する。したがって、映像処理部は、階段の連続する下踏み面と上踏み面が平行であることを通じて、上踏み面の式を限定することができる(S310)。ここで、前記下踏み面には、階段が位置する底平面も含まれる。上述のように、映像処理部は、RANSACアルゴリズムを用いて、3次元データ映像から底平面の式を算出することができる。

0054

図8A乃至図8Dは、本発明の一実施例による3次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。

0055

図8Aを参照して説明すると、階段が位置する底平面と階段の1番目の踏み面(1st tread)とが平行であるので、底平面の法線ベクトル(v1)の成分と1番目の踏み面の法線ベクトル(v2)の成分とが同一である。また、階段の全ての踏み面の法線ベクトルの成分は、底平面の法線ベクトルの成分と同一であり、各踏み面と原点との最短距離だけを異ならせる。これによって、映像処理部は、次の式(2)によって、任意の上踏み面の式を限定することができる。

0056

式(2)で、a、b、cは、任意の上踏み面の法線ベクトルの成分であって、その下の踏み面の法線ベクトルの成分と同一であり、d’は、任意の上踏み面と原点との最短距離を示す変数である。図8Aの場合、式(2)によって1番目の踏み面の式を限定することができ、この場合、a、b、cは、1番目の踏み面の法線ベクトルの成分を示してもよい。

0057

そして、映像処理部は、既に決まった階段高さを用いて、前記上踏み面の式を推定することができる(S320)。ここで、映像処理部は、既に決まった階段高さの範囲として標準階段の高さを用いることができる。標準階段は、各国の建築法などによって強要されたり、推奨される階段の設計指針として、例えば、標準階段の高さは、15cm乃至20cmであるか、または標準階段の幅は、25cm乃至30cmであってもよい。

0058

図8Bを参照して説明すると、映像処理部は、底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、1番目の踏み面の式を推定することができる。このとき、既に決まった階段の高さをhとすると、一定の誤差範囲を持つ階段高さの範囲は、h−Δe乃至h+Δeに該当する。映像処理部は、既に決まった階段高さの範囲を階段の踏み面の検索領域(tread search area)として検索を行い、具体的に、底平面から既に決まった階段高さの範囲に位置する各ポイントを、式(2)によって限定した1番目の踏み面の式に代入し、その結果によって、最も代表となるd’の値を選択することによって、1番目の踏み面の式を推定する。ここで、最も代表となるd’の値を選択する方法は、多様に存在することができ、例えば、映像処理部は、前記限定した1番目の踏み面の式の代入結果によって、最も多く出たd’の値を選択することができる。

0059

一方、図8Bは、階段の1番目の踏み面の式を推定する方法を示しているが、このような方法によって、階段の全ての踏み面の式を推定できるのは、通常の技術者にとって自明な事項である。

0060

映像処理部は、下踏み面の式と前記推定した上踏み面の式とを比較して、下踏み面と前記上踏み面との間の高さを計算することができる(S330)。映像処理部は、式(2)で、上踏み面と原点との最短距離を示す変数d’を選択したので、下踏み面の式と前記推定した上踏み面の式とを比較して、下踏み面と前記上踏み面との間の高さを計算することができる。例えば、映像処理部は、底平面の式と前記推定した1番目の踏み面の式とを比較して、底平面と前記1番目の踏み面との間の高さを計算することができ、底平面の各ポイントのz座標値が0であれば、dとd’との差を通じて、底平面と前記1番目の踏み面との間の高さを計算できる。

0061

そして、映像処理部は、階段の連続する下踏み面と上踏み面との間に位置する各ポイントを通じて、前記両踏み面の間に位置する蹴上げ面を検出することができる(S340)。映像処理部は、前記蹴上げ面が、その下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記限定した蹴上げ面の式に、前記両踏み面の間に位置する各ポイントを代入して、前記蹴上げ面の式を正確に算出できる。

0062

図8Cを参照して説明すると、階段の1番目の蹴上げ面(1st riser)は、連続する両踏み面、即ち、底平面及び1番目の踏み面と垂直をなす。これによって、映像処理部は、次の式(3)によって、1番目の蹴上げ面の式を限定できる。

0063

ここで、n、m、lは、1番目の蹴上げ面の法線ベクトルの成分であって、1番目の蹴上げ面の法線ベクトル及び前記両踏み面(ground plane、1st tread)の法線ベクトルの内積は、0を満足し、kは、1番目の蹴上げ面と原点との最短距離を示す変数である。

0064

図8Dを参照して説明すると、1番目の蹴上げ面の法線ベクトル及び前記両踏み面の法線ベクトルの内積は、0ということと、前記両踏み面の間に位置する各ポイントを、式(3)によって限定した1番目の蹴上げ面の式に代入した結果を通じて、1番目の蹴上げ面の式を算出できる。これによって、1番目の蹴上げ面を検出できる。

0065

1番目の蹴上げ面を検出する方法は、上述した通りであるが、2番目の蹴上げ面からは、その下の蹴上げ面と平行であることを通じて、階段の連続する両踏み面の間に位置する任意の蹴上げ面の式を限定することができる。映像処理部は、上述した式(3)によって、前記任意の蹴上げ面の式を限定することができ、前記両踏み面の間に位置する各ポイントを通じて、前記蹴上げ面の式を算出し、前記両踏み面の間に位置する蹴上げ面を検出できる。この場合、n、m、lは、前記蹴上げ面の法線ベクトルの成分であって、その下の蹴上げ面の法線ベクトルの成分と同一であり、kは、前記蹴上げ面と原点との最短距離を示す変数である。映像処理部は、前記両踏み面の間に位置する各ポイントを、前記任意の蹴上げ面の式に代入した結果を通じて、前記蹴上げ面の式を算出できる。

0066

そして、映像処理部は、階段の連続する両蹴上げ面の間に位置する各ポイントを通じて、前記両蹴上げ面の間に位置する踏み面を検出することができる(S150)。すなわち、映像処理部は、前記両蹴上げ面の間に位置する各ポイントが通る踏み面の式を算出することができ、このような踏み面の式は、前記両蹴上げ面の間に位置する踏み面の式に該当する。

0067

一方、映像処理部は、前記両蹴上げ面の間の幅を通じて、前記両蹴上げ面の間に位置する各ポイントを判断することができ、前記両蹴上げ面の間の幅は、前記両蹴上げ面の式を比較して計算することができる。映像処理部が、3次元データ映像から踏み面を検出する具体的な方法は、以下で、図4図9A乃至図9Dを参照して詳細に説明する。

0068

図4は、本発明の一実施例による3次元データ映像から階段の踏み面を検出する方法の概略的なフローチャートである。図4を参照して説明すると、映像処理部が踏み面を検出する方法は、次の通りである。まず、階段の連続する両蹴上げ面は平行であると仮定する。したがって、映像処理部は、階段の連続する下蹴上げ面と上蹴上げ面が平行であることを通じて、上蹴上げ面の式を限定することができる(S410)。上述のように、映像処理部は、階段の1番目の蹴上げ面が、底平面、及び1番目の踏み面と垂直であることを通じて、3次元データ映像から1番目の蹴上げ面の式を算出できる。

0069

図9A乃至図9Dは、本発明の一実施例による3次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。

0070

図9Aを参照して説明すると、階段の1番目の蹴上げ面(1st riser)と2番目の蹴上げ面(2nd riser)が平行であるので、1番目の蹴上げ面の法線ベクトル(v3)の成分と、2番目の蹴上げ面の法線ベクトル(v4)の成分とが同一である。また、階段の全ての蹴上げ面の法線ベクトルの成分は同一であり、各蹴上げ面と原点との最短距離だけを異ならせる。これによって、映像処理部は、次の式(4)によって、任意の上蹴上げ面の式を限定することができる。

0071

式(4)で、n、m、lは、任意の上蹴上げ面の法線ベクトルの成分であって、その下の蹴上げ面の法線ベクトルの成分と同一であり、k’は、任意の上蹴上げ面と原点との最短距離を示す変数である。図9Aの場合、式(4)によって、2番目の蹴上げ面の式を限定することができ、この場合、n、m、lは、2番目の蹴上げ面の法線ベクトル(v4)の成分を示してもよい。

0072

そして、映像処理部は、既に決まった階段の幅を用いて、前記上蹴上げ面の式を推定することができる(S420)。ここで、映像処理部は、既に決まった階段の幅の範囲として、標準階段の幅を利用できるというのは、上述した階段高さの範囲と同様である。

0073

図9Bを参照して説明すると、映像処理部は、1番目の踏み面から既に決まった階段幅の範囲に位置する各ポイントを通じて、2番目の蹴上げ面の式を推定することができる。このとき、既に決まった階段の幅をwとすると、一定の誤差範囲を持つ階段幅の範囲は、w−Δe乃至w+Δeに該当する。映像処理部は、既に決まった階段幅の範囲を、階段の蹴上げ面の検索領域(riser search area)として検索を行い、具体的に、1番目の蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを、式(4)によって限定した2番目の蹴上げ面の式に代入し、その結果によって、最も代表となるk’の値を選択することで、2番目の蹴上げ面の式を推定する。ここで、最も代表となるk’の値を選択する方法は、多様に存在することができ、例えば、映像処理部は、前記限定した2番目の蹴上げ面の式の代入結果によって、最も多く出たk’の値を選択することができる。

0074

一方、図9Bは、階段の2番目の蹴上げ面の式を推定する方法を示しているが、このような方法によって階段の残りの蹴上げ面の式を推定できるのは、通常の技術者にとって自明な事項である。

0075

映像処理部は、下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、下蹴上げ面と前記上蹴上げ面との間の幅を計算することができる(S430)。映像処理部は、式(4)で、上蹴上げ面と原点との最短距離を示す変数k’を選択したので、下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、下蹴上げ面と前記上蹴上げ面との間の幅を計算することができる。例えば、映像処理部は、1番目の蹴上げ面の式と前記推定した2番目の蹴上げ面の式とを比較して、1番目の蹴上げ面と前記2番目の蹴上げ面との間の幅を計算することができ、1番目の蹴上げ面の各ポイントのx座標の値が0であれば、kとk’との差を通じて、1番目の蹴上げ面と前記2番目の蹴上げ面との間の幅を計算することができる。

0076

そして、映像処理部は、階段の連続する下蹴上げ面と上蹴上げ面との間に位置する各ポイントを通じて、前記両蹴上げ面の間に位置する踏み面を検出することができる(S440)。映像処理部は、前記踏み面が、その下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記限定した踏み面の式に、前記両蹴上げ面の間に位置する各ポイントを代入して、前記踏み面の式を正確に算出できる。

0077

図9Cを参照して説明すると、1番目の踏み面は、連続する両蹴上げ面、即ち、1番目の蹴上げ面及び2番目の蹴上げ面と垂直をなす。また、1番目の踏み面は、その下の踏み面である底平面と平行である。これによって、映像処理部は、上述した式(2)によって、1番目の踏み面の式を限定することができる。この場合、a、b、cは、1番目の踏み面の法線ベクトルの成分であって、底平面の法線ベクトルの成分と同一であり、d’は、1番目の踏み面と原点との最短距離を示す変数である。

0078

図9Dを参照して説明すると、映像処理部は、前記両蹴上げ面の間に位置する各ポイントを、式(2)によって限定した1番目の踏み面の式に代入した結果を通じて、1番目の踏み面の式を算出できる。

0079

一方、映像処理部は、上記のような方法を通じて、階段の残りの踏み面の式を算出し、検出できる。例えば、2番目の踏み面は、1番目の踏み面と平行であることを通じて、3番目の踏み面は2番目の踏み面と平行であることを通じて、続いて、式(2)によって、階段の連続する両蹴上げ面の間に位置する任意の踏み面の式を限定することができる。そして、映像処理部は、前記両蹴上げ面の間に位置する各ポイントを、前記任意の踏み面の式に代入した結果を通じて、前記踏み面の式を算出できる。

0080

映像処理部は、階段の終わりか否かを判断することができる(S160)。判断の結果、階段が終わる場合、映像処理部は階段の認識を終了し、判断の結果、階段が終わらない場合、映像処理部は階段の次の蹴上げ面の式及び次の踏み面の式を算出するために、S140、S150の段階を繰り返して行う。一方、次の階段の蹴上げ面及び踏み面を検出する場合、映像獲得部は、その時点で、再び階段が位置する空間の3次元データ映像を獲得することができる。映像処理部が、3次元データ映像から階段の終わりか否かを判断する具体的な方法は、以下で、図10を参照して詳細に説明する。

0081

図10を参照して説明すると、映像獲得部は、踏み面を検出する過程で、階段の連続する両蹴上げ面の間の幅を計算することができる。このとき、計算された両蹴上げ面の間の幅dが、既に決まった臨界値以上である場合、例えば、以前の両蹴上げ面の間の幅の2倍以上である場合には、階段が終わるものと判断し、前記踏み面を階段の最後の踏み面(last tread)として認識することができる。

0082

図5は、本発明の一実施例による3次元データ映像から階段を認識するシステムの概略的なブロック図である。図5を参照して説明すると、階段を認識するシステムは、3次元データ映像を獲得する映像獲得部510と、3次元データ映像を処理して、階段を認識する映像処理部520と、映像処理部の階段認識の結果を出力する出力部530と、を含んで構成される。映像獲得部510は、階段が位置する空間の3次元データ映像を獲得する。例えば、映像獲得部510は、3次元データ映像を獲得できるように、ステレオカメラTOFカメラ、LRFセンサまたはキネクトセンサなどを備えることができる。映像処理部520は、映像獲得部510が獲得した3次元データ映像を処理して、階段を認識できるように、マイクロコントローラを備えることができ、出力部530は、映像処理部の階段認識の結果を出力できるように、ディスプレイユニットを備えることができる。そして、前記階段を認識するシステムは、ヒューマノイドまたは移動ロボットなどに設置可能である。

0083

510映像獲得部
520映像処理部
530 出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社エヌ・ティ・ティ・データの「 調理支援システム」が 公開されました。( 2020/10/08)

    【課題】実際の調理の状況に応じて適切な調理時間を推定する。【解決手段】スマートグラス1は、調理者により食材がカットされて生成された食材片のサイズを特定するカットサイズ特定部252と、特定された食材片の... 詳細

  • 日本電気株式会社の「 解析装置、制御方法、及びプログラム」が 公開されました。( 2020/10/08)

    【課題】撮像画像を用いた行動解析をより高い精度で行う。【解決手段】施設40には、第1カメラ10と第2カメラ20が設置されている。解析装置2000は、第1カメラ10によって生成される第1撮像画像12と、... 詳細

  • 日本電気株式会社の「 個体識別装置」が 公開されました。( 2020/10/08)

    【課題・解決手段】複数の登録画像に共通する画像成分が存在すると個体識別の精度が低下すること。決定手段は、複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ