図面 (/)

技術 情報処理装置、情報処理方法、およびプログラム

出願人 日本コントロールシステム株式会社
発明者 清水大樹
出願日 2017年10月19日 (3年2ヶ月経過) 出願番号 2017-202565
公開日 2019年5月16日 (1年7ヶ月経過) 公開番号 2019-075037
状態 未査定
技術分野 イメージ処理・作成 光レーダ方式及びその細部 画像処理 イメージ分析
主要キーワード 動作終了指示 移動観測 オブジェクト点 位置的関係 閾値値 滞留箇所 大規模施設 距離画像カメラ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年5月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

従来、一つの観測データから移動体位置認識周辺オブジェクト認識を行い、移動体と周辺オブジェクトとの位置関係を出力できなかった。

解決手段

移動体の周辺に存在するオブジェクトの三次元空間における位置を特定する元になる1以上の元情報を取得する元情報取得部と、当該1以上の元情報を用いて、移動体位置情報を取得する移動体位置情報取得部と、当該1以上の元情報を用いて、1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けオブジェクト認識部と、移動体位置情報と1以上の各オブジェクトの2以上のオブジェクト位置情報とを用いて、移動体と1以上の各オブジェクトの相対的な位置関係が認識可能な三次元の図である出力図を構成する出力図構成部と、出力図を出力する図出力部とを具備する情報処理装置により、課題を解決できる。

概要

背景

従来、LIDARという技術があった(例えば、非特許文献1参照)。LIDARは、光を用いたリモートセンシング技術の一つで、パルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質分析するものである。

また、従来、距離画像カメラという技術があった(例えば、非特許文献2参照)。距離画像カメラは、立体的距離情報リアルタイムで得られるカメラである。

概要

従来、一つの観測データから移動体位置認識周辺オブジェクト認識を行い、移動体と周辺オブジェクトとの位置関係を出力できなかった。移動体の周辺に存在するオブジェクトの三次元空間における位置を特定する元になる1以上の元情報を取得する元情報取得部と、当該1以上の元情報を用いて、移動体位置情報を取得する移動体位置情報取得部と、当該1以上の元情報を用いて、1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けオブジェクト認識部と、移動体位置情報と1以上の各オブジェクトの2以上のオブジェクト位置情報とを用いて、移動体と1以上の各オブジェクトの相対的な位置関係が認識可能な三次元のである出力を構成する出力構成部と、出力を出力する出力部とを具備する情報処理装置により、課題を解決できる。

目的

本発明は、センサから取得できた同一のデータに基づき、移動体の周辺の「オブジェクト認識」と移動体の「自己位置認識」という2つの異なる情報の認識を実現することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

移動する移動体周辺に存在するオブジェクトの三次元空間における位置を特定する元になる1または2以上の元情報を取得する元情報取得部と、前記元情報取得部が取得した1以上の元情報を用いて、移動体の三次元空間における位置を特定する移動体位置情報を取得する移動体位置情報取得部と、前記元情報取得部が取得した1以上の元情報を用いて、1以上のオブジェクトを特定し、当該1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けオブジェクト認識部と、前記移動体位置情報と前記1以上の各オブジェクトの2以上のオブジェクト位置情報とを用いて、前記移動体と前記1以上の各オブジェクトの相対的な位置関係が認識可能な三次元の図である出力図を構成する出力図構成部と、前記出力図を出力する図出力部とを具備する情報処理装置

請求項2

前記元情報取得部は、前記移動体の周辺の360度をカバーする1以上の元情報を取得し、前記オブジェクト認識部は、前記1以上の元情報を用いて、前記360度の範囲に存在する1以上のオブジェクトを特定し、当該1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付ける請求項1記載の情報処理装置。

請求項3

前記元情報取得部が取得した2以上の時点における2以上の元情報を用いて、前記オブジェクト認識部が特定した1以上の各オブジェクトの動作に関する動作情報を取得し、当該動作情報が予め決められた条件に合致するか否かを判断する判断部と、前記判断部が前記条件に合致すると判断した場合に、当該判断に関する判断情報を出力する判断情報出力部とをさらに具備する請求項1または請求項2記載の情報処理装置。

請求項4

レーザー発信手段を識別するレーザー識別子と当該レーザー発信手段の位置を特定する発信手段位置情報と当該レーザー発信手段のレーダー発信の方向を特定する発信手段方向情報とを有する2以上のレーザー発信手段情報が格納される格納部をさらに具備し、前記元情報取得部は、2以上の各レーザー発信手段により発信されたレーザーの反射を受信し、レーザーの発信からその反射の受信までの戻り時間を取得し、当該戻り時間と前記レーザー発信手段を識別するレーザー識別子との組であるレーザー情報を、レーザー発信手段ごとに取得し、前記オブジェクト認識部は、前記元情報取得部が取得した2以上の各レーザー情報が有するレーザー識別子と対になる発信手段位置情報と発信手段方向情報と、当該レーザー情報が有する戻り時間とを用いて、オブジェクトのオブジェクト位置情報をレーザー情報ごとに取得し、当該取得した2以上のオブジェクト位置情報を用いて、1以上のオブジェクトを特定し、当該1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付ける請求項1から請求項3いずれか一項に記載の情報処理装置。

請求項5

前記元情報取得部は、2以上の各時点における1以上の元情報を取得し、前記移動体位置情報取得部は、2以上の各時点における移動体位置情報を取得し、前記オブジェクト認識部は、2以上の各時点において、1以上のオブジェクトを特定し、当該1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付け、前記出力図構成部は、2以上の各時点において、前記オブジェクト認識部が認識した1以上のオブジェクトが含まれる図であり、前記移動体位置情報取得部が取得した2以上の各時点における移動体位置情報により構成される移動体の移動軌跡を示す軌跡情報が含まれる図である出力図を構成する請求項1から請求項4いずれか一項に記載の情報処理装置。

請求項6

元情報取得部、移動体位置情報取得部、オブジェクト認識部、出力図構成部、および図出力部により実現される情報処理方法であって、前記元情報取得部が、移動する移動体の周辺に存在するオブジェクトの三次元空間における位置を特定する元になる1または2以上の元情報を取得する元情報取得ステップと、前記移動体位置情報取得部が、前記元情報取得ステップで取得された1以上の元情報を用いて、移動体の三次元空間における位置を特定する移動体位置情報を取得する移動体位置情報取得ステップと、前記オブジェクト認識部が、前記元情報取得ステップで取得された1以上の元情報を用いて、1以上のオブジェクトを特定し、当該1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けるオブジェクト認識ステップと、前記出力図構成部が、前記移動体位置情報と前記1以上の各オブジェクトの2以上のオブジェクト位置情報とを用いて、前記移動体と前記1以上の各オブジェクトの相対的な位置関係が認識可能な三次元の図である出力図を構成する出力図構成ステップと、前記図出力部が、前記出力図を出力する図出力ステップとを具備する情報処理方法。

請求項7

コンピュータを、移動する移動体の周辺に存在するオブジェクトの三次元空間における位置を特定する元になる1または2以上の元情報を取得する元情報取得部と、前記元情報取得部が取得した1以上の元情報を用いて、移動体の三次元空間における位置を特定する移動体位置情報を取得する移動体位置情報取得部と、前記元情報取得部が取得した1以上の元情報を用いて、1以上のオブジェクトを特定し、当該1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けるオブジェクト認識部と、前記移動体位置情報と前記1以上の各オブジェクトの2以上のオブジェクト位置情報とを用いて、前記移動体と前記1以上の各オブジェクトの相対的な位置関係が認識可能な三次元の図である出力図を構成する出力図構成部と、前記出力図を出力する図出力部として機能させるためのプログラム

技術分野

0001

本発明は、移動体周辺オブジェクトの認識と当該移動体の位置認識とを共に行い、周辺オブジェクトと移動体との位置的関係が把握可能な図を構成し、出力する情報処理装置等に関するものである。

背景技術

0002

従来、LIDARという技術があった(例えば、非特許文献1参照)。LIDARは、光を用いたリモートセンシング技術の一つで、パルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質分析するものである。

0003

また、従来、距離画像カメラという技術があった(例えば、非特許文献2参照)。距離画像カメラは、立体的距離情報リアルタイムで得られるカメラである。

先行技術

0004

ウィキディア、"LIDAR"、[online]、[平成29年8月26日検索]、インターネット[URL:https://ja.wikipedia.org/wiki/LIDAR]
"TOF距離画像カメラの実力"、[online]、[平成29年8月26日検索]、インターネット[URL:http://www.brainvision.co.jp/wp/support/tech/capability_of_tofcamera.pdf#search=%27%E8%B7%9D%E9%9B%A2%E7%94%BB%E5%83%8F%E3%82%AB%E3%83%A1%E3%83%A9%27]

発明が解決しようとする課題

0005

しかしながら、従来技術を用いた場合、自動運転などの複雑かつ高度な認識が必要なアプリケーションでは、センサフュージョンが必要とされる。なお、センサ・フュージョンとは、アプリケーションやシステムの性能を向上させるために、複数 のセンサからのデータをインテリジェントに組み合わせるソフトウェアである。そして、センサ・フュージョンは異なる性質を持つセンサの組み合わせにより、短所を補完してより堅牢な認識を可能とする技術であるが、システムの構築には困難が伴う。

0006

また、例えば、3Dセンサと従来の2次元カメラ等、異なる特徴を持つセンサを用いた認識結果を組み合わせて有用なデータとして活用するためには、単一の座標系においてそれらの認識結果を解釈できなければならず、精緻な設置及びキャリブレーションを必要とする。また異なる種類の認識(例えば、周辺のオブジェクトの認識と自己位置の認識)をそれぞれ異なるセンサの観測データを用いて実現する場合、各センサの短所(暗所に弱い等)が異なることで、特定の状況で当該の認識が不可能となってしまい、結果としてシステムの機能が不完全なものとなってしまう。さらに、異なる種類のセンサの観測データに対して独立した認識処理を個々に実行する必要があるため、多くの計算能力を必要とし、高度なアプリケーションで必要とされるリアルタイム性に悪影響を与える。

0007

つまり、従来技術において、一つの観測データ(後述する元情報)から移動体の位置の認識と当該移動体の周辺のオブジェクトの認識とを両方を行い、移動体と当該移動体の周辺のオブジェクトとの位置関係を出力できなかった。

0008

かかる背景に鑑み、本発明は、センサから取得できた同一のデータに基づき、移動体の周辺の「オブジェクト認識」と移動体の「自己位置認識」という2つの異なる情報の認識を実現することを目的とする。

課題を解決するための手段

0009

本第一の発明の情報処理装置は、移動する移動体の周辺に存在するオブジェクトの三次元空間における位置を特定する元になる1または2以上の元情報を取得する元情報取得部と、前記元情報取得部が取得した1以上の元情報を用いて、移動体の三次元空間における位置を特定する移動体位置情報を取得する移動体位置情報取得部と、元情報取得部が取得した1以上の元情報を用いて、1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けるオブジェクト認識部と、移動体位置情報と1以上の各オブジェクトの2以上のオブジェクト位置情報とを用いて、移動体と1以上の各オブジェクトの相対的な位置関係が認識可能な三次元の図である出力図を構成する出力図構成部と、出力図を出力する図出力部とを具備する情報処理装置である。

0010

かかる構成により、センサから取得できた同一のデータに基づき、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を行い、移動体と当該移動体の周辺のオブジェクトとの位置関係を出力できる。

0011

また、本第二の発明の情報処理装置は、第一の発明に対して、元情報取得部は、移動体の周辺の360度をカバーする1以上の元情報を取得し、オブジェクト認識部は、1以上の元情報を用いて、360度の範囲に存在する1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付ける情報処理装置である。

0012

かかる構成により、センサから取得できた同一のデータに基づき、移動体の位置の認識と当該移動体の全方位のオブジェクトの認識を行い、移動体と当該移動体の周辺のオブジェクトとの位置関係を出力できる。

0013

また、本第三の発明の情報処理装置は、第一または第二の発明に対して、元情報取得部が取得した2以上の時点における2以上の元情報を用いて、オブジェクト認識部が特定した1以上の各オブジェクトの動作に関する動作情報を取得し、動作情報が予め決められた条件に合致するか否かを判断する判断部と、判断部が条件に合致すると判断した場合に、判断に関する判断情報を出力する判断情報出力部とをさらに具備する情報処理装置である。

0014

かかる構成により、センサから取得できた同一のデータに基づき、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を行い、かつオブジェクトの動作が条件に合致した場合(例えば、危険な場合)に、その旨を報知できる。

0015

また、本第四の発明の情報処理装置は、第一から第三いずれか1つの発明に対して、レーザー発信手段を識別するレーザー識別子とレーザー発信手段の位置を特定する発信手段位置情報とレーザー発信手段のレーダー発信の方向を特定する発信手段方向情報とを有する2以上のレーザー発信手段情報が格納される格納部をさらに具備し、元情報取得部は、2以上の各レーザー発信手段により発信されたレーザーの反射を受信し、レーザーの発信からその反射の受信までの戻り時間を取得し、戻り時間とレーザー発信手段を識別するレーザー識別子との組であるレーザー情報を、レーザー発信手段ごとに取得し、オブジェクト認識部は、元情報取得部が取得した2以上の各レーザー情報が有するレーザー識別子と対になる発信手段位置情報と発信手段方向情報と、レーザー情報が有する戻り時間とを用いて、オブジェクトのオブジェクト位置情報をレーザー情報ごとに取得し、取得した2以上のオブジェクト位置情報を用いて、1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付ける情報処理装置である。

0016

かかる構成により、レーザーの技術を用いて、センサから取得できた同一のデータに基づき、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を行い、移動体と当該移動体の周辺のオブジェクトとの位置関係を出力できる。

0017

また、本第五の発明の情報処理装置は、第一から第四いずれか1つの発明に対して、元情報取得部は、2以上の各時点における1以上の元情報を取得し、移動体位置情報取得部は、2以上の各時点における移動体位置情報を取得し、オブジェクト認識部は、2以上の各時点において、1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付け、出力図構成部は、2以上の各時点において、オブジェクト認識部が認識した1以上のオブジェクトが含まれる図であり、移動体位置情報取得部が取得した2以上の各時点における移動体位置情報により構成される移動体の移動軌跡を示す軌跡情報が含まれる図である出力図を構成する情報処理装置である。

0018

かかる構成により、センサから取得できた同一のデータに基づき、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を行い、移動体移動履歴と、移動体と当該移動体の周辺のオブジェクトとの位置関係を出力できる。

発明の効果

0019

本発明による情報処理装置によれば、センサから取得できた同一のデータに基づき、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を行い、移動体と当該移動体の周辺のオブジェクトとの位置関係を出力できる。

図面の簡単な説明

0020

実施の形態1における情報処理装置1のブロック図
同情処理装置1の動作例について説明するフローチャート
同元情報取得処理について説明するフローチャート
オブジェクト認識処理について説明するフローチャート
同出力図構成処理について説明するフローチャート
判断処理について説明するフローチャート
同情報処理装置1の概念
同出力例を示す図
同出力例を示す図
同出力例を示す図
同出力例を示す図
同出力例を示す図
コンピュータシステム概観
同コンピュータシステムのブロック図

実施例

0021

以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

0022

(実施の形態1)

0023

本実施の形態において、周辺オブジェクト認識と移動体の位置認識とを共に行い、周辺オブジェクトと移動体との位置的関係が把握可能な図を構成し、出力する情報処理装置について説明する。なお、本実施の形態において、移動体に対して、360度の方向のオブジェクトを認識する情報処理装置について説明する。なお、移動体は、自動車ロボットなどである。ただし、移動体の種類は問わない。

0024

また、本実施の形態において、オブジェクトの動作に関する動作情報を取得し、動作情報が予め決められた条件に合致する場合に、合致する旨を出力する情報処理装置について説明する。

0025

さらに、本実施の形態において、移動体の移動履歴も出力できる情報処理装置について説明する。

0026

図1は、本実施の形態における情報処理装置1のブロック図である。情報処理装置1は、格納部11、受付部12、処理部13、および出力部14を備える。なお、情報処理装置1は、移動体に設置されていても良いし、移動体から情報を取得して、所定の処理を行う装置でも良い。

0027

処理部13は、元情報取得部131、移動体位置情報取得部132、オブジェクト認識部133、出力図構成部134、および判断部135を備える。

0028

出力部14は、図出力部141、および判断情報出力部142を備える。

0029

格納部11には、各種の情報が格納される。各種の情報とは、例えば、2以上のレーザー発信手段情報である。レーザー発信手段情報とは、レーザー発信手段を識別するレーザー識別子とレーザー発信手段の位置を特定する発信手段位置情報とレーザー発信手段のレーダー発信の方向を特定する発信手段方向情報とを有する情報である。なお、レーザー発信手段とは、レーザーを発信し、その反射の信号を受信する手段である。例えば、LIDARは、多数のレーザー発信手段を具備する。

0030

また、各種の情報とは、例えば、後述する元情報である。元情報は、元情報取得部131が取得した情報である。

0031

また、各種の情報とは、例えば、オブジェクト情報である。オブジェクト情報とは、認識したいオブジェクト(例えば、人、自動車、障害物など)に関する情報である。オブジェクト情報は、例えば、オブジェクトを識別するオブジェクト識別子と、オブジェクトの輪郭に関する情報(例えば、輪郭を構成する複数の点の座標情報)を有する。オブジェクト識別子は、オブジェクト名(例えば、人、自動車など)でも良い。オブジェクト情報は、例えば、オブジェクト識別子と、1以上のオブジェクトの画像である。また、オブジェクト情報は、例えば、オブジェクト識別子と、1以上のオブジェクトの画像から抽出された2以上の特徴量である。また、オブジェクト情報は、例えば、オブジェクト識別子と、1以上のオブジェクトの画像から抽出された2以上の特徴量とを学習させた学習情報でも良い。なお、学習は、例えば、深層学習、サポートベクターマシン決定木等を用いた学習であり、機械学習の種類は問わない。なお、オブジェクトとは、シーンにおいて独立して存在する、人、移動体(自動車など)や機器等の物であり、「動く物体」(動体)とは限らない。何をオブジェクトとするかはアプリケーションに依存し、例えば、ポストや標識、あるいは建物をオブジェクトとして認識するシステムも有り得る。また、シーンとは、観測装置観測している情景である。

0032

また、各種の情報とは、例えば、予め決められた条件である。予め決められた条件は、判断部135が使用する条件であり、例えば、動作情報を用いた条件である。予め決められた条件は、例えば、動作情報が「移動体とオブジェクトとの距離が閾値以内であり、かつ移動体とオブジェクトとの距離が縮まっていることを示す情報であること」である。また、予め決められた条件は、例えば、「動作情報「移動体位置情報が示す移動体の位置とオブジェクト位置情報が示すオブジェクトの位置との距離」が閾値値以内であること」である。

0033

また、各種の情報とは、例えば、判断情報である。また、各種の情報とは、例えば、「予め決められた条件」に対応付けられている判断情報である。判断情報は、例えば、注意喚起するための情報であり、例えば、ブザー音、注意を喚起する文字列、図柄等である。

0034

受付部12は、各種の指示や情報等を受け付ける。各種の指示や情報等とは、例えば、情報処理装置1の動作開始指示動作終了指示である。また、動作開始指示は、情報処理装置1の動作の開始の指示であるが、移動体の移動の開始の指示でも良い。動作終了指示は、情報処理装置1の動作の終了の指示である。ここで、受け付けとは、キーボードマウスタッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線通信回線を介して送信された情報の受信、光ディスク磁気ディスク半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。

0035

各種の指示や情報等の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部12は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

0036

処理部13は、各種の処理を行う。各種の処理とは、例えば、元情報取得部131、移動体位置情報取得部132、オブジェクト認識部133、出力図構成部134、判断部135が行う処理である。

0037

元情報取得部131は、1または2以上の元情報を取得する。元情報取得部131は、移動体の周辺の360度をカバーする1以上の元情報を取得することは好適である。元情報取得部131は、2以上の各時点における1以上の元情報を取得することは好適である。元情報取得部131は、一度に、一の時点における、移動体の周辺の360度をカバーする1以上の元情報を取得することは好適である。なお、元情報取得部131は、360度をカバーする2以上の元情報を取得する場合に、360度の範囲内の領域によって、時間遅れが発生していても良い。

0038

元情報は、移動体の周辺に存在するオブジェクトの三次元空間における位置を特定する元になる情報である。元情報は、図示しない観測装置の3次元データの集合を有する。元情報は、観測装置から観測される、周辺に存在する人やモノなどの特定の部分の3D座標を表す点の集合であり、例えば、距離画像データまたは点群(Point Cloud)データである。なお、観測装置は、観測データとして、3Dデータを連続的に取得可能な装置である。観測装置は、例えば、上述したLIDAR、3次元カメラ、ToFセンサ、ステレオカメラ等である。観測装置は、結果として同一の座標系の3Dデータを出力するものであれば、2以上の装置を組み合わせて構成されるシステムであってもよい。また、元情報取得部131は、観測装置を含むと考えても良いし、観測装置から元情報を取得すると考えても良い。また、3次元データは、例えば、観測装置または移動体を原点とする3次元の座標値である。

0039

元情報は、例えば、レーザー情報である。レーザー情報は、戻り時間とレーザー識別子との組である。レーザー識別子は、レーザー発信手段を識別する情報である。レーザー識別子は、照射したレーザーの位置を特定する情報でも良い。元情報取得部131は、例えば、2以上の各レーザー発信手段により発信されたレーザーの反射を受信し、レーザーの発信からその反射の受信までの戻り時間を取得し、戻り時間とレーザー発信手段を識別するレーザー識別子との組であるレーザー情報を、レーザー発信手段ごとに取得するし。元情報取得部131は、レーザーを発信するLIDARを含むと考えても良いし、LIDARから元情報を取得するソフトウェアとMPU等から実現されても良い。なお、LIDARは、LiDARと言っても良い。

0040

元情報は、例えば、距離画像でも良い。元情報取得部131は、例えば、距離画像カメラが撮影した1または2以上の距離画像を取得する。なお、距離画像は、画像の中の各画素の3次元空間上の座標値を含む。また、元情報取得部131は、距離画像を撮影するカメラ(距離画像センサと言っても良い)を含むと考えても良いし、カメラが撮影した距離画像を取得するソフトウェアとMPU等から実現されても良い。

0041

移動体位置情報取得部132は、元情報取得部131が取得した1以上の元情報を用いて、移動する移動体の移動体位置情報を取得する。移動体位置情報は、通常、三次元空間(以下、単に「空間」という場合がある。)における位置を特定する情報である。移動体位置情報とは、通常、(x,y,z)の構造を有する。また、移動体位置情報は、通常、相対的な位置を示す情報である。移動体位置情報が相対的な位置を示す情報である場合、例えば、移動体の出発地点が原点(0,0,0)である。なお、移動体の出発地点の絶対位置(通常、(緯度経度,高度))が分かれば、移動体位置情報は、絶対的な位置を示す情報に変換し得る。つまり、本明細書で扱う移動体位置情報やオブジェクト位置情報等の位置情報は、相対的な位置を示す情報でも良いし、絶対的な位置を示す情報でも良い。

0042

移動体位置情報取得部132は、通常、1以上の元情報を用いて、2以上の各時点における移動体位置情報を取得する。

0043

さらに具体的には、移動体位置情報取得部132は、例えば、異なる時点の2つの各元情報から特徴点を抽出し、2つの元情報の対応する2つの特徴点(例えば、(x11,y11,z11)と(x12,y12,z12))を検知し、当該特徴点の差異から移動量(例えば、(x12−x11,y12−y11,z12−z11)を算出する。そして、移動体位置情報取得部132は、例えば、移動体の直前の位置を示す移動体位置情報(例えば、(x0,y0,z0))と移動量(例えば、(x12−x11,y12−y11,z12−z11)とを用いて、現時点の移動体位置情報(例えば、(x0+x12−x11,y0+y12−y11,z0+z12−z11))を算出する。なお、特徴点とは、オブジェクトの角の点、オブジェクトの輪郭線上の特定の点などである。3次元データの集合である元情報から特徴点を取得する技術は公知技術である。

0044

オブジェクト認識部133は、元情報取得部131が取得した1以上の元情報を用いて、1以上のオブジェクトを特定(「特定」を「認識」、と言っても良い)し、当該1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付ける。なお、オブジェクト認識部133は、移動体の周辺のすべてのオブジェクトを認識する必要はなく、特定のオブジェクト(例えば、人、車など)のみを認識しても良い。また、オブジェクト位置情報とは、オブジェクトを構成する点の位置を示す情報であり、通常、三次元の座標情報である。オブジェクト位置情報は、通常、移動体位置情報に対して、相対的な位置を示す座標情報である。

0045

オブジェクト認識部133は、オブジェクト位置情報は、通常、元情報が有する各三次元の座標情報と移動体位置情報とを用いて、2以上のオブジェクト位置情報を算出する。つまり、オブジェクト認識部133は、元情報が有する三次元の座標情報(例えば、(xa,ya,za))にオフセットとして移動体位置情報(例えば、(xb,yb,zb))を加えて、相対的な三次元の座標情報であるオブジェクト位置情報(例えば、(xa+xb,ya+yb,za+zb))を算出する。

0046

また、オブジェクト認識部133は、元情報取得部131が取得した1以上の元情報を用いて、移動体の周辺のすべてのオブジェクトを構成するすべての座標情報を取得することは好適である。この座標情報は、オブジェクト位置情報である。

0047

また、オブジェクト認識部133は、通常、元情報取得部131が取得した1以上の元情報を用いて、移動体の周辺のオブジェクトのすべてのオブジェクト位置情報を取得する。次に、オブジェクト認識部133は、当該すべてのオブジェクト位置情報から、1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付ける。

0048

オブジェクト認識部133は、1以上の元情報を用いて、360度の範囲に存在する1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けることは好適である。なお、360度をカバーする1以上の元情報を取得する場合に時間遅れが発生する場合、オブジェクト認識部133は、通常、当該時間遅れを考慮して、オブジェクト位置情報を取得する。なお、時間遅れを考慮することは、例えば、時間遅れの分の移動量を算出し、取得された座標値を移動量の分だけ修正補正)することである。

0049

また、オブジェクト認識部133は、特定したオブジェクトの属性値を取得することは好適である。属性値とは、例えば、オブジェクトの種類、形状特徴量等である。なお、形状特徴量は、例えば、サイズ、平面度等である。

0050

オブジェクト認識部133は、例えば、以下の(1)〜(3)のいずれかの処理を行う。
(1)オブジェクト認識部133の第一の処理例

0051

第一の処理例は、独立した認識処理によりオブジェクト認識と自己位置認識を行う場合のオブジェクト認識の処理である。

0052

オブジェクト認識部133は、例えば、1以上の元情報が有する3次元座標値(「3D点」という。)の集合を用いて、以下のような処理を行う。まず、オブジェクト認識部133は、1または2以上の3D点の集合を用いて、オブジェクト認識処理を行う。オブジェクト認識処理は、一つのオブジェクトを構成する3D点の集合を特定する処理である。次に、オブジェクト認識部133は、例えば、各オブジェクトの3D点の集合から、各オブジェクトの形状に関する特徴量である1または2以上の形状特徴量を取得する。形状特徴量は、例えば、サイズ(例えば、幅、高さ、奥行き)、平面度等である。次に、オブジェクト認識部133は、例えば、1以上の形状特徴量を用いて、オブジェクトの種類(オブジェクトの属性値の一例)を決定する。なお、オブジェクトの種類を決定する処理は、例えば、決定木、深層学習、サポートベクターマシン、決定木等の機械学習の技術が利用可能である。次に、オブジェクト認識部133は、決定したオブジェクトの種類の情報に対応付けて、3D点(オブジェクト位置情報と言っても良い。)の集合を取得する。

0053

なお、オブジェクト認識処理は、具体的には、例えば、以下の方法がある。まず、第一のオブジェクト認識処理について説明する。オブジェクト認識部133は、複数の各3D点の距離が予め決められた条件を満たすほど近い点の集合を同一のオブジェクトを構成する点である、と判断し、オブジェクトごとに3D点をまとめる。

0054

また、オブジェクト認識部133は、例えば、以下のグリッドマップの手法である第二の方法によるオブジェクト認識処理を行っても良い。つまり、オブジェクト認識部133は、3次元空間の複数のBOXに区切る。そして、オブジェクト認識部133は、各BOXに存在するすべての3D点を同一のオブジェクトを構成する3D点である、と仮定する。次に、オブジェクト認識部133は、各BOXの3D点から特徴点(例えば、最も中心に近い点、複数の点の中央値など)を取得する。次に、特徴点が予め決められた条件を満たすほど近いBOXを同一のオブジェクトを構成するBOXである、と判断する。以上により、一のオブジェクトを構成する3D点の集合が検知できた(オブジェクト認識ができた)。なお、BOXとは、通常、3次元の立方体または直方体である。

0055

そして、例えば、オブジェクト認識部133は、同一の元情報から取得された移動体位置情報に対応付けて、各オブジェクトの2以上のオブジェクト位置情報を図示しないバッファ蓄積する。なお、オブジェクト認識部133は、各オブジェクトの属性値をも一緒に、図示しないバッファに蓄積することは好適である。
(2)オブジェクト認識部133の第二の処理例

0056

第二の処理例は、過去に認識したオブジェクトの履歴を保存しておき、自己位置の変化を踏まえて、今回のオブジェクトに該当する過去のオブジェクトを取得する処理である。第二の処理例では、オブジェクトの位置変化量(速度)をオブジェクト認識に利用できる。また、第二の処理例では、過去に認識済み属性も利用できる。

0057

なお、第二の処理例では、過去の各オブジェクトの(基準座標系での)位置と移動ベクトルの履歴」から、過去の各オブジェクトが今回存在し得る(基準座標系での)位置を推定し、それを基に過去の各オブジェクトと現在のオブジェクトの関連付けを行うものである。かかる位置推定の処理には、カルマンフィルタ等が利用可能である。なお、この処理の実現には、少なくとも過去の1以上の時点における、移動体の位置と各オブジェクトの位置が保存されている必要がある。

0058

さらに具体的には、まず、移動体位置情報取得部132は、上述した処理により、特徴点の移動量(例えば、(xt−xt−1,yt−yt−1,zt−zt−1))算出する。そして、移動体位置情報取得部132は、過去の一時点(例えば、その直前の時点)(t−1)の移動体位置情報(例えば、(xt−1,yt−1,zt−1))と移動量とから、現時点(t)の移動体位置情報(例えば、(xt,yt,zt))を取得する。

0059

次に、オブジェクト認識部133は、現時点の1以上の元情報が有する3D点の集合を用いて、上記のオブジェクト認識処理により、オブジェクトを認識する。次に、オブジェクト認識部133は、例えば、各オブジェクトの3D点の集合から、各オブジェクトの形状に関する特徴量である1または2以上の形状特徴量を取得する。次に、オブジェクト認識部133は、例えば、1以上の形状特徴量から現時点のオブジェクトの属性値(例えば、オブジェクトの種類)を取得する。

0060

次に、オブジェクト認識部133は、過去の1以上の時点のオブジェクトと現時点のオブジェクトの対応付けを行うために、現時点のオブジェクトのオブジェクト位置情報を、移動体位置情報を用いて補正する。次に、過去の各オブジェクトの現時点における位置を、過去の移動量の履歴から推定する。なお、かかる処理において、カルマンフィルタ等を用いる処理がある。次に、現時点のオブジェクトの属性値と過去のオブジェクトの属性値とを比較し、現時点のオブジェクトと過去のオブジェクトとの対応付けを行う。なお、対応付けられる現時点のオブジェクトと過去のオブジェクトとは、同一または類似の属性値を有し、現時点における位置に対応する座標値と予測位置に対応する座標値との差異が予め決められた範囲の差異に留まるオブジェクトである。また、過去の1以上の時点のオブジェクトと現時点のオブジェクトの対応付けが行えた場合、現時点のオブジェクトの1または2以上のオブジェクト位置情報が取得される。

0061

そして、例えば、オブジェクト認識部133は、同一の元情報から取得された移動体位置情報に対応付けて、各オブジェクトの1または2以上のオブジェクト位置情報を図示しないバッファに蓄積する。なお、オブジェクト認識部133は、各オブジェクトの属性値をも一緒に、図示しないバッファに蓄積することは好適である。
(3)オブジェクト認識部133の第三の処理例

0062

第三の処理例は、過去の3D点の集合を保存しておき、自己位置の変化を反映した3D点の集合と比較し、動体と非動体に分けて3D点の集合を検知する方法である。第三の処理例において、定点観測時の差分処理と同様の効果があるため、移動観測の場合でも、オブジェクト点群の取得をより堅牢に行うことが可能となる。なお、ここで「動体」とは、「一部または全体の(基準座標系における)位置が変化するオブジェクト」である。一部の位置が変化するオブジェクトは、例えば、手だけが動いている人間である。 さらに具体的には、まず、移動体位置情報取得部132は、上述した処理により、特徴点の移動量(例えば、(xt−xt−1,yt−yt−1,zt−zt−1))算出する。そして、移動体位置情報取得部132は、過去の一時点(例えば、その直前の時点)(t−1)の移動体位置情報(例えば、(xt−1,yt−1,zt−1))と移動量とから、現時点(t)の移動体位置情報(例えば、(xt,yt,zt))を取得する。

0063

次に、オブジェクト認識部133は、過去の1以上の時点(例えば、直前の時点)の3D点の集合と現時点の3D点の集合との同期を取るために、現時点の3D点の集合を、移動体位置情報を用いて補正する。

0064

次に、オブジェクト認識部133は、現時点の3D点の集合に対してオブジェクト認識処理を行う。

0065

具体的には、オブジェクト認識部133は、過去の3D点と同じ位置に存在するかどうかを考慮して、現在の各3D点が動体に属するかどうかを判定しながら、現時点の3D点の集合に対してオブジェクト認識処理を行う。ここで、考慮するとは、例えば、複数の各3D点の距離を基準としてオブジェクトを構成する3D点の集合を特定する際に、その複数の3D点が双方とも過去の3D点と同じ位置に存在するかどうかによって距離に重みづけを行うことをいう。 次に、オブジェクト認識部133は、過去の時点(例えば、直前の時点)の3D点の集合から得られた各オブジェクトの1または2以上の各オブジェクト位置情報または/および属性値と、現時点の3D点の集合に対する各オブジェクトの1または2以上の各オブジェクト位置情報または/および属性値とを対比し、過去の時点の3D点の集合から得られた各オブジェクトと現時点の3D点の集合に対する各オブジェクトとの対応を決定する。

0066

なお、過去の時点において動体または非動体であったオブジェクトが、現時点においては、過去の判断とは異なり、非動体または動体として判断される場合がある。例えば、立ち止まっていた人間が歩き始めた、動いていた車が駐車した等の場合である。また、オブジェクトが動体であるか非動体であるかのフラグ情報は、オブジェクトの属性値の一種である、とする。なお、ここで、(2)で説明した、過去のオブジェクトの移動量を考慮したオブジェクトの対応付けを行ってもよい。

0067

そして、例えば、オブジェクト認識部133は、同一の元情報から取得された移動体位置情報に対応付けて、各オブジェクトの1または2以上のオブジェクト位置情報を図示しないバッファに蓄積する。なお、オブジェクト認識部133は、各オブジェクトの属性値をも一緒に、図示しないバッファに蓄積することは好適である。

0068

オブジェクト認識部133は、例えば、元情報取得部131が取得した2以上の各レーザー情報が有するレーザー識別子と対になる発信手段位置情報と発信手段方向情報と、レーザー情報が有する戻り時間とを用いて、オブジェクトのオブジェクト位置情報をレーザー情報ごとに取得し、取得した2以上のオブジェクト位置情報を用いて、1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付ける。

0069

オブジェクト認識部133は、2以上の各時点において、1以上のオブジェクトを特定し、1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けることは好適である。

0070

元情報がレーザー識別子と戻り時間との組である場合、オブジェクト認識部133は、元情報から、移動体位置情報に対する三次元空間内の相対位置を示すオブジェクト位置情報を取得する。例えば、2以上のオブジェクト位置情報からオブジェクトの輪郭抽出を行い、輪郭に対応する格納部11のオブジェクト情報を選択し、オブジェクト情報が有するオブジェクト識別子を取得する。そして、オブジェクト識別子で識別されるオブジェクトの輪郭を構成する2以上のオブジェクト位置情報とオブジェクト識別子とを対にして保持する。かかる場合、格納部11には、1以上のオブジェクト情報が格納されている。なお、オブジェクト認識部133は、オブジェクトの輪郭を構成する2以上のオブジェクト位置情報に加えて、オブジェクトの内部のオブジェクト位置情報をもオブジェクト識別子と対にして保持しても良いことは言うまでもない。

0071

また、元情報が距離画像の場合、距離画像から空間内のオブジェクトを認識し、オブジェクト識別子を取得する。画像からオブジェクトを認識する技術は公知技術である。オブジェクト認識部133は、深層学習などの機械学習技術やオブジェクト情報とのパターンマッチングの技術等が利用可能である。そして、オブジェクト認識部133は、オブジェクト識別子と認識したオブジェクトを構成する2以上のオブジェクト位置情報とを対にして保持する。

0072

なお、オブジェクト認識部133がオブジェクト識別子と2以上のオブジェクト位置情報とを対にして保持する場所は、格納部11でも良いし、図示しないバッファ等でも良い。

0073

出力図構成部134は、移動体位置情報と1以上の各オブジェクトの2以上のオブジェクト位置情報とを用いて、出力図を構成する。出力図とは、移動体と1以上の各オブジェクトの相対的な位置関係が認識可能な三次元の図である。出力図の具体例は後述する。なお、出力図構成部134が用いる移動体位置情報とオブジェクト位置情報とは、同一の1以上の元情報から取得された情報である。また、1以上の各オブジェクトの2以上のオブジェクト位置情報とは、1以上の各オブジェクトの認識結果である、と言っても良い。 出力図構成部134は、2以上の各時点において、オブジェクト認識部133が認識した1以上のオブジェクトが含まれる図であり、移動体位置情報取得部132が取得した2以上の各時点における移動体位置情報により構成される移動体の移動軌跡を示す軌跡情報が含まれる図である出力図を構成する。

0074

判断部135は、元情報取得部131が取得した2以上の時点における2以上の元情報を用いて、オブジェクト認識部133が特定した1以上の各オブジェクトの動作に関する動作情報を取得し、動作情報が予め決められた条件に合致するか否かを判断する。動作情報は、例えば、移動体とオブジェクトとの距離の変化の履歴(例えば、「15m,12m,6m等」)である。動作情報は、例えば、移動体とオブジェクトとの距離が縮まっていることを示す情報である。動作情報は、例えば、オブジェクトのオブジェクト位置情報群の2以上の時点の集合である。オブジェクト位置情報群は、一のオブジェクトを特定する2以上のオブジェクト位置情報の集合である。

0075

出力部14は、各種の情報を出力する。ここで、出力とは、通常、ディスプレイへの表示であるが、プロジェクターを用いた投影プリンタでの印字、外部の装置(通常、表示装置)への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

0076

図出力部141は、出力図構成部134が構成した出力図を出力する。出力図の態様は問わない。出力図の例は後述する。出力図において、オブジェクト認識部133が認識したオブジェクトを特定する2以上のオブジェクト位置情報が、他のオブジェクト位置情報と区別可能な態様であることは好適である。出力図において、オブジェクト認識部133が認識したオブジェクトが認識可能な態様であることは好適である。また、出力図は、動体と非動体とが区別可能な態様であることは好適である。

0077

判断情報出力部142は、判断部135が条件に合致すると判断した場合に、判断に関する判断情報を出力する。判断情報出力部142は、判断部135が条件に合致すると判断した場合に、当該条件に対応する判断情報を格納部11から取得し、当該情報を用いて、判断情報を出力する。

0078

ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、部の装置(通常、表示装置)への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

0079

格納部11は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。格納部11に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部11で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11で記憶されるようになってもよい。

0080

処理部13、元情報取得部131、移動体位置情報取得部132、オブジェクト認識部133、出力図構成部134、および判断部135は、通常、MPUやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア専用回路)で実現しても良い。

0081

出力部14、図出力部141、および判断情報出力部142は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部14等は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

0082

次に、情報処理装置1の動作例について、図2のフローチャートを用いて説明する。

0083

(ステップS201)受付部12は、動作開始指示を受け付けたか否かを判断する。動作開始指示を受け付けた場合はステップS202に行き、動作開始指示を受け付けない場合はステップS201に戻る。

0084

(ステップS202)元情報取得部131は、元情報を取得する。かかる元情報取得処理について、図3のフローチャートを用いて説明する。

0085

(ステップS203)移動体位置情報取得部132は、移動体位置情報を取得する。なお、移動体位置情報取得部132が相対的な位置を示す移動体位置情報を取得する場合、最初は、例えば、原点(0,0,0)を取得する。移動体位置情報取得処理の例について、図4のフローチャートを用いて説明する。

0086

(ステップS204)オブジェクト認識部133は、オブジェクト認識処理を行う。かかるオブジェクト認識処理の例について、図5のフローチャートを用いて説明する。

0087

(ステップS205)出力図構成部134は、出力図の構成を行う。かかる出力図構成処理について、図6のフローチャートを用いて説明する。

0088

(ステップS206)図出力部141は、ステップS205で構成された出力図を出力する。

0089

(ステップS207)判断部135は、移動物に対する判断処理を行う。かかる判断処理について、図7のフローチャートを用いて説明する。

0090

(ステップS208)判断情報出力部142は、ステップS207における判断処理の結果、判断情報が得られたか否かを判断する。判断情報が得られた場合はステップS209に行き、判断情報が得られない場合はステップS210に行く。

0091

(ステップS209)判断情報出力部142は、ステップS207で得られた1以上の判断情報を出力する。

0092

(ステップS210)受付部12は、動作終了指示を受け付けたか否かを判断する。動作終了指示を受け付けた場合は処理を終了し、動作終了指示を受け付けない場合はステップS201に戻る。

0093

次に、ステップS203の元情報取得処理の例について、図3のフローチャートを用いて説明する。

0094

(ステップS301)元情報取得部131は、カウンタiに1を代入する。

0095

(ステップS302)元情報取得部131は、i番目のレーザー発信手段が存在するか否かを判断する。i番目のレーザー発信手段が存在する場合はステップS303に行き、i番目のレーザー発信手段が存在しない場合はステップS307に行く。

0096

(ステップS303)元情報取得部131は、i番目のレーザー発信手段のレーザー識別子を取得する。なお、レーザー識別子は、通常、格納部11に格納されている。

0097

(ステップS304)元情報取得部131は、i番目のレーザー発信手段が発信したレーザーの戻り時間を取得する。なお、かかる処理は、LIDARの公知技術である。

0098

(ステップS305)元情報取得部131は、ステップS303で取得したレーザー識別子とステップS304で取得した戻り時間とを有する元情報を構成する。なお、元情報取得部131は、レーザー識別子と戻り時間とから3次元座標値を算出し、当該3次元座標値を有する元情報を構成しても良い。かかる場合、元情報取得部131は、戻り時間から原点に対する距離を取得し、レーザー識別子に対応する原点に対する角度を取得し、当該距離と角度とから、原点に対する3次元座標値を算出する。かかる処理は公知技術である。また、レーザー識別子に対応付けて、原点に対する角度が、格納部11に格納されている。

0099

(ステップS306)元情報取得部131は、カウンタiを1、インクリメントする。ステップS302に戻る。

0100

(ステップS307)元情報取得部131は、この時点の元情報群を構成し、図示しないバッファに一時蓄積する。上位処理にリターンする。なお、元情報群は、ステップS305で構成された2以上の元情報の集合である。

0101

なお、図3のフローチャートにおいて、この時点の元情報群は、例えば、一時点における移動体の周辺、360度(一周)分の元情報の集合であることは好適である。

0102

また、図3のフローチャートにおいて、元情報取得部131は、移動体の周辺の1以上の距離画像を取得しても良い。

0103

次に、ステップS203の移動体位置情報取得処理の例について、図4のフローチャートを用いて説明する。

0104

(ステップS401)移動体位置情報取得部132は、元情報取得部131が取得した1以上の各元情報が有する3次元空間上の座標値の集合、または1以上の各元情報から取得される3次元空間上の座標値の集合から、1以上の特徴点を取得し、図示しないバッファに一時蓄積する。なお、特徴点は、3Dの座標値である。

0105

(ステップS402)移動体位置情報取得部132は、図示しないバッファに、直前の時点の1以上の特徴点が格納されているか否かを判断する。1以上の特徴点が格納されている場合はステップS403に行き、格納されていない場合はステップS408に行く。

0106

(ステップS403)移動体位置情報取得部132は、移動体位置情報取得部132は、図示しないバッファから、直前の時点の1以上の特徴点を読み出す。

0107

(ステップS404)移動体位置情報取得部132は、ステップS401で取得した1以上の特徴点のうちのいずれか1以上の各特徴点に対応する特徴点であり、直前の時点の1以上の特徴点を決定する。

0108

(ステップS405)移動体位置情報取得部132は、対応する2つの特徴点の差異である移動量を算出する。なお、対応する2つの特徴点は、ステップS401で取得した現時点の特徴点と、直前の時点の特徴点である。対応するとは、例えば、周辺の点の集合から構成される形状が類似し、距離が一定範囲に留まることである。また、ここで、移動量を算出するために使用する特徴点は、非動体のオブジェクトの特徴点である。また、移動体位置情報取得部132は、2以上の特徴点の組の差異を算出し、最も多い値の差異を移動量としても良い。なお、特徴点の組とは、対応する2つの特徴点である。

0109

(ステップS406)移動体位置情報取得部132は、図示しないバッファから、直前の時点の移動体位置情報を読み出す。

0110

(ステップS407)移動体位置情報取得部132は、ステップS406で読み出した移動体位置情報と、ステップS405で取得した移動量とから、現時点の移動体位置情報を算出する。上位処理にリターンする。

0111

(ステップS408)移動体位置情報取得部132は、ステップS401で取得した1以上の特徴点に対して、原点を対応付ける。なお、原点は、開始時の移動体位置情報である。上位処理にリターンする。 次に、ステップS204のオブジェクト認識処理の例について、図5のフローチャートを用いて説明する。

0112

(ステップS501)オブジェクト認識部133は、カウンタiに1を代入する。

0113

(ステップS502)オブジェクト認識部133は、図示しないバッファに一時蓄積された元情報群の中に、i番目の元情報が存在するか否かを判断する。i番目の元情報が存在する場合はステップS503に行き、i番目の元情報が存在しない場合はステップS506に行く。

0114

(ステップS503)オブジェクト認識部133は、i番目の元情報からi番目のオブジェクト位置情報を取得する。オブジェクト認識部133は、例えば、i番目の元情報が有するレーザー識別子と対になる発信手段位置情報と発信手段方向情報とを格納部11から取得し、当該発信手段位置情報と発信手段方向情報とi番目の元情報が有する戻り時間とを用いて、i番目の元情報に対応する移動体位置情報に対する相対的な三次元座標値を取得する。そして、オブジェクト認識部133は、例えば、当該移動体位置情報と当該三次元座標値とを用いて、i番目のオブジェクト位置情報を取得する。

0115

(ステップS504)オブジェクト認識部133は、ステップS503で取得したi番目のオブジェクト位置情報を図示しないバッファに一時蓄積する。

0116

(ステップS505)オブジェクト認識部133は、カウンタiを1、インクリメントする。ステップS502に戻る。

0117

(ステップS506)オブジェクト認識部133は、カウンタjに1を代入する。

0118

(ステップS507)オブジェクト認識部133は、図示しないバッファにj番目のオブジェクト位置情報が存在するか否かを判断する。j番目のオブジェクト位置情報が存在する場合はステップS508に行き、j番目のオブジェクト位置情報が存在しない場合は上位処理にリターンする。

0119

(ステップS508)オブジェクト認識部133は、図示しないバッファからj番目のオブジェクト位置情報を取得する。

0120

(ステップS509)オブジェクト認識部133は、ステップS508で取得したj番目のオブジェクト位置情報を含むオブジェクト位置情報群であり、j番目のオブジェクト位置情報が構成する一のオブジェクトを構成するオブジェクト位置情報群を取得する。なお、このオブジェクト位置情報群は、当該一のオブジェクトを構成するオブジェクト位置情報の集合であり、j番目のオブジェクト位置情報を含む。なお、一のオブジェクトを構成するオブジェクト位置情報の集合は、例えば、予め決められた関係を満たすほど近い位置のオブジェクト位置情報の集合である。

0121

(ステップS510)オブジェクト認識部133は、直前の時点のオブジェクト位置情報群の中に、ステップS509で取得したオブジェクト位置情報群に対応するオブジェクト位置情報群が存在するか否かを判断する。存在する場合はステップS511に行き、存在しない場合はステップS514に行く。

0122

なお、ステップS509で取得したオブジェクト位置情報群に対応するオブジェクト位置情報群とは、ステップS509で取得したオブジェクト位置情報群と同じオブジェクトのオブジェクト位置情報群である。なお、このオブジェクト位置情報群により特定されるオブジェクトは、静止しているオブジェクトでも、移動物のオブジェクトでも良い。静止しているオブジェクトの場合、時点が異なる同一のオブジェクトを特定する2つのオブジェクト位置情報群は、同じ情報または一方が他方に含まれる情報である。また、移動物のオブジェクトの場合、時点が異なる同一のオブジェクトを特定する2つのオブジェクト位置情報群は、複数のオブジェクト位置情報が一定割合以上、同一幅でずれている情報である。なお、一度に移動体の360度の周辺のオブジェクト認識を行う場合、現在の時点がN回目の周辺オブジェクトの認識を行う時点である場合、直前の時点とは、(N−1)回目の周辺オブジェクトの認識を行った時点である。

0123

(ステップS511)オブジェクト認識部133は、ステップS509で取得したオブジェクト位置情報群と、ステップS509で取得したオブジェクト位置情報群に対応するオブジェクト位置情報群(以前の時点のオブジェクト位置情報群)とから、当該オブジェクト位置情報群に対応するオブジェクトが移動しているか否かを判断する。移動している場合はステップS512に行き、移動していない場合はステップS513に行く。なお、オブジェクト認識部133は、移動体の移動量を用いて、オブジェクトが移動しているか否かを判断する。

0124

(ステップS512)オブジェクト認識部133は、ステップS509で取得したオブジェクト位置情報群に対応付けて、当該オブジェクトが移動物であることを示す移動物フラグを付加する。

0125

(ステップS513)オブジェクト認識部133は、ステップS509で取得したオブジェクト位置情報群に対応付けて、当該オブジェクトが移動物でないことを示す非移動物フラグを付加する。

0126

(ステップS514)カウンタiをNだけ、インクリメントする。ステップS507に戻る。なお、Nは、一のオブジェクトを構成するオブジェクト位置情報の数である。

0127

なお、図5のフローチャートにおいて、上述した他のオブジェクト認識処理のアルゴリズムを用いても良い。 次に、ステップS205の出力図構成処理の例について、図6のフローチャートを用いて説明する。

0128

(ステップS601)出力図構成部134は、直前の出力図が存在するか否かを判断する。直前の出力図が存在する場合はステップS602に行き、直前の出力図が存在しない場合はステップS603に行く。なお、直前の出力図とは、直前の時点で出力した出力図である。直前の時点で出力した出力図とは、現時点の直前の時点で取得した元情報の集合を用いて構成された出力図である。

0129

(ステップS602)出力図構成部134は、図示しないバッファから、直前の出力図を構成したオブジェクト位置情報を取得する。

0130

(ステップS603)出力図構成部134は、カウンタiに1を代入する。

0131

(ステップS604)出力図構成部134は、移動物フラグに対応するi番目のオブジェクト位置情報群が存在するか否かを判断する。存在する場合はステップS605に行き、存在しない場合はステップS607に行く。なお、移動物フラグに対応するオブジェクト位置情報群とは、移動物であるオブジェクトのオブジェクト位置情報群である。

0132

(ステップS605)出力図構成部134は、移動物フラグに対応するi番目のオブジェクト位置情報群に対して、削除フラグを付加する。なお、削除フラグが付加されたオブジェクト位置情報群は、出力図を構成するために使用されない。削除フラグを付加することは、削除することでも良い。

0133

(ステップS606)出力図構成部134は、カウンタiを1、インクリメントする。ステップS604に戻る。

0134

(ステップS607)出力図構成部134は、現時点に取得したオブジェクト位置情報の集合を、出力図を構成するオブジェクト位置情報の集合に付加する。なお、ここで、現時点に取得したオブジェクト位置情報の集合の中で、同一オブジェクトを構成する同一のオブジェクト位置情報が、出力図を構成するオブジェクト位置情報の集合の中に存在する場合、出力図構成部134は、当該オブジェクト位置情報を、出力図を構成するオブジェクト位置情報の集合の中に付加しないことは好適である。

0135

(ステップS608)出力図構成部134は、ステップS202で取得されてきた1以上の移動体位置情報を用いて、移動体の移動軌跡を示す軌跡情報を取得する。

0136

(ステップS609)出力図構成部134は、ステップS607で取得したオブジェクト位置情報の集合と、ステップS608で取得した軌跡情報とを用いて、出力図を構成する。上位処理にリターンする。

0137

なお、図6のフローチャートにおいて、軌跡情報に代えて、現時点の移動体の位置を示す移動体位置情報に基づいて、移動体の現在の位置を示す出力図を構成しても良い。

0138

次に、ステップS207の判断処理の例について、図7のフローチャートを用いて説明する。

0139

(ステップS701)判断部135は、カウンタiに1を代入する。

0140

(ステップS702)判断部135は、バッファの中のオブジェクト位置情報群を用いて、i番目の移動物が存在するか否かを判断する。i番目の移動物が存在する場合はステップS703に行き、i番目の移動物が存在しない場合は上位処理にリターンする。

0141

(ステップS703)判断部135は、i番目の移動物のオブジェクト位置情報群を、図示しないバッファから取得する。

0142

(ステップS704)判断部135は、カウンタjに1を代入する。

0143

(ステップS705)判断部135は、j番目の予め決められた条件が格納部11に存在するか否かを判断する。条件が存在する場合はステップS706に行き、条件が存在しない場合は、ステップS709に行く。

0144

(ステップS706)判断部135は、ステップS703で取得したi番目の移動物のオブジェクト位置情報群に対応するi番目の移動物のオブジェクトが、j番目の予め決められた条件に合致するか否かを判断する。合致する場合はステップS707に行き、合致しない場合は」ステップS708に行く。ここで、判断部135は、i番目の移動物の、異なる2以上の時点のオブジェクト位置情報群(移動の軌跡を示す情報)を、j番目の予め決められた条件に適用し、当該条件を満たすか否かを判断することは好適である。

0145

(ステップS707)判断部135は、j番目の予め決められた条件に対応する判断情報を取得する。なお、この判断情報は、i番目の移動物のオブジェクト位置情報群にも対応していることは好適である。かかる場合、判断情報は、i番目の移動物のオブジェクトを特定する情報を含む。i番目の移動物のオブジェクトを特定する情報は、i番目の移動物のオブジェクト位置情報群でも良いし、i番目の移動物のオブジェクト識別子でも良い。なお、判断部135は、例えば、j番目の予め決められた条件に対応する判断情報を格納部11から読出す

0146

(ステップS708)判断部135は、カウンタjを1、インクリメントする。ステップS705に戻る。

0147

(ステップS709)判断部135は、カウンタiを1、インクリメントする。ステップS702に戻る。

0148

以下、本実施の形態における情報処理装置1の具体的な動作について説明する。情報処理装置1の概念図は図8である。図8において、801は、情報処理装置1である。802は、LIDARであり、多数のレーザー発信手段を有する。また、情報処理装置1は、ここでは、例えば、ロボット、または自動車等の移動体、AGV無人搬送車)等である。かかる場合、以下の4つの具体例を説明する。
(具体例1)

0149

情報処理装置1の元情報取得部131は、上述した処理により、LIDAR802から多数の元情報を取得する。なお、LIDAR802は、移動体の周辺の360度に対してレーザーを発信し、当該レーザーの反射を受信し、一度に元情報を取得する、とする。

0150

次に、移動体位置情報取得部132は、元情報取得部131が取得した元情報を用いて、上述した処理により、移動体位置情報を取得する。

0151

次に、オブジェクト認識部133は、移動体位置情報取得部132が使用した元情報と同じ元情報を用いて、上述した処理により、移動体である情報処理装置1の周辺のオブジェクトを認識する。

0152

そして、オブジェクト認識部133は、同じ元情報を用いて取得された移動体位置情報とオブジェクトの認識結果とを、対応付けてバッファに蓄積する。なお、オブジェクトの認識結果とは、例えば、各オブジェクトの2以上のオブジェクト位置情報、1以上の属性値である。

0153

そして、出力図構成部134は、上述した処理により、例えば、複数のオブジェクトを含む出力図を構成し、図出力部141は、かかる出力図を出力する。出力図の例は、図9である。図9において、オブジェクト認識部133が認識したオブジェクト901、902、903は、直方体のBOXにより囲われている。

0154

図9において、移動体の周辺から人やモノを検出し、識別・解析・追跡することができる。また、例えば、情報処理装置1によれば、特定の範囲に存在する人間や車輌などを検知してトラッキングすることで、自律移動システムにおける状況判断や、人流動線の解析などが可能となる。
(具体例2)

0155

情報処理装置1の元情報取得部131は、上述した処理により、LIDAR802から多数の元情報を取得する。

0156

次に、オブジェクト認識部133は、上述した処理により、移動体である情報処理装置1の周辺のオブジェクトを認識する。

0157

また、移動体位置情報取得部132は、上述した処理により、移動体位置情報を取得する。

0158

なお、移動体位置情報取得部132もオブジェクト認識部133も、同一の元情報を用いて、処理を行う。なお、同一の元情報を用いることは、例えば、移動体位置情報取得部132が元情報を用いて取得した情報を、オブジェクト認識部133が用いることも含む、とする。

0159

そして、出力図構成部134は、上述した処理により、例えば、複数のオブジェクト、および移動体の軌跡を示す軌跡情報を含む出力図を構成する。

0160

次に、図出力部141は、かかる出力図を出力する。出力図の例は、図10である。図10において、1001が現在の移動体の位置を示す図である。

0161

移動体位置情報取得部132は、連続的な3Dデータから観測点(情報処理装置1)の移動量を推定する(移動体位置情報を取得する)。そして、図10において、情報処理装置1は、実世界における移動体の位置をリアルタイムで認識することができる。かかることは、自動運転における自己位置の認識や、搬送機器トレースによる貨物配置の把握などを可能とすることを示す。
(具体例3)

0162

情報処理装置1の元情報取得部131は、上述した処理により、LIDAR802から多数の元情報を取得する。

0163

次に、移動体位置情報取得部132は、上述した処理により、移動体位置情報を取得する。

0164

次に、オブジェクト認識部133は、上述した処理により、移動体である情報処理装置1の周辺のオブジェクトを認識する。

0165

また、判断部135は、上述した処理により、例えば、近接する人間について、手の動き姿勢といった動作を認識することが可能である。そして、判断部135は、危険なシーンの検出や、サービスロボットにおけるインタラクションなど、多様な機能の実現を可能とする(図11参照)。

0166

なお、判断情報出力部142は、例えば、「危険であることを示す情報」等を出力したり、危険な人を出力図の中で目立つ態様で出力したりする。
(具体例4)

0167

情報処理装置1の元情報取得部131は、上述した処理により、LIDAR802から多数の元情報を取得する。

0168

次に、オブジェクト認識部133は、上述した処理により、移動体である情報処理装置1の周辺のオブジェクトを認識する。

0169

また、移動体位置情報取得部132は、上述した処理により、移動体位置情報を取得する。そして、出力図構成部134は、上述した処理により、例えば、複数のオブジェクト、および移動体の軌跡を示す軌跡情報を含む出力図を構成する。なお、かかる出力図は、移動体による移動観測により得られるデータを自己位置認識に基づき統合した3次元マップである。

0170

そして、図出力部141は、出力図を出力する。また、かかる出力例は、図12である。図12によれば、例えば、特定の範囲を立体的に把握することが可能となり、施工結果の確認や計画との差異の検証に使用することができる。

0171

以上、本実施の形態によれば、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を同時に行い、移動体と周辺のオブジェクトとの位置関係をリアルタイムに出力できる。

0172

また、本実施の形態によれば、移動体の位置の認識と当該移動体の全方位のオブジェクトの認識を同時に行い、移動体と周辺のオブジェクトとの位置関係をリアルタイムに出力できる。

0173

また、本実施の形態によれば、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を同時に行い、かつオブジェクトの動作が条件に合致した場合(例えば、危険な場合)に、その旨を報知できる。

0174

さらに、本実施の形態によれば、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を同時に行い、移動体移動履歴と、移動体と周辺のオブジェクトとの位置関係をリアルタイムに出力できる。

0175

なお、本実施の形態における情報処理装置1によれば、例えば、自動車・建設機械・搬送機器・サービスロボットなどの自律移動システムにおいて、実世界における自己の位置を認識しつつ、周辺環境に存在する人やモノを検出・識別し、行動計画の策定を可能とする。また、情報処理装置1によれば、例えば、施設内や地下といった、GPSの使用が困難な場所においても自己位置を認識することができる。また、情報処理装置1は、周辺の車輌・作業員の検出や、寸法などの施工状態のリアルタイムな計測により、無人化施工総合的に支援できる。また、情報処理装置1において、搬送機器の移動経路をトレースし、運搬された貨物の場所を記録できる。また、サイズなどの問題で管理が難しかった資材についても、必要になった時点で容易に配置を確認・把握することが可能である。さらに、広い視野を持つLIDARにより、広範囲を対象とした人流の計測が可能である。また、複数のセンサを効率的に配置することで、空港などの大規模施設においても滞留箇所などの解析を実現することができる。

0176

なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、例えば、コンピュータを、移動する移動体の周辺に存在するオブジェクトの三次元空間における位置を特定する元になる1または2以上の元情報を取得する元情報取得部と、前記元情報取得部が取得した1以上の元情報を用いて、移動する移動体の三次元空間における位置を特定する移動体位置情報を取得する移動体位置情報取得部と、前記元情報取得部が取得した1以上の元情報を用いて、1以上のオブジェクトを特定し、当該1以上の各オブジェクトと各オブジェクトの2以上のオブジェクト位置情報とを対応付けるオブジェクト認識部と、前記移動体位置情報と前記1以上の各オブジェクトの2以上のオブジェクト位置情報とを用いて、前記移動体と前記1以上の各オブジェクトの相対的な位置関係が認識可能な三次元の図である出力図を構成する出力図構成部と、前記出力図を出力する図出力部として機能させるためのプログラムである。

0177

図13は、本実施の形態におけるプログラムを実行して、情報処理装置1を実現するコンピュータシステム300の外観図である。

0178

本実施の形態の各装置は、コンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって実現され得る。図13において、コンピュータシステム300は、ディスクドライブ305を含むコンピュータ301と、キーボード302と、マウス303と、ディスプレイ304とを備える。なお、キーボード302やマウス303やディスプレイ304をも含むシステム全体をコンピュータと呼んでもよい。

0179

図14は、コンピュータシステム300の内部構成の一例を示す図である。図14において、コンピュータ301は、MPU3013と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013等に接続され、アプリケーションプログラム命令を一時的に記憶すると共に、一時記憶空間を提供するRAM3016と、アプリケーションプログラム、システムプログラム、およびデータを記憶するハードディスク3017と、MPU3013やROM3015等を相互に接続するバス3014と等を備える。

0180

コンピュータシステム300に、情報処理装置1の機能を実行させるプログラムは、例えば、CD−ROM等のディスク3101に記憶されて、ディスクドライブ3012に挿入され、ハードディスク3017に転送されてもよい。これに代えて、そのプログラムは、ネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されてもよい。プログラムは、実行の際にRAM3016にロードされる。なお、プログラムは、ハードディスク3016、またはネットワークから直接、ロードされてもよい。また、ハードディスク3016に代えて他の着脱可能な記録媒体(例えば、DVDやメモリカード等)を介して、プログラムがコンピュータシステム300に読み込まれてもよい。

0181

プログラムは、コンピュータの詳細を示す901に、情報処理装置1の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム300がどのように動作するのかについては周知であり、詳細な説明は省略する。なお、以上は例示であり、情報処理装置1を実現するコンピュータのハードウェア構成は問わない。

0182

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

0183

また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

0184

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることはいうまでもない。

0185

以上のように、本発明にかかる情報処理装置は、移動体の位置の認識と当該移動体の周辺のオブジェクトの認識を同時に行い、移動体と周辺のオブジェクトとの位置関係をリアルタイムに出力できるという効果を有し、情報処理装置等として有用である。

0186

1情報処理装置
11 格納部
12 受付部
13 処理部
14 出力部
131 元情報取得部
132移動体位置情報取得部
133オブジェクト認識部
134 出力図構成部
135 判断部
141 図出力部
142判断情報出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ