図面 (/)

技術 情報処理装置、情報処理方法及び情報処理プログラム

出願人 ソニー株式会社
発明者 鈴木健斗岡森厚
出願日 2019年4月15日 (1年10ヶ月経過) 出願番号 2019-077272
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-177289
状態 未査定
技術分野 交通制御システム 航行(Navigation) 移動体の位置、進路、高度又は姿勢の制御
主要キーワード ウェアラブルデバイス 個人所有物 部抜粋 ウェアラブル機器 自動掃除 霧センサ 平均移動距離 駆動系システム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

周囲の環境の変化に対して安定性のある自己位置推定及び地図作成処理を行うことのできる情報処理装置情報処理方法及び情報処理プログラムを提供する。

解決手段

情報処理装置100は、ランドマークの配置、及び、周囲の地形データを取得する取得部131と、ランドマークの配置を示した地図であるランドマーク地図122に基づいて、自己位置所在する範囲を推定する第1推定部132と、周囲の地形データを示した地図である地形データ地図125に基づいて、自己位置が所在する範囲の中から自己位置を推定する第2推定部133と、を備える。

概要

背景

自動車ロボット等の移動体に関する技術として、移動体が周囲の地図作成を行うとともに自己位置推定を行う、いわゆるSLAM(Simultaneous Localization and Mapping)と称される技術の開発が進んでいる。

SLAMに関して、自己位置推定する際に利用する基準物体ランドマーク)の信頼度に基づいて影響度を算出し、影響度に基づいて自己位置を推定する技術が知られている。

概要

周囲の環境の変化に対して安定性のある自己位置推定及び地作成処理を行うことのできる情報処理装置情報処理方法及び情報処理プログラムを提供する。情報処理装置100は、ランドマークの配置、及び、周囲の地形データを取得する取得部131と、ランドマークの配置を示した地であるランドマーク地に基づいて、自己位置が所在する範囲を推定する第1推定部132と、周囲の地形データを示した地である地形データ地に基づいて、自己位置が所在する範囲の中から自己位置を推定する第2推定部133と、を備える。

目的

具体的には、例えば、自動運転制御部は、自車の衝突回避あるいは衝撃緩和車間距離に基づく追従走行車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ランドマークの配置、及び、周囲の地形データを取得する取得部と、前記ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置所在する範囲を推定する第1推定部と、前記周囲の地形データを示した地図である地形データ地図に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する第2推定部と、を備えた情報処理装置

請求項2

前記取得部は、前記ランドマークの配置とともに、当該ランドマークの移動範囲を取得し、前記第1推定部は、前記ランドマークの配置及び当該ランドマークの移動範囲に基づいて、自己位置が所在する範囲を推定し、前記第2推定部は、前記地形データ地図及び前記ランドマークの移動範囲に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する請求項1に記載の情報処理装置。

請求項3

前記取得部は、複数のランドマークの配置とともに、当該複数のランドマークの移動範囲を取得し、前記第1推定部は、前記複数のランドマークの配置及び当該複数のランドマークの移動範囲に基づいて、自己位置が所在する範囲を推定し、前記第2推定部は、前記地形データ地図及び前記複数のランドマークの移動範囲に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する請求項2に記載の情報処理装置。

請求項4

前記第2推定部は、各々のランドマークの移動範囲に基づいて推定される複数の自己位置の候補に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する請求項3に記載の情報処理装置。

請求項5

前記取得部は、前記ランドマークの配置とともに、当該ランドマークのカテゴリ別に予め設定された移動範囲を取得し、前記第1推定部は、前記ランドマークの配置及び当該ランドマークのカテゴリ別に予め設定された移動範囲に基づいて、自己位置が所在する範囲を推定し、前記第2推定部は、前記地形データ地図及び前記ランドマークのカテゴリ別に予め設定された移動範囲に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する請求項1に記載の情報処理装置。

請求項6

前記取得部は、前記情報処理装置の動作を制御する制御データを取得し、前記第2推定部は、前記地形データ地図及び前記制御データに基づいて、前記自己位置が所在する範囲の中から自己位置を推定する請求項1に記載の情報処理装置。

請求項7

前記ランドマークは、個人携帯可能な文房具又は食器を含む個人所有物である請求項1に記載の情報処理装置。

請求項8

前記取得部は、画像センサを用いた画像認識処理により前記ランドマークの配置を取得するとともに、デプスセンサを用いたデプスデータにより前記地形データを取得する請求項1に記載の情報処理装置。

請求項9

前記取得部は、RGB(RedGreenBlue)カメラにより撮影される画像を用いた画像認識処理により前記ランドマークの配置を取得するとともに、LiDAR(LightDetectionandRanging、LaserImagingDetectionandRanging)方式を用いて測定されたデプスデータにより前記地形データを取得する請求項8に記載の情報処理装置。

請求項10

コンピュータが、ランドマークの配置、及び、周囲の地形データを取得し、前記ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲を推定し、前記周囲の地形データを示した地図である地形データ地図に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する情報処理方法

請求項11

コンピュータを、ランドマークの配置、及び、周囲の地形データを取得する取得部と、前記ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲を推定する第1推定部と、前記周囲の地形データを示した地図である地形データ地図に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する第2推定部と、として機能させるための情報処理プログラム

技術分野

0001

本開示は、情報処理装置情報処理方法及び情報処理プログラムに関する。詳しくは、移動体自己位置推定地図作成処理に関する。

背景技術

0002

自動車ロボット等の移動体に関する技術として、移動体が周囲の地図作成を行うとともに自己位置推定を行う、いわゆるSLAM(Simultaneous Localization and Mapping)と称される技術の開発が進んでいる。

0003

SLAMに関して、自己位置推定する際に利用する基準物体ランドマーク)の信頼度に基づいて影響度を算出し、影響度に基づいて自己位置を推定する技術が知られている。

先行技術

0004

特開2008−40677号公報

発明が解決しようとする課題

0005

従来技術によれば、移動するおそれのある対象物であっても、自己位置推定のためのランドマークとして用いることができる。

0006

しかしながら、従来技術には改善の余地がある。例えば、従来技術では、頻繁に移動するものの自己位置推定には有用な対象物(例えば、個人上に配置される個人所有物等)の影響度が低く算出され、自己位置推定において利用価値が低いと判定される可能性がある。この場合、移動体が周囲の環境の変化に対応しきれず、自己位置推定の精度が低下するおそれがある。

0007

そこで、本開示では、周囲の環境の変化に対して安定性のある自己位置推定及び地図作成処理を行うことのできる情報処理装置、情報処理方法及び情報処理プログラムを提案する。

課題を解決するための手段

0008

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ランドマークの配置、及び、周囲の地形データを取得する取得部と、前記ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲を推定する第1推定部と、前記周囲の地形データを示した地図である地形データ地図に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する第2推定部と、を備える。

図面の簡単な説明

0009

実施形態に係る情報処理の一例を示す図である。
実施形態に係る情報処理の一例を説明するための図(1)である。
実施形態に係る情報処理の一例を説明するための図(2)である。
実施形態に係る情報処理の一例を説明するための図(3)である。
実施形態に係る自己位置推定処理の一例を説明するための図(1)である。
実施形態に係る自己位置推定処理の一例を説明するための図(2)である。
実施形態に係る自己位置推定処理の一例を説明するための図(3)である。
実施形態に係る自己位置推定処理の一例を説明するための図(4)である。
実施形態に係る情報処理装置の構成例を示す図である。
実施形態に係るランドマーク観測履歴情報の一例を示す図である。
実施形態に係るランドマーク地図情報の一例を示す図である。
実施形態に係るランドマーク移動範囲情報の一例を示す図である。
実施形態に係るランドマーク設定情報の一例を示す図である。
実施形態に係る地形データ地図情報の一例を示す図である。
実施形態に係る処理の流れを示すフローチャート(1)である。
実施形態に係る処理の流れを示すフローチャート(2)である。
本開示の自己位置推定の算出処理の一例を説明するための図である。
変形例に係る情報処理システムの構成例を示す図である。
情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

実施例

0010

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

0011

以下に示す項目順序に従って本開示を説明する。
1.実施形態
1−1.実施形態に係る情報処理の一例
1−2.実施形態に係る情報処理装置の構成
1−3.実施形態に係る情報処理の手順
1−4.実施形態に係る変形例
1−4−1.ランドマークの移動範囲算出の例
1−4−2.情報処理システム
2.その他の実施形態
2−1.移動体の構成
2−2.その他
3.本開示に係る情報処理装置の効果
4.ハードウェア構成

0012

(1.実施形態)
[1−1.実施形態に係る情報処理の一例]
図1は、実施形態に係る情報処理の一例を示す図である。実施形態に係る情報処理は、図1に示す情報処理装置100によって実行される。

0013

情報処理装置100は、自動運転を行う所定の移動体であり、また、実施形態に係る情報処理を実行する情報処理端末である。実施形態では、情報処理装置100は、例えば、工場や学校、オフィススペース等で稼働する自動掃除ロボット等である。なお、以下の説明では、情報処理装置100が移動体である自動掃除ロボット等に搭載されている、あるいは、自動掃除ロボット自体が情報処理装置100として機能するものとする。

0014

まず、図1では、実施形態に係る情報処理が実行される状況について説明する。一般に、工場等では、キャビネットや机等の什器規則的に配置される。例えば、図1に示すように、情報処理装置100が稼働する空間には、個人用の机とキャビネットが組み合わされた什器21、什器22、什器23及び什器24が配置される。なお、図1の例では、什器21、什器22、什器23及び什器24は、各々が異なる作業員割り当てられた什器である。このため、什器21、什器22、什器23及び什器24の各々には、図1に示すように、パソコン電話機マグカップ文房具等の個人所有物31、個人所有物32、個人所有物33及び個人所有物34がそれぞれ設置されるものとする。

0015

情報処理装置100は、図1に示すような空間において、SLAMを用いて地図作成処理及び自己位置推定処理を行う。なお、図1に示す空間は、工場や学校、オフィススペース等を想定するため、GPS(Global Positioning System)による位置推定が困難であることを前提とする。かかる処理においては、例えば以下に示すような問題が生じる。

0016

第1に、一般的なSLAMの地図作成処理では、原則として動かない対象物をランドマークとして登録し、頻繁に動く対象物はランドマークとして登録されないため、自己位置推定の精度が低下する可能性がある。例えば、図1で示した個人の所有物であるマグカップや文房具等は、個人の什器21〜24を特定するために有用な情報であるものの、ランドマークとして登録されない可能性が高い。これにより、SLAMを行う機器は、類似する什器が連続した空間を個々に認識することができず、自己位置を推定することが困難になる場合がある。

0017

第2に、SLAMを行う機器が個人所有物をランドマークとして登録したとしても、必ずしも自己位置推定の精度が向上するとは限らない。例えば、SLAMを行う機器が個人所有物をランドマークとして登録する場合、所定の空間を複数回走行し、時間を置いて個人所有物の位置を複数回観測することになる。このとき、複数回の観測において個人所有物の位置が変化していたとすると、SLAMを行う機器は、誤差による影響で位置が変化したのか、個人所有物が移動したために位置がずれたのか、判定することが難しい。このため、SLAMを行う機器は、個人所有物をランドマークとして有用に活用できない可能性がある。

0018

さらに、工場やオフィススペース等では、衛生的な観点や美的な観点から、SLAMを行う機器が自己位置推定を行うためのマーカを設置することが難しいという事情もある。このような状況から、類似する地形が連続する工場等では、SLAMを行い、自己位置を精度よく推定することが困難である。

0019

例えば、図1の例では、情報処理装置100は、什器21と什器22との間に所在する場合と、什器23と什器24との間に所在する場合とで、自己位置を誤って認識する可能性がある。これは、情報処理装置100が、什器21と什器22との間に所在した際のセンサ情報(例えば、周囲の地形を観測するポイントクラウド情報等)と、什器23と什器24との間に所在した際のセンサ情報とで、情報の相違を認識できない可能性があるためである。

0020

このように、SLAMに関しては、例えば什器等が規則的に配置されているといった、類似した地形が連続するような空間において、自己位置を精度よく推定したいといった課題が存在する。

0021

そこで、本開示に係る情報処理装置100は、以下に説明する処理により、上記課題を解決する。具体的には、情報処理装置100は、移動することが予測される個人所有物をランドマークとして利用する。そして、情報処理装置100は、ランドマークの移動範囲に基づいて自己位置を推定することにより、類似した地形が存在する空間において、暗転性の高い(ロバストな)SLAMを行う。以下、実施形態に係る情報処理の概要について、図2乃至図8を用いて説明する。

0022

図2は、実施形態に係る情報処理の一例を説明するための図(1)である。まず、情報処理装置100は、周囲の物体を観測し、観測した物体のうち所定の条件に適合する物体をランドマークとして検出する。例えば、図1に示すランドマーク情報L01は、情報処理装置100と、情報処理装置100の周辺で検出された複数のランドマーク(ランドマーク情報L01内に白丸で示す)との位置関係を示している。

0023

また、情報処理装置100は、観測した周囲のランドマークの配置を示したランドマーク地図T01を有する。例えば、情報処理装置100は、周辺の空間を数回行き来し、ランドマークの観測及び検出を繰り返すことにより、ランドマーク地図T01を作成する。

0024

そして、情報処理装置100は、現時点で観測したランドマークの配置を示したランドマーク情報L01を参照し(ステップS1)、ランドマーク情報L01とランドマーク地図T01とを比較する処理を行う(ステップS2)。これにより、情報処理装置100は、ランドマーク情報L02を得る。ランドマーク情報L02は、ランドマーク情報L01において周囲で観測されたランドマークが、ランドマーク地図T01と照合することで、具体的にどのような物体であるかが対応付けられたことを示す。

0025

続いて、情報処理装置100は、ランドマーク地図T01を参照するとともに(ステップS3)、ランドマーク情報L02を参照する(ステップS4)。そして、情報処理装置100は、ランドマーク情報L02をランドマーク地図T01の情報に重ね合わせて、自己位置の候補位置を可能な限り抽出する。

0026

このとき、情報処理装置100は、各ランドマークが移動すると想定される移動範囲を示したランドマーク移動範囲R01を参照してもよい(ステップS5)。すなわち、情報処理装置100は、現時点のランドマークに基づいて厳密な自己位置を検出するのではなく、ランドマークが移動すると想定される範囲に基づいて、自己位置が含まれると想定される範囲(以下、「候補範囲」と称する)を抽出する。図1の例では、情報処理装置100は、周囲のランドマークの配置に基づいて、例えば、地図上で自己が所在すると想定される範囲である候補範囲C01や候補範囲C02を抽出する。

0027

このように、情報処理装置100は、ランドマークの配置を取得し、取得したランドマークの配置を示したランドマーク地図T01を予め作成しておく。また、情報処理装置100は、ランドマークの配置を取得し、取得したランドマークの配置をランドマーク地図T01と照合することにより、自己位置が所在する範囲を推定する。

0028

続けて、図3を用いて、ステップS5以降の処理を説明する。図3は、実施形態に係る情報処理の一例を説明するための図(2)である。

0029

情報処理装置100は、ステップS5において推定された自己位置候補情報C11を参照する(ステップS11)。自己位置候補情報C11とは、例えば、図1で示した候補範囲C01や候補範囲C02を示す情報(例えば、座標位置情報等)である。

0030

さらに、情報処理装置100は、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)等のセンサを用いて、ポイントクラウドP01を得る(ステップS12)。また、情報処理装置100は、LiDAR等のセンサを用いて、地形データ地図M01を得る(ステップS13)。

0031

そして、情報処理装置100は、得られた地形データ地図M01と、候補範囲C01や候補範囲C02との位置合わせを行い、地形データ地図M02を得る。地形データに基づく位置合わせは、大域的に行うと誤マッチングが起こりやすいが、図2で示した処理に基づき自己位置の候補を絞り込んでおくことによって誤マッチングを防止することができる。さらに、情報処理装置100は、候補範囲C01と候補範囲C02と、新たに取得されたポイントクラウドP01とを比較することにより(ステップS14)、より正確な候補範囲を絞り込む。図3の例では、情報処理装置100は、ポイントクラウドP01が示す図形データから、実際の自己位置が候補範囲C02ではなく、候補範囲C01であると判定したものとする。さらに、情報処理装置100は、ポイントクラウドP01に基づいて、候補範囲C01よりもさらに狭い範囲で自己位置を絞り込むことができる。図3の例では、情報処理装置100は、かかる情報に基づいて、新たな自己位置情報である候補位置C03を算出する。図3に示す地形データ地図M03は、候補位置C03が反映された地図を示している。

0032

なお、図3では、情報処理装置100が、処理の流れの中で地形データ地図M02や地形データ地図M03を作成する例を示しているが、これは説明の便宜上示したものであり、必ずしも地形データ地図M02や地形データ地図M03を作成することを要しない。

0033

続けて、図4を用いて、ステップS14以降の処理を説明する。図4は、実施形態に係る情報処理の一例を説明するための図(3)である。

0034

候補位置C03を算出したのち、情報処理装置100は、現時点のランドマークを観測したランドマーク情報L11を取得する(ステップS21)。また、情報処理装置100は、ステップS14で算出した候補位置C03の情報を取得する(ステップS22)。また、情報処理装置100は、事前に算出した、各ランドマークが移動する範囲を示す情報であるランドマーク移動範囲T02を取得する(ステップS23)。

0035

情報処理装置100は、取得した情報に基づいて、より精度の高い自己位置推定処理を行う。例えば、情報処理装置100は、ランドマーク情報L11と候補位置C03に基づいて、自己位置の候補とをランドマーク移動範囲T02に反映させた、ランドマーク移動範囲T03を得る。そして、情報処理装置100は、各ランドマークの移動範囲を考慮し、候補位置C03と比較してさらに精度の高い自己位置を推定する。詳細は後述するが、情報処理装置100は、ランドマーク移動範囲T03に示した周囲のランドマークであって、移動する可能性のあるランドマーク(ランドマーク移動範囲T03上では矢印にてランドマークが移動した可能性を示している)の移動範囲に基づいて、自己位置を推定する。

0036

ここで、ランドマークの移動範囲について説明する。情報処理装置100は、ランドマークの観測処理を繰り返しながら空間を移動するが、その際、ランドマークが移動した移動範囲を算出し、算出した情報を記憶しておく。なお、ランドマーク移動範囲は、情報処理装置100の算出によって求められる情報であってもよいし、予め初期設定されたランドマークのカテゴリ別の移動範囲であってもよい。予め初期設定されたランドマークのカテゴリ別の移動範囲とは、例えば、ランドマーク(実施形態では個人所有物)の種別によってある程度の移動の範囲を予め人為的に設定した情報である。具体的には、ランドマークのカテゴリ(種別)は、具体的には、ペン立て等の文房具や、タンブラー等の個人用食器等である。

0037

ランドマークの移動範囲は、例えば、ランドマークの観測履歴に基づき、時系列でのランドマークの平均移動距離などの集約結果である。例えば、ランドマークの観測位置のばらつきが大きくなるほど、ランドマークの移動範囲は大きくなる。なお、情報処理装置100は、複数回の観測において同一のランドマークが観測できなかった場合、非常に大きく移動したと捉え、非常に大きい移動範囲を与えてもよい。

0038

一例として、情報処理装置100は、下記式(1)を用いて、ランドマークの移動範囲を算出する。

0039

0040

上記式(1)において、lmrlは、所定のランドマークlの移動範囲を示す。また、POSl(t)は、時刻tにおけるランドマークの位置情報(座標等)を示す。また、nlは、ランドマークlに関する観測試行回数を示す。

0041

なお、上記式(1)は一例であり、情報処理装置100は、種々の既知算出手法統計手法を用いてランドマークの移動範囲を算出してもよい。例えば、情報処理装置100は、移動距離の2乗誤差を用いてランドマークの移動範囲を算出してもよい。この場合、大きな移動誤差が強く反映されるようになるため、情報処理装置100は、ランドマークがロストした場合のペナルティを大きくすることができる。

0042

情報処理装置100は、このようにして算出したランドマーク移動範囲を、ランドマークを用いた自己位置推定時に利用する。以下、自己位置の推定処理について、図5乃至図8を用いて説明する。図5は、実施形態に係る自己位置推定処理の一例を説明するための図(1)である。

0043

例えば、図5に示すランドマーク移動範囲T04には、各ランドマークと、各ランドマークの移動範囲(点線で示す)を示す。また、ランドマーク移動範囲T04は、情報処理装置100の自己位置の候補である候補位置43を含む。例えば、候補位置43は、図4で算出された候補位置C03に対応する。

0044

図5の例では、情報処理装置100は、ランドマーク移動範囲41に基づいて、候補位置43がとりうる範囲を算出するものとする。この場合、候補位置43は、ランドマーク移動範囲41に基づいてとりうる自己位置の範囲が拡大する。結果として、情報処理装置100は、自己位置がとりうる範囲として候補範囲42を算出する。

0045

続いて、図6を用いて、情報処理装置100が、他のランドマーク移動範囲を利用して自己位置を推定する例を説明する。図6は、実施形態に係る自己位置推定処理の一例を説明するための図(2)である。

0046

例えば、図6に示すランドマーク移動範囲T05には、各ランドマークと、各ランドマークの移動範囲(点線で示す)を示す。また、ランドマーク移動範囲T05は、情報処理装置100の自己位置の候補である候補位置47を含む。例えば、候補位置47は、図4で算出された候補位置C03に対応する。

0047

図6の例では、情報処理装置100は、ランドマーク移動範囲45に基づいて、候補位置47がとりうる範囲を算出するものとする。この場合、候補位置47は、ランドマーク移動範囲45に基づいてとりうる自己位置の範囲が拡大する。結果として、情報処理装置100は、自己位置がとりうる範囲として候補範囲46を算出する。図6に示すように、ランドマーク移動範囲45は図5に示したランドマーク移動範囲41よりも狭いため、候補範囲46は、図5に示した候補範囲42よりも狭くなる。これは、情報処理装置100が、より狭い範囲で自己位置を推定可能なことを示す。

0048

続いて、図7を用いて、情報処理装置100が、複数のランドマーク移動範囲を利用して自己位置を推定する例を説明する。図7は、実施形態に係る自己位置推定処理の一例を説明するための図(3)である。

0049

例えば、図7に示すランドマーク移動範囲T06には、各ランドマークと、各ランドマークの移動範囲(点線で示す)を示す。また、ランドマーク移動範囲T06は、情報処理装置100の自己位置の候補である候補位置53を含む。例えば、候補位置53は、図4で算出された候補位置C03に対応する。

0050

図7の例では、情報処理装置100は、ランドマーク移動範囲T07に含まれる各ランドマークの移動範囲である、ランドマーク移動範囲41、ランドマーク移動範囲45、ランドマーク移動範囲51、ランドマーク移動範囲52に基づいて、候補位置53がとりうる範囲を算出するものとする。なお、情報処理装置100は、ランドマーク移動範囲55は、所定の閾値よりも広い移動範囲を有することから、信頼性の低いランドマークであるとして、自己位置推定処理に用いなくてもよい。

0051

図7に示すように、複数のランドマーク移動範囲を用いて自己位置を推定する場合、情報処理装置100は、各々のランドマーク移動範囲から求められる候補範囲を重ね合わせ、複数候補位置54を得る。そして、情報処理装置100は、例えば、求められた複数候補位置54が重なる領域の重心を自己位置と推定する。情報処理装置100は、実際の算出においては、例えば、拡張カルマンフィルタ(Extended Kalman Filter、EKF)で複数の仮説統合するような算出を行ってもよい。また、情報処理装置100は、各ランドマーク移動範囲に基づいて求められる候補範囲に対して、重みづけを行ってもよい。例えば、情報処理装置100は、より狭いランドマーク移動範囲に基づいて求められた候補範囲ほど、自己位置推定における信頼性が高いランドマークであるとみなして、重みを大きくする等の調整を行ってもよい。

0052

図7自己位置推定結果図8に示す。図8は、実施形態に係る自己位置推定処理の一例を説明するための図(4)である。

0053

例えば、図8に示すランドマーク移動範囲T07は、図7に示した複数候補位置54に基づいて推定された自己位置56が含まれる。自己位置56は、例えば、図7に示した複数候補位置54の各々を重ね合わせた結果として得られた位置(一例として、複数候補位置54の各々の中心点の重心)である。このように、情報処理装置100は、各ランドマークが移動したとしても、ランドマークの移動範囲を考慮した自己位置推定を実行することで、結果的に精度の高い自己位置を得ることができる。

0054

以上、説明してきたように、情報処理装置100は、ランドマークの配置、及び、周囲の地形データを取得する。そして、情報処理装置100は、ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲(候補範囲)を推定するとともに、周囲の地形データを示した地図である地形データ地図に基づいて、自己位置が所在する範囲の中から自己位置を推定する。

0055

これにより、情報処理装置100は、頻繁に移動することが想定されるランドマークを用いて自己位置推定を行うことができる。結果として、情報処理装置100は、例えば工場等の類似する地形が連続するような空間において、SLAMの性能を向上させることができるので、周囲の環境の変化に対して安定性のある自己位置推定及び地図作成処理を行うことができる。

0056

以下、上記の情報処理を実行する情報処理装置100の構成の詳細について、図9以下を用いて詳細に説明する。

0057

[1−2.実施形態に係る情報処理装置の構成例]
図9を用いて、情報処理装置100の構成について説明する。図9は、実施形態に係る情報処理装置100の構成例を示す図である。図9に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130と、検知部140と、入力部150と、出力部160とを有する。なお、図9に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置100の機能は、複数の物理的に分離された装置に分散して実装されてもよい。

0058

通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、USB(Universal Serial Bus)ホストコントローラUSBポート等により構成されるUSBインターフェイスであってもよい。また、通信部110は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。例えば、通信部110は、無線LAN方式セルラー通信方式の無線通信インターフェイスであってもよい。通信部110は、情報処理装置100の通信手段或いは送信手段として機能する。例えば、通信部110は、ネットワークN(インターネット等)と有線又は無線で接続され、ネットワークNを介して、他の情報処理端末等との間で情報の送受信を行う。

0059

記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク光ディスク等の記憶装置によって実現される。記憶部120は、各種データを記憶する。

0060

例えば、記憶部120は、自動運転における画像認識処理のために、検出対象となる物体を学習した学習器画像認識モデル)や、検出した物体に関するデータ等を記憶する。また、記憶部120は、自動運転を実行するための地図データ等を記憶してもよい。

0061

また、記憶部120は、情報処理装置100による自動運転によって制御される車両に関する情報を記憶してもよい。例えば、記憶部120は、車体の大きさ、重量、車種等の情報を記憶する。

0062

また、記憶部120は、図9に示すランドマーク観測履歴情報121、ランドマーク地図情報122、ランドマーク移動範囲情報123、ランドマーク設定情報124、地形データ地図情報125の各々の情報を記憶する。図10以下を用いて、各情報について説明する。

0063

ランドマーク観測履歴情報121は、情報処理装置100がランドマークを観測した履歴情報を示す。図10は、実施形態に係るランドマーク観測履歴情報121の一例を示す図である。図10に示した例では、ランドマーク観測履歴情報121は、「ランドマークID」、「観測時刻」、「カテゴリ」、「詳細」、「地図マッチング情報」、「姿勢」、「地図相対姿勢」といった項目を有する。

0064

「ランドマークID」は、ランドマークを識別するための識別情報を示す。「観測時刻」は、ランドマークが観測された時刻を示す。なお、図10の例では、観測時刻を「B01」といった概念で示しているが、実際には、観測時刻の項目には、ランドマークが観測された具体的な時刻を示す。なお、観測時刻の項目には、単一の時刻情報ではなく、複数の時刻情報が保持されてもよい。例えば、複数回観測されたランドマークに対しては、複数の時刻情報が保持されてもよい。

0065

「カテゴリ」は、ランドマークに設定されるカテゴリ(種別)を示す。カテゴリは、例えば、情報処理装置100の管理者等によって人為的に設定される。「詳細」は、ランドマークの詳細情報を示す。詳細情報は、例えば、ランドマークの観測時に取得される情報であり、例えば、ランドマークの色や所有者等の情報である。

0066

「地図マッチング情報」は、ランドマークがランドマーク地図において照合できたか否かという情報を示す。「姿勢」は、観測したランドマークの地図上の姿勢(位置、向き等)を示す。「地図相対姿勢」は、ランドマーク地図からランドマークへの相対姿勢(位置、向き等)を示す。

0067

すなわち、図10に示した例では、ランドマークIDが「A01」であるランドマークは、観測時刻が「B01」であり、カテゴリが「マグカップ」であり、詳細が「D01」であることを示す。また、ランドマークIDが「A01」であるランドマークは、地図マッチング情報が「E01」であり、姿勢が「F01」であり、地図相対姿勢が「G01」であることを示す。なお、上記の「B01」、「D01」、「E01」、「F01」及び「G01」は、概念的な情報であり、実際には、上記した具体的な情報が含まれる。

0068

ランドマーク地図情報122は、ランドマークがプロットされた地図情報を示す。ランドマークがプロットされた地図情報とは、例えば、図2に示したランドマーク地図T01である。図11は、実施形態に係るランドマーク地図情報122の一例を示す図である。図11に示した例では、ランドマーク地図情報122は、「更新時刻」、「ランドマーク情報」といった項目を有する。

0069

「更新時刻」は、ランドマーク地図が更新された時刻を示す。「ランドマーク情報」は、ランドマーク地図に含まれる各ランドマークの情報を示す。図11の例では、ランドマーク情報を「H01」といった概念で示しているが、実際には、観測時刻の項目には、図10で示した各ランドマークの情報や、地図上におけるランドマークの配置(座標や位置情報等)情報が記憶される。

0070

すなわち、図11に示した例では、ランドマーク地図は、更新時刻「B11」に更新されており、ランドマーク地図に含まれるランドマーク情報がH01」であることを示す。

0071

ランドマーク移動範囲情報123は、ランドマークの移動範囲を示す。図12は、実施形態に係るランドマーク移動範囲情報123の一例を示す図である。図12に示した例では、ランドマーク移動範囲情報123は、「ランドマークID」、「移動範囲」といった項目を有する。

0072

「ランドマークID」は、図10に示した同一の項目に対応する。「移動範囲」は、ランドマークが移動する範囲を数値化した情報を示す。なお、ランドマークの移動範囲は、地図上の座標情報等で示されてもよいし、移動範囲の大きさを示す情報(例えば観測された位置からの直径等)で示されてもよいし、ある地点から別の地点までの移動を示すベクトル等で示されてもよい。図12の例では、移動範囲を「J11」といった概念で示しているが、実際には、移動範囲の項目には、具体的な移動範囲を示す数値情報等が記憶される。

0073

すなわち、図12に示した例では、ランドマークID「A11」によって識別されるランドマークは、移動範囲が「J11」であることを示す。

0074

ランドマーク設定情報124は、予め人為的に設定されたランドマークの移動範囲を示す。図13は、実施形態に係るランドマーク設定情報124の一例を示す図である。図13に示した例では、ランドマーク設定情報124は、「カテゴリ」、「設定移動範囲」といった項目を有する。

0075

「カテゴリ」は、図10に示した同一の項目に対応する。「設定移動範囲」は、予め人為的に設定された、ランドマークが移動する範囲を数値化した情報を示す。図13の例では、移動範囲を「J21」といった概念で示しているが、実際には、移動範囲の項目には、具体的な移動範囲を示す数値情報等が記憶される。

0076

すなわち、図13に示した例では、カテゴリ「マグカップ」には、移動範囲として「J21」が予め設定されていることを示す。

0077

地形データ地図情報125は、地形データに基づいて作成された地図に関する情報を示す。地形データに基づいて作成された地図とは、例えば、図3に示した地形データ地図M01である。図14は、実施形態に係る地形データ地図情報125の一例を示す図である。図14に示した例では、地形データ地図情報125は、「更新時刻」、「地形データ(セル情報)」といった項目を有する。

0078

「更新時刻」は、地形データ地図が更新された時刻を示す。「地形データ(セル情報)」は、地形データに基づく地図情報におけるセル情報を示す。図14の例では、地形データを「K01」といった概念で示しているが、実際には、地形データの項目には、具体的な地形データを示す情報等が記憶される。地形データは、例えばLiDAR等の観測技術に基づき作成されるグリッド状のデータである。また、地形データは、作成される地図上では、確率的に表現される場合がある。例えば、図3に示した地形データ地図M01では、黒色に近付くほど障害物存在確率が高まることを示している。また、地形データ地図M01では、黒色に囲まれた領域は、地形データが観測できなかった空間(未スキャンエリア)を示す。

0079

すなわち、図14に示した例では、地形データ地図は、更新時刻「B21」に更新されており、地形データ地図に含まれる地形データ(セル情報)が「K01」であることを示す。

0080

図9に戻って説明を続ける。検知部140は、情報処理装置100に関する各種情報を検知する。具体的には、検知部140は、情報処理装置100の周囲の環境や、情報処理装置100の所在する位置情報や、情報処理装置100と接続されている機器に関する情報等を検知する。検知部140は、各種の情報を検知するセンサと読み替えてもよい。実施形態に係る検知部140は、第1センサ141と、第2センサ142と、車体情報検知部143とを有する。

0081

第1センサ141は、ランドマークを観測するために利用される各種センサである。例えば、第1センサ141は、ランドマークを画像認識するために用いられるカメラ等である。具体的には、第1センサ141は、認識用RGB(Red Green Blue)画像が撮影可能なRGBカメラであり、具体的には、単眼カメラステレオカメラアクティブIR(infrared)カメラ等である。なお、第1センサ141は、この例に限られず、ランドマークを観測可能なセンサであれば、既知のいずれのセンサであってもよい。

0082

第2センサ142は、地形データを取得するために利用される各種センサである。例えば、第2センサ142は、地形データを得るためのデプスデータや測距データを検知可能なデプスセンサであり、具体的には、LiDAR方式を利用するセンサ、ステレオカメラ、アクティブIRカメラ等である。なお、第2センサ142は、この例に限られず、地形データを検知可能なセンサであれば、既知のいずれのセンサであってもよい。

0083

車体情報検知部143は、情報処理装置100及び情報処理装置100が搭載される車体の情報を測定するセンサである。

0084

例えば、車体情報検知部143は、情報処理装置100及び情報処理装置100が搭載される車体の挙動を検知する。例えば、車体情報検知部143は、車体の加速度を検知する加速度センサや、挙動を検知するジャイロセンサIMU(Inertial Measurement Unit)等である。

0085

また、車体情報検知部143は、情報処理装置100が搭載された車体の挙動を測定してもよい。例えば、車体情報検知部143は、車体のブレーキアクセルステアリング等の操作量を測定する。例えば、車体情報検知部143は、車体のブレーキ、アクセル、ステアリングの各々に搭載されたセンサ等を利用して、ブレーキやアクセルに対して加えられた力(圧力等)に応じた量を測定する。また、車体情報検知部143は、車体の速度や加速度、加速及び減速量ヨーレート情報等を測定してもよい。車体情報検知部143は、これら車体の挙動に関する情報について、上記したセンサ等に限らず、様々な既知の技術によって測定してもよい。

0086

また、車体情報検知部143は、情報処理装置100の周囲の音を収集するマイクロフォンや、情報処理装置100の周囲の照度を検知する照度センサや、情報処理装置100の周囲の湿度を検知する湿度センサや、情報処理装置100の所在位置における磁場を検知する地磁気センサ等を含んでもよい。

0087

入力部150は、情報処理装置100を利用するユーザ等から各種操作を受け付けるための処理部である。入力部150は、例えば、タッチパネルやマイクロフォン等を介して、各種情報の入力を受け付ける。

0088

出力部160は、各種情報を出力するための処理部である。出力部160は、例えばディスプレイスピーカー等である。

0089

制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって、情報処理装置100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASIC(Application Specific IntegratedCircuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。

0090

図9に示すように、制御部130は、取得部131と、第1推定部132と、第2推定部133と、運転制御部134とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図9に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

0091

取得部131は、各種情報を取得する。例えば、取得部131は、情報処理装置100が搭載された移動体が備えるセンサ(検知部140)によって取得された各種情報を取得する。

0092

例えば、取得部131は、ランドマークに関する情報を取得する。具体的には、取得部131は、第1センサ141によって検知された情報に基づいて、ランドマークの配置を取得する。なお、ランドマークは、自己位置の推定に用いられる目印であり、通常は移動頻度の低い物体が選ばれるが、実施形態では、上記したように、マグカップやペン立て等、個人が携帯可能な文房具又は食器を含む個人所有物であってもよい。

0093

取得部131は、第1センサ141として、画像センサを用いた画像認識処理によりランドマークの配置を取得する。より具体的には、取得部131は、RGBカメラにより撮影される画像を用いた画像認識処理によりランドマークの配置を取得する。

0094

例えば、取得部131は、画像認識処理によって、画像からランドマーク候補となる物体を検出する。このとき、取得部131は、ランドマーク地図の作成のため、画像データとして第2センサ142によって検知されたデプス画像を用いてもよい。また、デプス画像は、デプス推定で代用することも可能である。

0095

また、取得部131は、物体認識の結果に基づいてランドマークとして適合する物体を抽出した場合、抽出した物体にランドマークIDを割り当て、割り当てた情報を記憶部120内に記憶する。なお、取得部131は、ランドマークの検出及び抽出において、予めランドマークとして検出及び抽出する物体を学習した学習モデル等を用いて画像認識を行ってもよい。

0096

また、取得部131は、ランドマークの配置とともに、ランドマークの移動範囲を取得する。具体的には、取得部131は、図5等で示したように、複数のランドマークの配置とともに、複数のランドマークの移動範囲を取得する。取得部131は、取得したランドマークの移動範囲をランドマークID等と対応付けて、記憶部120内に格納する。

0097

また、取得部131は、ランドマークの配置とともに、ランドマークのカテゴリ別に予め設定された移動範囲を取得してもよい。例えば、取得部131は、情報処理装置100の管理者等による人為的な入力操作によって、ランドマークのカテゴリ別に予め設定された移動範囲を取得する。後述するように、情報処理装置100は、ランドマークの移動範囲が未知の場合には、予め設定された既存の移動範囲を記憶部120から読み出し、かかる移動範囲に基づいて、自己位置の推定を行ってもよい。

0098

また、取得部131は、地形データに関する情報を取得する。具体的には、取得部131は、第2センサ142によって検知された情報に基づいて、地形データを取得する。

0099

例えば、取得部131は、第2センサ142として、デプスセンサを用いたデプスデータにより地形データを取得する。より具体的には、取得部131は、LiDAR方式を用いて測定されたデプスデータにより地形データを取得する。このように、取得部131は、地形ベースのSLAMを行うことにより、地形データ地図情報を取得する。取得部131は、取得した地形データを記憶部120内に格納する。

0100

また、取得部131は、ランドマークや地形データに関する情報以外に、情報処理装置100の動作を制御する制御データ等を取得してもよい。例えば、取得部131は、車体情報検知部143によって検知されたIMUデータ等を取得する。

0101

取得部131は、取得した情報を、適宜、記憶部120に格納する。また、取得部131は、記憶部120内から、適宜、処理に要する情報を取得してもよい。また、取得部131は、検知部140や入力部150を介して処理に要する情報を取得してもよいし、ネットワークNを介して、外部装置から情報を取得してもよい。すなわち、取得部131は、必ずしも情報処理装置100自身が検知した情報を取得するのではなく、例えば外部装置が撮影した画像等を取得してもよい。

0102

第1推定部132は、ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲を推定する。例えば、第1推定部132は、図2で示したように、ランドマーク地図に基づいて、自己位置が所在すると想定される範囲(候補範囲)を推定する。

0103

このとき、第1推定部132は、ランドマークの配置及びランドマークの移動範囲に基づいて、自己位置が所在する範囲を推定する。すなわち、第1推定部132は、ランドマークが移動していた可能性を考慮して、自己位置の候補範囲を推定する。

0104

また、第1推定部132は、複数のランドマークの配置及び当該複数のランドマークの移動範囲に基づいて、自己位置が所在する範囲を推定する。例えば、第1推定部132は、図2で示したように、ランドマーク地図に含まれる複数のランドマークとの位置関係に基づいて候補範囲を推定する。これにより、第1推定部132は、単独のランドマークから候補範囲を推定する場合と比べて、候補範囲を絞り込むことができる。

0105

なお、第1推定部132は、ランドマークの配置及びランドマークのカテゴリ別に予め設定された移動範囲に基づいて、自己位置が所在する範囲を推定してもよい。例えば、第1推定部132は、ランドマークの移動範囲の信頼性が低い場合(移動範囲を観測するための試行回数が閾値以下である場合等)には、ランドマークのカテゴリ別に予め設定された移動範囲に基づいて、候補範囲を絞り込んでもよい。

0106

第2推定部133は、周囲の地形データを示した地図である地形データ地図に基づいて、自己位置が所在する範囲の中から自己位置を推定する。例えば、第2推定部133は、図3で示したように、地形データ地図(ポイントクラウド等により得られる情報を含む)に基づいて、自己位置が所在すると想定される範囲である候補範囲の中から、自己位置を推定する。

0107

また、第2推定部133は、地形データ地図及びランドマークの移動範囲に基づいて、自己位置が所在する範囲の中から自己位置を推定する。例えば、第2推定部133は、図5乃至図8で示したように、ランドマークの移動範囲を考慮し、推定した候補範囲の中からさらに自己位置を絞り込む。

0108

第2推定部133は、地形データ地図及び複数のランドマークの移動範囲に基づいて、自己位置が所在する範囲の中から自己位置を推定する。より具体的には、第2推定部133は、各々のランドマークの移動範囲に基づいて推定される複数の自己位置の候補に基づいて、自己位置が所在する範囲の中から自己位置を推定する。例えば、第2推定部133は、図8で示したように、複数のランドマークの移動範囲から推定される自己位置を重ね合わせることにより、推定した候補範囲の中から自己位置を絞り込む。これにより、第2推定部133は、精度よく自己位置を推定することができる。

0109

なお、第2推定部133は、地形データ地図及びランドマークのカテゴリ別に予め設定された移動範囲に基づいて、自己位置が所在する範囲の中から自己位置を推定してもよい。すなわち、第2推定部133は、必ずしも観測により取得された移動範囲ではなく、予め設定された移動範囲に基づいて自己位置の推定を行ってもよい。これにより、第2推定部133は、自己位置推定を開始した直後で、ランドマーク移動範囲情報が存在しない場合等でも、デフォルト値として予め設定された値を用いて処理を行うことができる。

0110

なお、第2推定部133は、地形データ地図及び制御データに基づいて、自己位置が所在する範囲の中から自己位置を推定してもよい。例えば、第2推定部133は、地形データ地図とIMUデータとを含めて自己位置を推定する。これにより、第2推定部133は、制御データを用いない推定と比較して、自己位置の推定精度を向上させることができる。

0111

運転制御部134は、第2推定部133よりも後段の処理を実行する。例えば、運転制御部134は、第2推定部133によって推定された自己位置に基づいて、移動体による自動運転を制御する。

0112

[1−3.実施形態に係る情報処理の手順]
次に、図15及び図16を用いて、実施形態に係る情報処理の手順について説明する。図15は、実施形態に係る処理の流れを示すフローチャート(1)である。

0113

図15に示すように、情報処理装置100は、検知部140を介して、制御データを取得する(ステップS101)。また、情報処理装置100は、LiDARデータを取得する(ステップS102)。また、情報処理装置100は、カメラ画像を取得する(ステップS103)。

0114

情報処理装置100は、LiDARデータ(デプスデータ)を処理部に送るとともに(ステップS104)。カメラ画像を処理部に送る(ステップS105)。そして、情報処理装置100は、取得した情報に基づいて物体認識を行う(ステップS106)。情報処理装置100は、物体認識の結果(例えば、画像から検出した物体リスト)を後段に送る(ステップS107)。

0115

情報処理装置100は、物体認識の結果から、ランドマークを抽出する(ステップS108)。続けて、情報処理装置100は、抽出したランドマークのリストを後段に送る(ステップS109)。情報処理装置100は、ランドマーク地図探索を実行する(ステップS110)。具体的には、情報処理装置100は、ステップS108で抽出したランドマークと、ランドマーク地図上のランドマークと一致するものを探索し、マッピングを行う。

0116

情報処理装置100は、地図探索の結果として、ランドマーク地図とのマッピングを示した情報(例えば図10で示した地図マッチング情報)を付与した情報と、デプス情報とを統合し、情報処理装置100の相対座標でランドマークを表現したデータを後段に送る(ステップS111)。なお、かかるデータは、複数のランドマークを扱うことを考慮して、リスト形式で管理されてもよい。

0117

その後、情報処理装置100は、地図探索の結果と、制御データとを取得し(ステップS112)、自己位置候補を算出する(ステップS113)。

0118

具体的には、情報処理装置100は、直前の自己位置から制御データを利用して自己位置を予測し、ランドマーク探索結果と組み合わせてランドマークの座標を予測する。そして、情報処理装置100は、ランドマークの予測結果とランドマーク地図及びランドマーク移動範囲との照合によって、自装置が取りうる自己位置の候補範囲を算出(推定)する。なお、情報処理装置100は、制御データとして、IMUデータのみならず、オドメトリ情報ロボット座標系での位置、向き、線形加速度、角速度等)を取得してもよい。また、情報処理装置100は、直前のフレーム等の処理で得られた地形ベースのSLAM結果を取得し(ステップS119)、自己位置候補を算出する。また、情報処理装置100は、各ランドマークの移動範囲を取得し、ランドマーク地図と組み合わせることで、ランドマークの移動範囲を考慮した候補位置の算出を行う。なお、情報処理装置100は、各ランドマークの移動範囲が取得できていない場合、予め設定されたデフォルト値となる移動範囲を用いて処理を行う。

0119

情報処理装置100は、算出した自己位置候補(例えば、自装置において最も取りうる姿勢に加え、ランドマークの移動量を考慮して取りうる座標のセル位置をリスト形式で表現したデータ)を後段に送る(ステップS114)。

0120

続けて、情報処理装置100は、制御データ及びLiDARデータ(ポイントクラウド)を取得し(ステップS115及びステップS116)、地形ベースのSLAMを実行する(ステップS117)。

0121

具体的には、情報処理装置100は、LiDARデータ等から作成された地形ベースの地図(地形データ地図)を利用し、詳細な自己位置推定を実行する。このとき、情報処理装置100は、環境変化に応じて各地図を更新したり、ループ閉じ込み(Loop Closure)等の技術に基づく誤差の補正を行ったりしてもよい。

0122

より具体的には、情報処理装置100は、ポイントクラウド情報に基づいて、自装置の移動を考慮しながら重ね合わせて地図を作成したり、作成済みの地図と照らし合わせて自己位置推定を行ったりする。また、情報処理装置100は、制御データ及び過去の自己位置に基づいて、未来の自己位置を予測する。なお、地形ベースの位置合わせでは、類似形状があった場合に誤マッチングが起きやすいが、ランドマークベースの自己位置候補で探索エリアを絞り込むことで、誤マッチングを防止することができる。

0123

情報処理装置100は、地形ベースのSLAMにより得られた自己位置推定結果を運転制御部等に送る(ステップS118)。自己位置推定結果は、例えば、過去の自装置の軌跡の誤差を取り除いたものを、例えばリスト形式で出力する。また、自己位置推定結果には、自己位置が推定された地形ベースの地図が含まれてもよい。なお、地図の更新が行われた場合、更新されたセル及び値(座標)のペアのリストが合わせて出力される。また、情報処理装置100は、更新された地図を、次の自己位置候補の算出処理のタイミングで利用可能なように、前段に送る(ステップS119)。また、情報処理装置100は、自己位置推定結果を後段に送る(ステップS120)。

0124

続けて、情報処理装置100は、ランドマーク位置推定を行う(ステップS121)。例えば、情報処理装置100は、推定した自己位置とランドマーク地図探索結果からランドマークの姿勢を推定し、元のランドマーク地図と比較して、ランドマーク移動範囲を算出する。具体的には、情報処理装置100は、推定された自己位置情報と、ランドマーク地図探索結果とを組み合わせて、ランドマークの位置を推定する。さらに、情報処理装置100は、推定したランドマークの位置と、ランドマーク地図上の位置とを比較し、ランドマークの移動量を計算する。これにより、情報処理装置100は、ランドマークの移動や姿勢等の情報(ランドマーク観測情報)を取得する。例えば、ランドマーク観測情報は、図10に示したランドマーク観測履歴情報121に対応する。情報処理装置100は、ランドマーク観測情報を後段に送る(ステップS122)。

0125

情報処理装置100は、各ランドマークにおけるランドマーク観測情報に基づいて、ランドマーク地図とランドマーク移動範囲を更新する(ステップS123)。

0126

情報処理装置100は、更新した情報を後段に送ったのち(ステップS124)、例えば動作を終了する旨のユーザ入力を受け付け(ステップS125)、自装置の動作を終了するか否かを判定する(ステップS126)。

0127

動作が終了しない場合(ステップS126;No)、情報処理装置100は、再び周囲のデータを取得する処理を繰り返す。一方、動作を終了する場合(ステップS126;Yes)、情報処理装置100は、情報処理を終了する(ステップS128)。

0128

続いて、図16について説明する。図16は、実施形態に係る処理の流れを示すフローチャート(2)である。図16は、図15を一部抜粋したものであり、情報処理の手順と記憶部120内のデータのやりとりとの関係を示すものである。

0129

図16に示すように、情報処理装置100は、ランドマーク地図探索において、ランドマーク地図情報122を参照する(ステップS110)。また、情報処理装置100は、自己位置候補の算出において、ランドマーク地図情報122やランドマーク移動範囲情報123又はランドマーク設定情報124を参照する(ステップS113)。また、情報処理装置100は、地形ベースのSLAMを実行する場合、地形データ地図情報125を参照したり、更新したりする(ステップS117)。

0130

また、情報処理装置100は、ランドマーク位置推定において、ランドマーク観測履歴情報121やランドマーク地図情報122を参照したり、更新したりする(ステップS121)。また、情報処理装置100は、ランドマーク地図又は移動範囲更新において、ランドマーク観測履歴情報121、ランドマーク地図情報122、ランドマーク移動範囲情報123又はランドマーク設定情報124を参照したり、更新したりする(ステップS123)。

0131

[1−4.実施形態に係る変形例]
実施形態に係る情報処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置100の他の実施形態について説明する。

0132

[1−4−1.ランドマークの移動範囲算出の例]
上記実施形態では、情報処理装置100は、ランドマークの観測試行を繰り返すことにより、ランドマークの移動範囲を算出する例を示した。ここで、ランドマークの移動範囲とは、ランドマーク位置の確率密度関数に相当する。

0133

すなわち、ランドマーク移動範囲が小さいということは、ランドマークの存在確率を縦軸とした場合ある特定の位置でピークを持つ形状となり、ピーク位置でのランドマークの存在確率が高くなることを示す。一方、ランドマーク移動範囲が大きいということは、ランドマークの存在確率はなだらかな形状となり、ランドマークの存在確率もばらつきが大きくなる。

0134

この関係は、典型的には、ランドマーク存在確率をガウス分布として表現できることを示している。すなわち、ランドマーク観測履歴に基づいてガウス分布を推定すると、ガウス分布の平均(中心)がランドマーク位置、ガウス分布の分散がランドマーク移動範囲と推定することができる。情報処理装置100は、かかる算出手法により、ランドマーク移動範囲を求めてもよい。

0135

この点について、図17を用いて説明する。図17は、本開示の自己位置推定の算出処理の一例を説明するための図である。図17(a)に示す分布60は、ランドマークの位置のばらつきを示している(横軸xは、ランドマークが観測された位置(座標)を示す。さらに、ランドマークの存在確率を縦軸で示すと、分布60は、グラフ65のように示される。グラフ65のグラフのピークは、ランドマークの存在確率に対応し、グラフに描いた横方向の幅が、ランドマークの移動範囲に対応する。

0136

また、図17(b)に示す分布70は、分布60と比較して、ランドマーク位置のばらつきが大きいランドマークに関する分布を示している。この場合、ランドマークの存在確率を縦軸で示すと、分布70は、グラフ75のように示される。グラフ75のグラフのピークは、ランドマークの存在確率に対応し、グラフに描いた横方向の幅が、ランドマークの移動範囲に対応する。グラフ75は、グラフ65と比較して、ランドマークの移動範囲が広く、また、ランドマークの存在位置を一意に特定することが難しい(存在確率がばらけている)ことがわかる。

0137

このように、情報処理装置100は、ランドマークの移動範囲に関して、観測された位置のすべてに同じ確率でランドマークが存在すると判定するのではなく、確率密度関数を用いてランドマーク移動範囲を算出(推定)してもよい。これにより、情報処理装置100は、より実状に即したランドマーク移動範囲を算出することができる。

0138

[1−4−2.情報処理システム]
上記実施形態では、情報処理装置100は、自装置が本開示に係る情報処理を実行するとともに、自動運転を制御する移動体でもある例を示した。しかし、情報処理装置100は、クライアント200とサーバ300とを有する情報処理システム1として実現されてもよい。

0139

例えば、クライアント200は、ランドマーク認識用RGBカメラ201と、地形計測用のデプスセンサ202を有する。ランドマーク認識用RGBカメラ201は、図9に示した第1センサ141に対応する。地形計測用のデプスセンサ202は、図9に示した第2センサ142に対応する。

0140

また、クライアント200は、プロセッサ203やメモリ204、記憶部205を備える。例えば、クライアント200は、プロセッサ203やメモリ204、記憶部205というハードウェア資源を利用して、図9に示した取得部131や運転制御部134、入力部150、出力部160に対応する処理を行う。また、クライアント200は、通信部206を介して、取得した情報をサーバ300に送信する。

0141

サーバ300は、通信部301を介して、クライアント200から情報を受信する。また、サーバ300は、プロセッサ302やメモリ303、記憶部304というハードウェア資源を利用して、図9に示した第1推定部132や第2推定部133等に対応する処理を行う。

0142

このように、本開示に係る情報処理は、必ずしも情報処理装置100のようなスタンドアロンで実行されるのではなく、クライアント200及びサーバ300を含む情報処理システム1によって実行されてもよい。なお、情報処理システム1を構成する装置の台数は、図18に示した例に限られない。例えば、サーバ300は、複数台のクライアント200を制御してもよい。また、情報処理システム1は、必ずしも情報処理装置100が実行する処理を全て行うことを要しない。また、情報処理システム1の構成は、必ずしも図18に示した構成に限らず、柔軟に変更されてもよい。また、サーバ300は、ローカルネットワーク上に設置されてもよいし、クラウド上に設置される、いわゆるクラウドサーバであってもよい。

0143

(2.その他の実施形態)
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。

0144

[2−1.移動体の構成]
上記実施形態では、情報処理装置100が移動体に搭載される例を示したが、情報処理装置100は、自動運転を行う自律型移動体(例えば、自動車)そのものによって実現されてもよい。この場合、情報処理装置100は、図9に示した構成の他に、以下に示す構成を有してもよい。なお、以下に示す各部は、例えば、図9に示した構成に含まれてもよい。

0145

例えば、移動体は、自動運転制御部、検出部、自己位置推定部、状況分析部、計画部、動作制御部を有する。また、移動体は、入力部、データ取得部、車両通信部、車内機器出力制御部、出力部、駆動系制御部、駆動系システム、ボディ系制御部、ボディ系システム、車両記憶部、及び、自動運転制御部を備えてもよい。

0146

入力部は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声ジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、情報処理装置100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、情報処理装置100の各部に供給する。

0147

データ取得部は、移動体の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体の各部に供給する。

0148

例えば、データ取得部は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイール操舵角エンジン回転数モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

0149

また、例えば、データ取得部は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ霧センサ日照センサ雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサレーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。

0150

さらに、例えば、データ取得部は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。

0151

また、例えば、データ取得部は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、運転者撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

0152

車両通信部は、車内機器、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動体の各部から供給されるデータを送信したり、受信したデータを移動体の各部に供給したりする。なお、車両通信部がサポートする通信プロトコルは、特に限定されるものではなく、また、車両通信部が、複数の種類の通信プロトコルをサポートすることも可能である。

0153

例えば、車両通信部は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器と無線通信を行う。また、例えば、車両通信部は、接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器と有線通信を行う。

0154

さらに、例えば、車両通信部は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、車両通信部は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、車両通信部は、車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、車両通信部は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞通行規制又は所要時間等の情報を取得する。

0155

車内機器は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

0156

出力制御部は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部に供給することにより、出力部からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部は、データ取得部の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部に供給する。また、例えば、出力制御部は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部に供給する。

0157

出力部は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部は、表示装置インストルメントパネルオーディオスピーカヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイスプロジェクタランプ等を備える。出力部が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

0158

駆動系制御部は、各種の制御信号を生成し、駆動系システムに供給することにより、駆動系システムの制御を行う。また、駆動系制御部は、必要に応じて、駆動系システム以外の各部に制御信号を供給し、駆動系システムの制御状態通知等を行う。

0159

駆動系システムは、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システムは、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構舵角を調節するステアリング機構制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。

0160

ボディ系制御部は、各種の制御信号を生成し、ボディ系システムに供給することにより、ボディ系システムの制御を行う。また、ボディ系制御部は、必要に応じて、ボディ系システム以外の各部に制御信号を供給し、ボディ系システムの制御状態の通知等を行う。

0161

ボディ系システムは、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システムは、キーレスエントリシステムスマートキーシステムパワーウィンドウ装置パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプバックランプブレーキランプウィンカフォグランプ等)等を備える。

0162

車両記憶部は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。車両記憶部は、移動体の各部が用いる各種プログラムやデータ等を記憶する。例えば、車両記憶部は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

0163

自動運転制御部は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部は、自車の衝突回避あるいは衝撃緩和車間距離に基づく追従走行車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部は、検出部、自己位置推定部、状況分析部、計画部、及び、動作制御部を備える。

0164

検出部は、自動運転の制御に必要な各種の情報の検出を行う。検出部は、車外情報検出部、車内情報検出部、及び、車両状態検出部を備える。

0165

車外情報検出部は、移動体の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機交通標識道路標示等が含まれる。また、例えば、車外情報検出部は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部は、検出処理の結果を示すデータを自己位置推定部、状況分析部のマップ解析部、交通ルール認識部、及び、状況認識部、並びに、動作制御部の緊急事態回避部等に供給する。

0166

車内情報検出部は、移動体の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調覚醒度集中度疲労度視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部は、検出処理の結果を示すデータを状況分析部の状況認識部、及び、動作制御部の緊急事態回避部等に供給する。

0167

車両状態検出部は、移動体の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部は、検出処理の結果を示すデータを状況分析部の状況認識部、及び、動作制御部の緊急事態回避部等に供給する。

0168

自己位置推定部は、車外情報検出部、及び、状況分析部の状況認識部等の移動体の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部は、推定処理の結果を示すデータを状況分析部のマップ解析部、交通ルール認識部、及び、状況認識部等に供給する。また、自己位置推定部は、自己位置推定用マップを車両記憶部に記憶させる。

0169

状況分析部は、自車及び周囲の状況の分析処理を行う。状況分析部は、マップ解析部、交通ルール認識部、状況認識部、及び、状況予測部を備える。

0170

マップ解析部は、自己位置推定部及び車外情報検出部等の移動体の各部からのデータ又は信号を必要に応じて用いながら、車両記憶部に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部は、構築したマップを、交通ルール認識部、状況認識部、状況予測部、並びに、計画部のルート計画部、行動計画部、及び、動作計画部等に供給する。

0171

交通ルール認識部は、自己位置推定部、車外情報検出部、及び、マップ解析部等の移動体の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部は、認識処理の結果を示すデータを状況予測部等に供給する。

0172

状況認識部は、自己位置推定部、車外情報検出部、車内情報検出部、車両状態検出部、及び、マップ解析部等の移動体の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。

0173

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

0174

状況認識部は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部及び状況予測部等に供給する。また、状況認識部は、状況認識用マップを車両記憶部に記憶させる。

0175

状況予測部は、マップ解析部、交通ルール認識部及び状況認識部等の移動体の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

0176

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

0177

状況予測部は、予測処理の結果を示すデータを、交通ルール認識部及び状況認識部からのデータとともに、計画部のルート計画部、行動計画部、及び、動作計画部等に供給する。

0178

ルート計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部は、計画したルートを示すデータを行動計画部等に供給する。

0179

行動計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、ルート計画部により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部は、発進、停止、進行方向(例えば、前進後退左折右折方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部は、計画した自車の行動を示すデータを動作計画部等に供給する。

0180

動作計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、行動計画部により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部は、加速、減速、及び、走行軌道等の計画を行う。動作計画部は、計画した自車の動作を示すデータを、動作制御部の加減速制御部及び方向制御部等に供給する。

0181

動作制御部は、自車の動作の制御を行う。動作制御部は、緊急事態回避部、加減速制御部、及び、方向制御部を備える。

0182

緊急事態回避部は、車外情報検出部、車内情報検出部、及び、車両状態検出部の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部は、緊急事態の発生を検出した場合、急停車急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部は、計画した自車の動作を示すデータを加減速制御部及び方向制御部等に供給する。

0183

加減速制御部は、動作計画部又は緊急事態回避部により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値演算し、演算した制御目標値を示す制御指令を駆動系制御部に供給する。

0184

方向制御部は、動作計画部又は緊急事態回避部により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部は、動作計画部又は緊急事態回避部により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部に供給する。

0185

[2−2.その他]
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

0186

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

0187

また、上述してきた各実施形態及び変形例は、処理内容矛盾させない範囲で適宜組み合わせることが可能である。また、上記実施形態では、移動体として自動走行ロボットを例に挙げたが、本開示の情報処理は、自動走行ロボット以外の移動体にも適用可能である。例えば、移動体は、自動二輪車自動三輪車等の小型車両や、バストラック等の大型車両、あるいは、ドローン等の自律型移動体であってもよい。

0188

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

0189

(3.本開示に係る情報処理装置の効果)
上述してきたように、本開示に係る情報処理装置(実施形態では情報処理装置100)は、取得部(実施形態では取得部131)と、第1推定部(実施形態では第1推定部132)と、第2推定部(実施形態では第2推定部133)とを有する。取得部は、ランドマークの配置、及び、周囲の地形データを取得する。第1推定部は、ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲を推定する。第2推定部は、周囲の地形データを示した地図である地形データ地図に基づいて、自己位置が所在する範囲の中から自己位置を推定する。

0190

このように、本開示に係る情報処理装置は、ランドマーク地図に基づいて自己位置が所在する範囲を推定し、さらに地形データ地図に基づき当該範囲から自己位置を推定する。これにより、情報処理装置は、周囲の環境の変化に対して安定性のある自己位置推定及び地図作成処理を行うことができる。

0191

また、取得部は、ランドマークの配置とともに、当該ランドマークの移動範囲を取得する。第1推定部は、ランドマークの配置及び当該ランドマークの移動範囲に基づいて、自己位置が所在する範囲を推定する。第2推定部は、地形データ地図及びランドマークの移動範囲に基づいて、自己位置が所在する範囲の中から自己位置を推定する。このように、情報処理装置は、ランドマークの移動範囲を取得することで、頻繁に移動することが想定されるランドマークであっても、当該ランドマークを自己位置推定に用いることができる。

0192

また、取得部は、複数のランドマークの配置とともに、当該複数のランドマークの移動範囲を取得する。第1推定部は、複数のランドマークの配置及び当該複数のランドマークの移動範囲に基づいて、自己位置が所在する範囲を推定する。第2推定部は、地形データ地図及び複数のランドマークの移動範囲に基づいて、自己位置が所在する範囲の中から自己位置を推定する。これにより、情報処理装置は、自己位置推定の精度を向上させることができる。

0193

また、第2推定部は、各々のランドマークの移動範囲に基づいて推定される複数の自己位置の候補に基づいて、自己位置が所在する範囲の中から自己位置を推定する。これにより、情報処理装置は、複数の自己位置の候補に基づいて自己位置が所在する確率の高い位置を絞り込むことができるため、自己位置推定の精度を向上させることができる。

0194

また、取得部は、ランドマークの配置とともに、当該ランドマークのカテゴリ別に予め設定された移動範囲を取得する。第1推定部は、ランドマークの配置及び当該ランドマークのカテゴリ別に予め設定された移動範囲に基づいて、自己位置が所在する範囲を推定する。第2推定部は、地形データ地図及びランドマークのカテゴリ別に予め設定された移動範囲に基づいて、自己位置が所在する範囲の中から自己位置を推定する。これにより、情報処理装置は、実際のランドマークの移動範囲を取得する前であっても、頻繁に移動するランドマークを用いた自己位置推定を実現することができる。

0195

また、取得部は、情報処理装置の動作を制御する制御データを取得する。第2推定部は、地形データ地図及び制御データに基づいて、自己位置が所在する範囲の中から自己位置を推定する。これにより、情報処理装置は、IMUデータ等の自装置制御データを推定のための要素として利用することができるため、推定の精度を向上させることができる。

0196

また、ランドマークは、個人が携帯可能な文房具又は食器を含む個人所有物である。これにより、情報処理装置は、一般にSLAMで利用されるような移動頻度の少ないランドマークではなく、移動頻度は高いものの位置推定に有用な個人所有物を利用した情報処理を実行することができる。

0197

また、取得部は、画像センサを用いた画像認識処理によりランドマークの配置を取得するとともに、デプスセンサを用いたデプスデータにより地形データを取得する。これにより、情報処理装置は、効率よくランドマーク地図や地形データ地図を取得することができる。

0198

また、取得部は、RGB(Red Green Blue)カメラにより撮影される画像を用いた画像認識処理によりランドマークの配置を取得するとともに、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)方式を用いて測定されたデプスデータにより地形データを取得する。これにより、情報処理装置は、高解像度データ等、信頼のあるデータに基づいてランドマーク地図や地形データ地図を取得することができる。

0199

(4.ハードウェア構成)
上述してきた実施形態に係る情報処理装置100、クライアント200、サーバ300等の情報機器は、例えば図19に示すような構成のコンピュータ1000によって実現される。以下、実施形態に係る情報処理装置100を例に挙げて説明する。図19は、情報処理装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。

0200

CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。

0201

ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。

0202

HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

0203

通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。

0204

入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体テープ媒体磁気記録媒体、または半導体メモリ等である。

0205

例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。

0206

なお、本技術は以下のような構成も取ることができる。
(1)
ランドマークの配置、及び、周囲の地形データを取得する取得部と、
前記ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲を推定する第1推定部と、
前記周囲の地形データを示した地図である地形データ地図に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する第2推定部と、
を備えた情報処理装置。
(2)
前記取得部は、
前記ランドマークの配置とともに、当該ランドマークの移動範囲を取得し、
前記第1推定部は、
前記ランドマークの配置及び当該ランドマークの移動範囲に基づいて、自己位置が所在する範囲を推定し、
前記第2推定部は、
前記地形データ地図及び前記ランドマークの移動範囲に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する
前記(1)に記載の情報処理装置。
(3)
前記取得部は、
複数のランドマークの配置とともに、当該複数のランドマークの移動範囲を取得し、
前記第1推定部は、
前記複数のランドマークの配置及び当該複数のランドマークの移動範囲に基づいて、自己位置が所在する範囲を推定し、
前記第2推定部は、
前記地形データ地図及び前記複数のランドマークの移動範囲に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する
前記(2)に記載の情報処理装置。
(4)
前記第2推定部は、
各々のランドマークの移動範囲に基づいて推定される複数の自己位置の候補に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する
前記(3)に記載の情報処理装置。
(5)
前記取得部は、
前記ランドマークの配置とともに、当該ランドマークのカテゴリ別に予め設定された移動範囲を取得し、
前記第1推定部は、
前記ランドマークの配置及び当該ランドマークのカテゴリ別に予め設定された移動範囲に基づいて、自己位置が所在する範囲を推定し、
前記第2推定部は、
前記地形データ地図及び前記ランドマークのカテゴリ別に予め設定された移動範囲に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する
前記(1)〜(4)のいずれかに記載の情報処理装置。
(6)
前記取得部は、
前記情報処理装置の動作を制御する制御データを取得し、
前記第2推定部は、
前記地形データ地図及び前記制御データに基づいて、前記自己位置が所在する範囲の中から自己位置を推定する
前記(1)〜(5)のいずれかに記載の情報処理装置。
(7)
前記ランドマークは、
個人が携帯可能な文房具又は食器を含む個人所有物である
前記(1)〜(6)のいずれかに記載の情報処理装置。
(8)
前記取得部は、
画像センサを用いた画像認識処理により前記ランドマークの配置を取得するとともに、デプスセンサを用いたデプスデータにより前記地形データを取得する
前記(1)〜(7)のいずれかに記載の情報処理装置。
(9)
前記取得部は、
RGB(Red Green Blue)カメラにより撮影される画像を用いた画像認識処理により前記ランドマークの配置を取得するとともに、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)方式を用いて測定されたデプスデータにより前記地形データを取得する
前記(1)〜(8)のいずれかに記載の情報処理装置。
(10)
コンピュータが、
ランドマークの配置、及び、周囲の地形データを取得し、
前記ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲を推定し、
前記周囲の地形データを示した地図である地形データ地図に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する
情報処理方法。
(11)
コンピュータを、
ランドマークの配置、及び、周囲の地形データを取得する取得部と、
前記ランドマークの配置を示した地図であるランドマーク地図に基づいて、自己位置が所在する範囲を推定する第1推定部と、
前記周囲の地形データを示した地図である地形データ地図に基づいて、前記自己位置が所在する範囲の中から自己位置を推定する第2推定部と、
として機能させるための情報処理プログラム。

0207

1情報処理システム
100情報処理装置
110通信部
120 記憶部
121ランドマーク観測履歴情報
122ランドマーク地図情報
123 ランドマーク移動範囲情報
124 ランドマーク設定情報
125地形データ地図情報
130 制御部
131 取得部
132 第1推定部
133 第2推定部
134運転制御部
140 検知部
141 第1センサ
142 第2センサ
143車体情報検知部
150 入力部
160 出力部
200クライアント
300 サーバ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ