図面 (/)

技術 自律的な乗客用の乗り物のためのコンピューティング装置、コンピュータにより実施される方法及びシステム

出願人 トヨタモーターエンジニアリングアンドマニュファクチャリングノースアメリカ,インコーポレイティド
発明者 奥村文洋ダニルブイ.プロホロフ
出願日 2015年11月12日 (5年9ヶ月経過) 出願番号 2015-222066
公開日 2016年5月26日 (5年3ヶ月経過) 公開番号 2016-095851
状態 特許登録済
技術分野 交通制御システム 航行(Navigation)
主要キーワード 各乗り物 レーダーデータ 遠隔オペレータ 現在ルート 図的表現 スロットルプレート マルチスペクトル画像データ 後部カメラ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

困難なドライブ環境における遠隔操作を可能とする乗り物を提供する。

解決手段

自律的な乗客用の乗り物200のためのコンピューティング装置100であって、1つ以上のプロセッサ102と、通信インタフェース140と、1つ以上のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリ104と、を具備し、1つ以上のプロセッサが、メモリに記憶された指令を実行して、予期せぬドライブ環境を識別し、乗り物に配置された1つ以上のセンサ130から受信される予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信し、遠隔オペレータによって送信された1つ以上の乗り物のシステム116に関する命令を受信し、実行のために1つ以上の乗り物のシステムに対して命令を送信するように構成された、コンピューティング装置。

概要

背景

いくつかの乗り物は、ドライバによる必要な入力がなくても、自律的に動作するように構成される。その代わりに、乗り物のシステムは、乗り物上の様々な位置に配置され又はその他の方法で固定された様々なセンサによって提供される乗り物の動作及び周囲のドライブ環境についての情報を用いて、乗り物に関連付けられたコンピューティング装置により制御される。関連技術において、いくつかの乗り物は、半自律的に動作するように構成されており、ドライバは、乗り物の操作の一部の態様(ステアリング)のみを制御する一方で、センサから受信される乗り物の移動及び周囲のドライブ環境に関する情報も用いて、コンピューティング装置が乗り物の操作の他の態様(ブレーキ及びアクセル)を制御する。

概要

困難なドライブ環境における遠隔操作を可能とする乗り物を提供する。自律的な乗客用の乗り物200のためのコンピューティング装置100であって、1つ以上のプロセッサ102と、通信インタフェース140と、1つ以上のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリ104と、を具備し、1つ以上のプロセッサが、メモリに記憶された指令を実行して、予期せぬドライブ環境を識別し、乗り物に配置された1つ以上のセンサ130から受信される予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信し、遠隔オペレータによって送信された1つ以上の乗り物のシステム116に関する命令を受信し、実行のために1つ以上の乗り物のシステムに対して命令を送信するように構成された、コンピューティング装置。

目的

正常な操作環境下で、センサ130は、自律モードの乗り物200を操作するためにコンピューティング装置100のために充分な情報を提供する

効果

実績

技術文献被引用数
2件
牽制数
9件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

自律的な乗客用の乗り物のためのコンピューティング装置であって、当該コンピューティング装置の操作を制御するための1つ以上のプロセッサと、ネットワーク上の遠隔サーバ通信するように構成された通信インタフェースと、前記1つ以上のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリと、を具備し、前記1つ以上のプロセッサが、前記メモリに記憶された指令を実行して、予期せぬドライブ環境を識別し、前記乗り物に配置された1つ以上のセンサから受信される前記予期せぬドライブ環境に基づく情報を、前記遠隔サーバを用いて遠隔オペレータに対して送信し、前記遠隔オペレータによって送信された1つ以上の乗り物のシステムに関する命令を受信し、実行のために前記1つ以上の乗り物のシステムに対して前記命令を送信するように構成された、コンピューティング装置。

請求項2

前記予期せぬドライブ環境が、前記乗り物に配置された前記1つ以上のセンサから受信された情報に、少なくとも部分的に基づいて自律的に識別される、請求項1に記載のコンピューティング装置。

請求項3

前記1つ以上のセンサから受信された前記情報が、前記予期せぬドライブ環境の乗り物の速度、乗り物の方向、乗り物の加速度、乗り物の回転、乗り物の位置、環境的な天候条件交通状況道路事情、及び画像のうちの少なくとも1つに関する、請求項1に記載のコンピューティング装置。

請求項4

前記乗り物のシステムが、ステアリングシステム推進システムスタビリティ制御システムナビゲーションシステム及びエネルギーシステムのうちの少なくとも1つを含む、請求項1に記載のコンピューティング装置。

請求項5

前記遠隔オペレータから受信された前記命令は、前記1つ以上の乗り物のシステムを直接的に制御するために用いられる、請求項1に記載のコンピューティング装置。

請求項6

前記乗り物のシステムは、前記遠隔オペレータから受信された前記命令に基づいて自律的に制御される、請求項1に記載のコンピューティング装置。

請求項7

前記1つ以上のセンサから受信された前記情報は、前記乗り物の乗員による承認の指示を受信したときに前記遠隔オペレータに対して送信される、請求項1に記載のコンピューティング装置。

請求項8

前記1つ以上のセンサから受信された前記情報は、前記予期せぬドライブ環境を識別したときに前記遠隔オペレータに対して送信される、請求項1に記載のコンピューティング装置。

請求項9

前記1つ以上のセンサから受信された前記情報は、前記乗り物の遠隔操作における前記遠隔オペレータの前記情報の要求に基づいて前記遠隔オペレータに対して選択的に送信される、請求項1に記載のコンピューティング装置。

請求項10

前記予期せぬドライブ環境に関する付加的な情報は、前記予期せぬドライブ環境にある他の乗り物から受信される、請求項1に記載のコンピューティング装置。

請求項11

前記命令は、他の乗り物を自律的に制御するために、前記予期せぬドライブ環境にある前記他の乗り物に対して送信される、請求項1に記載のコンピューティング装置。

請求項12

前記ネットワークは、クオリティオブサービスに基づいて選択される、請求項1に記載のコンピューティング装置。

請求項13

前記ネットワーク上で送信される前記情報は、前記ネットワークのクオリティ・メトリックに少なくとも部分的に基づく、請求項1に記載のコンピューティング装置。

請求項14

前記1つ以上のプロセッサは、前記メモリに記憶された指令を実行し、前記ネットワークのクオリティ・メトリックに基づいて1つ以上の乗り物のシステムに対して自律命令を送信するように更に構成された、請求項1に記載のコンピューティング装置。

請求項15

自律的な乗客用の乗り物のためのコンピュータにより実施される方法であって、予期せぬドライブ環境を識別することと、前記乗り物に配置された1つ以上のセンサから受信される前記予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信することと、前記遠隔オペレータによって送信された1つ以上の乗り物のシステムに関する命令を受信することと、実行のために前記1つ以上の乗り物のシステムに対して前記命令を送信することと、を含む、方法。

請求項16

前記予期せぬドライブ環境は、前記乗り物に配置された前記1つ以上のセンサから受信される情報に少なくとも部分的に基づいて自律的に識別される、請求項15に記載の方法。

請求項17

前記遠隔オペレータから受信された前記命令は、前記1つ以上の乗り物のシステムを直接的に制御するために用いられる、請求項15に記載の方法。

請求項18

前記乗り物のシステムは、前記遠隔オペレータから受信された前記命令に基づいて自律的に制御される、請求項15に記載の方法。

請求項19

前記1つ以上のセンサから受信された前記情報は、前記乗り物の遠隔操作における前記遠隔オペレータの前記情報の要求に基づいて、前記遠隔オペレータに対して選択的に送信される、請求項15に記載の方法。

請求項20

乗り物に配置された1つ以上のセンサと、該1つ以上のセンサと通信するコンピューティング装置と、を具備するシステムであって、前記コンピューティング装置の操作を制御するための1つ以上のプロセッサと、ネットワーク上の遠隔サーバと通信するように構成された通信インタフェースと、前記1つ以上のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリと、を具備し、前記1つ以上のプロセッサは、前記メモリに記憶された指令を実行し、予期せぬドライブ環境を識別し、1つ以上のセンサから受信された前記乗り物に関する情報を、前記遠隔サーバを用いて遠隔オペレータに対して送信し、前記遠隔オペレータによって送信された1つ以上の乗り物のシステムに関する命令を受信し、前記1つ以上の乗り物のシステムにおいて前記命令を実行するように構成された、システム。

技術分野

0001

この開示は、自律的な乗り物若しくは半自律的な乗り物、又は高度な自動運転による乗り物のための乗り物の制御に関する。

背景技術

0002

いくつかの乗り物は、ドライバによる必要な入力がなくても、自律的に動作するように構成される。その代わりに、乗り物のシステムは、乗り物上の様々な位置に配置され又はその他の方法で固定された様々なセンサによって提供される乗り物の動作及び周囲のドライブ環境についての情報を用いて、乗り物に関連付けられたコンピューティング装置により制御される。関連技術において、いくつかの乗り物は、半自律的に動作するように構成されており、ドライバは、乗り物の操作の一部の態様(ステアリング)のみを制御する一方で、センサから受信される乗り物の移動及び周囲のドライブ環境に関する情報も用いて、コンピューティング装置が乗り物の操作の他の態様(ブレーキ及びアクセル)を制御する。

先行技術

0003

米国特許第8718861号明細書

発明が解決しようとする課題

0004

乗り物が遭遇するいくつかのドライブ環境は、複雑すぎるか危険すぎるので、自律システム排他的に依存することができないことが認識されている。このようなケースにおいて、乗り物は、予期せぬドライブ環境に遭遇したことを判定できてもよいが、そのために、乗り物によって取り込まれたデータに基づいて操縦するには乗り物の装備が不充分である。このような判定を行なう際に、どのような基準が用いられるべきか、に関して、例えば、モンテメルロ他の特許文献1など、様々な方法が示唆されている。いくつかの方法は、このようなケースにおいて、コンピューティング装置が乗り物を自律的に操作するのを中止すべきであり、ドライバが手動的に乗り物を操作しなければならないということをドライバに知らせるべきである、ことを示唆している。しかしながら、これは、ドライバを不安にする可能性があり、そのようなドライバは、むしろ乗り物を制御しない方が良いだろう。

課題を解決するための手段

0005

本明細書に開示するのは、自律的な乗り物を遠隔的に操作するためのコンピュータ装置、システム、及び方法である。自律的な乗り物が、自律的操作に適していない、道路工事又は障害物などの予期せぬドライブ環境に遭遇する場合、乗り物のセンサは、画像、レーダー、及びライダーデータなどを含む乗り物及び予期せぬドライブ環境に関するデータを取り込むことができる。取り込まれたデータは、遠隔オペレータに送信することができる。遠隔オペレータは、遠隔的に乗り物を手動で操作することができ、或いは、様々な乗り物のシステムによって実行される自律的な乗り物に対する命令発行することができる。遠隔オペレータに送信されて取り込まれたデータは、取り込まれたデータの限定されたサブセットを送信することなどによって、帯域幅を節約するために最適化することができる。

0006

一実施態様において、自律的乗用車のためのコンピューティング装置であって、コンピューティング装置の動作を制御するための1つ以上のプロセッサと、ネットワーク上の遠隔サーバ通信するように構成された通信インタフェースと、1つ以上のプロセッサによって用いられるデータ及びプログラム命令を保存するためのメモリとを含み、1つ以上のプロセッサは、メモリ内に保存された命令を実行して、予期せぬドライブ環境を識別し、乗り物上に配置された1つ以上のセンサから受信された予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信し、1つ以上の乗り物のシステムに関する、遠隔オペレータによって送信された命令を受信し、実行のために1つ以上の乗り物のシステムに対して命令を送信するように構成されるコンピューティング装置を開示する。

0007

別の実施態様において、自律的乗用車のためのコンピュータで実現される方法であって、予期せぬドライブ環境を識別することと、乗り物上に配置された1つ以上のセンサから受信された予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信することと、1つ以上の乗り物のシステムに関する、遠隔オペレータによって送信された命令を受信することと、実行のために1つ以上の乗り物のシステムに対して命令を送信することとを含む方法を開示する。

0008

別の実施態様において、システムであって、乗り物上に配置された1つ以上のセンサと、1つ以上のセンサと通信するコンピューティング装置であって、コンピューティング装置の動作を制御するための1つ以上のプロセッサと、ネットワーク上の遠隔サーバと通信するように構成された通信インタフェースと、1つ以上のプロセッサによって用いられるデータ及びプログラム命令を保存するためのメモリとを備えるコンピューティング装置とを含み、1つ以上のプロセッサは、メモリ内に保存された命令を実行して、予期せぬドライブ環境を識別し、乗り物に関連する1つ以上のセンサから受信された情報を、遠隔サーバを用いて遠隔オペレータに対して送信し、1つ以上の乗り物のシステムに関する、遠隔オペレータによって送信された命令を受信し、1つ以上の乗り物のシステム上で命令を実行するように構成される、システムを開示する。

図面の簡単な説明

0009

乗り物を遠隔的に操作するための、自律的な乗り物に関連するコンピューティング装置の概略ブロック図である。
図1のコンピューティング装置を含む自律的な乗り物の図的表現である。
自律的な乗り物を遠隔的に操作するプロセス例の論理フローチャートである。

実施例

0010

自律的な乗り物を遠隔的に操作するためのコンピュータ装置、システム、及び方法を本明細書に開示する。自律的な乗り物は、自律モード通常運転することができるか、又は乗り物内の乗員(すなわち乗り物の「ドライバ」)によって操作することができる乗用車であり得る。自律的な乗り物が、自律的操作に適さない、道路工事又は障害物などの予期せぬドライブ環境に遭遇する場合、乗り物のセンサは、画像、レーダー、及びライダーデータなどを含む乗り物及び予期せぬドライブ環境に関するデータを取り込むことができる。取り込まれたデータは、遠隔オペレータに送信することができる。遠隔オペレータは、遠隔的に乗り物を手動で操作することができ、或いは、様々な乗り物のシステムによって実行される自律的な乗り物に対する命令を発行することができる。遠隔操作は、ドライバによる介入なしで行なうことができ、或いは、ドライバは、遠隔操作を承認若しくはリクエストするように要求され得る。帯域幅を節約するために、遠隔オペレータに対して送信されて取り込まれたデータは、取り込まれたデータの限定されたサブセットを送信するなどによって、例えば、遠隔オペレータの情報ニーズに基づいた、遠隔操作を行なうのに必要最小限の情報のみに最適化することができる。最良のQoS又は最高速の通信チャネル発見するために有効な通信チャネルの検索も用いることができる。予期せぬドライブ環境に関するデータも、同じ予期せぬドライブ環境の他の乗り物から受信することができる。さらに、遠隔オペレータによって選択された経路も、同じ予期せぬ環境における他の自律的な乗り物に対して伝えることができる。

0011

図1は、(図2表現したような)乗り物200に関連するコンピューティング装置100の概略ブロック図である。コンピューティング装置100は、乗り物に実装された、手動操作式、デスクトップ、若しくは他の形式の単一のコンピューティング装置のいずれのタイプにもなり得るし、又は複数のコンピューティング装置から構成されることができる。コンピューティング装置100内の演算処理装置102は、情報を操作若しくは処理できる従来の中央処理装置(CPU)若しくは他の種類のデバイス、又は複数の装置とすることができる。コンピューティング装置100内のメモリ104は、ランダムアクセスメモリ装置(RAM)又は他の適当な種類の記憶装置とすることができる。メモリ104は、バス108を用いてCPU102によってアクセスされるデータ106を含むことができる。

0012

また、メモリ104は、オペレーティングシステム110と、インストールされたアプリケーション112とを含むことができ、インストールされたアプリケーション112は、以下に記載されるように、CPU102が乗り物200の遠隔操作を実施することを可能にするプログラム又はアプリを含む。また、コンピューティング装置100は、例えば、メモリカードフラッシュドライブ、若しくはコンピュータ読み取り可能媒体の他の形式などの、二次記憶装置追加記憶装置、又は外部記憶装置114を含むことができる。一実施態様において、アプリケーション112は、全体的又は部分的に外部記憶装置114内に保存されるとともに、処理のために必要に応じてメモリ104内にロードされることができる。

0013

コンピューティング装置100は、様々な乗り物の機能を制御する1つ以上の乗り物のシステム116と直接的又は間接的に通信することができる。乗り物のシステム116は、コンピューティング装置100を通信すること、又はコンピューティング装置100から情報を受信することをドライバが可能にすることが可能な、1つ以上の乗り物のインタフェース118を含むことができる。乗り物のインタフェース118は、例えば、1つ以上の対話型ディスプレイオーディオシステム音声認識システム、ボタン及び/又はダイヤル触覚フィードバックシステム、又は情報を入力又は出力するために用いられる他の同様のシステムを含むことができる。他の例示的な乗り物のシステム116は、推進システム120と、ステアリングシステム122と、スタビリティ制御システム124と、ナビゲーションシステム126と、エネルギーシステム128と、例えば乗り物の環境又は娯楽機能などの様々な乗り物の機能を制御することができる他のシステムとを含むことができる。乗り物のインタフェース118は、他の乗り物のシステム116の動作に作用する、コンピューティング装置100に対する命令を発行するためにドライバによって用いられることができる。

0014

推進システム120は、エンジンモータトランスミッション、及び/又は乗り物200を運転するために用いられる他の乗り物の制御を制御することができる。ナビゲーションシステム126は、乗り物のためのルート又は方向を確立するために用いることができ、地図を含むことができ、及び/又は最適ルートを判定するために外部若しくは遠隔ソースに接続することができる。スタビリティ制御システム124は、例えば、乗り物の適切な偏揺れ(yaw)を含む、乗り物の安定性を維持するために乗り物のホイールの1つ以上に対してブレーキ又はモータを作動させることができる。エネルギーシステム128は、乗り物のエネルギー利用及びエネルギー貯蔵を制御することができ、エネルギー源は、ガソリン天然ガスディーゼル油バッテリ燃料電池、又は同種のもの形式であってもよい。乗り物のシステム116は、特定の乗り物のシステム116によって制御される機能を実施するために用いることが可能な様々なアクチュエータと通信することができる。例えば、推進システム120は、アクチュエータにアクセルペダルの位置に基づいてスロットルプレートの位置を移動させることができる。このように、様々な乗り物のシステム116は、乗り物200のエンジン、モータ、バッテリシステム、アクセル、ブレーキ、ステアリング、トランスミッション、若しくは他のシステムの動作を制御又は作用することができる。

0015

また、コンピューティング装置100は、乗り物200及び乗り物のシステム116の性能を示すデータを取り込むことが可能な、1つ以上のセンサ130と直接的又は間接的に通信することができる。センサ130は、方向、速度、アクセル、偏揺などの乗り物200の移動を測定するために用いることができる。センサ130から受信されるデータに基づいて、コンピューティング装置100は、乗り物のシステム116を制御することができる。例示的なセンサ130は、加速度計ジャイロスコープ、及び/又は磁力計を含むことができ、その1つ以上は、慣性計測装置IMU)132で組み合わされることができる。位置センサ134は、乗り物200の位置を判定するために地球投影位置決定衛星システム(GPS)を用いることができる。カメラなどの光学センサ136は、電荷結合素子(CCD)、相補性金属酸化膜半導体(CMOS)、又は同様の画像取り込み素子を用いて、画像データを取り込むことができ、単一スペクトル画像又はマルチスペクトル画像を取り込むように構成されることができる。(それぞれ無線又は光検出を用いる)レーダーセンサ138及び/又はライダーセンサ139は、乗り物200の近くの物体(例えば他の乗り物など)を識別するのを支援することができる。用いてもよい他の例示的なセンサ130は、気候(例えば、温度計又は気圧計)又は高度(例えば、高度計)の変化を検出することができ、乗り物のシステム116の状態を監視する(例えば、燃料若しくはエネルギー準位エンジン温度酸素レベルタイヤ圧などを監視する)内界センサを含むことができる。センサ130によって検出可能な他の情報のうち、センサ130は、乗り物の速度、乗り物の方向、乗り物の加速度、乗り物の回転、乗り物の位置、環境的な天候条件トラフィック状況、及び道路事情を検出することができる。

0016

コンピューティング装置100は、また、コンピューティング装置100がインターネットなどのネットワーク142上の外部ソースと通信することができる通信インタフェース140を含むことができる。これらの外部ソースは、1つ以上の遠隔サーバ144を含むことができる。

0017

図2は、コンピューティング装置100と直接的又は間接的に通信する乗り物200の図的表現である。コンピューティング装置100は、乗り物200内に設置されることができ、又は乗り物200から遠隔的に別の位置に設置されることができる。コンピューティング装置100が乗り物200から遠隔にあれば、乗り物200は、通信インタフェース140を通じてなど、コンピューティング装置100と通信する能力を有することができる。この開示において、乗り物(vehicle)200は、概して自動車(automobile)として記載される点に留意されるべきである。しかしながら、飛行機ボート列車などのドライバ又はオペレータによって概して制御された他の乗り物でも開示したシステム及び方法を実施することができるので、乗り物200は、自動車に限定されない。

0018

1つ以上のセンサは、図1を参照して説明したセンサ130など、乗り物200上に配置されることができる。例えば、IMU132内に含まれる1つ以上のセンサ130は、例えば推測航法システムにおいて乗り物200及びステアリング角の位置及び方位推定するためにコンピューティング装置100による使用のための周囲環境の物体に対する速度、アクセル、ホイール回転数、偏揺れ、及び距離の変化を取り込むように構成されることができる。1つ以上のセンサ130は、また、x、y、及びz軸位置の変化、速度、アクセル、回転角、及び乗り物200のナビゲーションルートに隣接する物体に対する乗り物のための回転角レート及び類似データを表現するデータを取り込むことができる。センサ130が推測航法システムのためのデータを取り込む場合、ホイール回転数、変更の走行距離、ステアリング角及びステアリング角速度に関連する情報を取り込むことができる。

0019

別の例として、ライダーセンサ139は、信号がライダーセンサ139に戻るのにかかる時間を測定することによって計算された範囲の距離で乗り物200を囲むエリア内の物理オブジェクトからのレーザリターンに関連するデータを取り込むことができる。レーザリターンは、乗り物200上に又は乗り物200に隣接して配置されたライダーセンサ139又は別のソースによって発せられる、例えばレーザー光などの光源によって衝突される物体で反射された後方散乱光を含むことができる。光が物体によって一旦反射されると、ライダーセンサ139は、例えば、コンピューティング装置100内に又はコンピューティング装置100内に対してアクセス可能に保存されたアプリケーション112の1つによって、物体の解析及び分類に用いられる物体上各ポイント強度値及び反射率を取り込むことができる。

0020

また、1つ以上のセンサ130は、例えば、交通信号灯道路上のマーキング、又は交通標識の画像を取り込むことによって交通信号及び交通パターンを検出するために用いられることができる。例えば、光学センサ136は、コンピューティング装置100によって処理するための画像を取り込むことができる。例として、道路上のレーンマーキングを読み取るために光学センサ136を用いることによって、コンピューティング装置100は、その道路上の適切な走行レーン(すなわち2組のレーンマーキング間のスペース)の場所を判定することができる。別の例として、テキスト認識処理を用いると、1つ以上の光学センサ136は、各道路上の法定速度制限値を明示する交通標識を読み取ることができる。以下に記載されるように、この情報は、自律モードの乗り物を操作する場合に、コンピューティング装置100で用いることができる。さらに、光学センサ136は、ドライブ環境の単一スペクトル画像データ又はマルチスペクトル画像データを取り込むように構成されることができる。

0021

1つ以上の位置センサ134は、複数の衛星からの信号に基づいてグローバル座標における乗り物200の位置を取り込むことができる。複数の衛星は、3次元三角測量及び時間評価を用いて、乗り物の200の位置及び速度を推定するために用いられることができる。さらに、乗り物200の現状を判定するか、又は乗り物200の環境に関しての乗り物200の位置を判定するために用いることができ得る他のデータ及び/又は信号も、また、1つ以上のセンサ130によって取り込むことができる。

0022

乗り物200は、手動モード又は自律モードにおいて動作するためのオプションを含むことができる。乗り物200が手動モードにある場合、ドライバは、乗り物のシステム116を手動的に制御する。他方で、自律モードにおいて、コンピューティング装置100は、ドライバの介入を伴わずに1つ以上の乗り物のシステム116を制御するために用いられる。いくつかの乗り物は、ドライバとコンピューティング装置100との間で乗り物200の動作が共有される「半自律モード」を装備してもよい。例えば、ドライバは、ステアリングなどの乗り物の操作の一部の態様を制御することができ、その一方でコンピューティング装置100は、ブレーキ及びアクセルなどの乗り物の操作の他の態様を制御することができる。前述の2つのモードに加えて、乗り物200は、より詳細には以下に記載されるように、遠隔操作モードで動作することができる。

0023

乗り物200が自律モードで動作している場合、コンピューティング装置100は、センサ130によって取り込まれたデータを解析し、取り込まれたデータに基づいて乗り物のシステム116に関連する命令を発行することができる。例えば、コンピューティング装置100は、光学センサ136によって検出された交通標識のテキストに基づいて、乗り物200が走行している道路上の最大速度制限値を判定することができる。若しくは、コンピューティング装置は、位置センサ134から受信された位置情報と、ローカルに(メモリ104又は外部記憶装置114内などに)格納された又は最大速度制限値を判定するために遠隔のソースから検索された地図データとを用いることができる。一旦コンピューティング装置100が道路上の最大速度制限値を判定すれば、コンピューティング装置は、乗り物のシステム116が最大速度制限値を超えて乗り物200を操作するのを防ぐことができる。別の例として、レーンマーキングの検出によって、コンピューティング装置100は、乗り物のシステム116が適切なレーン内で乗り物200を操作することを保証することができる。

0024

正常な操作環境下で、センサ130は、自律モードの乗り物200を操作するためにコンピューティング装置100のために充分な情報を提供することになる、ということが想定される。しかしながら、乗り物200は、時々、例えば、建設区域、道路の真中の障害物、渋滞、又は異常気象など、自律的操作が不適当である、予期せぬドライブ環境に遭遇することになる。さらに、一部の道路パターンは、見通しの悪い交差点、曲がりくねった道がある山岳地帯、又は密集した都市環境など、自律モードにとってあまりにも難易度が高いと見なされるかもしれない。コンピューティング装置100は、センサ130から受信されたデータに基づいて、乗り物200がこのようなドライブ環境にある、ということを検出することができ、又は、このような地帯の位置は、コンピューティング装置100によってアクセス可能な(例えば、メモリ104又は外部記憶装置114内にローカルに保存されるか、又は遠隔のソースからアクセス可能である)地図データ内に難易度が高い環境として保存することができる。加えて、予期せぬドライブ環境の存在は、センサ130によって検出されるような環境情報(例えば、道路、交通信号、交通パターン、など)が、ローカルに又は遠隔的に保存された地図又はデータベースから検索されるような環境に関する予期されたデータとは異なるか否かで、判定されることができる。(また、閾値も、取り込まれたデータと予期されたデータとの間の小さな変動を可能にするために定義することができ、環境内の変化を、このような閾値に対比して測定することができる。)自律モードが賢明でないこれらのあらゆるドライブ環境は、この開示の目的のために(すなわち、ドライブ環境への遭遇が全く予知しないか否かに関係なく)「予期せぬドライブ環境」と見なすことができる。この開示の目的のために、「予期せぬドライブ環境」は、コンピューティング装置100が自律的操作に適していないと判定するあらゆるドライブ環境又は状況を意味する。

0025

予期せぬドライブ環境が識別されれば、乗り物200の動作を、遠隔操作モードに切り替えることができる。さらに、乗り物200が、現在のドライブ環境の乗り物の200の現在ルート及びリアルタイムの地図データに基づいて、予期せぬドライブ環境にすぐに遭遇するかもしれない、ということが予測される場合、遠隔操作モードを開始することができる。

0026

遠隔操作モードにおいて、乗り物200は、遠隔オペレータによって遠隔的に操作されることができる。一実装例において、ドライバ(すなわち、乗り物200の物理的内部の乗員)に、遠隔操作モードを承認するように促すことができる。別の実装例において、遠隔操作モードは、ドライバによる積極的行動がなくても作動させることができるし、乗り物200がもう自律モードにないということに気づいているドライバがいなくても、目に見えないように実行することができる。

0027

一実装例によれば、コンピューティング装置100が、予期せぬドライブ環境の識別に際して遠隔操作モードに入る準備をするとき、コンピューティング装置100は、乗り物の200の移動及び予期せぬドライブ環境に関するセンサ130から情報をリクエストする。この情報は、(ビデオデータを含む)画像データと、位置データと、レーダーデータ及び/又はライダーデータとを含むことができる。別の実施態様例によれば、予期せぬドライブ環境が充分に識別される前でも、環境から付加的な情報を収集するプロセスを、開始することができる。例えば、一旦乗り物200が、期待されるものに比較してドライブ環境のいくつかの変化を経験すると、それらの変化が激しくなく、且つコンピューティング装置100が変化に対してまだ自律的に反応することができ、自律モードで動作し続けることができたとしても、データ収集プロセスは、いずれ訪れる潜在的な予期せぬドライブ環境を見越して、開始することができる。

0028

一実装例において、遠隔操作モードのために収集されたデータは、自律モードの間に、センサ130によって取り込まれるのと同じデータになり得る。但し、別の実装例において、異なるデータ又は付加的なデータを収集することができる。例えば、正常な自律的操作のために必要でない又は用いられないものの、遠隔オペレータのために有用になる周囲環境の画像データを取り込むことができるカメラがあってもよい。加えて、自律モードと比較して、同一の又は類似のデータが収集されたとしても、データを体系化し、パッケージ化し、及び/又は、(このようなデータを自律モードの間に通常利用する自律制御システムにではなく、人間によって用いられるために)さらに人間可読形式で示すことができる。

0029

次に、遠隔オペレータは、自律的な乗り物200を制御するリクエストのコンタクトをとることができる。遠隔オペレータは、ネットワーク142上のコンピューティング装置100によってコンタクトをとることができる遠隔サーバ144を用いることができる。センサ130によって収集されたデータは、乗り物200を手動的に操作しながらこのようなデータを閲覧できる遠隔オペレータに対して提示することができる。例えば、遠隔オペレータは、乗り物200内又は乗り物上に含まれる光学センサ136を用いて環境を認識するとともに、レーダーセンサ138又はライダーセンサ139を用いて周囲の乗り物の速度に関するデータを認識することができる。1つの実装例において、センサ130は、例えば、光学センサ136を回転、パン撮り、又はズームイン若しくはズームアウトするために遠隔オペレータによって遠隔的に制御されることができる。また、遠隔オペレータは、位置センサ134によって取り込まれた位置データにアクセスすることができる。従って、遠隔オペレータを支援するために、ドライブ環境の他の乗り物又は他の機能又は物体を表わすアイコンとともに、地図上の正確な位置に表示された乗り物200を表わすアイコンにより、環境の地図を遠隔オペレータに対して表示することができる。

0030

遠隔オペレータが乗り物200の制御をしている間に、遠隔オペレータは、あたかも運転席から乗り物200を操作するかのように、センサ130によって取り込まれた情報を用いて、ドライブ環境のリアルタイム認識を有して、乗り物のシステム116をリアルタイムで直接操作することができる。別の実施態様例において、遠隔オペレータは、様々な事前に定義された自律的操作(例えば1つのレーン上で移動することなど)を実行するために(コンピューティング装置100によって実行されるアプリケーション112において実施することができる)自律制御システムに対して命令を発行することができる。その後、自律制御システムは、自律モードのままの乗り物200で、選択された操作を自律的に行なうことができる。別の例として、遠隔オペレータは、乗り物をガイドするために自律制御システムが用いているルートを手動的に修正することができる。例えば、遠隔オペレータは、利用可能な迂回ルートのいくつかのオプションを提示されることができる(1つの例として、遠隔オペレータのためのユーザインタフェース及び迂回経路軌跡をドライブ環境の地図上に重ねることができる)。遠隔オペレータの新たなルートを選択すると、自律制御システムは、その後、新たなルートを用いて、乗り物を自律的に操作し続けることができる。

0031

1つの実装例において、遠隔オペレータは、センサ130から受信された画像に基づいて、ドライバが乗り物200自体の内部にいる光景模倣する、フロントガラスの代わりのモニタをもつシミュレータマシンの内部から、乗り物200を操作することができる。

0032

別の実装例において、付近の他の乗り物からの情報は、乗り物200によって取り込まれたデータを補強する可能性があり、遠隔オペレータが乗り物200をガイドするのを支援することができる。例えば、近くの乗り物上で配置されたカメラによって取り込まれた画像情報は、遠隔オペレータを支援することができる場面の異なる光景を提供することができる。別の例として、乗り物200の前方の別の乗り物から受信されたデータは、予期せぬドライブ環境(例えば乗り物200がいまだに遭遇していない障害物など)に関する付加的な環境情報を示すことができるかもしれない。1つの実装例において、道路の上の(乗り物200を含む)各乗り物は、定期的に又は継続的にその位置データにより遠隔サーバ(例えば遠隔オペレータによって用いられる遠隔サーバ144など)を更新することができる。その後、遠隔オペレータがそのエリア内の乗り物を遠隔的に操作しているとき、遠隔サーバ144は、これらの乗り物からのセンサデータをリクエストすることができる。若しくは、乗り物200自体のコンピューティング装置100は、このような他の乗り物から関連するセンサデータを受信するためにローカルのその場限りの無線接続を用いて、近くの他の乗り物と通信することができ、その後、コンピューティング装置100は、遠隔オペレータによって用いられる遠隔サーバ144に対して、その情報を転送することができる。

0033

1つの実装例において、遠隔オペレータがコンタクトをとる前に、例えば、遠隔オペレータに対する制御権許諾を確認又は承認するために、対話型のディスプレイ、オーディオシステム、又は他の乗り物のインタフェース118を用いて、ドライバに促す及び/又はねることができる。ドライバが肯定的に応答し、遠隔操作モードを開始することを選択する場合、遠隔オペレータは、コンタクトをとることができ、センサ130によって取り込まれた関連データは、遠隔オペレータに対して送信することができ、乗り物200の制御権は、遠隔オペレータに移ることができる。一方、ドライバが遠隔オペレータとコンタクトをとることを選択しなければ、乗り物200は、手動モードに切り替えることができ、ドライバは、乗り物200及び乗り物のシステム116を管理することができる。若しくは、ドライバが乗り物200の制御権を維持することを肯定的に選び、且つそれを手動モードに入れる機会を与えられるように、乗り物200を構成することができ、ドライバが所定の秒数内にそのような選択を行なわなければ、遠隔オペレータは、コンタクトをとり、乗り物200の得たコンタクトは、遠隔オペレータに自動的に移る。

0034

別の実施形態において、制御権は、ドライバによる肯定的選択を必要とせず、且つ、ドライバに通知することなく、遠隔オペレータへと自動的に移行し得る。このような実施態様において、ドライバは、乗り物200が遠隔オペレータによって遠隔的に操作されているという事実に対して警告を受けることができる。さらに、遠隔オペレータが現在のドライブ環境に関するドライバの質問を要求することができるか、そうでなければ、乗り物200の遠隔操作に関してドライバに助言することができるように、オーディオ又はテキストベースの通信を、遠隔オペレータとドライバとの間で確立することができる。さらに、特に難易度が高い予期せぬドライブ環境において、遠隔オペレータが乗り物200を遠隔的に操作することを快適に感じないかもしれないということもあり得る。このようなケースにおいて、遠隔オペレータは、制御権がドライバに譲られており、且つ乗り物200が手動モードに入ることになる、ということをドライバに助言することができる。別の実装例において、ドライバによる肯定の選択を必要とせずに、且つドライバに通知することなく、制御権が、遠隔オペレータに対して自動的に移ることができる。このように、乗り物200が、自律的に操作される代わりに、遠隔的に操作されるという事実は、ドライバにとって不可視になり得る。

0035

乗り物200の遠隔操作をリアルタイムで行なうことができるので、データ伝送信頼性は重要な問題になり得る。従って、遠隔オペレータに対して送信されたデータは、乗り物200を操作するために遠隔オペレータにより必要とされる最小量の情報のみを送信することによって、最適化された方式で用意されて送信されることができる。例えば、帯域幅を節約するためにデータを圧縮することができる。さらに、一実装例において、最も関連するセンサデータのみを遠隔オペレータに送信することができる。例えば、予期せぬドライブ環境がドライバの乗り物200の側から生じる予期せぬ要素に基づくとコンピューティング装置100が判定すれば(例えばドライバが左に曲がりたいと思う道路が妨げられた光景)、コンピューティング装置100は、前部及びドライバ側の光学センサ136から(例えば、後部カメラのいずれかからではない)遠隔オペレータに対して画像データのみを送信するように構成することができる。別の例として、ライダーセンサ139によって取り込まれたライダーデータのポイントクラウドの最も関連する部分のみを、遠隔サーバ144に送信することができる。上記のように、道路上に他の乗り物も、また、遠隔サーバ144と通信してデータ(センサデータ及び/又は画像データを含む)を送信していてもよい。従って、一部の例においては、最も帯域効率的な方法は、近くの他の乗り物上に設置されたセンサによって取り込まれた情報を用いることかもしれない。要するに、伝送されたすべての情報は、予期せぬドライブ環境のニーズによるものとすることができる。遠隔操作の間に付加データが必要になる場合、このような付加データは、センサ130又は乗り物外のソースから得ることができ、必要に応じて遠隔オペレータに対して送信されることができる。

0036

別の実装例において、コンピューティング装置100がクオリティオブサービス(quality-of-service)(QoS)及び帯域幅容量の観点から最適な通信ネットワーク上で検索してロックすることができるように、乗り物200は、利用可能なネットワークのクオリティ・メトリック(quality metrics)(例えば、帯域幅、ネットワーク速度、信頼性など)を測定することができるコグニティブ無線を装備することができる。コンピューティング装置100は、また、最適な通信ネットワークのためのその検索に従事するために、ドライバの携帯電話を利用することができる。

0037

別の実装例において、利用可能な帯域幅は、関連データ(例えば、センサ130によって取り込まれたデータ)の伝送のために必要な帯域幅に対比して測定することができる。帯域幅が伝送される必要がある情報にとって充分である場合、このような情報が伝送され、乗り物の200の動作に対する変更は行なわれない。但し、帯域幅が不充分である場合、情報は、より遅く伝送されることができる(例えば、光学センサ136からのビデオストリームデータは、低フレームレートで伝送され始めることができる)。そのような場合、コンピューティング装置100は、自動的に遠隔オペレータからドライバに乗り物の制御権を移行する(すなわち、手動モードに入る)か、乗り物200の速度を制限するか、又は乗り物200を自律的に道路の脇に寄せるように構成することができる。

0038

上記のように、遠隔サーバ144は、付近の他の乗り物と直接的又は間接的に(例えば、上記のように、ネットワーク142上、又は乗り物200と近くの他の乗り物との間でローカルに形成されたアドホックネットワークを通じてのいずれかで)通信することができる。1つの実装例において、遠隔オペレータによって選択された経路を、それぞれの自律的操作システムに対してガイダンスを提供するために、同じ予期せぬドライブ環境の他の自律的な乗り物に対して送信することができる。また、必要な情報を移行するのに帯域幅が不充分である場合、付近の他の乗り物(又は付近の他のドライバの携帯電話)の通信システムは、このような情報を通信するためにピアツーピアネットワーク構成において利用することができる。このようにして、遠隔操作モードのためのコンピューティング装置100のための利用可能な有効帯域幅が増加される。

0039

開示した装置、方法、及びシステムは、乗員について排他的且つ自律的な乗り物に対して適用されることができ、これは、乗員が乗り物200を操作できる手動制御(例えば、ステアリングホイール変速レバー、ペダル、など)がないということを意味する。乗り物200に対して、重量、スペース、及び費用を増やすことになるこれらの手動制御を自律的な乗り物200に含めることの必要性が全くない一方で、乗り物200を制御することを、経験を積んだ人間に許可し得る、予期せぬドライブ環境があってもよい。このように、乗員に操作機能がない乗り物200では、乗り物が予期せぬドライブ環境に遭遇する場合には自動的に、この開示に記載されているように、乗り物200の操作機能の制御権は、遠隔オペレータに移ることができる。従って、この実装例において、乗り物200は、コンピューティング装置100よって自律的にのみ、又は遠隔オペレータによって手動的に、制御されることができる。このような実装例において、乗り物200の操作を制御しているドライバ(すなわち乗り物200の乗員)に通知することは必要ないかもしれないので、予期せぬドライブ環境の場合、制御権は、ドライバによる肯定の選択を必要とせずに、且つドライバに通知せずに、遠隔オペレータに対して自動的に移ることができる。同じように、コンピューティング装置100は、例えば、ドライバがっているかどうかを、ドライバの瞳の動き又は心拍数モニタを取り込むことができるカメラを用いて、検出するように構成することができる。ドライバが寝ていると判断された場合は、乗り物200の制御権は、制御権の許諾をドライバに確認する必要なく、遠隔オペレータへと自動的に迅速に移行することができる。

0040

図3は、自律的な乗り物を遠隔的に操作するプロセス300の例の論理フローチャートである。ステップ302において、センサ130によって取り込まれたデータに基づいて、コンピューティング装置100は、予期せぬドライブ環境を識別する。ステップ304において、コンピューティング装置100は、遠隔オペレータとコンタクトをとり、これは遠隔オペレータに対してセンサデータを送信することを含む。上記のように、コンピューティング装置100は、帯域幅を節約するために、制限されたデータを選択的に送信することができる。ステップ306において、遠隔操作が認証される。上記のように、認証は、自動的であってもよいし、又は遠隔オペレータ、ドライバ、若しくはその両者の肯定的な同意を必要としてもよい。ステップ308において、コンピューティング装置100は、遠隔オペレータによって送信された命令を受信する。ステップ310において、コンピューティング装置100は、実行のために乗り物のシステム116に対してこれらの命令を送信する。上記のように、これらの命令は、乗り物の200の動作(乗り物200の内部から乗り物200を手動的に操作する場合に、ドライバが実行する制御と同種)の態様をすべて直接的に制御することを含むことができるし、又はこれらの命令は、(乗り物200のための採用すべき特定のルート又は演習を選択するような)コンピューティング装置100に対するハイレベルの命令であってもよく、その後、乗り物の200の標準的な自律的操作モードを介して実施されることができる。

0041

前述の記述は、現在最も実際的な実施形態であると見なされるものに関する。但し、本開示は、これらの実施形態に限定されず、添付の請求項の精神及び範囲に含まれる様々な改良及び等価な構成を網羅するように意図される、ということを理解すべきである。例えば、本開示におけるユーザは、乗り物200のドライバとして概して識別される。但し、ユーザは、添付の請求項の精神及び範囲から逸脱せずに、乗り物200の乗員又は認証されたユーザのいずれかであってもよい。さらに、「自律的な乗り物」がこの開示において用いられる場合、乗り物は、あらゆる点で自律的である必要はなく、むしろ、このような用語は、添付の請求項の精神及び範囲から逸脱せずに、高度に自動化された動作又は半自律的な動作を利用するあらゆる乗り物を包含することができる。従って、特許請求の範囲は、法の下で許可されるような改良及び等価の構成をすべて包含するように、最も広い範囲の解釈を与えられるべきである。

0042

100コンピューティング装置
102演算処理装置
104メモリ
106 データ
108バス
110オペレーティングシステム
112アプリケーション
114外部記憶装置
116乗り物のシステム
118 乗り物のインタフェース
120推進システム
122ステアリングシステム
124スタビリティ制御システム
126ナビゲーションシステム
128エネルギーシステム
130センサ
132慣性計測装置
134位置センサ
136光学センサ
138レーダーセンサ
139ライダーセンサ
140通信インタフェース
142ネットワーク
144 遠隔サーバ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 山内和博の「 自動運転車」が 公開されました。( 2021/07/08)

    【課題】交差点にある横断歩道等の停止線に停止した際に、交通渋滞を生じさせることなく、安全かつ迅速に走行することができる自動運転車を提供する。【解決手段】探索された走行経路に沿って自動運転を行う自動運転... 詳細

  • 株式会社ミックウェアの「 情報処理システム、経路探索方法、およびプログラム」が 公開されました。( 2021/07/08)

    【課題・解決手段】情報処理システム(100)のサーバ(20)は、現在地と目的地との間を結ぶ経路を探索して、コスト情報と付加情報とを含むサーバ探索情報を作成する第2経路探索部(24)を備え、情報処理装置... 詳細

  • 日産自動車株式会社の「 走行支援方法及び走行支援装置」が 公開されました。( 2021/07/08)

    【課題・解決手段】プロセッサ(111)は、自車両に搭載されたセンサの検出情報に基づいて、自車両が走行する走行レーンを設定し、センサの前記検出情報に基づいて、走行レーン上で自車両の前方を走行する先行車を... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ