図面 (/)

技術 時系列データ適合およびセンサ融合のシステム、方法、および装置

出願人 株式会社PreferredNetworks
発明者 クレイトンビージャスティン岡野原大輔比戸将平
出願日 2017年1月13日 (3年11ヶ月経過) 出願番号 2018-536523
公開日 2019年1月24日 (1年10ヶ月経過) 公開番号 2019-502212
状態 未査定
技術分野 学習型計算機
主要キーワード インターモーダル バイナリ変数 汚染センサ 適合モジュール 身体センサ 部分隠れ 不均衡状態 データ収集デバイス
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年1月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

センサ融合を含む時系列データ適合のためのシステム、方法、および装置が開示される。たとえば、システムは、変分推論マシン隠れ状態を含むシーケンシャルデータ予測マシン、および機械学習モデルを含む。シーケンシャルデータ予測マシンは、隠れ状態のバージョンエクスポートする。変分推論マシンは、時系列データおよび隠れ状態のバージョンを入力として受け取り時間依存性導入潜在分布を出力する。シーケンシャルデータ予測マシンは、隠れ状態のバージョンを取得し、時系列データおよび時間依存性導入潜在分布を入力として受け取り、時系列データ、時間依存性導入潜在分布、および隠れ状態のバージョンに基づいて、隠れ状態を更新して隠れ状態の第2のバージョンを生成する。時間依存性導入潜在分布は機械学習モデルに入力され、機械学習モデルは結果を出力する。

概要

背景

系列とは、通常、時間間隔にわたって行われる連続測定から構成されるデータポイント順番である。時系列データは、多種多様な用途で使用され、しばしば、時系列に関する意味のある情報を抽出し、かつ/または将来のイベントもしくは時系列値予測するために分析される。たとえば、時系列データは機械学習技法を使用して分析されてもよい。様々なタイプの機械学習方法が存在する(たとえば、線形回帰モデル、ナイーブベイズ分類器)。機械学習は、通常、データの量、種類、および速度が高く、かつ/またはリアルタイムデータ処理が必要な場合がある「ビッグデータ」問題に対処するために使用される。時系列データを収集することができる多くの異なるドメインまたはモダリティ、多くのタイプの時系列データ、および時系列データが収集または生成され得る多くの異なるソースが存在する。通常、時系列分析または機械学習の特定の方法の場合、いくつかの特性またはイベントの検出または予測などの所望の結果を生成するために、1つまたは複数の特定のタイプの時系列データが入力される。

概要

センサ融合を含む時系列データ適合のためのシステム、方法、および装置が開示される。たとえば、システムは、変分推論マシン隠れ状態を含むシーケンシャルデータ予測マシン、および機械学習モデルを含む。シーケンシャルデータ予測マシンは、隠れ状態のバージョンエクスポートする。変分推論マシンは、時系列データおよび隠れ状態のバージョンを入力として受け取り時間依存性導入潜在分布を出力する。シーケンシャルデータ予測マシンは、隠れ状態のバージョンを取得し、時系列データおよび時間依存性導入潜在分布を入力として受け取り、時系列データ、時間依存性導入潜在分布、および隠れ状態のバージョンに基づいて、隠れ状態を更新して隠れ状態の第2のバージョンを生成する。時間依存性導入潜在分布は機械学習モデルに入力され、機械学習モデルは結果を出力する。

目的

本開示は、時系列データ適合およびセンサ融合のための新しく革新的なシステム、方法、および装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の入力層、第1の複数の隠れ層、および第1の出力層を含む変分推論マシンと、第2の入力層および第2の複数の隠れ層を含むシーケンシャルデータ予測マシンであって、前記第2の複数の隠れ層が隠れ状態を含む、シーケンシャルデータ予測マシンと、機械学習モデルとを備えるシステムであって、前記変分推論マシン、前記シーケンシャルデータ予測マシン、および前記機械学習モデルが、前記第2の複数の隠れ層から、時間依存性情報を含む前記隠れ状態の第1のバージョンエクスポートすることと、前記第1の入力層において、(i)少なくとも第1のセンサからの第1の時間間隔の時系列データ、および(ii)前記隠れ状態の前記第1のバージョンを受け取ることと、前記第1の出力層により、前記第1の時間間隔の前記時系列データおよび前記隠れ状態の前記第1のバージョンに基づいて生成された時間依存性導入潜在分布を出力することと、前記第2の複数の隠れ層により、前記隠れ状態の前記第1のバージョンを取得することと、前記第2の入力層において、(i)前記第1の時間間隔の前記時系列データ、および(ii)前記変分推論マシンからの前記時間依存性導入潜在分布を受け取ることと、前記第1の時間間隔の前記時系列データ、前記時間依存性導入潜在分布、および前記隠れ状態の前記第1のバージョンに基づいて、前記第2の複数の隠れ層における前記隠れ状態を更新して前記隠れ状態の第2のバージョンを生成することと、前記機械学習モデルに前記時間依存性導入潜在分布を入力することと、前記時間依存性導入潜在分布に基づいて、前記第1の時間間隔の結果を前記機械学習モデルから出力することとを繰り返し実行するように構成される、システム。

請求項2

前記結果が、作動を実行するために命令アクチュエータに送信されるようにする、請求項1に記載のシステム。

請求項3

前記作動が、操縦および制動のうちの少なくとも1つである、請求項2に記載のシステム。

請求項4

第1のセンサから出力された前記時系列データが、前記第1の時間間隔で利用できない、請求項1に記載のシステム。

請求項5

前記結果が、前記第1の時間間隔における前記第1のセンサの断続的な利用不可に対してフォールトトレラントである、請求項4に記載のシステム。

請求項6

前記時系列データが、画像センサライダーセンサ、およびレーダーセンサのうちの1つからの多次元データである、請求項1に記載のシステム。

請求項7

前記時系列データが、第1のモダリティの第1の時系列および第2のモダリティの第2の時系列を含み、前記時間依存性導入潜在分布が、マルチモーダル時間依存性導入潜在分布である、請求項1に記載のシステム。

請求項8

第1のセンサおよび第2のセンサを備え、前記第1のセンサが第1のモダリティの第1のタイプのデータを検知し、前記第2のセンサが第2のモダリティの第2のタイプのデータを検知する、請求項1に記載のシステム。

請求項9

前記第1のモダリティがレーダーであり、前記第2のモダリティが超音波である、請求項8に記載のシステム。

請求項10

第3のモダリティの第3のタイプのデータを検知する第3のセンサをさらに備える、請求項8に記載のシステム。

請求項11

前記第1のモダリティがレーダーであり、前記第2のモダリティが超音波であり、前記第3のモダリティがライダーである、請求項10に記載のシステム。

請求項12

前記第1の入力層および前記第2の入力層が、第2のシーケンシャルデータ予測マシンから第2の隠れ状態の第1のバージョンを受け取る、請求項1に記載のシステム。

請求項13

前記第2のシーケンシャルデータ予測マシンからの前記第2の隠れ状態の前記第1のバージョンに基づいて、時間依存性導入潜在分布が生成される、請求項12に記載のシステム。

請求項14

前記第2のシーケンシャルデータ予測マシンが、マルチモーダルシーケンシャルデータ予測マシンである、請求項13に記載のシステム。

請求項15

前記第1の入力層が第1の副層および第2の副層を含み、前記時系列データが前記第1の副層に入力され、前記隠れ状態が前記第2の副層に入力される、請求項1に記載のシステム。

請求項16

前記シーケンシャルデータ予測マシンが、反復ニューラルネットワークを含む、請求項1に記載のシステム。

請求項17

前記反復ニューラルネットワークが、将来の時系列データの予測を出力する第2の出力層を含む、請求項16に記載のシステム。

請求項18

前記第1の入力層によって受け取られた前記時系列データを表す出力を生成する変分生成マシンをさらに備える、請求項1に記載のシステム。

請求項19

前記システムがエッジデバイス実装される、請求項1に記載のシステム。

請求項20

前記システムが車両に実装される、請求項1に記載のシステム。

請求項21

前記隠れ状態の新しいバージョンが、少なくとも30ミリ秒ごとに1度異なる時間間隔で生成される、請求項1に記載のシステム。

請求項22

前記機械学習モデルが、前記時間依存性導入潜在分布の新しいバージョンを使用して、少なくとも30ミリ秒ごとに1度実行する、請求項21に記載のシステム。

請求項23

前記時系列データが画像データを含む、請求項1に記載のシステム。

請求項24

前記時系列データが音声データを含む、請求項1に記載のシステム。

請求項25

前記時系列データが加速度データを含む、請求項1に記載のシステム。

請求項26

前記時系列データがバイナリデータである、請求項1に記載のシステム。

請求項27

前記結果が、予想、予測、分類クラスタリング異常検出、および認識のうちの少なくとも1つである、請求項1に記載のシステム。

請求項28

シーケンシャルデータ予測マシンの複数の隠れ層から、時間依存性情報を含む隠れ状態の第1のバージョンをエクスポートするステップと、変分推論マシンの第1の入力層において、(i)少なくとも第1のセンサからの第1の時間間隔の時系列データ、および(ii)前記隠れ状態の前記第1のバージョンを受け取るステップと、前記変分推論マシンの第1の出力層により、前記第1の時間間隔の前記時系列データおよび前記隠れ状態の前記第1のバージョンに基づいて生成された時間依存性導入潜在分布を出力するステップと、前記複数の隠れ層により、前記隠れ状態の前記第1のバージョンを取得するステップと、前記シーケンシャルデータ予測マシンの第2の入力層において、(i)前記第1の時間間隔の前記時系列データ、および(ii)前記変分推論マシンからの前記時間依存性導入潜在分布を受け取るステップと、前記第1の時間間隔の前記時系列データ、前記時間依存性導入潜在分布、および前記隠れ状態の前記第1のバージョンに基づいて、前記複数の隠れ層における前記隠れ状態を更新して前記隠れ状態の第2のバージョンを生成するステップと、前記機械学習モデルに前記時間依存性導入潜在分布を入力するステップと、前記時間依存性導入潜在分布に基づいて、前記第1の時間間隔の結果を前記機械学習モデルから出力するステップとを備える、方法。

請求項29

第1の入力層、第1の複数の隠れ層、および第1の出力層を含むマルチモーダル変分推論マシンと、第2の入力層および第2の複数の隠れ層を含むマルチモーダルシーケンシャルデータ予測マシンであって、前記第2の複数の隠れ層が隠れ状態を含む、マルチモーダルシーケンシャルデータ予測マシンとを備えるシステムであって、前記マルチモーダル変分推論マシンおよび前記マルチモーダルシーケンシャルデータ予測マシンが、前記第2の複数の隠れ層から、時間依存性情報を含む前記隠れ状態の第1のバージョンをエクスポートすることと、前記第1の入力層において、(i)第1の変分推論マシンからの第1の時間間隔の第1の時間依存性導入潜在分布、(ii)第2の変分推論マシンからの前記第1の時間間隔の第2の時間依存性導入潜在分布、および(iii)前記隠れ状態の前記第1のバージョンを受け取ることと、前記第1の出力層により、前記第1の時間間隔の前記第1の時間依存性導入潜在分布、前記第1の時間間隔の前記第2の時間依存性導入潜在分布、および前記隠れ状態の前記第1のバージョンに基づいて生成された前記第1の時間間隔のマルチモーダル時間依存性導入潜在分布を出力することと、前記第2の複数の隠れ層により、前記隠れ状態の前記第1のバージョンを取得することと、前記第2の入力層において、(i)前記第1の時間間隔の前記第1の時間依存性導入潜在分布、(ii)前記第1の時間間隔の前記第2の時間依存性導入潜在分布、および(iii)前記マルチモーダル変分推論マシンからの前記第1の時間間隔の前記マルチモーダル時間依存性導入潜在分布を受け取ることと、前記第1の時間間隔の前記第1の時間依存性導入潜在分布、前記第1の時間間隔の前記第2の時間依存性導入潜在分布、前記第1の時間間隔の前記マルチモーダル時間依存性導入潜在分布、および前記隠れ状態の前記第1のバージョンに基づいて、前記第2の複数の隠れ層における前記隠れ状態を更新して前記隠れ状態の第2のバージョンを生成することとを繰り返し実行するように構成される、システム。

請求項30

機械学習モデルをさらに備え、前記機械学習モデルが、前記機械学習モデルに前記第1の時間間隔の前記マルチモーダル時間依存性導入潜在分布を入力することと、前記第1の時間間隔の前記マルチモーダル時間依存性導入潜在分布に基づいて、前記第1の時間間隔の結果を前記機械学習モデルから出力することとを行うように構成される、請求項29に記載のシステム。

請求項31

前記隠れ状態の前記第1のバージョンが、少なくとも、前記第1の時間間隔の前記第1の時間依存性導入潜在分布を生成する、第1の変分推論マシンおよび第1のシーケンシャルデータ予測マシン、ならびに前記第2の時間間隔の前記第1の第2の依存性導入潜在分布を生成する、第2の変分推論マシンおよび第2のシーケンシャルデータ予測マシンに提供される、請求項29に記載のシステム。

請求項32

マルチモーダルシーケンシャルデータ予測マシンの複数の隠れ層から、時間依存性情報を含む隠れ状態の第1のバージョンをエクスポートするステップと、マルチモーダル変分推論マシンの第1の入力層において、(i)第1の変分推論マシンからの第1の時間間隔の第1の時間依存性導入潜在分布、(ii)第2の変分推論マシンからの前記第1の時間間隔の第2の時間依存性導入潜在分布、および(iii)前記隠れ状態の前記第1のバージョンを受け取るステップと、前記マルチモーダル変分推論マシンの第1の出力層により、第1の時間間隔の前記第1の時間依存性導入潜在分布、前記第1の時間間隔の前記第2の時間依存性導入潜在分布、および前記隠れ状態の前記第1のバージョンに基づいて生成されたマルチモーダル時間依存性導入潜在分布を出力するステップと、前記複数の隠れ層により、前記隠れ状態の前記第1のバージョンを取得するステップと、前記マルチモーダルシーケンシャルデータ予測マシンの第2の入力層において、(i)前記第1の時間間隔の前記第1の時間依存性導入潜在分布、(ii)前記第1の時間間隔の前記第2の時間依存性導入潜在分布、および(iii)前記マルチモーダル変分推論マシンからの前記第1の時間間隔の前記マルチモーダル時間依存性導入潜在分布を受け取るステップと、前記第1の時間間隔の前記第1の時間依存性導入潜在分布、前記第1の時間間隔の前記第2の時間依存性導入潜在分布、前記第1の時間間隔の前記マルチモーダル時間依存性導入潜在分布、および前記隠れ状態の前記第1のバージョンに基づいて、前記複数の隠れ層における前記隠れ状態を更新して前記隠れ状態の第2のバージョンを生成するステップとを備える、方法。

技術分野

0001

本発明は、時系列データ適合およびセンサ融合のシステム、方法、および装置に関する。

背景技術

0002

時系列とは、通常、時間間隔にわたって行われる連続測定から構成されるデータポイント順番である。時系列データは、多種多様な用途で使用され、しばしば、時系列に関する意味のある情報を抽出し、かつ/または将来のイベントもしくは時系列値予測するために分析される。たとえば、時系列データは機械学習技法を使用して分析されてもよい。様々なタイプの機械学習方法が存在する(たとえば、線形回帰モデル、ナイーブベイズ分類器)。機械学習は、通常、データの量、種類、および速度が高く、かつ/またはリアルタイムデータ処理が必要な場合がある「ビッグデータ」問題に対処するために使用される。時系列データを収集することができる多くの異なるドメインまたはモダリティ、多くのタイプの時系列データ、および時系列データが収集または生成され得る多くの異なるソースが存在する。通常、時系列分析または機械学習の特定の方法の場合、いくつかの特性またはイベントの検出または予測などの所望の結果を生成するために、1つまたは複数の特定のタイプの時系列データが入力される。

課題を解決するための手段

0003

本開示は、時系列データ適合およびセンサ融合のための新しく革新的なシステム、方法、および装置を提供する。例示的な実施形態では、システムは、変分推論マシン隠れ状態を含むシーケンシャルデータ予測マシン、および機械学習モデルを含む。シーケンシャルデータ予測マシンは、隠れ状態の第1のバージョンエクスポートする。変分推論マシンは、時系列データおよび隠れ状態の第1のバージョンを入力として受け取り時間依存性導入潜在分布を出力する。シーケンシャルデータ予測マシンは、隠れ状態の第1のバージョンを取得し、時系列データおよび時間依存性導入潜在分布を入力として受け取り、時系列データ、時間依存性導入潜在分布、および隠れ状態の第1のバージョンに基づいて、隠れ状態を更新して隠れ状態の第2のバージョンを生成する。時間依存性導入潜在分布は機械学習モデルに入力され、機械学習モデルは時間依存性導入潜在分布に基づいて結果を出力する。

0004

例示的な実施形態では、システムは、マルチモーダル変分推論マシン、および隠れ状態を含むマルチモーダルシーケンシャルデータ予測マシンを含む。マルチモーダルシーケンシャルデータ予測マシンは、隠れ状態の第1のバージョンをエクスポートする。マルチモーダル変分推論マシンは、第1および第2の時間依存性導入潜在分布ならびに隠れ状態の第1のバージョンを入力として受け取り、マルチモーダル時間依存性導入潜在分布を出力する。マルチモーダルシーケンシャルデータ予測マシンは、隠れ状態の第1のバージョンを取得し、第1および第2の時間依存性導入潜在分布ならびにマルチモーダル時間依存性導入潜在分布を入力として受け取り、第1および第2の時間依存性導入潜在分布、マルチモーダル時間依存性導入潜在分布、ならびに隠れ状態の第1のバージョンに基づいて、隠れ状態を更新して隠れ状態の第2のバージョンを生成する。

0005

開示された方法および装置のさらなる特徴および利点は、以下の詳細説明および図面に記載され、それらから明らかになるであろう。

図面の簡単な説明

0006

本開示の例示的な実施形態による、エッジデバイスの一例のブロック図である。
本開示の例示的な実施形態による、時系列データ適合を示す高レベルフロー図である。
本開示の例示的な実施形態による、変分推論マシンの高レベルブロック図である。
本開示の例示的な実施形態による、変分生成マシンの高レベルブロック図である。
本開示の例示的な実施形態による、変分推論マシンを訓練するための例示的なプロセスを示す高レベルブロック図である。
本開示の例示的な実施形態による、シーケンシャルデータ予測マシンの高レベルブロック図である。
本開示の例示的な実施形態による、時系列データ適合を示すフロー図である。
本開示の例示的な実施形態による、時系列データ適合の例示的なプロセスを示すフローチャートである。
本開示の例示的な実施形態による、時系列データ適合モジュールの高レベルブロック図である。
本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。
本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。
本開示の例示的な実施形態による、変分推論マシンの高レベルブロック図である。
本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。
本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。
本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。
本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。
本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。
本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。
本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。
本開示の例示的な実施形態による、時系列データ適合モジュールの高レベルブロック図である。
本開示の例示的な実施形態による、3次センサ融合を含む時系列データ適合を示すフロー図である。
本開示の例示的な実施形態による、時系列データ適合を示すフロー図である。

実施例

0007

図1は、本開示の例示的な実施形態による、エッジデバイス100の一例のブロック図である。例示的な実施形態では、エッジデバイス100は、高度運転者支援システムまたは自律車両であってもよい。別の例示的な実施形態では、エッジデバイス100は家庭健康監視デバイスであってもよい。他の例示的な実施形態では、エッジデバイス100は、熱ビデオカメラまたは超音波検出器であってもよい。例示的なエッジデバイス100は、センサ融合を含む場合がある、データ収集を実行すること、機械学習を実行すること、および時系列データ適合を実行することが可能なデバイスである。通常、エッジデバイス100は、他のデバイスとの通信を実行することも可能である。例示的な実施形態では、エッジデバイス100は、中央サーバ中間サーバデータリポジトリゲートウェイルータなどを含む、データ接続デバイスの大規模分散ネットワークエッジまたは最外層にある。エッジデバイス100には、記録デバイス(たとえば、デジタルカメラ、ビデオカメラ、オーディオレコーダ)、都市管理デバイス(たとえば、駐車センサ交通センサ水質デバイス)、車両(たとえば、自動車トラック航空機)、身体センサ(たとえば、活動センサバイタルサインセンサ歩数計)、環境センサ(たとえば、気象センサ汚染センサ大気質センサ)、ウェアラブルコンピューティングデバイス(たとえば、スマートウォッチ眼鏡衣服)、パーソナルコンピュティングデバイス(たとえば、携帯電話タブレットラップトップ)、ホームデバイス(たとえば、家電製品サーモスタット照明システム、セキュリティシステム)、広告デバイス(たとえば、ビルボード情報キオスク)などを含む、多種多様なデバイスが含まれてもよい。エッジデバイス100は、通信モジュール102と、データ収集デバイス104と、メモリ106と、機械学習モジュール108と、時系列データ適合モジュール110と、調整モジュール112とを含んでもよい。

0008

通信モジュール102は、同じタイプ(たとえば、複数の熱ビデオカメラ)もしくは異なるタイプ(たとえば、熱ビデオカメラおよび超音波検出器)の他のエッジデバイス100、ならびに/またはサーバデバイスなどを含む他のデバイスと通信するように構成される。たとえば、下記でさらに詳細に記載されるように、通信モジュール102は、インターネットもしくは任意の適切なワイドエリアネットワークローカルエリアネットワーク、ゲートウェイ、または他の通信チャネルもしくはネットワークを含む、1つまたは複数のネットワークまたは通信チャネルを介して他のデバイスと通信するように構成されてもよい。たとえば、通信モジュール102は、セルラーネットワーク(たとえば、4G、3G、GSM登録商標))、ワイヤレスローカルエリアネットワーク(たとえば、Wi−Fi)、衛星(たとえば、VSAT)、または任意の適切な形態のワイヤレス通信(たとえば、Bluetooth(登録商標)、RFID、NFC、IrDA、Li−Fi)によって採用された複数のプロトコルを介するワイヤレス通信向けに構成されてもよい。また、たとえば、通信モジュール102は、別のエッジデバイス100への有線接続(たとえば、イーサネット(登録商標)、DSL、USB、RS−232、同軸ケーブル)向けに構成されてもよい。さらに、通信モジュール102は、たとえば、タッチスクリーンディスプレイを用いて実装され得るグラフィカルユーザインターフェースを介して、ユーザと通信することができる。ユーザは、特定のタスクを実行するようにエッジデバイス100に要求し、かつ/またはエッジデバイス100から情報を受け取ることができてもよい。したがって、通信モジュール102は、1つまたは複数の通信プロトコルを使用する1つまたは複数の通信インタフェースを介して通信するように構成されたハードウェアおよび/またはソフトウェアを含んでもよい。例示的な実施形態では、通信モジュール102は、エッジデバイス100内、または命令に基づいてアクション(たとえば、緊急是正処置)を取ることができる他のデバイス内の様々なアクチュエータまたはハードウェア構成要素に、メッセージまたは命令を送信することができる。たとえば、1つまたは複数のエッジデバイス100および1つまたは複数の異なるサーバ(たとえば、中央サーバ)と通信する中間サーバは、エッジデバイス100からメッセージまたは命令を受信することができる。

0009

データ収集デバイス104は、センサ、検出器、または実世界の特性(たとえば、距離、超音波レベル、速度、加速度ショッピングカート内アイテム、手の動き、形状、温度、角度、音声認識単語認識トルクスリップベル)を表すデータのリアルタイム収集に適した任意のデバイスであってもよい。データ収集デバイス104は、周期的に(たとえば、ミリ秒、秒、分ごとに)連続的なデータストリームを受け取るか、またはデータを収集することができ、それは、概して収集されるデータのタイプおよびデータストリームの変動性に依存してもよい。データタイプXの時系列は、本明細書ではxと呼ばれてもよく、ここで、x=<x1,x2,x3,…xi>である。データ収集デバイス104には、通常、ある特定のタイプのデータを収集するように具体的に構成された特定のハードウェアおよび/または物理構造(たとえば、画像センサレーダーセンサライダーセンサ、超音波センサ加速度計ジャイロスコープセンサ温度計、血液酸素センサ、パルスオキシメトリセンサ、pHセンサ、肺活量計呼吸センサ煙センサ高度計ホール効果センサ速度計光検出器ボロメータ流量センサ歪みゲージトルクセンサタコメータ傾斜計マイクロフォン磁力計電圧計電流計オーム計化学センサ圧力センサレインセンサ湿度計ヒュミスタ風速計地震計ガイガーカウンタなど)が含まれる。例示的な実施形態では、1つのエッジデバイス100は、様々なタイプのデータを収集する複数の様々なデータ収集デバイス104を含んでもよい。データ収集デバイス104は、収集されたデータをメモリ106に供給する。例示的な実施形態では、メモリ106は、ビデオ画像データなどの大量のデータを受け取り、記憶するための専用メモリ(たとえば、VRAM)であってもよい。したがって、メモリ106は、たとえば、エッジデバイス100の高スループットおよび低遅延仕様を満たすために、タスク固有専用ハードウェアを有してもよい。メモリ106は、バッファシフトレジスタなどの様々な階層のメモリを含んでもよい。メモリ106は、収集されたデータを一時的に記憶するように構成されてもよく、機械学習モジュール108および/または時系列データ適合モジュール110にとって収集されたデータがもはや必要でなくなると、上書きされてもよい。

0010

機械学習モジュール108は、1つまたは複数のデータ収集デバイス104によって収集され、メモリ106に記憶された時系列データを使用して、機械学習モデルを実行することができる。機械学習モジュール108は、収集された時系列データを入力として受け取り、かつ/または収集された時系列データを表す適合データ(たとえば、センサ融合データ)を入力として受け取ることができ、適合データもメモリ106に記憶されてもよい。機械学習モジュール108は、予想、予測、分類クラスタリング異常検出、および/または認識を行うために収集および/または適合されたデータを使用して機械学習モデルを実行し、それは次いで結果として出力される。機械学習モデルは、結果を繰り返し更新することができる。たとえば、機械学習モデルは、メモリに記憶されたすべての利用可能な収集データを使用して、または収集された時系列データを表す適合データを使用して連続的に実行することができ、連続結果または周期結果を生成することができる。たとえば、収集されたデータのボリュームおよび速度が比較的低い(疎および/または低速の)場合、機械学習モデルは周期的にしか実行することができず、各結果が出力された後に一定期間休止してもよいが、新しいデータは収集される。各機械学習モデルは、所定のタスク(たとえば、潜在的な衝突の検出、慢性閉塞性肺疾患COPD)リスクの分類、故障したスチームトラップの検出、アイテムの予測、レジ犯罪盗難の認識、警戒(BOLO)警報に対する疑いの認識、コーナリング速度の分類)に関する。たとえば、車両エッジデバイス100用の機械学習モデルの場合、所定のタスクは、衝突回避措置がいつ実施される必要があるかを検出することであり得る。車両エッジデバイス100は、車両(たとえば、自律車両または無人車両)に搭載されてもよく、複数の様々な時系列(たとえば、ライダー、ビデオレーダー、超音波、および速度または速力)を同時に検出することができる。検出された複数の様々な時系列のうちの1つまたは複数を使用して、機械学習モジュール108は実行され、特定の条件下で衝突の発生が差し迫っているという検出を出力することができる。検出は、車両の操縦および/または制動などの衝突回避作動をトリガすることができる。ライダーデータ、ビデオデータ、レーダーデータ、および超音波データを使用して、車両の周辺に関する情報を提供すると、差し迫った衝突の最適な検出がもたらされ得るが、適切なライダーデータ収集デバイス104は、比較的高価(たとえば、単価8,000ドル)である。したがって、多くの場合、収集されたデータのコストと品質との間のトレードオフが存在し、それに応じて、ライダーは、いくつかの車両でのデータ収集デバイス104としての使用に利用できない可能性がある。

0011

機械学習モデルは、その入力として様々な時系列のうちの1つを個別に使用することができ、かつ/または機械学習モデルは、時系列データのマルチモーダル入力である様々な時系列のうちの2つ以上をその入力として使用することができる。機械学習モデルは、1つもしくは複数のセンサからの時系列データ、および/または1つもしくは複数のセンサからの時系列データを表す適合データを含む場合がある、1つまたは複数の特定のタイプのデータを使用して、所定のタイプの入力に対して訓練される。機械学習モデルに対する所定のタイプの入力は、センサからの時系列、様々なセンサからの複数の時系列、センサからの時系列の分散表現、または様々なセンサからの複数の時系列の分散表現であってもよい。分散表現は、通常、次元が減少するが、一般に最も重要な情報を保存する時系列データのバージョンであり、場合によっては、ほとんど無損失であり得る。機械学習モデルは、その入力として正しいタイプのデータが受け取られることを必要とする。たとえば、超音波センサデータおよびライダーセンサデータ両方とも同じ現象に関する情報を提供している(または根底にある現象と相関している)場合でも、超音波データの時系列を受け取るように訓練された機械学習モデルは、ライダーセンサデータの時系列を適切に使用することができず、その逆も同様である。しかしながら、機械学習モデルは、各々が超音波およびライダーなどの様々なドメインまたはモダリティからの様々なタイプのデータから作成された結合データタイプを、その入力として使用するように訓練されてもよい。下記でさらに詳細に説明されるように、結合データタイプはセンサ融合を実行することからもたらされてもよい。その入力としてセンサ融合結合データタイプを受け取る機械学習モデルは、データの様々なモダリティ間の相乗効果から利益を得ることができ、機械学習モデルが、非結合センサデータタイプを受け取る機械学習モデルよりも良好な結果を提供することが可能になる。しかしながら、その入力としてセンサ融合結合データタイプを受け取るように訓練された機械学習モデルは、正しいタイプの入力を必要とする。したがって、機械学習モジュール108は、必要なセンサ融合結合データタイプを作成するためにデータを提供する1つまたは複数のセンサが欠落している状況を説明するために、様々な異なる機械学習モデルを含んでもよい。

0012

例示的な実施形態では、3つのセンサA、B、およびCが使用されて、その入力として時系列ABCを受け取るように訓練された機械学習モデルにおいて使用され、それぞれの個別の時系列を受け取るように訓練された機械学習モデルにおいて、個別の時系列A、B、またはCのいずれか1つと比較して、より正確な結果(たとえば、差し迫った衝突の検出)を提供する融合時系列ABCを作成する。しかしながら、センサA、B、またはCのいずれかが一時的に利用できない場合、その入力として時系列ABCを受け取るように訓練された機械学習モデルは、使用することができない(または準最適で不適切な結果をもたらす)。したがって、たとえば、センサA、B、および/またはCが断続的に利用できなくなったときに直ちに切り替えるために、時系列ABまたは時系列ACまたは時系列BCを使用するように訓練された機械学習モデルが利用可能である必要があり得る。この例では、機械学習モデルがフォールトトレラントではないので、1つまたは複数のセンサが利用できない可能性を考慮して訓練されなければならない7つの異なるモデル(ABC、AB、AC、BC、A、B、およびC)が存在してもよい。上述されたようにオンザフライで機械学習モデルの間を切り替えることは、いくつかの状況では適切であり得るが、異なるタイプのセンサの数が多くなると、断続的に欠落しているデータがかなり問題になる可能性がある。具体的には、訓練される必要がある機械学習モデルの数は、異なるタイプのセンサの数の増加が比較的少なくても、大幅に増加する可能性がある。たとえば、センサA、B、およびCにもう1つのセンサDを追加すると、このシステムで訓練される必要がある機械学習モデルの数が8増加し、10センサを有するシステムは、1,023個の機械学習モデルを必要とするかもしれない。センサの数が増加するにつれて、必要な機械学習モデルの数は指数関数的に増加する。断続的に利用できないデータの問題に対処するために、数十または数百のセンサを使用して融合時系列を作成する場合、組合せ的爆発が発生し、特にリアルタイム分析(たとえば、衝突回避)において実行するために、センサデータが断続的に利用できないときに必要な訓練された機械学習モデルを切り替えることが困難または不可能になる。たとえば、300個のセンサを有するシステムの場合、300個のセンサのうち150個の9.37×1088の組合せが存在する。その上、センサのあらゆる組合わせに対して新しい機械学習モデルを必要とするシステムは、リアルタイムデータ分析のための実際的な適合性を欠いている。

0013

時系列データ適合モジュール110は、機械学習モジュール108に提供され得る1つまたは複数の分散表現に、時系列データを適合させるように構成される。時系列データ適合モジュール110は、1次適合、2次適合、および/または高次適合もしくは混合適合を実行することができる。1次適合は、時系列データの分散表現への適合を含む。2次適合は、分散表現の融合された分散表現への適合を含む。高次適合(たとえば、3次)は、グローバルデータ表現などの融合された分散表現の適合を含む。混合適合には、時系列と分散表現を融合することなどの、様々なレベルのデータを適合させることが含まれる。時系列データ適合モジュール110は、有利なことに、システム内の耐故障性を向上させ、センサの必要コストを低減し、センサの故障または使用不能による影響を低減し、送信および記憶されるデータ量を減らし、処理時間およびデータ転送の速度を増大させ、結果の確度、精度、および一貫性を向上させるために、高密度で、情報量が多く、かつ堅牢な分散表現を機械学習モジュールに提供することができる。本明細書に記載される時系列データ適合モジュール110は、断続的および/または永続的の両方でセンサデータが利用できないときに、リアルタイムデータ分析中に結果を改善するのに特に有利であり得る。例示的な実施形態では、時系列データ適合モジュール110は、下記でさらに詳細に記載されるように、センサ融合を実行する。

0014

調整モジュール112は、通信モジュール102、データ収集デバイス104、メモリ106、機械学習モジュール108、および時系列データ適合モジュール110のプロセスを調整することができる。エッジデバイス100は、中央処理装置を有してもよく、様々な特定のタスクに専用の1つまたは複数の追加プロセッサを有してもよい。各エッジデバイス100は、1つまたは複数のプロセッサ、メモリ、バスなどを使用することができる。また、通信モジュール102、データ収集デバイス104、メモリ106、機械学習モジュール108、時系列データ適合モジュール110、および調整モジュール112の各々は、1つまたは複数のプロセッサ、メモリ、バスなどを使用することができる。プロセッサ、メモリ、および任意の他の構成要素は、通信モジュール102、データ収集デバイス104、メモリ106、機械学習モジュール108、時系列データ適合モジュール110、および調整モジュール112のうちの1つまたは複数によって共有されてもよい。例示的な実施形態では、通信モジュール102、データ収集デバイス104、メモリ106、機械学習モジュール108、時系列データ適合モジュール110、および調整モジュール112の各々は、互いのモジュールまたは構成要素とは別個のいくつかの専用のハードウェアおよびソフトウェアを使用する。

0015

図2は、本開示の例示的な実施形態による、時系列データ適合を示す高レベルフロー図である。複数のデータ収集デバイス104a、104b、104cは、時系列データ適合モジュール110に時系列データを供給する。たとえば、データ収集デバイス104aはライダーセンサであってもよく、データ収集デバイス104bはレーダーセンサであってもよく、データ収集デバイス104cは超音波センサであってもよい。時系列データ適合モジュール110は、変分推論マシン202と、シーケンシャルデータ予測マシン204とを含む。図2には1対のみの変分推論マシン202およびシーケンシャルデータ予測マシン204が示されているが、時系列データ適合モジュール110は、様々なタイプおよび構成の複数の変分推論マシン202およびシーケンシャルデータ予測マシン204を含んでもよく、下記でより詳細に説明されるように、変分推論マシン202およびシーケンシャルデータ予測マシン204は、様々な異なるタイプの入力データを処理することができる。たとえば、時系列データ適合モジュール110は、シングルモダル時系列データ、マルチモーダル時系列データ、シングルモーダル分散表現、および/またはマルチモーダル分散表現を入力として受け取ることができる。下記でさらに説明されるように、変分推論マシン202は、シングルモーダル変分推論マシンまたはマルチモーダル変分推論マシンであってもよく、同様に、シーケンシャルデータ予測マシン204は、シングルモーダルシーケンシャルデータ予測マシンまたはマルチモーダルシーケンシャルデータ予測マシンであってもよい。様々なドメインまたはモダリティ(たとえば、ライダー、画像、レーダー、温度、超音波)のセンサからのシングルモーダルデータを使用してマルチモーダルデータを作成することは、センサ融合と呼ばれる場合がある。センサ融合を介して、センサの様々なモダリティからの時系列データは、機械学習分析などにおいて信頼性が高く、正確で、かつ/または迅速な認識結果を生成するのにより適した、より堅牢で情報量が多いデータタイプを形成するために融合されてもよい。2つの異なるタイプのデータが両方とも同じ現象に関する情報を提供するとき、または根底にある現象と相関があるとき、これらのタイプのデータは機械学習に重要な相乗効果を提供することができ、センサ融合に特に適している場合がある。したがって、時系列データ適合モジュール110は、データ収集デバイス104a、104b、104cからの時系列データを、機械学習モデル206への入力として使用され得る1つまたは複数の分散表現に適合させる。例示的な実施形態では、時系列データ適合モジュール110は、データ収集デバイス104a、104b、104cの各々についての分散表現を出力する。別の例示的な実施形態では、時系列データ適合モジュール110は、融合された分散表現を出力する。

0016

時系列データ適合モジュール110は、特定のシステムごとに必要とされるように、シングルモーダルおよび/またはマルチモーダルであり得る、複数の変分推論マシン202およびシーケンシャルデータ予測マシン204を含んでもよいので、図2に示された時系列データ適合モジュール110は非限定的な例に過ぎないことを諒解されたい。同様に、機械学習モジュール108は、多くの異なる機械学習モデル206を含んでもよい。場合によっては、エッジデバイス100は、1つまたは複数の特定のタイプの時系列データを収集し、収集された時系列データを分散表現として適合させ、分散表現を使用して機械学習モジュール108を実行するという1つの目的のみを有する。たとえば、そのようなエッジデバイス100は、(たとえば、ASICを使用して)特定のデータ収集、データ適合、および機械学習タスクを実行するようにハードコーディングされてもよい。しかしながら、いくつかのエッジデバイス100は、異なる時間にまたは同時に様々な異なるタスクを処理するように要求され、必要に応じて新しいタスクを処理するように構成可能であり得るなどの多目的マシンであってもよい。これらのエッジデバイス100は、通常、多くの異なる変分推論マシン202、シーケンシャルデータ予測マシン204、および機械学習モデル206を有してもよく、変分推論マシン202、シーケンシャルデータ予測マシン204、および機械学習モデル206を追加および/または更新することができる構成可能なソフトウェアモジュールを含んでもよい。

0017

図3は、本開示の例示的な実施形態による、変分推論マシン202の高レベルブロック図である。変分推論マシン202は、入力層302と、複数の隠れ層304と、出力層306とを含む。例示的な実施形態では、入力層302は8つのノードを有し、8タプルである入力変数xを受け取り、8タプルの各要素は属性を表す。各ノードは、各時間間隔で8タプルの1つの要素の値を受け取る。たとえば、入力変数xは、データ収集デバイス104(たとえば、超音波センサ)から出力された時系列データ値であってもよい。入力層302で受け取られたデータは、変分推論マシン202の隠れ層304に供給される。隠れ層304は、ニューラルネットワークなどの形態で提供されてもよい。隠れ層304は、入力層302に入力されたデータを出力層306から出力される潜在分布zとして符号化するように構造化されてもよい。潜在分布は、変分推論マシンの入力変数の確率分散表現を提供する1つまたは複数の分布を含む。確率分散表現は、離散値によって定義される潜在変数とは対照的に、確率分布によって定義される潜在変数の集合である。図3に示されたように、出力層は6つのノードを有し、潜在分布zは3つの分布の集合を含み、各分布は、(たとえば、ガウス分布の場合)平均μz(x)および標準偏差σz(x)によって定義されてもよい。図3に示された特定のノード構造は非限定的な例に過ぎず、たとえば、変分推論マシンは、任意の適切な数のノードを有する入力層、任意の適切な数の隠れ層を含んでもよく、各隠れ層は、任意の適切な数のノードおよびノード間の任意の適切な接続構造、ならびに出力層内の任意の適切な数のノードを有してもよいことを諒解されたい。

0018

図4は、本開示の例示的な実施形態による、変分生成マシン400の高レベルブロック図である。変分生成マシン400は、入力層402と、複数の隠れ層404と、出力層406とを含む。例示的な実施形態では、入力層402は、変分推論マシン202から出力された潜在分布zを受け取って、変分推論マシンに入力されたデータ(たとえば、入力変数x)を再生する。たとえば、入力層402は6つのノードを有し、各時間間隔で3つの分布を含む潜在分布zを入力として受け取り、各分布は平均μz(x)および標準偏差σz(x)によって定義されてもよい。たとえば、潜在分布zは、一連の時間間隔にわたって、データ収集デバイス104(たとえば、超音波センサ)から出力されたデータ値の一連の分散表現であってもよい。入力層402で受け取られたデータは、変分生成マシン400の隠れ層404に供給される。隠れ層404は、ニューラルネットワークなどの形態で提供されてもよい。隠れ層404は、変分推論マシンの出力層306から出力された、入力層402に入力された潜在分布zを復号するように構造化されてもよい。潜在分布zを隠れ層404で復号することは、入力変数xを、xに近似する生成変数x^として復元または回復する。出力層406は、8つのノードを含み、下記で説明されるように、変分推論マシン202を訓練するために使用され得る生成変数x^を提供することができる。図4に示された特定のノード構造は非限定的な例に過ぎず、たとえば、変分生成マシンは、任意の適切な数のノードを有する入力層、任意の適切な数の隠れ層を含んでもよく、各隠れ層は、任意の適切な数のノードおよびノード間の任意の適切な接続構造、ならびに出力層内の任意の適切な数のノードを有してもよいことを諒解されたい。

0019

図5は、本開示の例示的な実施形態による、変分推論マシン202を訓練するための例示的なプロセス500を示す高レベルブロック図である。例示的な実施形態では、変分推論マシン202および変分生成マシン400を訓練するために、変分オートエンコーダが使用される。たとえば、変分推論マシン202と変分生成マシン400の両方は、変分下限を最大化するために確率的勾配上昇を伴う逆伝播を使用するオートエンコーダとして、同時に訓練されてもよい。たとえば、逆伝播訓練は、たとえば、下記でより詳細に記載されるような対数尤度技法を使用して、隠れ層における順方向伝搬、逆方向伝搬、および重みの更新を繰り返し含んでもよい。データタイプXに対する変分推論マシン202は、時系列の集合{x1,x2,…xn}、データタイプXのすべてを使用して訓練されてもよく、その結果、一度訓練されると、変分推論マシン202は入力変数xを最適に符号化する。十分な訓練データが必要とされることを諒解されたい。たとえば、訓練データは、十分な時系列の集合、適切な時系列の長さ(たとえば、十分な時間間隔のデータ)、および十分に豊富な時系列(たとえば、過度に疎でないデータセット)を必要とする場合がある。訓練データの質および量は、変分推論マシンの確度、一貫性、堅牢性、および適合性を決定づけることができる。

0020

変分オートエンコーダは、入力層、複数のノードを含む少なくとも1つの隠れ層、および出力層を含む変分推論マシン202と、入力層、複数のノードを含む少なくとも1つの隠れ層、および出力層を含む変分生成マシン400とを含む。通常、隠れ層との間(たとえば、隠れ層間)の接続は、非線形接続を含む。入力変数xと潜在分布zとの間のマッピングは非線形なので、真の事後分布の推論は困難である。したがって、変分推論マシン202は、真の事後分布を近似するように訓練され得る変分近似を使用するものとして記載されてもよく、推論確率は、隠れ層304におけるニューラルネットワークとしてパラメータ化され実装されてもよい。変分推論マシン202を訓練することは、たとえば、対数尤度技法を使用する変分近似の変分下限の導出を含む。たとえば、2つの異なる確率分布(たとえば、事前のQおよび事後のP)の間の差を測定するカルバックライブラー発散(KL発散)を使用する対数尤度技法は、訓練データのオーバーフィットを回避するために変分近似の複雑さにペナルティ課す正規化項として働くKL発散項に等しい変分下限、およびxとx^の間の誤差尺度である負の復元誤差を有する。訓練中、目標は最大の最大対尤度を与える変分下限を最大化することである。変分下限を最大化するために、KL発散項は最小化され、負の復元誤差は逆伝播を介して最大化される。生成変数x^が入力変数xとの最小の差しかもたない場合、潜在分布zは、一般に、入力変数xの情報が豊富で高密度の確率分散表現であり、それは、有利なことに、(たとえば、センサ故障の間)永続的および/または断続的に利用できないデータに対して堅牢であり得る。したがって、潜在分布zは、機械学習モデル206のための最適な入力であり得る。

0021

例示的な実施形態では、訓練は確率的マスクを使用することを含んでもよい。たとえば、確率的マスクは、訓練中に入力データの値をランダムにゼロアウトするために使用することができ、その結果、訓練された変分推論マシン202は、値がないか、または入力層302内のノードの数よりも値が少ない入力変数xをより良く扱うことができる。確率的マスクは、ランダムに設定されてもよく、時系列用のデータが利用できなくなる経験的確率に従って設定されてもよい、バイナリ変数(たとえば、0および1)から構成されてもよい。

0022

例示的な実施形態では、潜在分布zは、変分下限を最大化することができる任意の適切なタイプの確率分布を使用することができる。潜在分布zは、たとえば、入力データ内の様々な基礎となる特徴に関連して、複数の様々なタイプの確率分布を使用することができる。通常、特徴はガウス分布によって最も良く表され得るが、例示的な実施形態では、時間ベースの特徴はポアソン分布によって表されてもよく、かつ/または空間ベースの特徴はレイリー分布によって表されてもよい。

0023

図6は、本開示の例示的な実施形態による、シーケンシャルデータ予測マシン204の高レベルブロック図である。シーケンシャルデータ予測マシン204は、入力層602と、特徴抽出器604と、複数の隠れ層606と、出力層608とを含み、出力層608は、シーケンシャルデータ予測マシン204に入力されたデータに基づいてシーケンシャルデータ予測値を出力することができる。例示的な実施形態では、入力層602は8つのノードを有し、8タプルである入力変数xを受け取るので、各ノードは各時間間隔で8タプルの1つの要素の値を受け取る。たとえば、入力変数xは、データ収集デバイス104(たとえば、超音波センサ)から出力された時系列データ値であってもよい。入力層602において受け取られたデータは、1つまたは複数の層に複数のノードを含んでもよい特徴抽出器604に供給される。特徴抽出器604は、ニューラルネットワークなどとして構造化されてもよい。特徴抽出器604の出力は、シーケンシャルデータ予測マシン204の隠れ層606に供給される。例示的な実施形態では、シーケンシャルデータ予測マシン204はいかなる特徴抽出器604も含まないが、通常、特徴抽出器604は、シーケンシャルデータ予測マシン204の確度を改善することができる。たとえば、特徴抽出器604は、入力変数x内のノイズを除去し、かつ/または所望の特徴を強調することができ、それは、概して信号対ノイズ比を改善する傾向があってもよい。隠れ層606は、たとえば、異なる層のノード間の重み付けされたリンクを有するニューラルネットワークなどの形態で提供されてもよい。隠れ層606は、シーケンシャルデータの予想または予測を実行する。たとえば、隠れ層606は、入力変数xの直近の将来の値を予測するように構造化されてもよい。隠れ層606は常に隠れ状態hを維持し、隠れ状態は新しい入力データが受け取られると繰り返し更新される。たとえば、隠れ状態hは、各々が8ノードを有する4つの隠れ層に基づいて、32ノードの値によって定義されてもよい。各時間間隔において、隠れ状態ht−1は隠れ状態htに更新される。隠れ層606内のノードの出力は、出力層608に供給される。たとえば、出力層608は、次の時間間隔で、すなわち時刻t+1において、入力変数xに対して予測入力xt+1の予測を出力することができる。出力層608は、予測入力xt+1の8タプルを供給する8個のノードを有してもよい。したがって、各時間間隔において、シーケンシャルデータ予測マシン204は、隠れ状態ht−1を使用して次の入力変数を予測するように構造化される。

0024

図6に示された特定のノード構造は非限定的な例に過ぎず、たとえば、シーケンシャルデータ予測マシン204は、任意の適切な数のノードを有する入力層602、任意の適切な特徴抽出器604または0個の特徴抽出器604、任意の適切な数の隠れ層606を含んでもよく、各隠れ層は、任意の適切な数のノードおよびノード間の任意の適切な接続構造、ならびに出力層608内の任意の適切な数のノードを有してもよいことを諒解されたい。シーケンシャルデータ予測マシン204は、任意の適切な構造(たとえば、反復ニューラルネットワーク(RNN)、長短期メモリ(LSTM)ネットワーク、反復多層パーセプトロン(RMLP)、2次RNN、隠れマルコフモデル(HMM))を実装することができる。たとえば、シーケンシャルデータ予測マシン204は、通常、複数のノードを含むRNNであってもよく、各ノードは、1つまたは複数の隠れ層内でそれぞれ構造化されてもよい。例示的な実施形態では、RNN隠れ層は完全に接続されてもよい。特徴抽出器ノードは、隠れ状態の一部または部分集合であってもよいし、隠れ状態とは別個であってもよい。

0025

図7は、本開示の例示的な実施形態による、時系列データ適合を示すフロー図である。例示的な時系列データ適合モジュール110は、変分推論マシン202と、RNN204として明示されたシーケンシャルデータ予測マシンとを含む。図7は、0msecから始まり、時間間隔が30msecの反復プロセスを示す。たとえば、超音波センサ時系列データxtは、フロー図の左側から0msecおよび30msecにおける信号xtの入力によって示されるように、30msecごとに受け取られてもよい。図7の入力は左側から受け取られるように示され、出力は右側から出力される。点線は次の時間間隔の開始を示す。時間間隔は、たとえば、データ収集デバイス104(たとえば、超音波センサ、ビデオ画像センサ、ライダーセンサ)のサンプリング時間、ならびに/または変分推論マシン202、シーケンシャルデータ予測マシン204、および/もしくは機械学習モデル206の処理時間によって規定されてもよい。

0026

図7に示されたように、時系列データxtおよび隠れ状態ht−1は0msecにおいて受け取られ、これらは両方とも、5msecにおいて潜在分布ztを出力する変分推論マシン202の入力層に入力される。隠れ状態は、下記でさらに詳細に説明されるように、入力変数xtと並行してnタプル変数ht−1として変分推論マシン202に入力されてもよい。潜在分布ztは、時刻t−1以前から時間依存性を維持する隠れ状態ht−1からの時間依存性情報を導入される。時間依存性導入潜在分布ztは、機械学習モジュール108内の機械学習モデル206に供給されてもよい。例示的な実施形態では、変分推論マシン202から出力されると直ちに、時間依存性導入潜在分布ztは、機械学習モデル206に直接供給される。タイムクリティカルリアルタイムシステムでは、可能な限り迅速に時系列データxtを表す時間依存性導入潜在分布ztを供給することが重要であり得る。別の例示的な実施形態では、時間依存性導入潜在分布ztは、機械学習モデル206に入力される前の形態にさらに適合または変換される。

0027

RNN204は、時間依存性導入潜在分布ztおよびリアルタイムデータxtを入力として受け取るが、現在の時間依存性導入潜在分布ztは、0msecにおいてまだ生成されていない。したがって、RNN204は、たとえば、時系列データxtが取得された後の5msecにおいて、変分推論マシン202から出力される時間依存性導入潜在分布ztを待つことができる。次いで、時間依存性導入潜在分布ztおよびリアルタイムデータxtは両方とも、RNN204の入力層に並行して入力され、RNN204は、前の時間間隔から取得された隠れ状態ht−1を、たとえば10msecにおいてhtに更新する。更新された隠れ状態htが生成されると、それはRNN204からエクスポートされ、次の時間間隔(たとえば30msec)における入力として変分推論マシン202に供給されてもよい。データが隠れ層606からエクスポートされることは、RNN204の右側の出力層608から出力されるのとは対照的に、図7に示されたようにRNN204の下部からエクスポートされる隠れ状態htによって示される。同様に、隠れ層606が隠れ状態htの現在のバージョンを取得することは、入力層602においてRNN204の左側に入力されるのとは対照的に、RNN204の上部に供給される隠れ状態htによって示される。

0028

図7に示されたプロセスは、リアルタイムデータxが収集されている間に(たとえば、車両がオンになっている間に)繰り返し行われてもよい。各時間間隔において、時系列データxtは、時間コンテキストを提供せず、時間依存性を含まない時間内の単一の時間的瞬間を表すことができる。各時間間隔において、時間依存性導入潜在分布ztは、(たとえば5msec、35msec、65msecにおいて)変分推論マシン202から出力され、かつ/または機械学習モデル206に直接的もしくは間接的に供給されてもよい。たとえば、センサ誤差に起因して、または通信チャネル遅延に起因して、時系列データxtが一時的に利用できないときでも、更新された時間依存性導入潜在分布ztは、機械学習モデル206への入力のために変分推論マシン202からまだ出力されてもよく、なぜなら、隠れ状態ht−1内で維持される時間依存性は、時間依存性導入潜在分布ztが必要に応じて更新されることを可能にするからである。したがって、図7の構造は、1つまたは複数の時間間隔の間に断続的に欠落している時系列データxに対して堅牢である。時間依存性導入潜在分布ztは、検知されているシステムの時間依存性がシステムによって維持されている限り(たとえば300ミリ秒、1秒、2秒、3秒)、機械学習モデル206に時系列データxの正確な分散表現を供給し続けることができる。図示された30msecの時間間隔は例示に過ぎず、データ収集デバイス104、システムスループットシステム要件などに基づいて調整されてもよいことを諒解されたい。

0029

図8は、本開示の例示的な実施形態による、時系列データ適合用の例示的なプロセスを示すフローチャートである。プロセス800は、図8に示されたフローチャートを参照して記載されているが、プロセス800に関連付けられた動作を実行する多くの他の方法が使用されてもよいことを諒解されたい。たとえば、いくつかのブロックの順序が変更されてもよく、あるブロックが他のブロックと組み合わされてもよく、あるブロックが繰り返し実行または反復されてもよく、記載されたブロックのいくつかはオプションである。

0030

例示的なプロセス800は、シーケンシャルデータ予測マシンの複数の隠れ層から、時間依存性情報を含む隠れ状態の第1のバージョンをエクスポートすること(ブロック802)から始まってもよい。例示的な実施形態では、シーケンシャルデータ予測マシン204は、たとえば、図7に示されたように、反復ニューラルネットワーク(RNN)である。隠れ状態は、隠れ状態で維持される時間依存性を介した初期の時系列データに加えて、時間t−1における超音波センサからの時系列データに基づいた、前の時間間隔からのht−1であってもよい。隠れ状態の第1のバージョンは、RNNの隠れ状態内のそれぞれのノードごとの値を含んでもよい。例示的な実施形態では、RNNは、隠れ状態の56個のノードを有する(たとえば、完全に接続された)14個の入力ノードおよび4つの隠れ層を有してもよい。例示的な実施形態では、特徴抽出器からの値は隠れ状態の第1のバージョンに含まれない。通常、RNNは出力層からの値のみを出力し、隠れ層からの値を出力しない。具体的には、RNNは、通常、時間間隔または連続間隔にわたって隠れ状態を内部的に維持しながら出力値を生成するために、隠れ層のノード内の値のみを使用して隠れ状態を内部的に維持する。したがって、本明細書に記載されたように、出力層から値を出力するのとは対照的に、隠れ層内の情報はRNNからエクスポートされる。例示的な実施形態では、隠れ状態の第1のバージョンは、たとえば、いくつかの隠れ層が時間依存性情報を供給する必要がない場合、隠れ層の部分集合からの値を含んでもよい。したがって、隠れ状態の第1のバージョンは、有意な時間依存性を含まない可能性がある特定のノードが欠落している部分隠れ状態であってもよい。

0031

例示的なプロセス800は、続いて、変分推論マシンの入力層において、少なくとも第1のセンサからの第1の時間間隔の時系列データおよび隠れ状態の第1のバージョンを受け取ることができる(ブロック804)。たとえば、時系列データは、時刻tにおける超音波センサデータxtであり、隠れ状態ht−1の第1のバージョンは、時刻t−1におけるRNNのすべてのノードのすべての値である。したがって、隠れ状態の第1のバージョンは、前の時間間隔(t−1)で生成され、変分推論マシンの入力層に入力されたときの隠れ状態の現在のバージョンである。例示的な実施形態では、変分推論マシンの入力層は、時系列データxt(たとえば、超音波センサデータ)として8タプルを受け取り、隠れ状態ht−1の第1のバージョンとして56タプルを受け取ることができる。例示的な実施形態では、1つまたは複数の特徴抽出器は、時系列データおよび/または隠れ状態の第1のバージョンの特徴または条件を抽出するように実装されてもよい。

0032

例示的なプロセス800は、続いて、変分推論マシンの出力層により、第1の時間間隔の時系列データおよび隠れ状態の第1のバージョンに基づいて生成された時間依存性導入潜在分布を出力することができる(ブロック806 )。たとえば、時系列データxtは、時刻tからの静的超音波レベルのみを含み、RNNの隠れ状態ht−1からの時間依存性は、変分推論マシンの隠れ層によって時系列データxtに導入されて、時間依存性導入潜在分布ztを形成する。例示的な実施形態では、時間依存性導入潜在分布ztは、各々が平均および標準偏差によって定義される分布の集合であってもよい。分布の集合は、第1の時間間隔で時系列データに導入された、隠れ状態ht−1からの時間依存性情報を含む。時間依存性導入潜在分布の出力は、たとえば、更新された時系列データxtが受け取られた後、各時間間隔で繰り返し行われてもよい。出力された時間依存性導入潜在分布ztは、下記でより詳細に説明されるように、機械学習モデルによって直接使用されてもよく、時系列データ適合モジュール110内でさらに処理されてもよい。また、例示的な実施形態では、時間依存性導入潜在分布zは、変分推論マシンを検証するために使用され得るx^を出力するために、変分生成マシンに入力されてもよい。

0033

例示的なプロセス800は、続いて、複数の隠れ層により、隠れ状態の第1のバージョンを取得することができる(ブロック808)。たとえば、時間tにおいて、RNNの隠れ層は、時刻t−1からの隠れ状態の第1のバージョンを取得し、それにより、隠れ層が隠れ状態内で時間間隔(たとえば、t−100からtまで)にわたって、考慮されている現在の時間間隔を超えて時間依存性を維持することが可能になる。たとえば、30msecの時間間隔では、例示的なシステムにおける典型的な時間依存性は、おおよそ3秒または約100の時間間隔の間持続することができる。隠れ状態内で維持される時間依存性は、線形および/または非線形であってもよい。隠れ状態は、時系列内に存在する特徴に応じて、任意の数の時間間隔の間、時間依存性を維持することができる。言い換えれば、隠れ状態は時系列の時間構造または時間コンテキストを含んでもよい。

0034

例示的なプロセス800はまた、シーケンシャルデータ予測マシンの入力層において、第1の時間間隔の時系列データおよび変分推論マシンからの時間依存性導入潜在分布を受け取ること(ブロック810)を含む。たとえば、RNNの入力層は、時系列データxt(たとえば、超音波センサデータ)として8タプルを受け取り、時間依存性導入潜在分布ztとして6タプルを受け取ることができる。例示的な実施形態では、1つまたは複数の特徴抽出器は、時系列データおよび/または時間依存性導入潜在分布の特徴または条件を抽出するように実装されてもよい。

0035

例示的なプロセス800は、続いて、第1の時間間隔の時系列データ、時間依存性導入潜在分布、および隠れ状態の第1のバージョンに基づいて、複数の隠れ層における隠れ状態を更新して隠れ状態の第2のバージョンを生成することができる(ブロック812)。たとえば、RNNは、入力された時系列データxt(たとえば、超音波センサデータの8タプル)、入力された時間依存性導入潜在分布zt(たとえば、6タプル)、および隠れ状態ht−1の隠れ層(たとえば、4つの隠れ層)内の56ノードの56個の値を使用して、更新されて隠れ状態htをもたらす。更新された隠れ状態htは、時間依存性を継続して維持し、RNNの構造に応じて時間依存性を更新する。隠れ状態の更新は、たとえば、更新された時系列データxtが受け取られた後、かつ時間依存性導入潜在分布ztが更新された後、各時間間隔で繰り返し行われて、時間全体を通して時間依存性を維持することができる。例示的な実施形態では、RNNの出力層は、入力データおよび隠れ状態に基づいて結果を供給することもできる。その結果は、隠れ状態におけるRNN時間依存性を検証するために使用され得る、次の時間間隔(たとえば、xt+1)における時系列データの予測を含んでもよい。

0036

例示的なプロセス800はまた、機械学習モデルに時間依存性導入潜在分布を入力すること(ブロック814)を含んでもよい。たとえば、変分推論マシンから出力される時間依存性導入潜在分布ztは、超音波センサ時系列データを使用して、衝突が差し迫っているかどうかを検出する衝突回避機械学習モデルに入力される。例示的な実施形態では、機械学習モデルは、予測モデル(たとえば、自己回帰積分移動平均)または検出もしくは分類モデル(たとえば、サポートベクトルマシンランダムフォレスト)である。例示的な実施形態では、時間依存性導入潜在分布ztは、変分推論マシンから出力されると直ちに機械学習モデルに入力される。

0037

例示的なプロセス800は、続いて、時間依存性導入潜在分布に基づいて、第1の時間間隔の結果を機械学習モデルから出力する(ブロック816)。たとえば、機械学習モデルは、衝突が差し迫っていることを示す結果を出力することができ、その結果、車両の制動または操縦、運転者向けの車両のユーザインタフェースの警告および/または警報の作動などのアクションを1つまたは複数のアクチュエータに取らせる命令が送信される。その結果、是正措置または予防措置が自動的に、かつ/またはユーザの介入によって行われることが可能になってもよい。機械学習モデルからの結果の出力は、各時間間隔で(たとえば、30msecごとに)繰り返し行われて、任意の必要なまたは望ましい作動を継続的に提供することができる。

0038

図9は、本開示の例示的な実施形態による、センサ融合を実行するように構成された時系列データ適合モジュール110の高レベルブロック図を示す。複数のシーケンシャルデータ予測マシンペア(VIM−SDFMペア)902、904、906は、各々がそれぞれ、変分推論マシン202およびシーケンシャルデータ予測マシン204を含む。たとえば、VIM−SDFMペア902は、ライダーセンサ時系列データx1tを受け取り、時間依存性導入潜在分布z1tを出力することができ、VIM−SDFMペア904は、レーダーセンサ時系列データx2tを受け取り、時間依存性導入潜在分布z2tを出力することができ、VIM−SDFMペア906は、超音波センサ時系列データx3tを受け取り、時間依存性導入潜在分布z3tを出力することができる。センサ融合マシン908は、マルチモーダル変分推論マシン910およびマルチモーダルシーケンシャルデータ予測マシン912を含む。センサ融合マシン908は、様々なデータタイプのデータを融合して、機械学習分析などにおいて信頼性が高く、正確で、精細な、かつ/または迅速な認識結果を生成するのにより適した、より堅牢で情報量が多いデータタイプを形成する。センサ融合マシン908は、永続的および/または断続的に利用できないデータに対して堅牢なマルチモーダル時間依存性導入潜在分布を提供するのに特に有利であり得る。

0039

マルチモーダルセンサ融合を使用するシステムは、様々な実世界の特性、たとえば、移動する車両の速度、他の物体までの距離、道路等級、路面の傾斜、タイヤ空気圧ブレーキパッド摩耗、雨の検出などを測定および/または検出する複数の様々なセンサを含む。これらの要素のすべては、車の停止などの物理的な作動に基づく実世界の結果に影響を及ぼす可能性があるが、各々のモダリティは互いに異なり独立していてもよい。明らかに、速度は、車が停止するのにどれだけ掛かるかにおいて重要な役割をもつが、これらのモダリティの各々は、車が所定の距離(たとえば、75フィート)内で停止できるかどうかに影響を及ぼす可能性がある。さらに、これらのモダリティの各々は、(たとえば、別の車両に追突する前に)車がある所定の距離内で停止することができるかどうかを判定するために使用され得る情報に寄与する1つまたは複数のセンサを有してもよい。センサ融合マシン908を使用して様々なタイプのデータを融合することは、断続的に欠落しているデータ(干渉による短時間のセンサの誤動作、ノイズ、または直射日光などの状態)と、永続的に欠落しているデータ(たとえば、センサが破損している、または車両に設置されていない)の両方を含む、利用できないセンサデータに対して特に堅牢であり得る、情報量が多いマルチモーダル時間依存性導入潜在分布を提供することができる。例示的な実施形態では、センサ融合マシン908は、エッジデバイス100と通信してするサーバ上に設けられてもよい。

0040

図10は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。この例示的な実施形態では、センサ融合マシン908は、マルチモーダル変分推論マシン(MMVIM)910およびマルチモーダル反復ニューラルネットワーク(MMRNN)912を含み、これらの両方は、入力として複数のモダリティデータ(すなわち、複数の異なるドメインからのデータ)を受け取って、マルチモーダルセンサ融合出力を供給する。

0041

センサ融合マシン908は、たとえば、VIM−SDFMペア902、904、906から時間依存性導入潜在分布z1t、z2t、およびz3tを受け取ることができる。たとえば、時間依存性導入潜在分布z1t、z2t、z3t、およびマルチモーダル隠れ状態Ht−1の第1のバージョンは、MMVIM910の入力層に並行して入力されてもよい。たとえば、時間依存性導入潜在分布z1t、z2t、z3tの各々は6タプルであってもよく、マルチモーダル隠れ状態Ht−1は96タプルであってもよい。したがって、MMVIM910の入力層は114個の入力ノードを含んでもよい。任意の変分推論マシン202、910への入力層は、並行して入力される様々なタイプのデータ(たとえば、Ht−1、z1t、z2t、およびz3t)ごとの副層を含んでもよい。MMVIM910の出力層は、マルチモーダル時間依存性導入潜在分布Ztを出力する。マルチモーダル時間依存性導入潜在分布Ztは、6タプル(たとえば、潜在分布の3つの集合)であってもよい。本明細書に記載されたように、大文字を使用して変数を参照することは、具体的に、マルチモーダル変数(たとえば、マルチモーダル時間依存性導入潜在分布Zおよびマルチモーダル隠れ状態H)を指定する。マルチモーダル時間依存性導入潜在分布Ztは、機械学習モデル206(たとえば、衝突回避モデル)への入力として提供されてもよい。時間依存性導入潜在分布z1t、z2t、z3tのいずれかを生成するために使用されるセンサ(たとえば、超音波、レーダー、ライダー、ビデオ)のいずれかが断続的に利用できなくなった場合、マルチモーダル時間依存性導入潜在分布Ztは、有利なことに、マルチモーダル隠れ状態Ht−1において維持されるマルチモーダル時間依存性に基づいて、利用できないセンサデータに対して堅牢であってもよい。

0042

MMRNN912の入力層は、MMRNN912の入力層に並行して入力されるマルチモーダル時間依存性導入潜在分布Ztおよび時間依存性導入潜在分布z1t、z2t、z3tを受け取り、MMRNN912は、前の時間間隔から取得されたマルチモーダル隠れ状態Ht−1をHtに更新する。MMRNN912の入力層は、24個のノードを含んでもよい(たとえば、Zt、z1t、z2t、z3tの各々は6タプルである)。次いで、更新されたマルチモーダル隠れ状態Htは、次の時間間隔でMMVIM910の入力層にエクスポートされ、プロセスは、続いて、マルチモーダル隠れ状態Hおよびマルチモーダル時間依存性導入潜在分布Zを繰り返し更新することができ、マルチモーダル時間依存性導入潜在分布Zは各時間間隔の間に機械学習モデルに供給される。例示的な実施形態では、1つまたは複数の特徴抽出器は、MMRNN912および/またはMMVIM910の入力のいずれかの特徴または条件を抽出するように実装されてもよい。

0043

マルチモーダル時間依存性導入潜在分布Zは、MMVIM910に入力される各々の時間依存性導入潜在分布zよりも必ずしも次元が小さいとは限らず、通常、(たとえば、300個の時系列のための)多数の時間依存性導入潜在分布zを融合するシステムの場合は大きくてもよい。しかしながら、通常、マルチモーダル時間依存性導入潜在分布Zは、一緒に結合されたすべての構成要素の時間依存性導入潜在分布zの累積次元よりも小さいはずである。

0044

例示的な実施形態では、時系列データ適合モジュール110および/または機械学習モジュール108は、サーバ(たとえば、中間サーバ)またはエッジデバイス100ではない他のコンピューティングデバイスに設けられてもよい。たとえば、中間サーバは、ネットワークを介して複数のエッジデバイス100と通信することができ、各エッジデバイスは、1つもしくは複数の時間依存性導入潜在分布または1つもしくは複数の収集された時系列を供給する。例示的な実施形態では、時系列データ適合モジュール110および/または機械学習モジュール108は、クラウドコンピューティング環境内に設けられてもよく、クラウド内に存在してもよい。

0045

図11は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。センサ融合マシン908は、たとえば、データ収集デバイス104a、104b、104cから時系列データx1t、x2t、およびx3tを受け取ることができる。たとえば、時系列データx1t、x2t、x3t、およびマルチモーダル隠れ状態Ht−1の第1のバージョンは、MMVIM910の入力層に並行して入力されてもよい。たとえば、時系列データx1t、x2t、およびx3tの各々は8タプルであってもよく、マルチモーダル隠れ状態Ht−1は120タプルであってもよい。したがって、MMVIM910の入力層は、144個の入力ノードを含んでもよい。MMVIM910の出力層は、マルチモーダル時間依存性導入潜在分布Ztを出力する。マルチモーダル時間依存性導入潜在分布Ztは、6タプル(たとえば、潜在分布の3つの集合)であってもよい。マルチモーダル時間依存性導入潜在分布Ztは、機械学習モデル206(たとえば、COPDリスク評価モデル)への入力として供給されてもよい。時系列データx1t、x2t、x3tのいずれかを生成するために使用されるセンサ(たとえば、血液酸素センサ、血液pHセンサ、酸素代謝センサ、パルスオキシメトリセンサ、肺活量計、ピーク流量検出器、呼吸センサ、煙センサ)のいずれかが利用できなくなった場合、マルチモーダル時間依存性導入潜在分布Ztは、有利なことに、マルチモーダル隠れ状態Ht−1において維持されるマルチモーダル時間依存性に基づいて、利用できないセンサデータに対して堅牢であってもよい。

0046

MMRNN912の入力層は、MMRNN912の入力層に並行して入力されるマルチモーダル時間依存性導入潜在分布Ztおよび時系列データx1t、x2t、x3tを受け取る。MMRNN912は、前の時間間隔から取得されたマルチモーダル隠れ状態Ht−1をHtに更新する。MMRNN912の入力層は、30個のノード(たとえば、Ztが6タプルであり、x1t、x2t、x3tの各々が8タプルである)を含んでもよく、マルチモーダル隠れ状態Hは、(たとえば、4つの隠れ層が存在する)120個のノードを含んでもよい。次いで、更新されたマルチモーダル隠れ状態Htは、次の時間間隔でMMVIM910の入力層にエクスポートされ、プロセスは、続いて、マルチモーダル隠れ状態Hおよびマルチモーダル時間依存性導入潜在分布Zを繰り返し更新することができ、マルチモーダル時間依存性導入潜在分布Zは各時間間隔の間に機械学習モデル206に供給される。

0047

例示的な実施形態では、様々な時系列データは、たとえば、様々なセンサの様々なサンプル時間に基づいて、様々な異なる時間間隔で受け取られる。様々なサンプル時間は規則的であっても不規則であってもよい。下記の表に示されるように、各センサからの時系列データx1、x2、x3は、各時間間隔で受け取られない場合がある。たとえば、x1の時系列値はあらゆる時間間隔で受け取られてもよく、x2の時系列値は1つおきの時間間隔(たとえば、t0、t2、t4、t6)で受け取られてもよく、x3の時系列値は2つおきの時間間隔(たとえば、t0、t3、t6)で受け取られてもよい。

0048

したがって、上記で示されたように、多くの時間間隔は、1つまたは複数の利用できない時系列(たとえば、x2またはx3)を含むことになる。しかしながら、マルチモーダル時間依存性導入潜在分布Zは、マルチモーダル隠れ状態H内で維持される時間依存性に基づいて、この欠落しているセンサ入力データに対して堅牢になる。また、場合によっては、複数の様々な時系列が不規則であるとき、データ値は非同期であってもよい。たとえば、様々なデータ収集デバイス104は、様々な外部イベントによってトリガされて測定を行うことができ、欠落しているデータ値が利用不可として扱われる非同期時系列をもたらす。非同期時系列では、場合によっては、時系列データのほとんどまたはすべては、日常的に利用できなくなる。例示的な実施形態では、非同期時系列データは時間間隔開始時間整列されてもよく、それは非同期入力値を外挿することを含んでもよい、

0049

図11に示されたように構造化されたセンサ融合マシン908は、有利なことに、データの異なるモダリティ間の低レベル相互作用を保持することができる。たとえば、比較的少ない数の異なる時系列モダリティが存在する場合、および/または、1つもしくは複数の時系列が適切な時間依存性導入潜在分布zを生成するのに疎かつ不十分である場合、生の時系列データx1、x2、x3などのセンサ融合は最も有用であり得る。

0050

上述されたように、センサ融合マシン908によって提供されるマルチモーダルセンサ融合に特に有利であり得る、確率的マスクが訓練に使用されてもよい。たとえば、3つの時系列を有するシステムでは、確率的マスクは、3つのバイナリ変数、b1、b2、b3から構成されてもよい。確率的マスクが入力データ(たとえば、時系列データ)に追加されると、入力は次の形式
(b1x1,b2x2,b3x3,b1,b2,b3)
を取り、ここで、b1、b2、b3は値0または1を取る。b1、b2、b3の値はランダムに設定されてもよく、それらは、訓練データセットに対応する時系列が存在しない経験的確率に従って設定されてもよい。

0051

x1、x2、x3の値がバイナリである場合、0および1のような標準コーディングではなく、−1および1としてコーディングされてもよい。x1、x2、x3の値が0を含む範囲で連続した値である場合、その範囲がもはや0を含まないように値が調整されてもよい。どちらの場合も、これにより、0が欠損値として使用されることが可能になる。第2の層内のノードS1の活性化値yは、
yS1=w1b1x1+w2b2x2+w3b3x3+w4(1−b1)+w5(1−b2)+w6(1−b3)+β
であり、ここで、wnは入力ノードnとノードS1との間の接続の重みであり、βは標準バイアス項である。項w4(1−b1)、w5(1−b2)、およびw6(1−b3)はオフセット項である。多くの場合、異なる入力時系列は異なるスケールを有し、ニューラルネットワークなどを訓練する前に、これらのデータを正規化することが可能ではない場合がある。オフセット項は、入力値が欠落しているときでも、同じスケールで活性化値yを保持するように機能する。

0052

x1の欠損値に対して訓練するために、たとえば、b1は0に設定される。逆伝搬内の順方向パスの場合、w1b1x1の0の値が次の層の活性化に寄与しないので、特別な技法は必要ではない。しかしながら、逆方向パスの場合、x1を受け取った入力ノードに誤差が伝搬されるべきではない。このノードは一時フラグを用いてマークされてもよく、一時フラグは、逆方向パスの間にこのノードが切断されるべきであることを通知する。上述されたような確率的マスク訓練は、有利なことに、最終出力に対する(たとえば、センサの故障中の)0の影響を最小化することができる。たとえば、訓練された変分推論マシンが展開された場合、すべての欠損値に値0が使用されてもよい。また、確率的マスキングは、たとえば、図10に関連して上述されたように、または下記で説明される様々な構造に記載されるように、任意のセンサ融合システムにおける時系列データおよび/または時間依存性導入潜在分布を用いた訓練に同様に使用されてもよい。

0053

例示的な実施形態では、1つまたは複数の特徴抽出器は、MMRNN912および/またはMMVIM910の入力のいずれかの特徴または条件を抽出するように実装されてもよい。図12は、MMVIM910などの変分推論マシン内に設けられた特徴抽出器の例示的な構造を示す。図12は、本開示の例示的な実施形態による、変分推論マシン1200の高レベルブロック図である。変分推論マシン1200の入力層302は、副層1202および1204を含んでもよい。副層1202で受け取られた入力は特徴抽出器1206に供給され、次いで、特徴抽出器1206は隠れ層1210に出力を供給する。同様に、副層1204で受け取られた入力は特徴抽出器1208に供給され、次いで、特徴抽出器1208は隠れ層1210に出力を供給し、隠れ層1210は出力層306から時間依存性導入潜在分布zを出力する。図6に関して上述されたように、特徴抽出器は、ニューラルネットワークなどとして構造化され得る1つまたは複数の層に複数のノードを含めることができる。多くの場合、特徴抽出器1206および1208を使用することにより、隠れ層1210がより迅速に、より効率的に、かつ/またはより正確に動作することが可能になり得る。特徴抽出器1206、1208は、任意の変分推論マシンまたはシーケンシャルデータ予測マシン内で使用されてもよい。

0054

副層1202および1204の各々は1つまたは複数のノードを含んでもよく、第3のタイプ、第4のタイプなどの追加のデータタイプのために、さらなる副層を提供することもできる。たとえば、副層1202は、隠れ状態データ(たとえば、ht−1、Ht−1、h2t−1、h3t−1)を受け取り、副層1204は、時系列データおよび/または潜在分布データを受け取る。副層1204に入力される時系列データは、単一のモダリティのデータ(たとえば、図7の入力変数x)、または複数のモダリティのデータ(たとえば、図11の入力変数x1、x2、x3)であってもよい。副層1204に入力される潜在分布データは、時間依存性導入潜在分布z1、z2、z3またはマルチモーダル時間依存性導入潜在分布Zなどの、1つまたは複数のモダリティのデータを含んでもよい。したがって、特徴抽出器1206および1208は、シングルモーダルまたはマルチモーダルであってもよい例示的な実施形態では、各々の特定のタイプのデータ(たとえば、入力変数x1、x2、x3の各々)は、それ自体の特徴抽出器1208を有する。たとえば、複数の異なる変分推論マシンは、共通のデータタイプ(たとえば、超音波データ)を使用することができるので、異なる変分推論マシンで共通の特徴抽出器1208が使用されてもよい。例示的な実施形態では、特徴抽出器1206および1208の一方または両方は、隠れ層304から除外されてもよい。たとえば、特徴抽出器1206は不要であってもよいので、副層1202で受け取られた隠れ状態hの入力は、隠れ層1210に直接供給されてもよい。たとえば、特徴抽出器1208は、たとえば、図10に記載されたように、時間依存性導入潜在分布z1、z2、z3の入力のために除外されてもよい。

0055

図13は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。図示されたVIM−SDFMペア902は、変分推論マシン202およびRNN204を含む。たとえば、図13に示されたように、時系列データxtおよび隠れ状態ht−1は0msecで受け取られてもよい。また、時間間隔の開始時に、マルチモーダル隠れ状態Ht−1は、たとえば、図14に示されるように、MMRNN912から受け取られてもよい。時系列データxt、隠れ状態ht−1、およびマルチモーダル隠れ状態Ht−1は、各々、5msecで潜在分布ztを出力する変分推論マシン202の入力層に並行して入力される。潜在分布ztは、隠れ状態ht−1からのイントラモーダル時間依存性情報、ならびにマルチモーダル隠れ状態Ht−1からのインターモーダル時間依存性情報を導入される。時間依存性導入潜在分布ztは、たとえば、図14に示されるように、MMVIM910およびMMRNN912に供給されてもよい。例示的な実施形態では、変分推論マシン202から出力されると直ちに、時間依存性導入潜在分布ztはMMVIM910に供給されて、マルチモーダル時間依存性導入潜在分布Ztがリアルタイムでの機械学習モデル206における使用のためにできるだけ迅速に生成されることを可能にする。RNN204は、5msecで、時間依存性導入潜在分布ztおよびリアルタイムデータxtを入力として受け取る。また、RNN204は、MMRNN912からマルチモーダル隠れ状態Ht−1を入力として受け取る。次いで、RNN204は、前の時間間隔から取得された隠れ状態ht−1をhtに更新する。更新された隠れ状態htが生成されると、それは、たとえば10msecでRNN204からエクスポートされてもよい。次いで、エクスポートされた隠れ状態htは、次の時間間隔(たとえば30msec)における入力として変分推論マシン202に供給される。図13に示されたプロセスは、VIM−SDFMペア902が各時間間隔で時間依存性導入潜在分布(たとえば、z1)を出力することで、繰り返し行われてもよい。また、図13に示されたプロセスは、同様にそれぞれの時間依存性導入潜在分布(たとえば、z2およびz3)を出力する、他のVIM−SDFMペア904および906と同時に行われてもよい。

0056

図14は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。図示されたセンサ融合マシン908は、たとえば、図13を参照して示されたたように、VIM−SDFMペア902、904、および906から、3つの時間依存性導入潜在分布z1、z2、z3を受け取る。時間依存性導入潜在分布z1t、z2t、z3tおよびマルチモーダル隠れ状態Ht−1の第1のバージョンは、MMVIM910の入力層に並行して入力されてもよい。たとえば、時間依存性導入潜在分布z1t、z2t、z3tは、それぞれ6タプル、8タプル、および12タプルを含んでもよく、マルチモーダル隠れ状態Ht−1は216タプルであってもよい。したがって、MMVIM910の入力層は、242個の入力ノードを含んでもよい。MMVIM910の出力層は、マルチモーダル時間依存性導入潜在分布Ztを出力する。マルチモーダル時間依存性導入潜在分布Ztは、10タプル(たとえば、潜在分布の5つの集合)であってもよい。マルチモーダル時間依存性導入潜在分布Ztは、機械学習モデル206(たとえば、衝突回避モデル)への入力として提供されてもよい。

0057

MMRNN912の入力層は、MMRNN912の入力層に並行して入力されるマルチモーダル時間依存性導入潜在分布Ztおよび時間依存性導入潜在分布z1t、z2t、z3tを受け取り、MMRNN912は36個の入力ノードを含んでもよい。MMRNN912は、前の時間間隔から取得されたマルチモーダル隠れ状態Ht−1をHtに更新し、Htは6つの隠れ層および合計216個のノードを含んでもよい。次いで、更新されたマルチモーダル隠れ状態Htは、次の時間間隔で、VIM−SDFMペア902、904、906の各々における変分推論マシン202およびRNN204のそれぞれの入力層、ならびにMMVIM910の入力層にエクスポートされる。マルチモーダル隠れ状態HをVIM−SDFMペア902、904、906にエクスポートすることは、有利なことに、VIM−SDFMペア902、904、906の各々における変分推論マシン202およびRNN204にインターモーダル時間依存性を提供する。マルチモーダル隠れ状態Hのインターモーダル時間依存性をVIM−SDFMペア902、904、906に提供することにより、時間依存性導入潜在分布z1t、z2t、z3tおよび隠れ状態h1t、h2t、h3tの確度における改善が可能になり、それにより、マルチモーダル時間依存性導入潜在分布Ztおよびマルチモーダル隠れ状態Htの確度がさらに改善される。

0058

図14に示されたプロセスは、マルチモーダル隠れ状態Hおよびマルチモーダル時間依存性導入潜在分布Zを繰り返し更新することができ、それらは、各時間間隔の間に機械学習モデル206に供給されてもよい。例示的な実施形態では、1つまたは複数の特徴抽出器は、MMRNN912および/またはMMVIM910の入力のいずれかの特徴または条件を抽出するように実装されてもよい。図14で提供された時間スケールはセンサ融合マシン908の時間間隔を基準にし、それは、図13の時間スケールに対して(たとえば、5msec)遅延され得ることを諒解されたい。

0059

それぞれのRNN204の隠れ状態h1、h2、h3は、各々個別に比較的有益であり得るので、図13および図14に示された構造は、時系列データx1、x2、x3が疎でない場合に特に有利であり得る。さらに、マルチモーダル隠れ状態Hは、VIM−SDFMペア902、904、906の各々にインターモーダル時間依存性を通知するので、システムは、イントラモーダル時間依存性のみが利用可能であった場合よりも、断続的に利用できないデータに対してより堅牢であってもよい。しかしながら、例示的な実施形態では、時系列データx1がかなりの時間期間の間利用できない場合、隠れ状態h1の時間依存性情報がもはや正確ではない場合があり、時間依存性導入潜在分布z1は、センサ融合マシン908に出力されない可能性がある。上述されたように、センサ融合マシン908は、利用できないデータ(たとえば、利用できない時間依存性導入潜在分布z1)に対する堅牢性を改善するために、確率的マスキングを使用して訓練されていてもよい。例示的な実施形態では、VIM−SDFMペア902は、時間依存性導入潜在分布z1の出力が停止される前に、時系列データx1が利用できない時間間隔の特定の数のしきい値を有してもよい。しきい値は、時系列データx1の安定性に依存してもよい。たとえば、時間間隔の間に比較的小さな変化が一般的に見られる安定した時系列の場合、しきい値は10個の時間間隔で設定されてもよい。一方、単一の時間間隔内に大きな変化がしばしば見られる不規則な時系列の場合、しきい値は1に設定されてもよいので、単一の時間間隔値が利用できない場合、時間依存性導入潜在分布z1は、その時間間隔で出力されない。この場合、誤った時間依存性導入潜在分布z1は、センサ融合マシン908が時間依存性導入潜在分布z1を受け取らない場合よりも、結果として得られるマルチモーダル時間依存性導入潜在分布Zに対してより多くの損害をもたらす可能性がある。

0060

図15は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。図示されたVIM−SDFMペア902は、変分推論マシン202およびRNN204を含む。たとえば、図15に示されたように、時系列データx1tおよび隠れ状態h1t−1は0msecで受け取られてもよい。また、隠れ状態h2t−1およびh3t−1は、時間間隔の開始時にVIM−SDFMペア904および906内のRNN204から受け取られてもよい。VIM−SDFMペア904および906の各々は、すべての3つのVIM−SDFMペア902、904および906がそれらそれぞれの隠れ状態h1、h2、およびh3を互いに提供しているように、図15に示されたVIM−SDFMペア902と同様に構造化されてもよい。

0061

図15に示されたように、時系列データx1tならびに隠れ状態h1t−1、h2t−1、およびh3t−1は、各々、5msecで潜在分布z1tを出力する変分推論マシン202の入力層に並行して入力される。潜在分布z1tは、隠れ状態h1t−1からのイントラモーダル時間依存性情報、ならびに隠れ状態h2t−1およびh3t−1からのインターモーダル時間依存性情報を導入される。時間依存性導入潜在分布z1tは、たとえば、図10に示されたように、MMVIM910およびMMRNN912に供給されてもよい。例示的な実施形態では、変分推論マシン202から出力されると直ちに、時間依存性導入潜在分布z1tはMMVIM910に供給されて、マルチモーダル時間依存性導入潜在分布Ztがリアルタイムでの機械学習モデル206における使用のためにできるだけ迅速に生成されることを可能にする。次いで、RNN204は、5msecで、時間依存性導入潜在分布z1t、時系列データx1t、ならびに隠れ状態h2t−1およびh3t−1を入力として受け取る。次いで、RNN204は、前の時間間隔から取得された隠れ状態h1t−1をh1tに更新する。更新された隠れ状態h1tが生成されると、それは、たとえば10msecでRNN204からエクスポートされてもよい。次いで、エクスポートされた隠れ状態h1tは、VIM−SDFMペア904および906の各々の変分推論マシン202およびRNN204のそれぞれの入力層に、かつ次の時間間隔(たとえば30msec)における入力として変分推論マシン202に供給される。図15に示されたプロセスは、VIM−SDFMペア902が各時間間隔で時間依存性導入潜在分布(たとえば、z1)を出力することで、繰り返し行われてもよい。また、図15に示されたプロセスは、同様にそれぞれの時間依存性導入潜在分布(たとえば、z2およびz3)を出力する、他のVIM−SDFMペア904および906と同時に行われてもよい。

0062

図15に示された構造は、時系列データx1、x2、x3が疎である場合に特に有利であってもよく、その場合、時系列データ(たとえば、x1)の各個別のタイプは、それぞれの隠れ状態(たとえば、h1)ごとに十分有益でない場合がある。したがって、他の時系列データの隠れ状態(たとえば、h2およびh3)を変分推論マシン202およびRNN204に組み込むことにより、異なるタイプの時系列データの間のインターモーダル時間依存性に基づいて、改善された隠れ状態(たとえば、h1)および改善された時間依存性導入潜在分布(たとえば、z1)がもたらされてもよい。さらに、この構造は、断続的に利用できないデータに対して特に堅牢なセンサ融合システムを提供することができる。

0063

図16A図16Dは、本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。図16Aに示されたように、図15を参照して上述されたシステムが図示されている。たとえば、3つのタイプのセンサは3つのタイプの時系列を提供する(たとえば、TS1はライダーであり、TS2はレーダーであり、TS3は超音波である)。図16Aに示されたように、TS1はx1tを出力しており、x1tはVIM−SDFMペア902によって受け取られ、VIM−SDFMペア902はその隠れ状態h1t−1をVIM−SDFMペア904および906の両方にエクスポートし、隠れ状態h2t−1およびh3t−1を受け取り、時間依存性導入潜在分布z1tを出力する。

0064

図16Bに示されたように、時系列データx1tは、点線によって示されたように欠落しているか、または利用できない。この例示的な実施形態では、時間依存性導入潜在分布z1tはVIM−SDFMペア902からセンサ融合マシン908に出力されないが、隠れ状態h1t−1は依然として他のVIM−SDFMペア904および906にエクスポートされ、VIM−SDFMペア904および906は、それぞれ、それらの隠れ状態h2t−1およびh3t−1を依然としてVIM−SDFMペア902にエクスポートする。したがって、隠れ状態h1は、イントラモーダル時間依存性とインターモーダル時間依存性の両方を使用して維持されてもよい。隠れ状態h2およびh3からのインターモーダル時間依存性は、異なるタイプの時系列データ間の根底にある現象または相関関係に関する情報を提供することができるので、隠れ状態h1は、より長い時間期間の間、断続的に欠落するセンサデータに対して堅牢なままであってもよい。また、他の隠れ状態h2およびh3は、隠れ状態h1からのインターモーダル時間依存性を引き続き使用することができる。この例示的な実施形態では、センサ融合マシン908は、利用できない時間依存性導入潜在分布(たとえば、z1t)に対して堅牢であるように、確率的マスキングを使用して訓練された。システムは、有利なことに、隠れ状態h1t−1を依然としてエクスポートしながら、時間依存性導入潜在分布z1tを出力しなくてもよく、それは、時系列データx1が短時間(たとえば、5回の時間間隔)の間だけ欠落しているときに最適な結果を提供する。時間期間がどれだけ長いか短いと良い結果をもたらすかは、時系列のタイプの安定性に依存する。たとえば、上記の表1では、いくつかのセンサは、様々な間隔(たとえば、10msec、20msec、30msec)でデータを収集することができる。したがって、VIM−SDFMペア902、904、906のうちの1つまたは複数が、上記の表1に示されたように、1つ、2つ、またはそれ以上の時間間隔の間利用できないデータを有することは日常的であり得る。同様に、いくつかのセンサは、環境条件に起因して一時的に利用できない場合がある。たとえば、ライダーセンサは、データを利用できなくする可能性がある直射日光が当たる領域を検知していてもよい。センサが断続的なデータを提供する場合がある様々な理由がある。たとえば、エッジデバイス100は、電力を失う(たとえば、プラグが抜かれた、かつ/またはバッテリー死ぬ)場合があり、干渉(たとえば、山、雨)のために接続が制限されるかまたは接続されていない領域に移動する場合があり、ユーザによってオフにされる場合がある。また、特定のデータ収集デバイス104は、破損するなどの様々な理由のために機能しなくなる場合がある。

0065

図16Cに示されたように、時系列データx1tおよび時間依存性導入潜在分布z1tが利用できない。また、図16Cでは、隠れ状態h1t−1が、VIM−SDFMペア902からVIM−SDFMペア904および906にエクスポートされない。たとえば、TS1が時系列データx1を供給してから、しきい値の時間期間が経過している。VIM−SDFMペア902が、しきい値の時間量またはしきい値の数の時間間隔が経過したと判断すると、隠れ状態h1t−1は、十分に正確でない可能性があり、VIM−SDFMペア904および906にもはやエクスポートされない。隠れ状態h2t−1およびh3t−1は、将来のある時点で時系列データx1が受け取られるまで、隠れ状態h1t−1を可能な限り維持することを助けるために、依然としてVIM−SDFMペア902で受け取られてもよい。たとえば、時系列データx1が、隠れ状態h1t−1のエクスポートを停止した後わずかな時間間隔だけ利用可能になる場合、隠れ状態h1は、隠れ状態h2t−1およびh3t−1を引き続き受け取ることに部分的に起因して、依然として比較的正確なはずである。しかしながら、ある時点において、図16Dに示されたように、隠れ状態h2t−1およびh3t−1をVIM−SDFMペア902に供給することは、もはや有用ではないかもしれない。

0066

図16Dに示されたように、VIM−SDFMペア902はx1tを受け取らず、時間依存性導入潜在分布z1tを出力せず、隠れ状態h1t−1をエクスポートせず、隠れ状態h2t−1およびh3t−1を受け取らない。例示的な実施形態では、第2のしきい値は、図16Dに示されたように、VIM−SDFMペア902が他の隠れ状態h2t−1およびh3t−1を供給される必要がないと判断するために使用されてもよい。たとえば、VIM−SDFMペア904および906は、隠れ状態h1t−1がある時間期間またはある数の時間間隔(たとえば、5、20、50、100)の間受け取られていないと判断し、それに応じて、隠れ状態h2t−1およびh3t−1を、それぞれVIM−SDFMペア902にエクスポートすることを停止してもよい。したがって、図16Dは、かなりの時間期間の間、オフにされているか、壊れているか、接続が失われている(たとえば、ネットワーク接続が失敗した)か、または何らかの環境干渉遭遇しているセンサを有するシステムを示すことができる。また、場合によっては、特定のタイプのセンサは、システムが利用するには高価すぎるかもしれない。たとえば、衝突回避のための機械学習モデル206は、マルチモーダル時間依存性導入潜在分布を入力として使用するように訓練されてもよく、ここで、ライダーは使用されるデータのモダリティである。しかしながら、ライダーのコストが比較的高いことを考えると、このセンサはローエンドの車両では法外な費用がかかる可能性がある。したがって、そのような車両では、システムは図16Dに示されたように機能することができる。有利なことに、センサ融合マシン908は、ライダーセンサがある車両とない車両において同じであってもよい。同様に、マルチモーダル時間依存性導入潜在分布Ztを受け取る機械学習モデル206(たとえば、衝突回避)は、ライダーセンサがある車両とない車両において同じであってもよい。したがって、本開示のシステムは、有利なことに、センサ適合性を可能にし、断続的に利用できないデータおよび/または永続的に利用できないデータを考慮する。

0067

図17は、本開示の例示的な実施形態による、時系列データ適合モジュールの高レベルブロック図である。例示的な実施形態では、センサ融合マシン908(たとえば、図10、11、14、16)の出力は、3次センサ融合マシン1700などの、さらなるセンサ融合用の時系列データ適合モジュール110内の高次センサ融合マシンへの入力として供給されてもよい。たとえば、3次センサ融合マシン1700は、複数の時間依存性導入潜在分布z1、z2、z3の入力を受け取るセンサ融合マシン908と同様に、第1のマルチモーダル時間依存性導入潜在分布Z1tおよび第2のマルチモーダル時間依存性導入潜在分布Z2tを入力として受け取ることができる。また、例示的な実施形態では、3次センサ融合マシンは、センサ融合マシン908aからのマルチモーダル時間依存性導入潜在分布Zを、VIM−SDFMペア906からのシングルモーダル時間依存性導入潜在分布zと融合させることなどの、混合適合を実行することができる。

0068

その上、本システムは、有利なことに、急速に成長しており、無数の異なるタイプのデータを収集する数十億のデバイスをすでに含む、モノのインターネット(IoT)の一部であるエッジデバイス100を使用することができる。IoTが進化し続けるにつれて、多くの異なるドメイン内のより多くのエッジデバイス100から、より多くのタイプの時系列データが利用可能になる。IoTのこの進化により、通常利用可能な有用なタイプのセンサデータが過剰である、データタイプ過負荷の問題が引き起こされ、それは、有利なことに、本開示のセンサ融合の方法によって対処される。たとえば、様々な異なるタイプのビデオカメラ(たとえば、熱ビデオ、赤外線ビデオ、紫外線ビデオ、暗視ビデオ、セキュリティカメラウェブカメラ)のいずれも、非画像時系列データを検知するセンサからの時系列データと融合された豊富な時系列データを提供することができる。さらに、上記の例示的な実施形態は、概して、センサ融合を介して一緒に融合された3つのデータタイプを含むが、任意の数の異なるデータタイプ(たとえば、2、10、30、100、300、500)は、時間依存性導入潜在分布Zを作成するために上記と同じ方式で融合されてもよい。

0069

上述された例は例示に過ぎず、時系列データの適合は任意のタイプのデータに関連してもよく、関連付けられた機械学習モデル206は、任意の適切な所定のタスクに関連してもよいことを諒解されたい。データ収集デバイス104は、周辺環境からの実世界の時系列データを検知または検出して、それが任意の所定のタスクに関連する情報を提供する場合、時系列データを提供することができる。例示的な実施形態では、機械学習モデル206は、車両の目標コーナリング速度を決定することを対象とすることができる。たとえば、車両は、予測された衝突に基づく自動制動、運転者に対する警告または警報などの、自動運転機能を含んでもよい。例示的な実施形態では、車両は、近づきつつあるコーナー(たとえば、道路のカーブまたはターン)を分析するためのビデオカメラなどのデータ収集デバイス104を含むエッジデバイス100であってもよい。データ収集デバイス104は、曲がりの鋭さ、道路の傾斜、および道路のそり、現在の速度または速力、スリップ角、タイヤ舗装摩擦、自動車の重量、重量の分布、水分レベル、温度などを特定するために使用される時系列データのデータストリームを提供することができる 機械学習モデル206は、近づきつつあるコーナーごとに目標速度を出力することができ、目標速度は、ブレーキをかけたり、危険な状態をユーザに警告したりするために自動車によって使用されてもよい。収集されたビデオデータは、上述されたように、2次マルチモーダルセンサ融合を含む1つまたは複数のデータ適合プロセスを受けることができる。目標コーナリング速度のためのこの例示的な機械学習モデル206は、上述された衝突回避機械学習モデル206とかなり重複してもよい。そのような場合、異なる機械学習モデル206のための複数の異なるセンサ融合において、全く同じ生の時系列データが使用されてもよい。

0070

衝突回避および目標コーナリング速度の決定などのタスクに関して上述された機械学習モデル206は、収集される多様な異なるタイプのデータを含んでもよい。このデータの大部分は、車両のメンテナンスなどの他の所定のタスクに関連してもよい。例示的な実施形態では、車両駆動制御機械学習モデル206のための3次マルチモーダル時間依存性導入潜在分布を生成するために、3次センサ融合が使用される。たとえば、3つの2次センサ融合マシン908は、3次センサ融合マシンへの入力として使用されてもよい。

0071

図18は、本開示の例示的な実施形態による、3次センサ融合を含む時系列データ適合を示すフロー図である。たとえば、車両に含まれるシステムは、3つの2次センサ融合マシン908を含んでもよい。図18に示されたように、システムは、車両状況センサ融合マシン908aと、運転者状況センサ融合マシン908bと、場面状況センサ融合マシン908cとを含む。車両状況センサ融合マシン908aへの入力は、車両動作の状況を監視する様々なセンサからの時系列データ(たとえば、速度、エンジン温度時間圧力オイル粘度)に基づいてもよい、シングルモーダル時間依存性導入潜在分布v1、v2、v3を含んでもよい。運転者状況センサ融合マシン908bへの入力は、車両の運転者の状況を監視する様々なセンサからの時系列データ(たとえば、注意レベル眠気視線方向)に基づいてもよい、シングルモーダル時間依存性導入潜在分布d1、d2、d3を含んでもよい。場面状況センサ融合マシン908cへの入力は、車両または車両の周辺の場面の状況を監視する様々なセンサからの時系列データ(たとえば、他の車両、歩行者車線信号機、雨、、霧、道路の検出)に基づいてもよい、シングルモーダル時間依存性導入潜在分布s1、s2、s3を含んでもよい。センサ融合マシン908a、908b、908cの各々に入力されるものとして、3タイプのデータ(たとえば、v1、v2、v3)のみが示されているが、より多くのタイプのデータが入力として通常使用されてもよいことを諒解されたい。

0072

車両状況センサ融合マシン908aは、予防保守機械学習モデル206aに直接入力されるマルチモーダル時間依存性導入潜在分布Vを出力する。また、マルチモーダル時間依存性導入潜在分布Vは、3次センサ融合マシン1700に直接入力される。加えて、3次センサ融合マシン1700は、運転者状況センサ融合マシン908bから出力されるマルチモーダル時間依存性導入潜在分布D、および運転者状況センサ融合マシン908cから出力されるマルチモーダル時間依存性導入潜在分布Sを受け取る。3次センサ融合マシン1700は、図10図14図15、および/または図16に関して上述されたのと同様の方式で動作することができる。次いで、3次センサ融合マシン1700は、マルチモーダル時間依存性導入潜在分布VDSを出力することができ、これは自動運転機械学習モデル206bに入力される。たとえば、図18に示されたような階層的センサ融合は、入力として任意の数および/またはタイプの情報(生の時系列データ、分散表現、潜在変数、潜在分布、およびマルチモーダルデータ)を含んでもよい。

0073

図19は、本開示の例示的な実施形態による、時系列データ適合を示すフロー図である。上述された例は、概して、時系列データ適合モジュール110が、現在の時間間隔の間に時間依存性導入潜在分布をシーケンシャルデータ予測マシンに出力する変分推論マシンによる時系列データ適合を実行することを参照し、シーケンシャルデータ予測マシンは、変分推論マシンの後の現在の時間間隔のデータに対して動作する。しかしながら、この構造は例示に過ぎない。たとえば、図19は、変分推論マシン202より前にRNN204が現在の時間間隔データ(たとえば、xt)に対して動作するようにシステムが構造化されている、代替の例示的な実施形態を示す。RNN204は、前の時間間隔からの時間依存性導入潜在分布zt−1および時系列データxtを受け取って、隠れ状態htを更新することができる。次いで、更新された隠れ状態htは、隠れ状態htおよび時系列データxtを入力として受け取る変分推論マシン202にエクスポートされてもよい。次いで、変分推論マシン202は、機械学習モデル206に送られ得る時間依存性導入潜在分布ztを出力することができる。このプロセスは、上述されたのと同様の方式で繰り返し実行されてもよい。図19に示された構造は、上述された技法のいずれかを使用してシングルモーダルまたはマルチモーダルの時系列データ適合に使用されてもよい。

0074

特定のタイプのマシンおよび/または産業機器は、コストがかかる故障時間および/または修理被る可能性がある障害を回避または遅延させるために、機器が適切に動作し、必要に応じてメンテナンスを受けることを保証するために、監視を必要とする場合がある。製造施設では、機器の重要部品の故障が莫大金銭的損失を引き起こし、かつ/または従業員に安全上のリスクをもたらす可能性があることを諒解されたい。回転構成部品振動を検出する加速度計は、機器に伴う潜在的な問題の早期検出を実現し、障害が発生する前に設備オペレータが機器の部品の修理またはシャットダウンの予防措置を講じることを可能にする。振動時系列データは、一般に、回転構成部品の近くに永続的に取り付けられた加速度計から収集される。しばしば、単一の回転構成部品は、複数の加速度計で監視されてもよい。たとえば、一般的な技法は、各々が垂直(X)軸、接線(Y)軸、および半径方向(Z)軸に沿って振動を測定する3つの加速度計を用いて、回転構成部品を監視することを含む。その複雑さおよびサイズに応じて、1台の機械が数百または数千の監視される回転構成部品を有する場合がある。

0075

振動時系列データは、機械学習モデルによって検出され得る、問題のある傾向または異常を示すことができる。たとえば、動力伝達装置内の歯車メッシュ周波数の機械学習分析は、金属粒子ギアボックスに取り込む、歯車の歯の間に詰まった小さな砂または汚れ粒子を検出することができる。例示的な実施形態では、振動時系列データは、ファンなどの回転機器における不均衡状態識別、および/または回転機器の軸受における欠陥の検出に使用される。また、たとえば、回転機器が支持構造固有振動数に近づく周波数で回転しているかどうかを判定するために、周波数分析が使用されてもよい。多種多様なタスク用のモデルは、振動時系列データに対してすでに訓練されているので、振動時系列データは、一般に、予防保守に非常に有用である。しかしながら、振動時系列データの収集は、多数の永続的に取り付けられた加速度計を必要とし、これらは、機械および出荷時設定に応じて実際的ではない可能性がある。したがって、永続的に利用できないデータおよび断続的に利用できないデータに対して堅牢であり得る本開示のセンサ融合方法は、有利なことに、マシン保守予測システムにおいて使用されてもよい。その上、上記のセンサ融合方法に記載されたようにデータタイプを融合すると、利用可能なデータからの情報抽出の改善が可能になってもよく、それにより、車両、スチームトラップ、および製造機器を含む多種多様な機器のための予防保守の改善、機器故障時間の短縮、修理費用の低減、安全性の向上などがもたらされてもよい。

0076

いくつかの以前から存在する機械学習方法(たとえば、産業予防保守用)は、たとえば、均一環境内、または特定のエッジデバイス100内のいくつかの特定のタイプの時系列データを処理するのに概して有用であった。しかしながら、特に、IoTなどの異機種環境では、分析用に収集され得る利用可能なデータタイプおよびソースの変分性は、既存の方法を使用して適切に処理することができないと認識されている。たとえば、特定のタイプのデータおよび/または特定のデータソースごとに、正確な機械学習モデルを訓練することは実際的ではない。最も技術的に高度なコンピュータハードウェア、ソフトウェア、およびネットワーク機能であっても、絶えず拡大するデータのドメインまたはモダリティ、データのタイプ、および通常遭遇する異機種環境の特定のデータソースを処理することには適していないので、より良好かつより高速コンピュータおよび/またはネットワーキングハードウェアでこの問題に対処しようと試みることは、不十分であることが分かる。言い換えれば、既存の技法は、時系列データを提供する多種多様な異なるデータタイプおよびソースを有する異機種環境において、特に断続的にデータが利用できないとき、および/または所望のデータタイプが永続的に利用できないとき、機械学習を処理するには概して不十分である。一方、本明細書で提案された機械学習などのための時系列データの収集および処理は、以前から存在する方法およびシステムを使用しては可能でなかった異なる技術的アプローチを取る。したがって、機械学習デバイスは、特に、IoTなどの異機種環境内でエッジデバイス100を使用するとき、本明細書に記載された方法およびシステムを使用することによって改善される。たとえば、車両、製造機器、スチームトラップ、または様々な他の機器に関連する衝突回避、自動運転、COPDリスク評価、および予防保守の技術は、特に、センサデータが予期せずまたは断続的に利用できない場合があるとき、本開示の時系列データ適合によって、大きく改善されてもよい。

0077

さらに、本開示のセンサ融合方法およびシステムは、有利なことに、多種多様なシステムが、センサ融合の相乗効果を介して、任意の所与の時点で利用可能であり得るあらゆるセンサデータをその最大限の可能性まで使用することを可能にすることができる。融合センサデータは、観察されている状況または現象のより強固な理解を提供する様々な感覚情報統合するので、センサ融合マシンは、センサ融合マシンに入力される生の時系列データの表現力において、多大な相乗効果を提供する。したがって、本開示のセンサ融合は、断続的および/または永続的に利用できないデータおよびデータ内の異常値に対して特に堅牢である。その上、センサ融合マシンが訓練され、対応する機械学習モデルがセンサ融合データ(たとえば、マルチモーダル時間依存性導入潜在分布Z)に基づいて訓練されると、センサ融合マシンおよび機械学習モデルは、1つまたは複数の異なるタイプの時系列データが利用できない(たとえば、ライダーなし、ビデオなし、もしくはレーダーなし、および/または超音波なしの)多数の様々なセンサ構成に適合する能力に基づいて、(たとえば、衝突回避センサが異なる多くの製造元またはモデルの車両において)広く利用可能であってもよい。

0078

また、様々な時系列モダリティに基づいて時間依存性導入潜在分布を出力するように訓練された機械学習モデルが、1つまたは複数のモダリティが利用できない状況で展開されるとき、機械学習モデルは、通常、展開中に利用可能なモダリティのみに対して訓練されていた場合よりも正確である。訓練中に、基礎となる関連付けおよび関係は、現在利用できないモダリティを含む、すべてのモダリティの統合を通して形成され、それらは、現在利用できないモダリティでの訓練なしでは学習されないはずである。したがって、たとえば、大部分の車両が高価なライダーセンサを含まない場合でも、ライダー時系列データを使用するようにセンサ融合マシンおよび機械学習モデルを訓練することは、通常、ライダーセンサをもたない車両に利益を与えるべきである。様々なセンサからの様々な個別のタイプの時系列データの分析から知ることができないか、または扱いにくい情報は、有利なことに、センサ融合の相乗効果を介して生成されてもよい。

0079

同様に、COPDリスク評価機械学習モデルの場合、動脈血ガス(ABG)分析データが入力として利用できない可能性がある。一般に、ABGは、酸素代謝、血液pHレベル、および酸素の血中レベルを測定することにより、患者肺機能を測定する。ABGは、現在、病状悪化の進行度および重症度を評価する最良の方法であるが、それは健康管理施設で実施される不快で高価な処置であるため、継続中の監視には実用的でない。したがって、COPDリスク評価機械学習モデル用の訓練データは、院内試験および非病院在宅監視デバイス(たとえば、呼吸数パルスオキシメータ家庭用肺活量計、ピーク流量計)および環境監視デバイス(たとえば、塵埃レベル煙レベル大気汚染)から収集された時系列データを含む。したがって、COPDリスク評価機械学習モデルは、ABG院内時系列データが通常利用できないという現実に基づいて、定期的な家庭衛生監視に関するより良い結果を提供するように、時系列データの包括的な集合に対して訓練される。

0080

その上、本開示のセンサ融合マシンは、上述されたようにイントラモーダルおよびインターモーダルの時間依存性の使用を介して相乗効果を創出し、それにより、有利なことに、適合可能かつフォールトトレラントなシステムにおいてより正確な結果が提供される。したがって、時系列データ適合モジュールおよび/またはセンサ融合マシンに入力されるデータが利用できないときでも、時系列データ適合モジュールおよび/またはセンサ融合マシンの出力に基づく機械学習モデルにより、有用な結果が依然として提供されてもよい。

0081

本明細書に記載された、開示された方法および手順のすべては、1つまたは複数のコンピュータプログラム、モジュール、または構成要素を使用して実装できることを諒解されたい。これらのモジュールまたは構成要素は、RAM、ROM、フラッシュメモリ磁気ディスクもしくは光ディスク光学メモリ、または他の記憶媒体などの揮発性メモリまたは不揮発性メモリを含む、任意の従来のコンピュータ可読媒体または機械可読媒体上の一連のコンピュータ命令として提供されてもよい。命令は、ソフトウェアもしくはファームウェアとして提供されてもよく、かつ/またはASIC、FPGA、DSP、もしくは任意の他の同様のデバイスなどのハードウェア構成要素の全体または一部に実装されてもよい。命令は、一連のコンピュータ命令を実行すると、開示された方法および手順のすべてまたは一部を実行するか、またはその実行を容易にする、1つまたは複数のプロセッサによって実行されるように構成されてもよい。以下の請求項において使用されるように、「手段」および/または「ステップ」という用語は、米国特許法第112条(f)の下のミーンズプラスファンクション処理起動するために使用されてもよく、用語「手段」または「ステップ」が請求項に列挙されていない限り、ミーンズプラスファンクション処理は起動されるものではない。

0082

本明細書に記載された例示的な実施形態に対する様々な変更および修正が当業者には明らかであることを理解されたい。そのような変更および修正は、本主題の趣旨および範囲から逸脱することなく、かつ意図された利点を損なうことなく、行うことができる。したがって、そのような変更および修正は、添付の特許請求の範囲によって包含されることが意図される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ