図面 (/)

技術 リアルタイムデータ取得・記録システムビューワ

出願人 ウィ-トロニックス,リミティッドライアビリティカンパニー
発明者 ジョーダン,ローレンス,ビー.パテル,サヴァンクマール,ヴィー.ウィーヴァー,ブライアン
出願日 2017年5月16日 (3年1ヶ月経過) 出願番号 2018-561037
公開日 2019年8月8日 (10ヶ月経過) 公開番号 2019-522400
状態 不明
技術分野
  • -
主要キーワード 鉱山機械 着脱式記憶装置 イベントレコーダ 専用アプリケーションソフトウェア 事象検出器 メンテナンス計画 衝突保護 資産所有者
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題・解決手段

データエンコーダ搭載データマネジャ、及び少なくとも1つのローカルメモリモジュールを含む、移動資産用のデータ取得・記録システム(DARS)及びビューワ。DARSは、少なくとも1つの360度カメラからのビデオデータを処理し、そのデータの圧縮レコードを少なくとも1秒毎にローカルメモリモジュールに記憶する。DARSは、準リアルタイムモードでは5分毎に5分のデータからなるフルレコードを遠隔メモリモジュールに保存し、リアルタイムモードでは1秒に1回以上、最大1/10秒に1回データのレコードをアップロードして遠隔メモリモジュールにビデオデータをストリーミングして動作するように設計されている。遠隔にいるユーザは、ウェブブラウザ又はバーチャルリアリティ装置を介してさまざまな表示モードで映像音声、及びデータを検分することできるため、より迅速な緊急対応に備え、修理及び経路変更の有効性を検証し、乗員の業務と安全性の監視を行うことができる。

概要

背景

機関車航空機、大量輸送システム鉱山機械運搬可能な医療機器貨物船舶用船などの高価値移動資産は、通常、搭載型データ取得・記録「ブラックボックス」システム及び/又は「イベントレコーダ」システムを採用している。イベントデータレコーダフライトデータレコーダなどのデータ取得・記録システムは、インシデント調査、乗員の業務評価燃費分析メンテナンス計画、及び予測診断に使用されるさまざまなシステムパラメータログに残す。典型的なデータ収集記録システムは、デジタル及びアナログ入力ならびに圧力スイッチ及び圧力トランスデューサを備え、様々な搭載のセンサ装置からのデータを記録する。記録されたデータは、速度、移動した距離、場所、燃料レベル、1分間当たりのエンジン回転数(RPM)、流体レベル運転者制御、圧力、現在及び予測される天候条件及び周囲条件などのパラメータを含むことができる。基本的事象及び動作データに加えて、映像及び音声事象データ記録機能も、これらの同じ移動資産の多くに配備されている。通常、資産が絡む事件が発生し、調査が必要とされた後、データレコーダ回収されると、そのデータレコーダからデータが抽出される。ところが、データレコーダが回復できない、又は他の理由でデータが利用できない状況が発生することがある。このような状況では、データ取得・記録システム又はそのデータへの物理的アクセス利用可能であるかどうかにかかわらず、データ収集記録システムによって取得された事象及び動作データ、映像データ、及び音声データなどのデータが迅速に必要とされる。

概要

データエンコーダ搭載データマネジャ、及び少なくとも1つのローカルメモリモジュールを含む、移動資産用のデータ取得・記録システム(DARS)及びビューワ。DARSは、少なくとも1つの360度カメラからのビデオデータを処理し、そのデータの圧縮レコードを少なくとも1秒毎にローカルメモリモジュールに記憶する。DARSは、準リアルタイムモードでは5分毎に5分のデータからなるフルレコードを遠隔メモリモジュールに保存し、リアルタイムモードでは1秒に1回以上、最大1/10秒に1回データのレコードをアップロードして遠隔メモリモジュールにビデオデータをストリーミングして動作するように設計されている。遠隔にいるユーザは、ウェブブラウザ又はバーチャルリアリティ装置を介してさまざまな表示モードで映像、音声、及びデータを検分することできるため、より迅速な緊急対応に備え、修理及び経路変更の有効性を検証し、乗員の業務と安全性の監視を行うことができる。

目的

本明細書の教示は、高価値移動資産上でリアルタイムデータ取得・記録システムによって記録された事象及び動作データ、映像データ、及び音声データなどのデータへのリアルタイム又は準リアルタイムのアクセスを提供する

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

少なくとも1つの移動資産からのデータを処理、記憶、及び転送する方法であって、前記移動資産に搭載されたマルチメディア管理システムを使用して、少なくとも1つの360度カメラ、少なくとも1つの固定カメラ、及び少なくとも1つのマイクロフォンのうちの少なくとも1つからの、少なくとも1つのデータ信号、に基づくデータを受信することと、前記移動資産に搭載のデータレコーダを使用して、前記データを受信することと、前記データレコーダのデータエンコーダを使用して、前記データに基づくビットストリームを含むレコードを符号化することと、前記データレコーダの搭載データマネジャを使用して、前記データレコーダの少なくとも1つのローカルメモリコンポーネントに、設定可能な第1の所定頻度にて前記データ及び前記レコードのうちの少なくとも一方を記憶することと、を備える方法。

請求項2

前記データが、映像画像情報及び音声情報のうちの少なくとも一方を含む、請求項1に記載の方法。

請求項3

前記少なくとも1つの360度カメラは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも1つ、に位置し、前記少なくとも1つの固定カメラは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも1つ、に位置し、前記少なくとも1つのマイクロフォンは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも1つ、に位置する、請求項1に記載の方法。

請求項4

前記管理システムを使用して、前記データレコーダの前記少なくとも1つのローカルメモリコンポーネントに、設定可能な第2の所定頻度にて、前記データ及び前記レコードのうちの少なくとも一方を記憶すること、をさらに備える、請求項1に記載の方法。

請求項5

前記搭載データマネジャを使用して、前記レコードをレコードブロックに付加することと、前記搭載データマネジャを使用して、前記データレコーダの前記少なくとも1つのローカルメモリコンポーネントに、前記第1の所定頻度にて、前記レコードブロックを記憶することと、をさらに備える、請求項1に記載の方法。

請求項6

前記レコードが、前記少なくとも1つのローカルメモリコンポーネントの少なくとも2つの一時的記憶位置のうちの1つ、に記憶される、請求項1に記載の方法。

請求項7

前記少なくとも1つのローカルメモリコンポーネントが、衝突保護メモリモジュール及び衝突保護のない着脱式記憶装置のうちの少なくとも一方、を含む、請求項1に記載の方法。

請求項8

前記レコードを前記少なくとも1つのローカルメモリコンポーネントに記憶することが、以前のレコードが前記少なくとも1つのローカルメモリコンポーネントの第2の一時的記憶位置に記憶されたという条件で、前記レコードを前記少なくとも1つのローカルメモリコンポーネントの第1の一時的記憶位置に記憶することと、以前のレコードが前記少なくとも1つのローカルメモリコンポーネントの第1の一時的記憶位置に記憶されたという条件で、前記レコードを前記少なくとも1つのローカルメモリコンポーネントの第2の一時的記憶位置に記憶すること、のうちの一方を含む、請求項1に記載の方法。

請求項9

前記データレコーダが、無線データリンク及び有線データリンクのうちの少なくとも一方を介して、前記データを受信する、請求項1に記載の方法。

請求項10

前記データエンコーダを使用して、前記レコードを時間同期すること、をさらに備える、請求項1に記載の方法。

請求項11

前記搭載データマネジャを使用して、0〜1秒の範囲で設定済みの第2の所定頻度にて、無線データリンクを介して、前記レコードを遠隔データマネジャに送信することと、前記遠隔データマネジャを使用して、前記レコードを、遠隔データリポジトリに記憶することと、をさらに備える、請求項1に記載の方法。

請求項12

前記搭載データマネジャを使用して、0〜5分の範囲で設定済みの第2の所定頻度にて、無線データリンクを介して、前記レコードブロックを遠隔データマネジャに送信することと、前記遠隔データマネジャを使用して、前記レコードブロックを、遠隔データリポジトリに記憶することと、をさらに備える、請求項5に記載の方法。

請求項13

前記レコードブロックをレコードセグメントに付加することと、前記レコードセグメントが、少なくとも1つのレコードブロックを含む所定量のレコードブロックを含むという条件で、前記搭載データマネジャを使用して、前記レコードセグメントを前記少なくとも1つのローカルメモリコンポーネントに記憶することと、をさらに備える、請求項5に記載の方法。

請求項14

前記搭載データマネジャを使用して、少なくとも1つのレコードセグメントを含むフルレコードブロックを、設定可能な第2の所定頻度にて、無線データリンクを介して、遠隔データマネジャに送信すること、をさらに備える、請求項13に記載の方法。

請求項15

前記第2の所定頻度が、前記0〜5分の範囲内である、請求項14に記載の方法。

請求項16

前記遠隔データマネジャを使用して、前記フルレコードブロックを遠隔データリポジトリに記憶すること、をさらに備える、請求項14に記載の方法。

請求項17

前記フルレコードブロックが、前記設定可能な第2の所定頻度にて、前記無線データリンクを介して、前記遠隔データマネジャに送信され、前記データレコーダがリアルタイムモードであることを条件に、前記第2の所定頻度は0〜1秒の範囲である、請求項14に記載の方法。

請求項18

前記フルレコードブロックが、前記設定可能な第2の所定頻度にて、前記無線データリンクを介して、前記遠隔データマネジャに送信され、前記データレコーダが準リアルタイムモードことを条件に、前記第2の所定頻度は0〜5分の範囲である、請求項14に記載の方法。

請求項19

前記レコードが、所定量のデータを含み、前記所定量のデータが、最大5分間のデータを含む、請求項1に記載の方法。

請求項20

少なくとも1つの移動資産からのデータを表示する方法であって、ウェブサーバを使用して、少なくとも1つの移動資産の指定マルチメディアデータ及び指定ビューモードを含むリクエストを受信することと、前記ウェブサーバを使用して、遠隔メモリコンポーネントから前記少なくとも1つの移動資産の前記指定マルチメディアデータを受信することと、表示装置を使用して、前記少なくとも1つの移動資産の前記指定マルチメディアデータを前記指定ビューで表示することと、を備える方法。

請求項21

前記要求が、遠隔ユーザにより開始されるか、前記少なくとも1つの移動資産で起こった事故により開始されるか、のいずれかである、請求項20に記載の方法。

請求項22

記事故が、前記移動資産の操作者が開始する非常停止要求、緊急制動動作、任意軸における前記移動資産の急加速、任意軸における前記移動資産の急減速、及び前記移動資産に搭載のデータレコーダへの入力電力喪失、のうちの少なくとも1つである、請求項21に記載の方法。

請求項23

前記要求が、ワイヤレスネットワーク接続及び有線ネットワーク接続のうちの一方を介して、前記ウェブサーバに受信される、請求項20に記載の方法。

請求項24

ウェブクライアントを使用して、前記ユーザからの前記要求に対するコマンドを受信することと、前記ウェブクライアントを使用して、前記要求に対する前記コマンドを前記ウェブサーバに送信することと、をさらに備える、請求項21に記載の方法。

請求項25

前記表示装置が、ウェブクライアント及びバーチャルリアリティ装置のうちの一方である、請求項20に記載の方法。

請求項26

前記指定ビューが、魚眼ビュー、デワープビュー、パノラマビューダブルパノラマビュー、及びクワッドビューのうちのいずれか1つである、請求項20に記載の方法。

請求項27

少なくとも1つの移動資産からのデータを処理、記憶、及び転送するシステムであって、少なくとも1つの360度カメラ、少なくとも1つの固定カメラ、及び少なくとも1つのマイクロフォンのうちの少なくとも1つと、前記少なくとも1つの360度カメラ、前記少なくとも1つの固定カメラ及び前記少なくとも1つのマイクロフォンのうちの前記少なくとも1つからの少なくとも1つのデータ信号に基づくデータを受信するように設定された、前記移動資産に搭載のマルチメディア管理システムと、少なくとも1つのローカルメモリコンポーネント、搭載データマネジャ、及びデータエンコーダを含み、前記マルチメディア管理システムから前記データ受信するように設定されている、前記移動資産に搭載のデータレコーダと、を備え、前記データエンコーダは、前記データに基づくビットストリームを含むレコードを符号化するように設定されており、前記搭載データマネジャは、前記少なくとも1つのローカルメモリコンポーネントに、設定可能な第1の所定頻度にて前記データ及び前記レコードのうちの少なくとも一方を記憶するように設定されている、システム。

請求項28

前記少なくとも1つの360度カメラは、前記移動資産内、前記移動資産上、又は前記移動資産の近傍の少なくとも1つに位置し、前記少なくとも1つの固定カメラは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも1つに位置し、前記少なくとも1つのマイクロフォンは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも1つに位置する、請求項27に記載のシステム。

請求項29

前記データは、映像画像情報及び音声情報のうち少なくとも1つを含む、請求項27に記載のシステム。

請求項30

前記マルチメディア管理システムが、前記少なくとも1つのローカルメモリコンポーネントに前記データを記憶するように設定されている、請求項27に記載のシステム。

請求項31

前記少なくとも1つのローカルメモリコンポーネントが、衝突保護メモリモジュール及び衝突保護のない着脱式記憶装置のうちの少なくとも一方を含む、請求項27に記載のシステム。

請求項32

前記搭載データマネジャが、前記レコードをレコードブロックに付加することと、前記レコードブロックを前記少なくとも1つのローカルメモリコンポーネントに前記第1の所定頻度にて記憶することと、を含む、請求項27に記載のシステム。

請求項33

前記少なくとも1つのローカルメモリコンポーネントが、少なくとも2つの一時的記憶位置を含む、請求項27に記載のシステム。

請求項34

以前のレコードが第2の一時的記憶位置に記憶されたという条件で、前記レコードを記憶するように設定済みの、第1の一時的記憶位置と、以前のレコードが第1の一時的記憶位置に記憶されたという条件で、前記レコードを記憶するように設定済みの、第2の一時的記憶位置と、をさらに備える、請求項33に記載のシステム。

請求項35

前記マルチメディア管理システムからの前記データを前記データレコーダに送信するように設定された、無線データリンク及び有線データリンクのうちの少なくとも一方、をさらに備える、請求項27に記載のシステム。

請求項36

前記移動資産から遠隔にある遠隔データマネジャであって、0〜1秒の範囲内である設定可能な第2の所定頻度にて、無線データリンクを介して前記搭載データマネジャから前記レコードを受信するように設定された遠隔データマネジャと、前記移動資産から遠隔にある遠隔データリポジトリであって、前記遠隔データマネジャから前記レコードを受信するように設定された遠隔データリポジトリと、をさらに備える、請求項27に記載のシステム。

請求項37

前記移動資産から遠隔にある遠隔データマネジャであって、0〜5分の範囲内である設定可能な第2の所定頻度にて、無線データリンクを介して、前記搭載データマネジャから前記レコードを受信するように設定された遠隔データマネジャと、前記移動資産から遠隔にある遠隔データリポジトリであって、前記遠隔データマネジャから受信した前記レコードを記憶するように設定された遠隔データリポジトリと、をさらに備える、請求項32に記載のシステム。

請求項38

前記搭載データマネジャが、前記レコードブロックをレコードセグメントに付加し、前記レコードセグメントが、少なくとも1つのレコードブロックを含む所定量のレコードブロックを含むという条件で、前記レコードセグメントを前記少なくとも1つのローカルメモリコンポーネントに記憶する、ように設定されている、請求項32に記載のシステム。

請求項39

前記移動資産から遠隔にある遠隔データマネジャであって、設定可能な第2の所定頻度にて無線データリンクを介して前記搭載データマネジャから、少なくとも1つのレコードセグメントを含むフルレコードブロックを受信するように設定された遠隔データマネジャと、前記移動資産から遠隔にある遠隔データリポジトリであって、前記遠隔データマネジャから受信した前記フルレコードブロックを記憶するように設定された遠隔データリポジトリと、をさらに備える、請求項38に記載のシステム。

請求項40

前記データレコーダがリアルタイムモードであれば、前記第2の所定頻度は0〜1秒内に設定可能であり、前記データレコーダが準リアルタイムモードであれば、前記第2の所定頻度は0〜5分内に設定可能である、請求項39に記載のシステム。

請求項41

前記レコードが、所定量のデータを含み、前記所定量のデータが、最大5分間のデータを含む、請求項27に記載のシステム。

請求項42

前記レコードが、前記少なくとも1つのローカルメモリコンポーネントに少なくとも1秒毎に記憶される、請求項27に記載のシステム。

請求項43

前記レコードが、前記少なくとも1つのローカルメモリコンポーネントに10分の1秒毎に記憶される、請求項27に記載のシステム。

請求項44

表示装置を備えるウェブクライアントと、前記ウェブクライアントと無線通信し、かつ前記少なくとも1つの移動資産に関する指定マルチメディアデータ及び指定ビューを含む要求を受信するように設定されたウェブサーバと、前記遠隔データリポジトリと無線通信し、かつ前記少なくとも1つの移動資産に関する指定マルチメディアデータを受信するように設定されたウェブサーバと、前記表示装置を使用して、前記少なくとも1つの移動資産に関する前記指定マルチメディアデータを前記指定ビューで表示するように構成された前記表示装置と、をさらに備える、請求項36に記載のシステム。

請求項45

前記少なくとも1つの移動資産に関する前記指定マルチメディアデータを前記指定ビューで受信及び表示するように設定されたバーチャルリアリティ装置、をさらに備える、請求項44に記載のシステム。

請求項46

前記指定ビューが、魚眼ビュー、デワープビュー、パノラマビュー、ダブルパノラマビュー、及びクワッドビューのうちのいずれか1つである、請求項44に記載のシステム。

技術分野

0001

関連出願への相互参照
本願は、法律で認められている範囲で、2016年5月16日に提出された米国仮出願第62/337,225号に対する優先権を主張し、2016年5月16日に出願された米国仮出願第62/337,227号に対する優先権を主張し、2016年5月16日に提出された米国仮出願第62/337,228号に対する優先権を主張し、2017年5月15日に提出された米国非仮出願第15/595,650号に対する優先権を主張し、かつその継続であり、その内容は、その全体が参照により本明細書に組み込まれる。

0002

本開示は、高価値移動資産で使用されるリアルタイムデータ取得・記録システムからの映像、画像及びデータを検分するシステム及び方法に関する。

背景技術

0003

機関車航空機、大量輸送システム鉱山機械運搬可能な医療機器貨物船舶用船などの高価値移動資産は、通常、搭載型データ取得・記録「ブラックボックス」システム及び/又は「イベントレコーダ」システムを採用している。イベントデータレコーダフライトデータレコーダなどのデータ取得・記録システムは、インシデント調査、乗員の業務評価燃費分析メンテナンス計画、及び予測診断に使用されるさまざまなシステムパラメータログに残す。典型的なデータ収集記録システムは、デジタル及びアナログ入力ならびに圧力スイッチ及び圧力トランスデューサを備え、様々な搭載のセンサ装置からのデータを記録する。記録されたデータは、速度、移動した距離、場所、燃料レベル、1分間当たりのエンジン回転数(RPM)、流体レベル運転者制御、圧力、現在及び予測される天候条件及び周囲条件などのパラメータを含むことができる。基本的事象及び動作データに加えて、映像及び音声事象データ記録機能も、これらの同じ移動資産の多くに配備されている。通常、資産が絡む事件が発生し、調査が必要とされた後、データレコーダ回収されると、そのデータレコーダからデータが抽出される。ところが、データレコーダが回復できない、又は他の理由でデータが利用できない状況が発生することがある。このような状況では、データ取得・記録システム又はそのデータへの物理的アクセス利用可能であるかどうかにかかわらず、データ収集記録システムによって取得された事象及び動作データ、映像データ、及び音声データなどのデータが迅速に必要とされる。

課題を解決するための手段

0004

本開示は、概して、高価値移動資産で使用されるリアルタイムデータ取得・記録システムに関する。本明細書の教示は、高価値移動資産上でリアルタイムデータ取得・記録システムによって記録された事象及び動作データ、映像データ、及び音声データなどのデータへのリアルタイム又は準リアルタイムアクセスを提供することができる。本明細書に記載する、少なくとも1つの移動資産からのデータを処理、記憶、及び転送する方法の一実装は、移動資産に搭載のマルチメディア管理システムを使用して、少なくとも1つの360度カメラ、少なくとも1つの固定カメラ及び少なくとも1つのマイクロフォンのうちの少なくとも1つからの少なくとも1つのデータ信号に基づくデータを受信することと、そのデータを、移動資産に搭載のデータレコーダを用いて受信することと、そのデータレコーダのデータエンコーダを使用して、そのデータに基づくビットストリームを含むレコードを符号化することと、そのデータレコーダの搭載データマネジャを使用して、そのデータ及びそのレコードのうちの少なくとも一方をそのデータレコーダの少なくとも1つのローカルメモリコンポーネントに設定可能な第1の所定頻度にて記憶することと、を含む。

0005

本明細書に記載する、少なくとも1つの移動資産からのデータを表示する方法の一実装は、ウェブサーバを使用して、少なくとも1つの移動資産の指定マルチメディアデータ及び指定ビューモードを含むリクエストを受信することと、そのウェブサーバを使用して、その少なくとも1つの移動資産の指定マルチメディアデータを遠隔メモリコンポーネントから受信することと、表示装置を使用して、その少なくとも1つの移動資産の指定マルチメディアデータをその指定ビューで表示することとを含む。

0006

本明細書に記載する、リアルタイムデータ取得・記録システムの一実装は、少なくとも1つの360度カメラ、少なくとも1つの固定カメラ及び少なくとも1つのマイクロフォンのうちの少なくとも1つと、移動資産に搭載のマルチメディア管理システムであって、少なくとも1つの360度カメラ、少なくとも1つの固定カメラ及び少なくとも1つのマイクロフォンのうちの少なくとも1つからの少なくとも1つのデータ信号に基づくデータを受信するように構成されたシステムと、少なくとも1つのローカルメモリコンポーネント、搭載データマネジャ、及びデータエンコーダを含み、マルチメディア管理システムからのデータを受信するように構成された移動資産に搭載のデータレコーダと、そのデータに基づくビットストリームを含むレコードを符号化するように設定されたデータエンコーダと、そのデータ及びそのレコードのうちの少なくとも一方を少なくとも1つのローカルメモリコンポーネントに設定可能な第1の所定頻度で記憶するように設定された搭載データマネジャとを含む。

0007

本開示のこれらの態様及び他の態様における変形を、以下でさらに詳細に説明する。

図面の簡単な説明

0008

本明細書の説明を添付の図面を参照して行うが、いくつかの図面では同様の参照番号で同様の部品を示している。
本開示の実装による例示的なリアルタイムデータ取得・記録システムの現場設置を示す図。
本開示の実装による、移動資産からの映像データ、音声データ、及び/又は情報を記録する処理を示すフロー図。
本開示の実装による、移動資産からの記録された映像データ、音声データ、及び/又は情報を表示する処理を示すフロー図。
本開示の実装による、リアルタイムデータ取得・記録システムの360度カメラの例示的魚眼ビューを示す図。
本開示の実装による、リアルタイムデータ取得・記録システムの360度カメラの例示的パノラマ表示を示す図。
本開示の実装による、リアルタイムデータ取得・記録システムの360度カメラの例示的クワッドビューを示す図。
本開示の実装による、リアルタイムデータ取得・記録システムの360度カメラの例示的デワープビューを示す図。

実施例

0009

本明細書に記載のリアルタイムデータ取得・記録システムは、資産所有者操作者調査者などの遠隔に位置するユーザに、高価値資産に関連する事象及び動作データ、映像データ、及び音声データなどの広範なデータへのリアルタイム又は準リアルタイムのアクセスを提供する。このデータ取得・記録システムは、データレコーダを介してその資産に関するデータを記録し、事故の発生前、発生時及び発生後遠隔データリポジトリ及び遠隔地にいるユーザにデータをストリーミングする。そのデータは、リアルタイム又は準リアルタイムで遠隔データリポジトリにストリーミングされ、少なくとも事故又は緊急事態の発生時までの情報を利用可能にし、これにより、指定データのダウンロード要請ファイル位置特定及び転送、そのデータを検分する特殊アプリケーションの使用と目的として、資産が絡む事故を調査するために「ブラックボックス」を見つけてダウンロードする必要性を実質的に排除し、資産上のデータレコーダと交信する必要性を排除することになる。本開示のシステムは、典型的な記録能力を保持しながら、事故の発生前、発生時及び発生後に遠隔データリポジトリ及び遠隔エンドユーザにデータをストリーミングする能力を追加して有する。大半の状況において、データは既に取得され、遠隔データリポジトリに保存されているため、データレコーダに記録された情報は冗長で不要となる。

0010

本開示のシステム以前では、事件が発生し調査が必要となった後に、「ブラックボックス」又は「イベントレコーダ」からデータが抽出された。「ブラックボックス」が記録した時間セグメントを含むデータファイルは、「ブラックボックス」からダウンロードされて取り出され、独自のソフトウェアを有するユーザによって検分されなければならなかった。そのユーザは、資産への物理的又は遠隔アクセスを得て、「ブラックボックス」からダウンロードすべき所望のデータを選択し、その所望情報を含むファイルを計算装置にダウンロードし、その計算装置で動作するカスタムアプリケーションを使用して、その所望データを有する適切なファイルを探し出さなければならない。本開示のシステムでは、ユーザがこれらのステップを実行する必要性を排除しており、そのユーザは、所望データへとナビゲートする一般的なウェブブラウザを使用するだけでよい。遠隔に位置するユーザは、一般的なウェブブラウザにアクセスすると、そのブラウザが、選択した資産に関する所望データにユーザをナビゲートして、リアルタイム又は準リアルタイムでその資産の運用効率及び安全性を検分及び分析することができる。

0011

資産所有者、操作者、及び/又は調査者などの遠隔地にいるユーザは、選択した資産に関連する生の及び/又は過去の所望データへとナビゲートする一般的なウェブブラウザにアクセスして、その資産の運用効率及び安全性をリアルタイム又は準リアルタイムに検分及び分析することができる。リアルタイム又は準リアルタイムで動作を検分する機能により、挙動(behavior)の迅速な評価と調整が可能になる。事故時には、例えば、リアルタイム情報及び/又はデータにより状況のトリアージが容易になり、最初の応答者に有益な情報を提供することができる。通常の運用時には、例えば、リアルタイム情報及び/又はデータを使用して、乗員の業務を監査し、ネットワーク広域の状況認識補助することができる。

0012

本開示のシステムは、データ取得・記録システムの一部として、移動資産内、資産上、又はその近傍に配置された360度カメラを使用する。本開示のシステム以前、「ブラックボックス」及び/又は「イベントレコーダ」は、その移動資産内、資産上、又はその近傍に360度カメラは配置されていなかった。本開示のシステムは、データ取得・記録システムの一部として、360度カメラを使用し、これらのカメラにより記録する能力を追加して有するため、その移動資産が絡む事故の発生前、発生時、及び発生後にも、移動資産内、移動資産上、又はその近傍の360度ビューを、遠隔データリポジトリ(保存場所)、遠隔のユーザ及び調査者に提供することができる。運用及び/又は360度映像をリアルタイム又は準リアルタイムで検分する能力により、乗員の挙動の迅速な評価と調整が可能になる。所有者、操作者、調査者は、運用効率、人々の安全性、車両、インフラを検分及び分析することができる上、事故の調査又は検査をすることができる。その移動資産から360度の映像を検分できる能力により、乗員の挙動の迅速な評価と調整が可能になる。事故時には、例えば、360度の映像により、状況のトリアージが容易になり、最初の応答者及び調査者に有益な情報を提供することができる。通常の運用時には、例えば、360度の映像を使用して、乗員の業務を監査し、ネットワーク広域の状況認識を補助することができる。360度カメラ及び固定カメラにより、状況を説明する完全なピクチャを用意することができるため、法執行及び/又は鉄道警察、重要インフラの検査、鉄道横断監視トラック作業の進捗状況の監視、運転室内及び庭内の乗員監査のリアルタイム遠隔監視のための監視映像を提供することができる。

0013

これまでのシステムでは、専用ソフトウェアアプリケーション又は他の外部映像再生アプリケーションを使って映像ファイルを検分するために、ユーザは時間セグメントを含むビデオファイルをダウンロードする必要があった。本開示のデータ取得・記録システムは、バーチャルリアリティ装置を使用して及び/又は標準ウェブクライアントを介してリモートユーザに表示することができる360度の映像及び画像情報ならびに音声情報を提供して、その映像を見るために外部アプリケーションをダウンロードして使用する必要をなくしている。さらに、遠隔地にいるユーザは、バーチャルリアリティ装置やウェブブラウザなどの標準的ウェブクライアントを通じて様々なモードで360度のビデオを見ることができるため、ビデオを見るために外部アプリケーションをダウンロードして使用する必要がない。従来のビデオシステムでは、ユーザが独自に購入しなければならない専用アプリケーションソフトウェア又は他の外部ビデオ再生アプリケーションを使用してしか見ることができないデータの時間セグメントを含むビデオファイルをダウンロードする必要があった。

0014

データには、資産内、資産上又はその近傍の様々な場所にあるカメラから映像及び画像情報、その資産内、資産上又はその近傍の様々な場所にあるマイクロフォンからの音声情報が含まれるが、これに限定されない。360度カメラは、360度の球面視野及び/又は360度の半球面視野を提供するカメラである。360度のカメラを資産内、資産上又はその近傍に使用すると、DARSの一部としてその360度カメラを使用して映像を使用かつ記録する機能が得られるため、事故の発生前、発生時、及び発生後に、資産内、資産上又はその近傍の360度ビューを遠隔データリポジトリ、遠隔地にいるユーザ、及び捜査官に利用可能とすることができる。

0015

図1は、本開示の態様を実装することができる例示的リアルタイムデータ取得・記録システム(DARS)100の第1の実施形態の現場設置をそれぞれ示している。DARS100は、移動資産130上のデータレコーダ108からのリアルタイム情報、映像情報、音声情報を遠隔にいるエンドユーザにデータセンター132を介して配信するシステムである。データレコーダ108は、車両又は移動資産130に設置され、無線ゲートウェイルータ(図示せず)などの有線及び/又は無線データリンクの任意の組み合わせを介して任意の数の種々の情報源通信する。データレコーダ108は、衝突保護メモリモジュール110、搭載データマネジャ112、及びデータエンコーダ114を含む。第2の実施態様において、データレコーダ108は、衝突保護のない着脱式記憶装置(図示せず)を含むこともできる。例示的衝突保護メモリモジュール110は、例えば、連邦規則及び連邦鉄道行政規則を遵守した耐衝撃性事象レコーダメモリモジュール、連邦規則及び連邦航空局規制を遵守したクラッシュサバイバブルメモリユニット(crash survivable memory unit)、適用可能な連邦規則のコードに準拠した衝突保護メモリモジュール、又は当該技術分野において知られている他の適切な強化メモリ装置でよい。有線及び/又は無線データリンクは、離散信号入力、標準又は独自仕様イーサネット登録商標)、シリアル接続、及び無線接続のいずれか1つ又は組み合わせを含むことができる。

0016

データレコーダ108は、資産の構成に基づいて幅広く多様となり得る広範な様々なソースから、搭載のデータリンクを介して、映像データ、音声データ、及び他のデータ及び/又は情報を収集する。本実装において、データレコーダ108は、資産130内、資産130上、及びその近傍に配置された360度カメラ102及び固定カメラ106からの映像データ及び音声データを連続して記録する映像管理システム104からのデータを受信し、映像管理システム104は、その映像及び音声データを衝突保護メモリモジュール110に記憶し、かつ、第2の実施態様の衝突保護のない着脱式記憶装置にも記憶することができる。異なるビットレート又は空間解像度を使用すれば、異なるバージョンのビデオデータが生成され、これらのバージョンはサムネイル、5分の低解像度セグメント、5分の高解像度セグメントなど、可変長のセグメントに分割される。

0017

データエンコーダ114は、規制当局によって通常規定される最小組のデータを少なくとも符号化する。データエンコーダ114は、映像及び音声データを映像管理システム104から受信すると、遠隔データリポジトリ120への効率的なリアルタイムの送信と複製とを容易にするため、そのデータを圧縮、すなわち符号化して、それを時間同期する。データエンコーダ114が、遠隔に位置するユーザ134によるオンデマンド要求に応答して、又は資産130に特定の動作条件が観察されたことに応答して、その符号化データを搭載データマネジャ112に転送すると、搭載データマネジャはその符号化された映像及び音声データを、データセンター130内にある遠隔データマネジャ118を介して遠隔データリポジトリ120に転送する。搭載のデータマネジャ112及び遠隔のデータマネジャ118は、協働してこのデータ複製処理を管理する。データセンター132内の遠隔データマネジャ118で、複数の資産からのデータの複製を管理することができる。遠隔データリポジトリ120に記憶されている映像及び音声データは、遠隔地にいるユーザ134がアクセスするウェブサーバ122により利用可能である。

0018

搭載データマネジャ112もデータをキューリポジトリ(図示せず)に送信する。搭載データマネジャ112は、映像管理システム104を使用して、衝突保護メモリモジュール110及び第2の実施形態による任意の衝突保護のない着脱式記憶装置に記憶されている映像及び音声データを監視して、準リアルタイムモードにあるかリアルタイムモードにあるかを判定する。準リアルタイムモードでは、搭載データマネジャ112は、データエンコーダ114から受信する、映像データ、音声データ、及び他のデータや情報を含む符号化データ、ならびに衝突保護メモリモジュール110及び第2の実施形態による任意の衝突保護のない着脱式記憶装置内のあらゆるイベント情報をキューリポジトリ内に記憶する。5分間の符号化データがキューリポジトリに蓄積された後、搭載データマネジャ112は、その5分間の符号化データを、無線データリンク116を介してデータセンター132内の遠隔データマネジャ118を介して、遠隔データリポジトリ120に記憶する。リアルタイムモードでは、搭載データマネジャ112は、データエンコーダ114から受信した映像データ、音声データ、その他のデータや情報を含む符号化データならびにあらゆるイベント情報を、無線データリンク116を介してデータセンター132内の遠隔データマネジャ118を介して遠隔データリポジトリ120に格納する。搭載データマネジャ112及び遠隔データマネジャ118は、様々な無線通信リンクを介して通信することができる。無線データリンク116の例としては、例えば、無線ローカルエリアネットワーク(WLAN)、無線メトロポリタンエリアネットワーク(WMAN)、無線広域ネットワーク(WWAN)、私設無線システム、携帯電話ネットワーク、又は、データレコーダ108からこの例では遠隔データマネジャ118にデータを送信する、他の任意の手段が挙げられる。映像データ及び音声データを資産130から遠隔送信及び検索する処理には、資産130とデータセンター132との間の無線データ接続が必要である。無線データ接続が利用できない場合、無線接続が復元されまで、このデータは衝突保護メモリモジュール110及び第2の実施形態による任意の衝突保護のない着脱式記憶装置に記憶され入れられる。ワイヤレス接続復旧すると、映像、音声、及びその他の追加のデータ取得処理再開される。

0019

データ記録並行して、データレコーダ108は、遠隔データリポジトリ120に連続的かつ自律的にデータを複製する。この複製処理には、リアルタイムモードと準リアルタイムモードの2つのモードがある。リアルタイムモードでは、データが毎秒遠隔データリポジトリ120に複製される。準リアルタイムモードでは、データが5分毎に遠隔データリポジトリ120に複製される。準リアルタイムモードで使用する頻度は設定可能であり、リアルタイムモードで使用するレートは、0.10秒毎にデータを遠隔データリポジトリ120に複製することによって高解像度データサポートするように調整することができる。このデータ複製処理の効率を高めるためには、大半の条件下で、準リアルタイムモードが通常操作時に用いられる。

0020

リアルタイムモードは、資産130で発生した事象に基づいて、又はデータセンター132から開始される要求に基づいて開始することができる。データセンター132により開始されるリアルタイムモードへの典型的な要求は、遠隔地に位置するユーザ134がウェブクライアント126からのリアルタイム情報を要求すると開始される。資産130が発信元となるリアルタイムモードの一般的理由は、操作者が開始する非常停止要求、緊急制動動作、任意軸における急加速又は急減速、又はデータレコーダ108への入力電力喪失などの事象又は事件の検出である。準リアルタイムモードからリアルタイムモードへと移行する際、遠隔データリポジトリ120にまだ複製されていないデータすべてが遠隔データリポジトリ120に複製及び記憶され、複製活動が開始される。準リアルタイムモードからリアルタイムモードへの移行は通常5秒未満で起こる。事象又は事故から所定の時間が経過した後、活動のない状態が所定時間続く、又はユーザ134が資産130からのリアルタイム情報をもはや望まない場合には、データレコーダ108は準リアルタイムモードに戻る。この移行を開始するのに必要な所定時間は設定可能であり、通常は10分に設定される。

0021

データレコーダ108がリアルタイムモードであると、搭載データマネジャ112は、連続的に遠隔データマネジャ118へとその待ち行列を空けようとして、そのデータを衝突保護メモリモジュール110及び第2の実施形態による任意の衝突保護のない着脱式記憶装置に記憶し、そのデータを同時に遠隔データマネジャ118へと送信する。

0022

データレコーダ108から複製すべき映像データ、音声データ、及び他のデータや情報を受信すると、遠隔データマネジャ118はそのデータをデータセンター130内の遠隔データリポジトリ120に記憶する。遠隔データリポジトリ120は、例えば、クラウドベースデータ記憶装置、又は他の適した遠隔データ記憶装置でよい。データが受信されると、遠隔データリポジトリ120から最近複製されたデータをデータデコーダ(図示せず)で復号し、その復号データを遠隔事象検出器(図示せず)に送信する処理が開始される。遠隔データマネジャ118は、車両事象情報を遠隔データリポジトリ120に記憶する。遠隔事象検出器は、復号データを受信すると、その復号データを処理して、その復号データに対象事象が見つかったかどうかを判定する。次に、その復号情報は、遠隔事象検出器によって使用されて、資産130を絡んで発生するそのデータ内の事象、事故、又は他の所定の状況を検出する。遠隔事象検出器は、遠隔データリポジトリ120に以前に記憶されていた復号データから対象事象を検出すると、その事象情報及び裏付けデータを遠隔データリポジトリ120に記憶する。

0023

ユーザ134からのオンデマンド要求に応答して、映像データ、音声データ、及びあらゆる他のデータや情報がそのユーザ134に利用可能となる、及び/又は資産130上にて特定の動作条件が観察されたことに応答して、搭載データマネジャ112により遠隔データリポジトリ120に送信される。遠隔データリポジトリ内に記憶されている映像データ、音声データ、及びあらゆる他のデータや情報は、ユーザ134がアクセスできるようにウェブサーバ122で利用可能である。遠隔地にいるユーザ134は、指定の資産130又は複数の資産に関連して遠隔データリポジトリ120に記憶されている映像データ、音声データ、及びあらゆる他のデータや情報に、ウェブブラウザなどの標準のウェブクライアント126、又は本実装では選択カメラのサムネイル画像を表示することのできるバーチャルリアリティ装置128を用いてアクセスすることができる。ウェブクライアント126は、一般的なウェブ標準プロトコル及び技術を使用して、ネットワーク124を介してウェブサーバ122に映像、音声及び/又はその他の情報に対するユーザ134の要求を通信する。ネットワーク124は、例えば、インターネットとすることができる。ネットワーク124は、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、仮想プライベートネットワーク(VPN)、携帯電話ネットワーク、又はウェブサーバ122からのデータをこの例では、ウェブクライアント126に送信する他の手段とすることができる。ウェブサーバ122は、遠隔データリポジトリ120からの所望データを要求する。すると、ウェブサーバ122は、その要求したデータを、標準ビデオと360度ビデオの再生リアルタイム表示を提供するウェブクライアント126に送る。ウェブクライアント126は映像データ、音声データ、及びあらゆる他のデータや情報をユーザ134に向けて再生する。ユーザ134は、検分及び分析を目的として360度の映像データと対話可能である。ユーザ134はまた、その映像データ、音声データ、及びあらゆる他のデータや情報をウェブクライアント126を使ってダウンロードして、バーチャルリアリティ装置128を使って検分及び分析を目的として360度の映像データと対話することができる。

0024

ウェブクライアント126は、様々な異なるモードで360度のビデオの再生を提供するソフトウェアアプリケーション強化することができる。ユーザ134は、そのソフトウェアアプリケーションが、例えば、図4に示すように魚眼ビュー、図5に示すようにパノラマビューダブルパノラマビュー(図示せず)、図6に示すようにクワッドビュー、図7に示すようにデワープビューなどのビデオ再生提示するモードを選択することができる。

0025

図2は、本開示の一実装による、資産130からの映像データ、音声データ、及び/又は情報を記録する処理200を示すフロー図である。映像管理システム104は、資産130内、資産130上、及びその近傍に配置された360度カメラ102及び固定カメラ106などの様々な入力コンポーネント202からデータ信号を受信する。映像管理システム104は、その映像データ、音声データ、及び/又は情報を、例えば、静止画像、サムネイル、静止画像シーケンス、又は圧縮ビデオフォーマットなどの業界標準フォーマットの任意の組み合わせを使用して、衝突保護メモリモジュール110及び第2の実施態様の衝突保護のない着脱式記憶装置204に記憶する。データエンコーダ114は、データ信号情報206を構成及び記録するために使用される構造化された一連ビットを含むレコードを作成する。準リアルタイムモードにおいて、映像管理システム104は、その映像データを衝突保護メモリモジュール110及び第2の実施態様の衝突保護のない着脱式記憶装置に記憶しつつ、遠隔データリポジトリ120、208にサムネイル又は非常に短い低解像度映像セグメントなどの限定映像データのみを送る。

0026

別の実施形態では、符号化されたレコードは、次に、一連のレコードを時系列順に、最大5分間のデータを含むレコードブロックに順次結合する搭載データマネジャ112に送信される。暫定レコードブロックは5分未満のデータを含み、フルレコードブロックは5分のフルデータを含む。各レコードブロックは、データ統合チェックを含む、含まれている信号を完全に復号するのに必要なすべてのデータを含む。少なくとも、レコードブロックは開始レコードで開始し、終了レコードで終了する必要がある。

0027

符号化された信号データのすべてが、衝突保護メモリモジュール110及び第2の実施態様の衝突保護のない着脱式記憶装置に確実に保存されるようにするために、データレコーダ108が電力を失う場合、搭載データマネジャ112は、衝突保護メモリモジュール110及び第2の実施態様の衝突保護のない着脱式記憶装置に、暫定レコードブロックを所定の頻度で格納する。この所定頻度は設定可能及び/又は可変である。暫定レコードブロックは、少なくとも1秒に1回保存されるが、10分の1秒毎に1回保存することもできる。暫定レコードブロックが保存される頻度は、各信号のサンプリングレート次第である。各暫定レコードブロックには、最後のフルレコードブロック以降のレコードのフルセットが含まれる。データレコーダ108は、各中間レコードブロックを記録するときに、衝突保護メモリモジュール110内の2つの一時的な記憶位置を交互に切り替えることができる。これにより、衝突保護メモリモジュール110へのデータ格納時にデータレコーダ108が電力を喪失しても、1秒を超えるデータの破損又は損失を防ぐことができる。新たな暫定レコードブロックは、一時的な衝突保護メモリ場所に保存されるたびに、その場所にある既存の以前に記憶された暫定レコードブロックを上書きする。

0028

この実装では、5分毎に、データレコーダ108が準リアルタイムモードにあれば、搭載データマネジャ112は、符号化された信号データの最後の5分を含むフルレコードブロックを衝突保護メモリモジュール110のレコードセグメント及び第2の実施態様の衝突保護のない着脱式記憶装置に格納し、5分間の映像データ、音声データ、及び/又は情報を含むフルレコードブロックのコピーを遠隔データマネジャ118に送信して、遠隔データリポジトリ120内に格納され、例えば、2年間などの所定の保存期間にわたって保存される。衝突保護メモリモジュール110及び第2の実施態様の衝突保護のない着脱式記憶装置は、規定された記憶期間最新のレコードブロックのレコードセグメントを記憶する。この実装では、この期間はデータレコーダ108が衝突保護メモリモジュール110に動作又は映像データを24時間の追加バッファを含めて保存しておかなければならない連邦政府規定期間であり、その後このセグメントは上書きされる。

0029

図3は、ウェブブラウザ又はバーチャルリアリティ装置を介して資産130からのデータ及び/又は情報を検分するための処理300を示すフロー図である。事象が発生すると、又は遠隔に位置する認定ユーザ134が、ウェブクライアント126を介して衝突保護メモリモジュール110に格納されたビデオデータのセグメントを要求すると、搭載データマネジャ112は、その事象に応じて、無線データリンク116の帯域幅が与えられれば利用可能な最良解像度で、リアルタイムにオフボードに映像データを送信し始める。遠隔に位置するユーザ134は、ネットワーク124を介してウェブサーバ122に要求を通信するウェブクライアント126を介して、指定のビューモード302で指定のビデオ及び/又はオーディオデータに対する要求を開始する。ウェブサーバ122は、遠隔データリポジトリ120からの指定の映像及び/又は音声データを要求し、要求された映像及び/又は音声データをネットワーク124を介してウェブクライアント126、304に送信する。ウェブクライアント126は、ユーザ134、306によって指定されたビューモードでビデオ及び/又はオーディオデータを表示する。ユーザ134はこれにより、その指定の映像及び/又は音声データをダウンロードして、バーチャルリアリティ装置128で見ることができる。別の実装では、リアルタイムモードにおいて、最初に1秒間隔でサムネイルが送信され、その後、低解像度ビデオの短いセグメント及び高解像度ビデオの短いセグメントが送信される。

0030

説明を簡単にするために、処理200及び処理300は、一連のステップとして示し、説明している。ただし、本開示によるステップは、様々な順序で及び/又は並行して実施することができる。また、本開示に従ったステップは、本明細書に提示及び記載していない他のステップと共に行うことができる。さらに、図示されたすべてのステップが、開示した主題による方法を実施するために必要とされるわけではない。

0031

本開示を特定の実施形態に関連して記載したが、本開示は開示された実施形態に限定されるものではなく、逆に、添付の請求範囲内に含まれる様々な修正及び均等な構成を包含することを意図するものである。その範囲は、法律で許容されるすべての修正及び均等な構成を包含するように最も広い解釈が与えられるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ