図面 (/)

技術 訓練装置、訓練システム、訓練方法、及びプログラム

出願人 三菱重工業株式会社
発明者 北川朋亮道辻健太小林淳一
出願日 2018年7月19日 (1年11ヶ月経過) 出願番号 2018-136259
公開日 2020年1月23日 (5ヶ月経過) 公開番号 2020-013035
状態 未査定
技術分野 デジタル計算機のユーザインターフェイス 電気的に作動する教習具
主要キーワード 検出ステータ 相対変化量 完成検査 スイッチON状態 各作業手順 仮想操作 手順テーブル 操作間違い
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年1月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

低コスト訓練効率を向上させることができる訓練装置訓練システム訓練方法、及びプログラムを提供する。

解決手段

訓練装置10は、訓練生視界に含まれる景色撮影した視界画像を取得する視界画像取得部110と、モックアップ上に配置されたマーカの画像を前記視界画像から検出し、当該マーカの画像に基づいて前記訓練生の位置及び姿勢を検出する位置検出部111と、前記視界画像に含まれる物体外観又は形状を検出可能な特徴データを取得する特徴取得部112と、前記特徴データの時間的変化を追跡して前記訓練生の相対的な位置及び姿勢の推移推定する位置推定部113と、前記訓練生の相対的な位置及び姿勢に基づいて、前記モックアップ上に重畳表示される表示データを作成する表示データ作成部114と、を備える。

概要

背景

例えば航空機のように、組立完成検査に複雑な操作手順が要求される装置又は設備では、操作者に対して事前操作方法及び操作手順を訓練する必要がある。
この時、操作者(訓練生)を教育及び訓練する方法として、実際の装置又は設備(以下、「実機」とも記載する)を精緻に模擬するハードウェアシミュレータを用いる方法が考えられている。

また、他の訓練方法として、コンピュータ(PC、タブレット端末等)で実機を模擬するソフトウェアシミュレータ、又は、実機を仮想空間上で提示するVR(Virtual Reality)を用いた仮想操作ステムを用いて訓練生の教育及び訓練を行う方法が考えられる(例えば、特許文献1を参照)。

概要

低コストで訓練効率を向上させることができる訓練装置訓練システム、訓練方法、及びプログラムを提供する。訓練装置10は、訓練生の視界に含まれる景色撮影した視界画像を取得する視界画像取得部110と、モックアップ上に配置されたマーカの画像を前記視界画像から検出し、当該マーカの画像に基づいて前記訓練生の位置及び姿勢を検出する位置検出部111と、前記視界画像に含まれる物体外観又は形状を検出可能な特徴データを取得する特徴取得部112と、前記特徴データの時間的変化を追跡して前記訓練生の相対的な位置及び姿勢の推移推定する位置推定部113と、前記訓練生の相対的な位置及び姿勢に基づいて、前記モックアップ上に重畳表示される表示データを作成する表示データ作成部114と、を備える。

目的

本発明は、このような課題に鑑みてなされたものであって、低コストで訓練効率を向上させることができる訓練装置、訓練システム、訓練方法、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

訓練生モックアップを用いて訓練を行うための訓練装置であって、前記訓練生の視界に含まれる景色撮影した視界画像を取得する視界画像取得部と、前記モックアップ上に配置されたマーカの画像を前記視界画像から検出し、当該マーカの画像に基づいて前記訓練生の位置及び姿勢を検出する位置検出部と、前記視界画像に含まれる物体外観又は形状を検出可能な特徴データを取得する特徴取得部と、前記特徴データの時間的変化を追跡して前記訓練生の相対的な位置及び姿勢の推移推定する位置推定部と、前記訓練生の相対的な位置及び姿勢に基づいて、前記モックアップ上に重畳表示される表示データを作成する表示データ作成部と、を備える訓練装置。

請求項2

前記特徴データに基づいて仮想入力部に対する前記訓練生の操作を検出する操作検出部を更に備え、前記表示データ作成部は、前記操作に応じた前記表示データを作成する、請求項1に記載の訓練装置。

請求項3

前記モックアップを含む所定の検知領域における動作を検知するセンサから出力された信号に基づいて、仮想入力部に対する前記訓練生の操作を検出する操作検出部を更に備え、前記表示データ作成部は、前記操作に応じた前記表示データを作成する、請求項1に記載の訓練装置。

請求項4

前記操作検出部が検出した前記操作に基づいて、前記訓練生の操作が正しいか否かを判定する操作判定部を更に備え、前記表示データ作成部は、前記操作判定部の判定結果に応じた前記表示データを作成する、請求項2又は3に記載の訓練装置。

請求項5

訓練生がモックアップを用いて訓練を行うための訓練システムであって、請求項1から4の何れか一項に記載の訓練装置と、前記訓練生に装着され、前記視界画像を撮影するカメラと、前記表示データを前記モックアップ上に重畳表示する表示装置と、を備える訓練システム。

請求項6

前記特徴取得部は、前記視界画像に所定の画像処理を施すことにより、前記物体に関連する前記特徴データを取得する、請求項5に記載の訓練システム。

請求項7

前記訓練生に装着され、前記視界に含まれる前記物体の座標集合である点群データを取得する深度センサを更に備え、前記特徴取得部は、前記点群データを前記特徴データとして取得する、請求項5に記載の訓練システム。

請求項8

訓練生がモックアップを用いて訓練を行うための訓練方法であって、前記訓練生の視界に含まれる景色を撮影した視界画像を取得する視界画像取得ステップと、前記モックアップ上に配置されたマーカの画像を前記視界画像から検出し、当該マーカの画像に基づいて前記訓練生の位置及び姿勢を検出する位置検出ステップと、前記視界画像に含まれる物体の外観又は形状を検出可能な特徴データを取得する特徴取得ステップと、前記特徴データの時間的変化を追跡して前記訓練生の相対的な位置及び姿勢の推移を推定する位置推定ステップと、前記訓練生の相対的な位置及び姿勢に基づいて、前記モックアップ上に重畳表示される表示データを作成する表示データ作成ステップと、を有する訓練方法。

請求項9

訓練生がモックアップを用いて訓練を行うための訓練装置のコンピュータを機能させるプログラムであって、前記コンピュータに、前記訓練生の視界に含まれる景色を撮影した視界画像を取得する視界画像取得ステップと、前記モックアップ上に配置されたマーカの画像を前記視界画像から検出し、当該マーカの画像に基づいて前記訓練生の位置及び姿勢を検出する位置検出ステップと、前記視界に含まれる物体の外観又は形状を検出可能な特徴データを取得する特徴取得ステップと、前記特徴データの時間的変化を追跡して前記訓練生の相対的な位置及び姿勢の推移を推定する位置推定ステップと、前記訓練生の相対的な位置及び姿勢に基づいて、前記モックアップ上に重畳表示される表示データを作成する表示データ作成ステップと、を実行させるプログラム。

技術分野

0001

本発明は、訓練装置訓練システム訓練方法、及びプログラムに関する。

背景技術

0002

例えば航空機のように、組立完成検査に複雑な操作手順が要求される装置又は設備では、操作者に対して事前操作方法及び操作手順を訓練する必要がある。
この時、操作者(訓練生)を教育及び訓練する方法として、実際の装置又は設備(以下、「実機」とも記載する)を精緻に模擬するハードウェアシミュレータを用いる方法が考えられている。

0003

また、他の訓練方法として、コンピュータ(PC、タブレット端末等)で実機を模擬するソフトウェアシミュレータ、又は、実機を仮想空間上で提示するVR(Virtual Reality)を用いた仮想操作ステムを用いて訓練生の教育及び訓練を行う方法が考えられる(例えば、特許文献1を参照)。

先行技術

0004

特許第6049788号公報

発明が解決しようとする課題

0005

しかしながら、ハードウェアシミュレータは、実機と同様の機能を有するハードウェアを製造する必要があるので、非常に高価である。また、ハードウェアシミュレータは、航空機のように大きな設備を模擬する場合、広大設置スペースが必要となる。このため、多数のハードウェアシミュレータを導入することはコスト的及びスペース的に困難であるため、複数の訓練生を教育する場合、ハードウェアシミュレータを用いることは非効率である。

0006

更に、ソフトウェアシミュレータでは、訓練生は機器等の配置及び操作を直感的に理解することは困難である。また、仮想操作システムでは、仮想的に提示された機器及び計器等を確認することは可能であるが、レバー操作等の入力操作を必要とする操作を学習するには不十分である。

0007

本発明は、このような課題に鑑みてなされたものであって、低コストで訓練効率を向上させることができる訓練装置、訓練システム、訓練方法、及びプログラムを提供する。

課題を解決するための手段

0008

上記課題を解決するため、本発明は以下の手段を採用している。
本発明の第1の態様によれば、訓練生がモックアップを用いて訓練を行うための訓練装置(10)は、前記訓練生の視界に含まれる景色撮影した視界画像を取得する視界画像取得部(110)と、前記モックアップ上に配置されたマーカの画像を前記視界画像から検出し、当該マーカの画像に基づいて前記訓練生の位置及び姿勢を検出する位置検出部(111)と、前記視界画像に含まれる物体外観又は形状を検出可能な特徴データを取得する特徴取得部(112)と、前記特徴データの時間的変化を追跡して前記訓練生の相対的な位置及び姿勢の推移推定する位置推定部(113)と、前記訓練生の相対的な位置及び姿勢に基づいて、前記モックアップ上に重畳表示される表示データを作成する表示データ作成部(114)と、を備える。
このように、訓練装置は、訓練生の位置及び姿勢に応じてモックアップ上に重畳表示される表示データを作成するので、訓練生に対し、実機と同等の配置及び機能を仮想的に再現した訓練環境を提供することができる。これにより、訓練装置は、実機と同等の機能を有するハードウェアを用意する必要がないため、従来のハードウェアシミュレータを利用するよりもコストを低減させることができる。更に、訓練装置は、従来のソフトウェアシミュレータ又は仮想操作システムと比較して、モックアップ及び表示データにより機器配置及び操作手順を直感的理解させやすい訓練環境を提供できるので、訓練効率を大幅に向上させることができる。
また、訓練装置は、マーカに基づいて訓練生の位置及び姿勢を迅速かつ容易に検出可能であるとともに、訓練生の視界からマーカが外れた場合であっても、特徴データに基づいて訓練生の位置及び姿勢を推定することができる。このため、訓練装置は、訓練生がどのような位置又は姿勢で訓練を行ったとしても、適切な表示データを作成することができるので、訓練生に対し、より実機に近い違和感のない訓練環境を提供することが可能となる。

0009

本発明の第2の態様によれば、第1の態様に記載の訓練装置(10)は、前記特徴データに基づいて仮想入力部に対する前記訓練生の操作を検出する操作検出部(115)を更に備え、前記表示データ作成部(114)は、前記操作に応じた前記表示データを作成する。
このようにすることで、訓練装置は、訓練生の操作に応じたフィードバックを含む表示データを作成することができる。これにより、訓練装置は、訓練生に対しより実機に近い操作感覚体感可能な訓練環境を提供することができる。

0010

本発明の第3の態様によれば、第1の態様に記載の訓練装置(10)は、前記モックアップを含む所定の検知領域における動作を検知するセンサ(30)から出力された信号に基づいて、仮想入力部に対する前記訓練生の操作を検出する操作検出部(115)を更に備え、前記表示データ作成部(114)は、前記操作に応じた前記表示データを作成する。
このようにすることで、訓練装置は、訓練生が視線を移動させずに視界外で操作を行った場合であっても、センサから出力された検知信号に基づいて、訓練生が行った操作を検出することができる。これにより、訓練装置は、訓練生に対しより実機に近い操作感覚を体感可能な訓練環境を提供することができる。

0011

本発明の第4の態様によれば、第2又は第3の態様に記載の訓練装置(10)は、前記操作検出部(115)が検出した前記操作に基づいて、前記訓練生の操作が正しいか否かを判定する操作判定部(116)を更に備え、前記表示データ作成部(114)は、前記操作判定部(116)の判定結果に応じた前記表示データを作成する。
このようにすることで、訓練装置は、訓練生が適切な操作を行ったか否かを判定し、例えば操作間違いがあった場合は警告等を含む表示データを作成する等、判定に応じたフィードバックを訓練生に与えるができる。これにより、訓練装置は、教師を用意することなく訓練生に訓練を行わせることができる。

0012

本発明の第5の態様によれば、訓練生がモックアップを用いて訓練を行うための訓練システム(1)は、第1から第4の何れか一の態様に記載の訓練装置(10)と、前記訓練生に装着され、前記視界画像を撮影するカメラ(20)と、前記表示データを前記モックアップ上に重畳表示する表示装置(22)と、を備える。
このように、訓練システムは、訓練生の位置及び姿勢に応じた表示データをモックアップ上に重畳表示するので、訓練生に対し、実機と同等の配置及び機能を仮想的に再現した訓練環境を提供することができる。これにより、訓練システムは、実機と同等の機能を有するハードウェアを用意する必要がないため、従来のハードウェアシミュレータを利用するよりもコストを低減させることができる。更に、訓練システムは、従来のソフトウェアシミュレータ又は仮想操作システムと比較して、機器配置及び操作手順を直感的理解させやすい訓練環境を提供でるので、訓練効率を大幅に向上させることができる。

0013

本発明の第6の態様によれば、第5の態様に記載の訓練システム(1)において、前記特徴取得部(112)は、前記視界画像に所定の画像処理を施すことにより、前記物体に関連する前記特徴データを取得する。
このようにすることで、訓練システムは、訓練生の視界からマーカが外れた場合であっても、視界画像内に含まれる物体(モックアップ等)の特徴データに基づいて、訓練生の位置及び姿勢を精度よく推定することができる。このため、訓練システムは、訓練生がどのような位置又は姿勢で訓練を行ったとしても、適切な表示データをモックアップ上に重畳表示することができるので、訓練生に対し、より実機に近い違和感のない訓練環境を提供することが可能となる。

0014

本発明の第7の態様によれば、第5の態様に記載の訓練システム(1)は、前記訓練生に装着され、前記視界に含まれる前記物体の座標集合である点群データを取得する深度センサ(21)を更に備え、前記特徴取得部(112)は、前記点群データを前記特徴データとして取得する。
このようにすることで、訓練システムは、訓練生の視界からマーカが外れた場合であっても、点群データに含まれる物体(モックアップ等)の各部の座標に基づいて、訓練生の位置及び姿勢を精度よく推定することができる。このため、訓練システムは、訓練生がどのような位置又は姿勢で訓練を行ったとしても、適切な表示データをモックアップ上に重畳表示することができるので、訓練生に対し、より実機に近い違和感のない訓練環境を提供することが可能となる。

0015

本発明の第8の態様によれば、訓練生がモックアップを用いて訓練を行うための訓練方法は、前記訓練生の視界に含まれる景色を撮影した視界画像を取得する視界画像取得ステップと、前記モックアップ上に配置されたマーカの画像を前記視界画像から検出し、当該マーカの画像に基づいて前記訓練生の位置及び姿勢を検出する位置検出ステップと、前記視界画像に含まれる物体の外観又は形状を検出可能な特徴データを取得する特徴取得ステップと、前記特徴データの時間的変化を追跡して前記訓練生の相対的な位置及び姿勢の推移を推定する位置推定ステップと、前記訓練生の相対的な位置及び姿勢に基づいて、前記モックアップ上に重畳表示される表示データを作成する表示データ作成ステップと、を有する。

0016

本発明の第9の態様によれば、訓練生がモックアップを用いて訓練を行うための訓練装置のコンピュータを機能させるプログラムは、前記コンピュータに、前記訓練生の視界に含まれる景色を撮影した視界画像を取得する視界画像取得ステップと、前記モックアップ上に配置されたマーカの画像を前記視界画像から検出し、当該マーカの画像に基づいて前記訓練生の位置及び姿勢を検出する位置検出ステップと、前記視界画像に含まれる物体の外観又は形状を検出可能な特徴データを取得する特徴取得ステップと、前記特徴データの時間的変化を追跡して前記訓練生の相対的な位置及び姿勢の推移を推定する位置推定ステップと、前記訓練生の相対的な位置及び姿勢に基づいて、前記モックアップ上に重畳表示される表示データを作成する表示データ作成ステップと、を実行させる。

発明の効果

0017

上述の態様に係る訓練装置、訓練システム、訓練方法、及びプログラムによれば、低コストで訓練効率を向上させることができる。

図面の簡単な説明

0018

本発明の一実施形態に係る訓練システムの全体構成を示す図である。
本発明の一実施形態に係る仮想空間の一例を示す図である。
本発明の一実施形態に係る訓練システムの機能構成を示す図である。
本発明の一実施形態に係る訓練装置の位置決定処理の一例を示す第1の処理フローである。
本発明の一実施形態に係るマーカテーブルの一例を示す図である。
本発明の一実施形態に係る訓練装置の位置決定処理の一例を示す第2の処理フローである。
本発明の一実施形態に係る訓練装置の操作受付処理の一例を示す処理フローである。
本発明の一実施形態に係る状態テーブルの一例を示す図である。
本発明の一実施形態に係るオブジェクト状態テーブルの一例を示す図である。
本発明の一実施形態に係る入力操作テーブルの一例を示す図である。
本発明の一実施形態に係る状態遷移テーブルの一例を示す図である。
本発明の一実施形態に係る状態遷移詳細テーブルの一例を示す図である。
本発明の一実施形態に係る訓練装置の表示データ作成処理の一例を示す第1の処理フローである。
本発明の一実施形態に係る状態遷移表現テーブルの一例を示す図である。
本発明の一実施形態に係るオブジェクト描画状態テーブルの一例を示す図である。
本発明の一実施形態に係る訓練装置の表示データ作成処理の一例を示す第2の処理フローである。
本発明の一実施形態に係る訓練装置の操作判定処理の一例を示す処理フローである。
本発明の一実施形態に係る手順テーブルの一例を示す図である。
本発明の一実施形態に係る訓練装置のハードウェア構成の一例を示す図である。

実施例

0019

以下、本発明の一実施形態に係る訓練システム1について、図1図19を参照しながら説明する。

0020

(全体構成)
図1は、本発明の一実施形態に係る訓練システムの全体構成を示す図である。
図1に示すように、本実施形態に係る訓練システム1は、訓練生Wがモックアップ31を介して特定の製品又は設備(以下、「実機」とも記載する)の操作方法及び操作手順を訓練するためのシステムである。訓練システム1は、訓練装置10と、表示装置22と、カメラ20と、深度センサ21と、センサ30と、モックアップ31とを備えている。

0021

訓練装置10は、実機の計器及び入力機器(ボタン、スイッチ等)を模擬した表示データD10(図2、後述)をモックアップ31上に重畳表示させることにより、訓練生Wに対し実機を操作したときと同等の体験を得ることが可能な仮想空間(仮想の訓練環境)を提供する。訓練装置10は、カメラ20、深度センサ21、表示装置22、及びセンサ30と通信可能となるように有線接続又は無線接続される。
なお、訓練装置10の機能構成の詳細については後述する。

0022

カメラ20は、訓練生Wに装着され、訓練生Wの視界に含まれる景色を視界画像として撮影する。
カメラ20は、訓練生Wの実際の視界に近い視界画像を撮影できるように、訓練生Wの視点に近い位置(例えば頭部)に、訓練生Wの視線方向とカメラ20の光軸とが略同一となるように配置される。
また、カメラ20は、訓練装置10と通信可能に接続されており、撮影した視界画像を逐次、訓練装置10に出力する。

0023

深度センサ21は、訓練生Wに装着され、訓練生Wの視界に含まれる物体の座標の集合である点群データを取得する。ここで、物体は、モックアップ31及び訓練生Wの体の一部(例えば手指等)である。点群データに含まれる座標は、例えば訓練生Wを起点とした三次元座標である。なお、深度センサ21は、カメラ20と同様に、訓練生Wの視点に近い位置(例えば頭部)に配置される。
また、深度センサ21は訓練装置10と通信可能に接続されており、取得した点群データを逐次、訓練装置10に出力する。

0024

表示装置22は、訓練装置10と通信可能に接続され、訓練装置10が作成した表示データD10(図2)をモックアップ31上に重畳表示する。
図2は、本発明の一実施形態に係る仮想空間の一例を示す図である。
図2に示すように、表示データD10には、「仮想表示部32」と「仮想入力部33」とが含まれている。「仮想表示部32」は、実機の計器等を模擬したコンピュータグラフィックであり、主に訓練生Wに対し視覚的なフィードバックを与える。「仮想入力部33」は、実機の入力機器(ボタン、スイッチ等)を模擬したコンピュータグラフィックであり、訓練生Wの仮想的な操作を受け付ける入力部の一態様である。
表示装置22は、このように、訓練生Wに対しモックアップ31上に計器及び入力機器が設けられているように見え視覚効果を与えることにより、仮想空間内に実機と同等の計器、入力機器等を再現する。
また、本実施形態に係る表示装置22は、例えば訓練生Wの頭部に装着される両眼シースルー型ヘッドマウントディスプレイである。なお、他の実施形態では、表示装置22は小型のレーザプロジェクタであってもよい。

0025

センサ30は、モックアップ31を含む所定の検知領域31Dにおける動作を検知するカメラ、又は深度センサである。
検知領域31Dは、例えばモックアップ31上に表示データが重畳表示される領域(後述の表示領域31C)を含むように設定される。センサ30は、検知領域31Dにおける動作(即ち、訓練生Wの操作)を検知可能であればどの位置に設置されていてもよいが、本実施形態では、例えば図1に示すように、センサ30はモックアップ31よりも上方の壁面又は天井固定配置されているものとする。
センサ30は訓練装置10と通信可能に接続されており、信号を逐次、訓練装置10に出力する。

0026

モックアップ31には、表示データが重畳表示される表示領域31C内に少なくとも一つのマーカ31Aが配置される。
なお、図1には、モックアップ31の上面が表示領域31Cとして設定されているが、モックアップ31の側面等、他の部位が含まれていてもよい。
また、マーカ31Aは、それぞれ固有テクスチャを有する図形、又はQRコード登録商標)等の二次元コードである。マーカ31Aは、予め定められた形状及びサイズを有している。マーカ31Aが複数ある場合、マーカ31A全てが同一の形状及びサイズを有していてもよいし、それぞれ異なる形状及びサイズを有していてもよい。なお、本実施形態では、図1に示すように、マーカ31Aの形状が矩形である態様を例として説明するが、これに限られることはない。他の実施形態では、マーカ31Aの形状は円形等の任意の形状であってもよい。

0027

また、モックアップ31には、操作部31Bが設けられている。
操作部31Bは、例えばレバー、操縦桿のような操作量アナログ量)の入力を受け付ける入力機器の操作を体験するための可動部であり、本実施形態における仮想入力部33の一態様である。即ち、本実施形態に係る仮想入力部33は、物理的な操作体験が可能な操作部31Bと、視覚効果による操作体験が可能な表示データD10との双方を含む。
また、図1には操作部31Bが一つのみ設けられている例が示されているが、これに限られることはない。他の実施形態では、モックアップ31に複数の操作部31Bが設けられていてもよい。

0028

なお、以下の説明では、図1に示すように訓練生Wがモックアップ31の正面に位置したときの左右方向(図1における±X方向)をモックアップ31の又は「幅方向」とも記載する。同様に、前後方向(図1における±Y方向)を「奥行方向」、上下方向(図1における±Z方向)を「高さ方向」とも記載する。
また、奥行方向(±Y方向)において、訓練生Wに近い方(−Y側)を「手前側」、遠い方(+Y側)を「奥側」とも記載する。

0029

(機能構成)
図3は、本発明の一実施形態に係る訓練システムの機能構成を示す図である。
図3に示すように、訓練システム1の訓練装置10は、CPU11と、接続I/F12と、記憶媒体13とを備えている。

0030

CPU11は、訓練装置10の動作全体を司るプロセッサである。CPU11は、所定のプログラムに従って動作することにより、視界画像取得部110、位置検出部111、特徴取得部112、位置推定部113、表示データ作成部114、操作検出部115、操作判定部116として機能する。

0031

視界画像取得部110は、カメラ20により訓練生Wの視界に含まれる景色を撮影した視界画像を取得する。

0032

位置検出部111は、モックアップ31上に配置されたマーカ31Aの画像を視界画像から検出し、当該マーカ31Aの画像に基づいて訓練生Wの位置及び姿勢を検出する。
なお、訓練生Wの位置及び姿勢とは、厳密には訓練生Wの視点の位置(三次元座標系における位置)及び姿勢(三次元座標系の各軸周りの回転)を示す。

0033

特徴取得部112は、訓練生Wの視界に含まれる物体(モックアップ31及び訓練生Wの体の一部)の外観又は形状を検出可能な特徴データを取得する。
なお、本実施形態に係る特徴取得部112は、深度センサ21から出力された点群データを特徴データとして取得する。

0034

位置推定部113は、特徴データの時間的変化を追跡して訓練生Wの相対的な位置及び姿勢の推移を推定する。

0035

表示データ作成部114は、訓練生Wの相対的な位置及び姿勢に基づいて、モックアップ31上に重畳表示される表示データD10(図2)を作成する。
また、表示データ作成部114は、作成した表示データを表示装置22に出力する。

0036

操作検出部115は、特徴データに基づいて、訓練生Wの操作を受け付ける仮想入力部に対する訓練生Wの操作を検出する。
本実施形態に係る操作検出部115は、訓練生Wが操作に使う体の一部(例えば手指)の位置及び動きを検出する。そして、操作検出部115は、例えば訓練生Wの手指の先端位置が、仮想入力部に相当する領域に位置する場合、訓練生Wが当該仮想入力部の操作を行ったことを検出する。
また、操作検出部115は、センサ30から出力された信号に基づいて、仮想入力部に対する訓練生Wの操作を検出する。これにより、訓練生Wが視線を移動させずに視界外で操作を行った場合、又は、訓練生Wの視界内に手指を隠す物体(訓練生Wの衣服等)が存在している場合であっても、訓練生Wの操作の検出漏れを抑制することができる。

0037

操作判定部116は、操作検出部115が検出した操作に基づいて、訓練生Wの操作が正しいか否かを判定する。

0038

接続I/F12は、カメラ20、深度センサ21、及びセンサ30から各種信号(画像、検知信号)が入力されるとともに、表示装置22に表示データを出力する。

0039

記憶媒体13には、CPU11の各部が処理を行う際に必要な各種情報が予め記憶されている。

0040

(訓練装置の位置決定処理)
図4は、本発明の一実施形態に係る訓練装置の処理の一例を示す第1の処理フローである。
図5は、本発明の一実施形態に係るマーカテーブルの一例を示す図である。
図6は、本発明の一実施形態に係る訓練装置の処理の一例を示す第2の処理フローである。
以下、図4図6を参照しながら、訓練装置10が実行する訓練生Wの位置決定処理の一例について説明する。

0041

まず、図4図5を参照して、訓練装置10マーカ31Aを用いて訓練生Wの位置を検出する処理の一例について説明する。なお、図4の処理フローでは、説明を簡易にするため、モックアップ31に一つのマーカ31Aが配置されている例について説明する。

0042

訓練生Wが訓練を開始すると、位置検出部111は、図4に示すようにマーカ31Aの検出ステータスを初期化する(ステップS10)。
検出ステータス「S」は、マーカ31Aが訓練生Wの視界(視界画像)に含まれるか否かを示す情報である。本実施形態では、検出ステータス「S」は、“初期値(マーカ未検出)”を示す「0」と、“マーカ31Aが視界内に含まれている”ことを示す「1」と、“マーカ31Aが視界から外れた”ことを示す「−1」とのうち何れかの値が設定される。
ステップS10では、検出ステータス「S」に初期値である「0」が設定される。

0043

次に、視界画像取得部110は、カメラ20から視界画像を取得する(ステップS11)。

0044

視界画像取得部110が視界画像を取得すると、位置検出部111は、視界画像に既知の画像処理を施し、当該視界画像からマーカ31Aを検出したか否かを判断する(ステップS12)。

0045

位置検出部111は、視界画像からマーカ31Aを検出した場合(ステップS12:YES)、検出ステータスを更新する(ステップS13)。具体的には、位置検出部111は、検出ステータス「S」に、“マーカ31Aが視界(視界画像)内に含まれている”ことを示す「1」を設定する。

0046

次に、位置検出部111は、記憶媒体13に予め記憶されているマーカテーブルD20(図5)を参照し、検出したマーカ31Aのマーカ情報を取得する(ステップS14)。
図5に示すように、マーカテーブルD20には、マーカ31Aの「マーカID」と、「座標」と、「姿勢」と、「サイズ」とが関連付けられたマーカ情報が、マーカ別に予め登録されている。
「マーカID」は、マーカ31Aを特定可能な識別情報である。本実施形態では、マーカ31Aのテクスチャに符号化されたマーカIDが埋め込まれており、位置検出部111は、既知の画像処理により、マーカ31Aの画像からマーカIDを読み取る。なお、他の実施形態では、マーカIDはテクスチャに埋め込まれていなくてもよい。この場合、マーカ情報にはテクスチャが更に登録されており、位置検出部111はマーカ31Aの画像と一致するテクスチャを検索して、当該マーカ31AのマーカIDを特定する。
「座標」は、マーカ31Aが配置された位置を表す三次元座標(X、Y、Z)である。例えば、表示領域31Cのうち、幅方向の最も左側(図1の−X側)且つ奥行方向の最も手前側(図1の−Y側)の位置を原点(「X、Y、Z」=「0、0、0」)とし、この原点からの幅方向、奥行方向、高さ方向における距離(mm)で表される。
「姿勢」は、マーカ31Aの各軸(X軸、Y軸、Z軸)周り回転角度(α、β、γ)を表す情報である。
「サイズ」は、マーカ31Aの横幅(X)及び縦幅(Y)の大きさ(mm)を表す情報である。

0047

図4戻り、位置検出部111は、既知の位置検出処理を利用し、視界画像から検出したマーカ31Aの画像と、ステップS14において取得したマーカ情報とに基づいて、訓練生Wの「位置及び姿勢P」を検出する(ステップS15)。

0048

次に、位置検出部111は、検出した訓練生Wの「位置及び姿勢P」を記憶媒体13に記憶する(ステップS16)。

0049

また、位置検出部111は、視界画像からマーカ31Aを検出しなかった場合(ステップS12:NO)、検出ステータス「S」に“マーカ31Aが視界内に含まれている”ことを示す「1」が設定されているか否かを判断する(ステップS17)。

0050

位置検出部111は、検出ステータス「S」に「1」が設定されている場合(ステップS17:YES)、検出ステータスに“マーカ31Aが視界から外れた”ことを示す「−1」を設定して更新する(ステップS18)。そして、位置検出部111は、ステップS11に戻って上述の処理を繰り返し実行する。
一方、位置検出部111は、検出ステータス「S」に「1」が設定されていない場合(ステップS17:NO)、検出ステータスの更新は行わず、ステップS11に戻って上述の処理を繰り返し実行する。

0051

訓練装置10は、訓練生Wが訓練を開始してから終了するまでの間、上述の処理を繰り返し実行することにより、訓練生Wの「位置及び姿勢P」を常に更新し続ける。

0052

次に、図6を参照しながら、訓練装置10が訓練生Wの位置を推定する処理の一例について説明する。なお、訓練装置10は、図4の処理と並行して、図6の以下の処理を行うものとする。

0053

訓練生Wが訓練を開始すると、特徴取得部112は、特徴データを取得する(ステップS20)。本実施形態では、特徴取得部112は、深度センサ21から出力される点群データを特徴データとして取得する。

0054

特徴取得部112が特徴データを取得すると、位置推定部113は、SLAM(Simultaneous Localization and Mapping)等の技術を利用し、特徴データ(点群データ)を仮想空間にマッピングしてモックアップ31の形状を検出可能な「環境地図」を作成するとともに、訓練生Wの環境地図内における「相対位置及び姿勢Pe」を計算して推定する(ステップS21)。

0055

次に、位置推定部113は、前回推定した「相対位置及び姿勢Pe」のデータが記憶媒体13に記憶されているか否かを判断する(ステップS22)。
位置推定部113は、前回推定した「相対位置及び姿勢Pe」のデータが記憶媒体13に記憶されている場合(ステップS22:YES)、ステップS23に進む。
一方、位置推定部113は、前回推定した「相対位置及び姿勢Pe」のデータが記憶媒体13に記憶されていない場合(ステップS22:NO)、ステップS20において推定した「相対位置及び姿勢Pe」を記憶媒体13に記憶し(ステップS27)、ステップS20に戻る。

0056

次に、位置推定部113は、検出ステータス「S」に“マーカ31Aが視界から外れた”ことを示す「−1」を設定されているか否かを判断する(ステップS23)。
位置推定部113は、検出ステータス「S」が「−1」である場合(ステップS23:YES)、ステップS24に進む。
一方、位置推定部113は、検出ステータス「S」が「−1」ではない場合(ステップS23:NO)、ステップS20において推定した「相対位置及び姿勢Pe」を記憶媒体13に記憶し(ステップS27)、ステップS20に戻る。

0057

次に、位置推定部113は、前回の「相対位置及び姿勢Pe」と、ステップS21において推定した「相対位置及び姿勢Pe」との「相対変化量ΔP」を計算する(ステップS24)。

0058

次に、位置推定部113は、記憶媒体13に記憶されている前回の訓練生Wの「位置及び姿勢P」と、「相対変化量ΔP」とに基づいて、現時点における訓練生Wの「位置及び姿勢P」を計算して推定する(ステップS25)。
即ち、位置推定部113は、マーカ31Aが訓練生Wの視界から外れてしまった場合は、最後にマーカ31Aに基づいて検出した訓練生Wの「位置及び姿勢P」を基準として、相対変化量ΔP分の移動先である、現時点における訓練生Wの「位置及び姿勢P」を推定する。これにより、位置推定部113は、マーカ31Aが視界から外れていても、訓練生Wの「位置及び姿勢P」を精度よく推定することが可能となる。

0059

次に、位置推定部113は、ステップS25において推定した訓練生Wの「位置及び姿勢P」を記憶媒体13に記憶する(ステップS26)。

0060

次に、位置推定部113は、ステップS20において推定した「相対位置及び姿勢Pe」を記憶媒体13に記憶し(ステップS27)、ステップS20に戻る。

0061

訓練装置10は、訓練生Wが訓練を開始してから終了するまでの間、上述の処理を繰り返し実行することにより、仮想空間の環境地図の作成(更新)と、訓練生Wの「相対位置及び姿勢Pe」の推定を常に行う。これにより、マーカ31Aが訓練生Wの視界から外れてしまった場合であっても、位置検出部111に代わって位置推定部113が「位置及び姿勢P」の推定を継続して行うことができる。

0062

(訓練装置の操作受付処理)
図7は、本発明の一実施形態に係る訓練装置の操作受付処理の一例を示す処理フローである。
以下、図7を参照しながら、訓練装置10が訓練生Wの操作を受け付ける処理の一例について説明する。

0063

訓練生Wが訓練を開始すると、訓練装置10の操作検出部115は、表示データD10の初期状態を、記憶媒体13に予め記憶されている状態テーブルD21(図8)から取得する(ステップS30)。
図8は、本発明の一実施形態に係る状態テーブルの一例を示す図である。
状態テーブルD21は、表示データD10の仮想表示部32及び仮想入力部33に含まれる、仮想の計器、入力機器それぞれの初期状態及び現在の状態を示すテーブルである。
図8に示すように、状態テーブルD21には、「状態ID」と、「初期状態」と、「現在の状態」とが関連付けられて記憶されている。例えば、「状態ID:状態001」は仮想入力部33に含まれるあるスイッチが「OFF」であることを示す状態であり、「状態ID:状態002」は「ON」であることを示す状態であるとする。図8の例では、「状態ID:001」の初期状態は「TRUE」であり、「状態ID:002」の初期状態は「FALSE」であるので、操作検出部115は、当該スイッチの初期状態が「OFF」であると認識することができる。

0064

また、記憶媒体13には、「状態ID」と、表示データD10を構成する一つ又は複数のオブジェクト(仮想の計器及び入力機器の3Dモデル又は2D映像)とを関連付けたオブジェクト状態テーブルD22(図9)が予め記憶されている。
図9は、本発明の一実施形態に係るオブジェクト状態テーブルの一例を示す図である。
図9に示すように、オブジェクト状態テーブルD22には、「オブジェクトID」と、オブジェクトの初期の描画状態を示す「座標」、「姿勢」、「スケール」、「色」、「テクスチャ」等とが関連付けられて状態ID別に登録されている。
個々では、表示データ作成部114は、状態テーブルD21の初期状態と、オブジェクト状態テーブルD22とを参照して、初期状態の表示データを作成して、表示装置22に出力しているものとする。

0065

図7に戻り、特徴取得部112は、深度センサ21及びセンサ30それぞれから特徴データ(点群データ)を取得する(ステップS31)。

0066

次に、操作検出部115は、特徴データに基づいて訓練生Wの手指位置mを検出する(ステップS32)。
このとき、操作検出部115は、深度センサ21から取得した特徴データに基づいて、訓練生Wの視界内における手指位置m1を検出するとともに、センサ30から取得した特徴データに基づいて、検知領域31Dにおける手指位置m2を検出する。

0067

次に、操作検出部115は、記憶媒体13に予め記憶されている入力操作テーブルD23(図10)を参照して、状態遷移のトリガとなる仮想入力部33への入力操作を示す座標Mを取得する(ステップS33)。
図10は、本発明の一実施形態に係る入力操作テーブルの一例を示す図である。
図10に示すように、入力操作テーブルD23には、「操作ID」と、「認識対象」と、「座標」とが関連付けられて記憶されている。図10の例では、「認識対象」である訓練生Wの指が「座標M(200、150、0)」で示される地点周辺に位置したときに「入力操作ID:操作001」が行われたと認識される。また、入力操作が操作部31Bに関する操作である場合は、操作部31Bの操作量を示す情報(例えば操作部31Bの操作前後の座標)が含まれていてもよい。

0068

図7に戻り、操作検出部115は、訓練生Wによる入力操作が行われたか否かを判断する(ステップS34)。
具体的には、操作検出部115は、ステップS32で検出した手指位置mと、ステップS33で取得した座標Mのうち何れかとの差の絶対値が所定の閾値R未満(「|m−M|<R」)となる場合、この座標Mと関連付けられた入力操作を行ったと判断し(ステップS34:YES)、ステップS35に進む。なお、閾値Rは、仮想入力部33を構成するオブジェクトの配置、サイズ等に応じてオブジェクト別に異なる値が設定されていてもよいし、同じ値が設定されていてもよい。
一方、操作検出部115は、手指位置mと、座標Mそれぞれとの差の絶対値が閾値R以上である場合、入力操作は行われなかったと判断し(ステップS34:NO)、ステップS31に戻る。
なお、操作検出部115は、入力操作が行われたか否かを判断する際、手指位置m1及び手指位置m2の少なくとも一方を用いて判断を行う。例えば、操作検出部115は、手指位置m1が検出できなかった場合、手指位置m2を用いて判断を行う。また、手指位置m1及び手指位置m2の双方が検出できた場合、予め決められた優先順位に基づいて手指位置m1及び手指位置m2の何れかを用いるようにしてもよい。
また、操作検出部115は、訓練生Wが操作部31Bを操作したことを検出した場合、その操作量を検出するようにしてもよい。例えば、操作検出部115は、訓練生Wの操作を検出する前の操作部31Bの位置から、訓練生Wの操作を検出した後の操作部31Bの位置までの移動量に基づいて、操作量を検出してもよい。

0069

次に、操作検出部115は、記憶媒体13に予め記憶された状態遷移テーブルD24を参照して、ステップS34で検出された入力操作に対応する状態遷移を取得する(ステップS35)。
図11は、本発明の一実施形態に係る状態遷移テーブルの一例を示す図である。
図11に示すように、状態遷移テーブルD24には、「入力操作ID」と、「状態遷移ID」とが関連付けられて記憶されている。
ステップS35では、操作検出部115は、状態遷移テーブルD24を参照して、ステップS34で検出された入力操作に対応する「状態遷移ID」を特定する。

0070

図7に戻り、操作検出部115は、状態テーブルD21(図8)の「現在の状態」を更新する(ステップS36)。
図12は、本発明の一実施形態に係る状態遷移詳細テーブルの一例を示す図である。
図12に示すように、状態遷移詳細テーブルD25には、「状態遷移ID」と、「遷移内容」と、「遷移状況」と、「経過時間」とが関連付けられて記憶されている。
「遷移内容」は、状態遷移がどの状態からどの状態へ遷移するかを示す情報であり、「遷移前の状態」及び「遷移後の状態」を含む。
「遷移状況」は、状態遷移を実行中であるか否かを示す情報であり、「遷移中」又は「遷移完了」の何れかのステータスが設定される。
「経過時間」は、状態遷移が現在「t秒」まで実行されたことを示す情報であり、遷移状況が「遷移中」に変更されたときに「0秒」に設定される。
図12の例では、「状態遷移ID:状態遷移001」は、「状態001(スイッチ=OFFを示す状態)」から「状態002(スイッチ=ONを示す状態)」に切り替える状態遷移を行うことを示している。このとき、操作検出部115は、状態テーブルD21(図8)の「状態ID:状態001」の「現在の状態」を「FALSE」に更新するとともに、「状態ID:状態002」の「現在の状態」を「TRUE」に更新する。これにより、スイッチOFFを示す「状態001」が解除され、代わりにスイッチONを示す「状態002」が有効となる。即ち、訓練生Wの仮想入力部33に対する入力操作により、スイッチがOFFからONに仮想的に切り替えられる。

0071

なお、状態遷移詳細テーブルD25には、例えば遷移前の状態(「状態001」)の「現在の状態」に応じて、同じ「状態遷移ID」に複数の「遷移内容」が関連付けられていてもよい。例えば、「状態遷移ID:001」には、「遷移前の状態:状態001」の現在の状態に応じて、「遷移内容1」及び「遷移内容2」の二つが関連付けられる。「状態001」の現在の状態が「FALSE」である(即ち、スイッチON状態である)場合は、「遷移内容1」として、「状態002(スイッチON)」から「状態001(スイッチOFF)」に切り替える「遷移内容1」が設定される。また、「状態001」の現在の状態が「TRUE」である(即ち、スイッチOFF状態である)場合、「遷移内容2」として、「状態001(スイッチOFF)」から「状態002(スイッチON)」に切り替える「遷移内容」が設定される。この場合、操作検出部115は、状態テーブルD21の「現在の状態」に応じて、何れかの遷移内容を選択し、状態テーブルD21を更新する。

0072

再び図7に戻り、操作検出部115は、状態遷移詳細テーブルD25(図12)の「遷移状況」を「遷移中」に変更するとともに、「経過時間」を「0秒」に設定して更新する(ステップS37)。
操作検出部115は、状態遷移詳細テーブルD25を更新すると、ステップS31に戻り、訓練生Wによる操作を受け付ける処理を繰り返し実行する。

0073

(訓練装置の表示データ作成処理)
図13は、本発明の一実施形態に係る訓練装置の表示データ作成処理の一例を示す第1の処理フローである。
訓練装置10の表示データ作成部114は、図7の操作受付処理において更新された状態テーブルD21(図8)及び状態遷移詳細テーブルD25(図12)に基づいて、表示データD10に含まれるオブジェクトそれぞれの描画状態を逐次計算して更新する。
以下、図13を参照しながら、表示データ作成部114がオブジェクトの描画状態を決定する処理の一例について説明する。

0074

図13に示すように、表示データ作成部114は、現在時刻Tを取得する(ステップS40)。

0075

表示データ作成部114は、現在時刻Tと、前回の処理時刻を示すTprevとの時間差ΔTを計算する(ステップS41)。

0076

表示データ作成部114は、状態遷移詳細テーブルD25(図12)を参照して、状態遷移それぞれの「遷移状況」を取得する(ステップS42)。

0077

表示データ作成部114は、ステップS42で取得した「遷移状況」のうち、「遷移中」のものがあるか否かを判断する(ステップS43)。
表示データ作成部114は、「遷移中」の状態遷移がある場合(ステップS43:YES)、ステップS44に進む。
一方、表示データ作成部114は、「遷移中」の状態遷移がない場合(ステップS43:NO)、ステップS30に戻る。

0078

「遷移中」の状態遷移がある場合(ステップS43:YES)、表示データ作成部114は、これら状態遷移それぞれに関連するオブジェクトの描画状態を更新する処理を行う。具体的には、表示データ作成部114は、まず、変数iに「1」をセットする(ステップS44)。変数iは、遷移中の状態遷移のうち、何番目の状態遷移の処理を実行しているかを示す。

0079

次に、表示データ作成部114は、変数iが、「遷移状況」が「遷移中」である状態遷移の総数N1以下であるか判断する(ステップS45)。
表示データ作成部114は、変数iが総数N1以下である場合(ステップS45:YES)、ステップS46に進む。
一方、表示データ作成部114は、変数iが総数N1より大きい場合(ステップS45:NO)、即ち、現在時刻Tにおける全ての状態遷移の処理が完了した場合、ステップS54に進む。

0080

変数iが総数N1以下である場合(ステップS45:YES)、表示データ作成部114は、状態遷移詳細テーブルD25からi番目の状態遷移の「経過時間ti」を取得する(ステップS47)。

0081

次に、表示データ作成部114は、i番目の状態遷移の「経過時間ti」にΔTを加算して、状態遷移詳細テーブルD25を更新する(ステップS47)。

0082

また、表示データ作成部114は、変数jに「1」をセットする(ステップS48)。変数jは、i番目の状態遷移において描画更新されるオブジェクトのうち、何番目のオブジェクトの描画状態の計算処理を実行しているかを示す。

0083

表示データ作成部114は、変数jが、i番目の状態遷移において描画更新されるオブジェクトの総数N2以下であるか判断する(ステップS49)。
表示データ作成部114は、変数jが総数N2以下である場合(ステップS49:YES)、ステップS50に進む。
一方、表示データ作成部114は、変数jが総数N2より大きい場合(ステップS49:NO)、即ち、i番目の状態遷移の経過時間tiにおける全てのオブジェクトに対する描画状態の計算が完了した場合、ステップS53に進む。

0084

変数jがN2以下である場合、表示データ作成部114は、j番目のオブジェクト(以下、「オブジェクトj」とも記載する)の現時点(i番目の状態遷移の経過時間ti)における描画状態を計算する(ステップS50)。このとき、表示データ作成部114は、記憶媒体13に予め記憶されている状態遷移表現テーブルD26(図14)を参照して、描画状態の計算を行う。

0085

図14は、本発明の一実施形態に係る状態遷移表現テーブルの一例を示す図である。
状態遷移表現テーブルD26は、状態遷移を開始してからの経過時間に応じたオブジェクトそれぞれの描画状態を設定したテーブルである。図14に示すように、状態遷移表現テーブルD26は、「状態遷移ID」と、「オブジェクトID」と、「シーケンス」と、シーケンスの「開始時間」及び「終了時間」と、「終了時間」時点における描画状態を示す「座標」、「姿勢」、「スケール」、「色」、「テクスチャ」等とが関連付けられている。
「シーケンス」は、オブジェクトの描画状態を経過時間毎に段階的に変更する際に、描画順を示す情報である。図14の例では、表示データ作成部114は、「オブジェクト001」について、状態遷移の経過時間0秒〜2秒まではシーケンス1に基づき描画状態を計算し、経過時間2秒〜4秒まではシーケンス2に基づき描画状態を計算する。

0086

例えば、オブジェクトjは図13の「オブジェクト001」であり、経過時間tiが0秒〜2秒の間の値であったとする。この場合、表示データ作成部114は、オブジェクトjの描画状態を「シーケンス:1」に基づいて計算する。具体的には、表示データ作成部114は、オブジェクトjの初期の描画状態(図9のオブジェクト状態テーブルD22に登録された描画状態)から、2秒後の描画状態(図14の「シーケンス:1」と関連付けられた描画状態)までの中間となる描画状態を、経過時間tiに応じて計算する。

0087

図13に戻り、表示データ作成部114は、ステップS50において計算したオブジェクトjの描画状態を、記憶媒体13のオブジェクト描画状態テーブルD27(図15)に記憶して更新する。
図15は、本発明の一実施形態に係るオブジェクト描画状態テーブルの一例を示す図である。
図15に示すように、オブジェクト描画状態テーブルD27には、状態遷移中のため描画更新が必要なオブジェクトの「オブジェクトID」と、現時点におけるオブジェクトの描画状態を示す「座標」、「姿勢」、「スケール」、「色」、「テクスチャ」等とが関連付けられて記憶されている。

0088

再び図13に戻り、表示データ作成部114は、変数jに「1」を加算して、ステップS49に戻る。そして、表示データ作成部114は、i番目の状態遷移において描画更新される他の全てのオブジェクトに対し、上述の処理を順に実行する。

0089

また、表示データ作成部114は、変数jが総数N2より大きい場合(ステップS49:NO)、即ち、i番目の状態遷移の経過時間tiにおける全てのオブジェクトに対する描画状態の計算が完了した場合、状態遷移詳細テーブルD25(図12)のi番目の状態遷移に関連付けられた「経過時間」に「経過時間ti」を上書きして記憶する(ステップS53)。これにより、表示データ作成部114が次に当該状態遷移の描画状態を計算する際、経過時間tiから再開することができる。

0090

次に、表示データ作成部114は、変数iに「1」を加算し(ステップS54)、現在時刻Tを前回の処理時刻を示すTprevとして記憶し(ステップS55)、ステップS40に戻る。

0091

表示データ作成部114は、上述の処理を繰り返すことにより、表示データD10に含まれるオブジェクトそれぞれの描画状態を逐次更新する。

0092

図16は、本発明の一実施形態に係る訓練装置の表示データ作成処理の一例を示す第2の処理フローである。
訓練装置10の表示データ作成部114は、図3及び図6において検出及び推定された訓練生Wの「位置及び姿勢P」と、図13の処理において更新されたオブジェクト描画状態テーブルD27(図15)に基づいて、表示データD10の作成処理を行う。
以下、図16を参照しながら、表示データ作成部114による表示データD10の作成処理の一例について説明する。

0093

図16に示すように、表示データ作成部114は、変数jに「1」をセットする(ステップS60)。変数jは、現在時刻Tにおいて描画更新されるオブジェクトのうち、何番目のオブジェクトの描画処理を実行しているかを示す。

0094

表示データ作成部114は、変数jが、描画更新が必要なオブジェクトの総数N3以下であるか判断する(ステップS61)。
表示データ作成部114は、変数jが総数N3以下である場合(ステップS61:YES)、即ち、描画更新が完了していないオブジェクトが存在している場合、ステップS62に進む。
一方、表示データ作成部114は、変数jが総数N3より大きい場合(ステップS61:NO)、即ち、全てのオブジェクトの描画更新が完了している場合、ステップS60に戻る。

0095

変数jが総数N3以下である場合(ステップS61:YES)、表示データ作成部114は、オブジェクト描画状態テーブルD27(図15)を参照して、オブジェクトjの描画状態を取得する(ステップS62)。

0096

次に、表示データ作成部114は、ステップS62において取得した描画状態に基づいてオブジェクトjを描画更新して、表示データD10を作成(更新)する(ステップS63)。
このとき、表示データ作成部114は、記憶媒体13に記憶されている訓練生Wの「位置及び姿勢P」を読み出して、当該「位置及び姿勢P」に応じたオブジェクトの位置及び姿勢を計算して描画する。

0097

オブジェクトjの描画更新が完了すると、表示データ作成部114は、変数jに「1」を加算して(ステップS64)、ステップS61に戻る。そして、表示データ作成部114は、描画更新が必要な他の全てのオブジェクトに対し、上述の処理を順に実行する。

0098

(訓練装置の操作判定処理)
図17は、本発明の一実施形態に係る訓練装置の操作判定処理の一例を示す処理フローである。
図18は、本発明の一実施形態に係る操作手順テーブルの一例を示す図である。
以下、図17図18を参照しながら、訓練装置10が訓練生Wの操作が正しいか否かを判定する処理の一例について説明する。

0099

図17に示すように、訓練装置10の操作判定部116は、まず、訓練生Wが訓練を行う作業の作業IDを設定する(ステップS70)。このとき、操作判定部116は、訓練生Wに、記憶媒体13に予め記憶されている手順テーブルD28から作業IDを選択させる。
図18は、本発明の一実施形態に係る手順テーブルの一例を示す図である。
図18に示すように、手順テーブルには、「作業ID」と、「作業番号」と、「テキスト」と、「入力操作」とが関連付けられて記憶されている。
「作業番号」は、各作業で行われる一連作業手順それぞれに付されて番号であり、作業の実行順を示す情報である。
作業指示」は、各作業手順において訓練生Wが実行すべき作業内容を訓練生Wに伝達するための文字又は画像情報である。
「入力操作」は、各作業手順において訓練生Wが実行すべき操作内容を示す情報である。具体的には、「入力操作」として、入力操作テーブルD23(図10)の「入力操作ID」が登録されている。

0100

図17に戻り、操作判定部116は、変数kに「1」をセットする(ステップS71)。変数kは、一連の作業手順のうち、どの作業番号の作業を実行しているかを示す。

0101

次に、操作判定部116は、変数kが、一連の作業手順の総数N4以下であるか判断する(ステップS72)。
操作判定部116は、変数kが総数N4以下である場合(ステップS72:YES)、ステップS73に進む。
一方、操作判定部116は、変数kが総数N4より大きい場合(ステップS72:NO)、即ち、一連の作業手順が完了した場合、処理を終了する。

0102

変数kが総数N4以下である場合(ステップS72:YES)、表示データ作成部114は、k番目の作業指示をオブジェクトとして描画した表示データD10を作成する(ステップS73)。当該オブジェクトは、表示データD10のうち、仮想表示部32に描画される。
なお、訓練生Wに対する作業指示が不要である場合は、当該ステップを省略してもよい。作業指示を表示するか否かは、設定により変更可能であってもよい。

0103

次に、操作判定部116は、訓練生Wの入力操作を取得する(ステップS74)。ここでは、図7のステップS34において操作検出部115により検出された入力操作を取得する。

0104

また、操作判定部116は、手順テーブルD28(図18)を参照して、k番目の作業手順に関連付けられた入力操作を取得する(ステップS75)。

0105

次に、操作判定部116は、ステップS74において取得した訓練生Wの入力操作が、ステップS75で取得した入力操作が一致するか否かを判定する(ステップS76)。
操作判定部116は、訓練生Wの入力操作が作業手順と一致する場合(ステップS76:NO)、訓練生Wは正しい手順で操作を行ったと判定し、ステップS78に進む。
一方、操作判定部116は、訓練生Wの入力操作が作業手順と一致しない場合(ステップS76:NO)、訓練生Wは誤った手順で操作を行ったと判定し、表示データ作成部114に警告メッセージを描画させる(ステップS79)。なお、警告メッセージには、正しい手順を指示するメッセージが含まれていてもよい。また、操作判定部116は、ステップS74に戻り、訓練生Wの入力操作を再度受け付ける。

0106

訓練生Wの入力操作が作業手順と一致する場合(ステップS76:NO)、操作判定部116は、変数kに「1」を加入して(ステップS78)、ステップS72に戻る。そして、操作判定部116は、一連の作業手順が完了するまで上述の処理を繰り返し実行する。

0107

(訓練装置のハードウェア構成)
図19は、本発明の一実施形態に係る訓練装置のハードウェア構成の一例を示す図である。
以下、図19を参照して、訓練装置10のハードウェア構成の一例について説明する。
図19に示すように、コンピュータ900は、CPU901、主記憶装置902、補助記憶装置903、インタフェース904を備える。
上述の訓練装置10は、コンピュータ900に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置903に記憶されている。CPU901は、プログラムを補助記憶装置903から読み出して主記憶装置902に展開し、当該プログラムに従って上記処理を実行する。また、CPU901は、プログラムに従って、訓練装置10が各種処理に用いる記憶領域を主記憶装置902に確保する。また、CPU901は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置903に確保する。

0108

補助記憶装置903の例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気ディスク光磁気ディスクCD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)、半導体メモリ等が挙げられる。補助記憶装置903は、コンピュータ900のバス直接接続された内部メディアであってもよいし、インタフェース904又は通信回線を介してコンピュータ900に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ900に配信される場合、配信を受けたコンピュータ900が当該プログラムを主記憶装置902に展開し、上記処理を実行してもよい。少なくとも1つの実施形態において、補助記憶装置903は、一時的でない有形記録媒体である。

0109

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。
更に、当該プログラムは、前述した機能を補助記憶装置903に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル差分プログラム)であってもよい。

0110

以上のように、本実施形態に係る訓練装置10は、訓練生Wがモックアップ31を用いて訓練を行うための訓練装置10であって、訓練生Wの視界に含まれる景色を撮影した視界画像を取得する視界画像取得部110と、モックアップ31上に配置されたマーカ31Aの画像を視界画像から検出し、当該画像に基づいて訓練生Wの「位置及び姿勢P」を検出する位置検出部111と、視界に含まれる物体の外観又は形状を検出可能な特徴データを取得する特徴取得部112と、特徴データの時間的変化を追跡して訓練生Wの「位置及び姿勢P」を推定する位置推定部113と、訓練生Wの「位置及び姿勢P」に基づいて、モックアップ31上に重畳表示され、訓練生Wの操作を受け付ける仮想入力部33を含む表示データD10を作成する表示データ作成部114と、を備える。
このように、訓練装置10は、訓練生Wの「位置及び姿勢P」に応じてモックアップ31上に重畳表示される表示データD10を作成するので、訓練生Wに対し、実機と同等の配置及び機能を仮想的に再現した訓練環境を提供することができる。これにより、訓練装置10は、実機と同等の機能を有するハードウェアを用意する必要がないため、従来のハードウェアシミュレータを利用するよりもコストを低減させることができる。更に、訓練装置10は、従来のソフトウェアシミュレータ又は仮想操作システムと比較して、機器配置及び操作手順を直感的理解させやすい訓練環境を提供できるので、訓練効率を大幅に向上させることができる。
また、訓練装置10は、マーカ31Aに基づいて訓練生Wの「位置及び姿勢P」を迅速かつ容易に検出可能であるとともに、訓練生Wの視界からマーカ31Aが外れた場合であっても、特徴データに基づいて訓練生Wの「位置及び姿勢P」を推定することができる。このため、訓練装置10は、訓練生Wがどのような位置又は姿勢で訓練を行ったとしても、適切な表示データD10を作成することができるので、訓練生Wに対し、より実機に近い違和感のない訓練環境を提供することが可能となる。

0111

また、位置推定部113は、マーカ31Aが訓練生Wの視界から外れた場合、前回検出された訓練生Wの「位置及び姿勢P」に基づいて、現在の訓練生Wの「位置及び姿勢P」の推定を行う。
これにより、位置推定部113は、マーカ31Aが視界から外れた場合であっても、前回検出された「位置及び姿勢P」を基準とすることにより、訓練生Wの位置及び姿勢を推定する精度を向上させることができる。

0112

また、訓練装置10は、特徴データに基づいて仮想入力部33に対する訓練生Wの操作を検出する操作検出部115を更に備え、表示データ作成部114は、訓練生Wの操作に応じた表示データD10を作成する。
このようにすることで、訓練装置10は、訓練生Wの操作に応じたフィードバックを含む表示データD10を作成することができる。これにより、訓練装置10は、訓練生Wに対しより実機に近い操作感覚を体感可能な訓練環境を提供することができる。

0113

また、操作検出部115は、モックアップ31を含む所定の検知領域31Dにおける動作を検知するセンサ30から出力された信号に基づいて、仮想入力部33に対する訓練生Wの操作を検出する。
このようにすることで、訓練装置10は、訓練生Wが視線を移動させずに視界外で操作を行った場合(例えば仮想の計器を確認しながら操作部31Bを操作した場合)であっても、センサ30から出力された検知信号に基づいて、訓練生Wが行った操作を検出することができる。これにより、訓練装置10は、訓練生Wに対しより実機に近い操作感覚を体感可能な訓練環境を提供することができる。

0114

また、訓練装置10は、操作検出部115が検出した訓練生Wの操作に基づいて、訓練生Wの操作が正しいか否かを判定する操作判定部116を更に備え、表示データ作成部114は、操作判定部116の判定結果に応じた表示データD10を作成する。
このようにすることで、訓練装置10は、訓練生Wが適切な操作を行ったか否かを判定し、例えば操作間違いがあった場合は警告等を含む表示データを作成する等、判定に応じたフィードバックを訓練生Wに与えるができる。これにより、訓練装置10は、教師を用意することなく訓練生Wに訓練を行わせることができる。

0115

また、本実施形態に係る訓練システム1は、訓練生Wがモックアップ31を用いて訓練を行うための訓練システム1であって、上述の訓練装置10と、訓練生Wに装着され、視界画像を撮影するカメラ20と、表示データD10をモックアップ31上に重畳表示する表示装置22と、を備える。
このように、訓練システム1は、訓練生Wの「位置及び姿勢P」に応じた表示データD10をモックアップ31上に重畳表示するので、訓練生Wに対し、実機と同等の配置及び機能を仮想的に再現した訓練環境を提供することができる。これにより、訓練システム1は、実機と同等の機能を有するハードウェアを用意する必要がないため、従来のハードウェアシミュレータを利用するよりもコストを低減させることができる。更に、訓練システム1は、従来のソフトウェアシミュレータ又は仮想操作システムと比較して、機器配置及び操作手順を直感的理解させやすい訓練環境を提供でるので、訓練効率を大幅に向上させることができる。

0116

また、訓練システム1は、訓練生Wに装着され、視界に含まれる物体の座標の集合である点群データを取得する深度センサ21を更に備え、特徴取得部112は、点群データを特徴データとして取得する。
このようにすることで、訓練システム1は、訓練生Wの視界からマーカ31Aが外れた場合であっても、点群データに含まれる物体(モックアップ31等)の各部の座標に基づいて、訓練生Wの「位置及び姿勢P」を精度よく推定することができる。このため、訓練システム1は、訓練生Wがどのような位置又は姿勢で訓練を行ったとしても、適切な表示データD10をモックアップ31上に重畳表示することができるので、訓練生Wに対し、より実機に近い違和感のない訓練環境を提供することが可能となる。

0117

以上、本発明の実施形態について詳細に説明したが、本発明の技術的思想を逸脱しない限り、これらに限定されることはなく、多少の設計変更等も可能である。
例えば、上述の実施形態において、訓練装置10の特徴取得部112が深度センサ21から出力された点群データを特徴データとして取得する態様について説明したが、これに限られることはない。他の実施形態では、特徴取得部112は、カメラ20により撮影された視界画像に所定の画像処理を施すことにより、視界画像に含まれる物体の特徴量(画像の色、輝度、濃度等)を特徴データとして取得してもよい。
この場合、訓練装置10の位置推定部113は、例えばvisualSLAMの技術を利用して、「環境地図」の作成及び「相対位置及び姿勢Pe」の推定を行う。
このような構成によっても、上述の実施形態と同様の効果を得ることが可能である。また、この場合、深度センサ21を省略することができるので、訓練装置10にかかるコストを更に低減させることができる。

0118

また、図1の例では、訓練システム1が一人の訓練生Wに対し訓練を行う態様が示されているが、これに限られることはない。他の実施形態では、訓練システム1は、複数の訓練生Wに対し、同時に訓練を行うようにしてもよい。
この場合、複数の訓練生Wは、それぞれカメラ20、深度センサ21、及び表示装置22を装着する。また、訓練生Wは、同じ室内にいてもよいし、それぞれ遠隔地にいてもよい。複数の訓練生Wが同じ室内にいる場合は、一台のモックアップ31を複数人共用してもよいし、訓練生別に一台ずつモックアップ31が用意されてもよい。複数の訓練生Wが同じ室内で訓練を行うか、また、モックアップ31を共用するか否かは、訓練内容に応じて任意に決めてよい。
また、訓練装置10は、一台を複数の訓練生Wで共用してもよいし、訓練生Wそれぞれに一台ずつ用意されてもよい。一台又は複数の訓練装置10は、複数の訓練生Wそれぞれの「位置及び姿勢P」を個別に検出及び推定する。また、訓練装置10は、訓練生Wそれぞれの「位置及び姿勢P」に応じた表示データD10を個別に作成して、表示装置22に表示させる。このとき、表示データD10には、訓練生W全員に共通のオブジェクト(なお、訓練生それぞれの「位置及び姿勢P」に応じてオブジェクトの位置及び姿勢は異なる)が含まれていてもよいし、異なるオブジェクトが含まれていてもよい。例えば航空機の離着陸操縦訓練するケースでは、一の訓練生Wに対する表示データD10にはコックピットを模擬したオブジェクトが含まれ、他の訓練生Wに対する表示データD10には、一の訓練生Wの操作に応じた航空機の車輪降着装置)の動作を模擬したオブジェクトが含まれていてもよい。
このようにすることで、訓練システム1は、複数の訓練生Wを同時に訓練することができる。また、一つの作業に対し、複数の訓練生Wが異なる作業を並行して実行しなければならない場合も、訓練システム1は、訓練生Wそれぞれに割り当てられた作業を同時に訓練することができる。このため、訓練システム1は、訓練効率を大幅に向上させることができる。

0119

1訓練システム
10訓練装置
11 CPU
110視界画像取得部
111位置検出部
112 特徴取得部
113位置推定部
114 表示データ作成部
115操作検出部
116操作判定部
13記憶媒体
20カメラ
21深度センサ
22表示装置
30センサ
31モックアップ
31A マーカ
31B 操作部
31C 表示領域
31D 検知領域
32仮想表示部
33仮想入力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • グリー株式会社の「 端末装置、制御方法及び制御プログラム」が 公開されました。( 2020/04/30)

    【課題】直感的な操作により、プレイヤによるキャラクタの操作を支援する。【解決手段】本発明に係る端末装置は、仮想空間内に位置するゲーム媒体を表示する表示部と、仮想空間における所定位置に関する情報を記憶す... 詳細

  • 豊田合成株式会社の「 非接触操作検出装置」が 公開されました。( 2020/04/30)

    【課題】ユーザがより利用しやすい非接触操作検出装置を提供する。【解決手段】本発明の一態様として、空間中に設定された複数の注目点X,Yのそれぞれに物体が存在するか否かを検出可能な検出手段2と、検出手段2... 詳細

  • ソニー株式会社の「 触覚提示装置及び触覚提示制御方法」が 公開されました。( 2020/04/30)

    【課題】振動により提示可能な触覚の種類を増やす触覚提示装置及び触覚提示制御方法を提供する。【解決手段】触覚提示装置1は、それぞれ個別に振動する第1の部材(把持部11a)及び第2の部材(把持部11b)と... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ