図面 (/)

技術 遠隔操作装置

出願人 株式会社IHI
発明者 安井祥
出願日 2019年4月15日 (1年10ヶ月経過) 出願番号 2019-077174
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-175453
状態 未査定
技術分野 マニプレータ
主要キーワード 被装着者 操縦システム 走行制御信号 位置合わせ動作 放射線レベル 関節制 小ウインドウ 仮想映像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

距離計測装置を用いることなく移動ロボット座標系作業現場の座標系とを関連付ける。

解決手段

移動ロボットの作業現場の実映像撮像する撮像部と、実映像と作業現場の三次元モデルとに基づいて作業現場の仮想三次元映像を生成する仮想映像生成部と、仮想三次元映像を表示する表示部と、移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、仮想映像生成部は、三次元モデルに基づいて生成した基本仮想三次元映像と実映像とに共通する共通物体が重なり合うように基本仮想三次元映像の位置調整を行うことにより仮想三次元映像を生成する。

概要

背景

下記特許文献1には、移動型ロボットシステムにおけるマニピュレータ遠隔操作方法が開示されている。このマニピュレータ遠隔操作方法は、距離計測装置計測した障害物までの距離に基づいて移動型マニピュレータと障害物との位置関係を特定し、この上でカメラ撮像したカメラ画像操縦システム表示装置に表示させ、操作者が表示装置に表示されたカメラ画像を見つつ移動型ロボットシステムを遠隔操作するものである。

概要

距離計測装置を用いることなく移動ロボット座標系作業現場の座標系とを関連付ける。移動ロボットの作業現場の実映像を撮像する撮像部と、実映像と作業現場の三次元モデルとに基づいて作業現場の仮想三次元映像を生成する仮想映像生成部と、仮想三次元映像を表示する表示部と、移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、仮想映像生成部は、三次元モデルに基づいて生成した基本仮想三次元映像と実映像とに共通する共通物体が重なり合うように基本仮想三次元映像の位置調整を行うことにより仮想三次元映像を生成する。

目的

本発明は、上述した事情に鑑みてなされたものであり、距離計測装置を用いることなく移動ロボットの座標系と作業現場の座標系とを関連付けることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

移動ロボット作業現場の実映像撮像する撮像部と、前記実映像と前記作業現場の三次元モデルとに基づいて前記作業現場の仮想三次元映像を生成する仮想映像生成部と、前記仮想三次元映像を表示する表示部と、前記移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、前記仮想映像生成部は、前記三次元モデルに基づいて生成した基本仮想三次元映像と前記実映像とに共通する共通物体が重なり合うように前記基本仮想三次元映像の位置調整を行うことにより前記仮想三次元映像を生成することを特徴とする遠隔操作装置

請求項2

前記共通物体は、前記作業現場に設けられるマーク部材であることを特徴とする請求項1記載の遠隔操作装置。

請求項3

前記移動ロボットは、自走タイプのロボットであることを特徴とする請求項1または2記載の遠隔操作装置。

請求項4

前記表示部は、ヘッドマウントディスプレイであることを特徴とする請求項1〜3のいずれか一項に記載の遠隔操作装置。

請求項5

前記作業現場は、放射線レベル通常レベルに比較して高い場所であることを特徴とする請求項1〜4のいずれか一項に記載の遠隔操作装置。

技術分野

0001

本発明は、遠隔操作装置に関する。

背景技術

0002

下記特許文献1には、移動型ロボットシステムにおけるマニピュレータ遠隔操作方法が開示されている。このマニピュレータ遠隔操作方法は、距離計測装置計測した障害物までの距離に基づいて移動型マニピュレータと障害物との位置関係を特定し、この上でカメラ撮像したカメラ画像操縦システム表示装置に表示させ、操作者が表示装置に表示されたカメラ画像を見つつ移動型ロボットシステムを遠隔操作するものである。

先行技術

0003

特許第4558682号公報

発明が解決しようとする課題

0004

ところで、上記距離計測装置はレーザ光を用いて移動ロボットと障害物との距離を計測するものであるが、作業現場の環境によっては採用することができない場合がある。このような場合、移動型マニピュレータの座標系(移動ロボットの座標系)と障害物の座標系(作業現場の座標系)とを関連付けることができなくなるので、移動型マニピュレータを遠隔操作することができなくなる。

0005

本発明は、上述した事情に鑑みてなされたものであり、距離計測装置を用いることなく移動ロボットの座標系と作業現場の座標系とを関連付けることを目的とするものである。

課題を解決するための手段

0006

上記目的を達成するために、本発明では、遠隔操作装置に係る第1の解決手段として、移動ロボットの作業現場の実映像を撮像する撮像部と、前記実映像と前記作業現場の三次元モデルとに基づいて前記作業現場の仮想三次元映像を生成する仮想映像生成部と、前記仮想三次元映像を表示する表示部と、前記移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、前記仮想映像生成部は、前記三次元モデルに基づいて生成した基本仮想三次元映像と前記実映像とに共通する共通物体が重なり合うように前記基本仮想三次元映像の位置調整を行うことにより前記仮想三次元映像を生成する、という手段を採用する。

0007

本発明では、遠隔操作装置に係る第2の解決手段として、上記第1の解決手段において、前記共通物体は、前記作業現場に設けられるマーク部材である、という手段を採用する。

0008

本発明では、遠隔操作装置に係る第3の解決手段として、上記第1または第2の解決手段において、前記移動ロボットは、自走タイプのロボットである、という手段を採用する。

0009

本発明では、遠隔操作装置に係る第4の解決手段として、上記第1〜第3のいずれかの解決手段において、前記表示部は、ヘッドマウントディスプレイである、という手段を採用する。

0010

本発明では、遠隔操作装置に係る第5の解決手段として、上記第1〜第4のいずれかの解決手段において、前記作業現場は、放射線レベル通常レベルに比較して高い場所である、という手段を採用する。

発明の効果

0011

本発明によれば、距離計測装置を用いることなく移動ロボットの座標系と作業現場の座標系とを関連付けることが可能である。

図面の簡単な説明

0012

本発明の一実施形態におけるロボットシステムの全体構成を示すシステム構成図である。
本発明の一実施形態に係る遠隔操作装置の構成を示すブロック図である。
本発明の一実施形態における実映像を示す模式図(a)及び仮想三次元映像を示す模式図(b)である。
本発明の一実施形態における合成映像を示す模式図である。

実施例

0013

以下、図面を参照して、本発明の一実施形態について説明する。
最初に、本実施形態におけるロボットシステムは、図1に示すようにロボット本体1と遠隔操作装置2とによって構成される。

0014

ロボット本体1は、所定の作業現場で移動しつつワークWに対して所定の作業を行う移動ロボットであり、図示するように移動台車1a、マニピュレータ1b、作業具1c、カメラ1d及びロボットコントローラ1eを少なくとも備えている。上記作業現場は、放射線レベルが通常レベルに比較して高い場所であり、ロボット本体1において従来の距離計測装置を用いることが困難な環境である。

0015

この作業現場には、ロボット本体1の作業対象であるワークWが支持台T上に載置されている。また、ワークWの近傍には、ワークWの位置とロボット本体1の位置とを関連付けるためのマーク部材Mが設けられている。このマーク部材Mは、特異な形状をした物体である。

0016

ロボット本体1は、作業現場を自走する自走タイプのロボットである。このロボット本体1は、ロボットコントローラ1eによって制御されることによって、支持台T上に載置されたワークWに対して所定の作業を行う。

0017

移動台車1aは、複数の車輪と当該車輪を駆動する駆動装置モータ等)を備えており、ロボットコントローラ1eから入力される走行制御信号に基づいて作業現場のフロアF上を走行する。この移動台車1aは、自らに搭載されたマニピュレータ1bの作業現場における位置を所定の作業位置に設定する。

0018

マニピュレータ1bは、上記移動台車1aの上に固定設置されており、複数のアームと当該アームを連結する複数の関節部を備える。このマニピュレータ1bは、ロボットコントローラ1eから入力される関節制御信号に基づいて関節部に備えられたモータを駆動することにより、先端部に装着された作業具1cを移動させる。すなわち、このマニピュレータ1bは、作業具1cの位置や姿勢をワークWに対する作業内容に応じて最適設定する機械装置である。

0019

作業具1cは、マニピュレータ1bの先端部に着脱自在に装着されており、ワークWに対して直接的な作業を行う部位である。例えば、ワークに対して機械的な加工を行う場合、作業具1cは、ワークに対してせん断力押圧力等を作用させる工具である。

0020

カメラ1dは、移動台車1aの前方側、つまり移動台車1aにおいてマニピュレータ1bの前に固定設置されており、移動台車1aの前方の映像を作業現場の実映像G1として撮像する。この実映像G1は、図3(a)に示すように、作業現場におけるワークW及び当該ワークに対して作業を行う作業具1cの状態を示す動画である。このようなカメラ1dは、実映像G1を実映像信号として遠隔操作装置2に出力する。

0021

ここで、図1ではカメラ1dと遠隔操作装置2とが別体の構成要素として描かれているが、カメラ1dは、機能的には遠隔操作装置2に含まれる構成要素である。また、このカメラ1dは、作業現場の実映像G1を撮像する撮像部に相当する。

0022

ロボットコントローラ1eは、操作室の遠隔操作装置2と通信自在に接続された制御装置であり、遠隔操作装置2から受信した操作信号に基づいて移動台車1a及びマニピュレータ1bを制御する。このロボットコントローラ1eは、一種コンピュータであり、予め記憶された制御プログラムに従って操作信号を情報処理することにより、操作信号に従って移動台車1a及びマニピュレータ1bを制御する。

0023

遠隔操作装置2は、作業現場とは離間した操作室に備えられており、操作者からの操作入力に基づいてロボット本体1に操作信号を出力する。この遠隔操作装置2は、操作入力を操作プログラムに基づいて情報処理することにより操作信号を生成する一種のコンピュータであり、機能構成要素として図2に示す仮想映像生成部2a、表示部2b及び操作部2cを少なくとも備えている。

0024

仮想映像生成部2aは、作業現場の仮想三次元映像G2つまりバーチャルリアリティ映像を生成する。すなわち、この仮想映像生成部2aは、予め記憶している作業現場の三次元モデル及び表示部2bから入力される視点指定信号並びにカメラ1dから入力される作業現場の実映像G1に基づいて仮想三次元映像G2を生成する。

0025

上記作業現場の三次元モデルは、作業現場に存在する主要な物体、つまりワークW、ロボット本体1及びマーク部材M等の三次元形状と主要な物体の位置関係を示すデータとを含むものである。すなわち、仮想三次元映像G2は、作業現場に存在する主要な物体を個々のオブジェクトとして含むものである。なお、上記マーク部材Mは、実映像G1と仮想三次元映像G2とで共通する共通物体である。

0026

また、上記仮想三次元映像G2は、視点指定信号に基づいて視点が設定される映像である。すなわち、この仮想三次元映像G2は、図3(b)に示すように、支持台T’、ワークW’、ロボット本体1’及びマーク部材M’等の主要な物体が視点指定信号で指定される視点から見た三次元映像として表示される。仮想映像生成部2aは、このような仮想三次元映像G2を表示部2bに出力する。

0027

ここで、詳細については後述するが、仮想映像生成部2aは、遠隔操作装置2を用いた作業の初期段階で基本仮想三次元映像Gkを生成し、当該基本仮想三次元映像Gkと実映像G1との位置合わせ処理を行う。この仮想映像生成部2aは、上記位置合わせ処理の結果として仮想三次元映像G2を生成する。

0028

表示部2bは、上記仮想三次元映像G2を表示する表示装置である。この表示部2bは、ロボット本体1を遠隔操作する上での支援情報として操作者に対して仮想三次元映像G2を提供する。すなわち、この表示部2bは、操作室において操作者が視認し易い形態のものであり、例えばヘッドマウントディスプレイ(HMD)である。

0029

また、この表示部2bには、被装着者つまり操作者の頭の向きを検出するモーションセンサ2dが組み込まれている。このモーションセンサ2dは、操作者の頭の向きを示す検出信号を視点指定信号として仮想映像生成部2aに出力する。このようなモーションセンサ2dは、仮想三次元映像G2の視点を指定する視点指定部に相当する。

0030

なお、上述した仮想映像生成部2aは、このようなモーションセンサ2dの検出信号を視点指定信号として取り込むことにより、操作者の頭の向きに応じて視点が変化する仮想三次元映像G2を生成する。

0031

操作部2cは、操作者が操作指示を入力する装置である。すなわち、この操作部2cは、ロボット本体1を遠隔操作するための操作指示を操作者から受け付け、当該操作指示を示す操作信号を生成してロボットコントローラ1eに出力する。このような操作部2cは、例えばジョイステックである。

0032

次に、本実施形態に係る遠隔操作装置の動作、特に基本仮想三次元映像Gkと実映像G1との位置合わせ動作について詳しく説明する。

0033

この遠隔操作装置を用いてロボット本体1を遠隔操作する場合、操作者はHMDである表示部2bを顔に装着して操作部2cに操作入力を行う。すなわち、操作者は、図2(b)に示した仮想三次元映像G2を視認しつつ操作部2cに対して操作入力を行うことにより、ロボット本体1を遠隔操作する。

0034

ここで、作業者及び遠隔操作装置は、実際の作業に先立って基本仮想三次元映像Gkと実映像G1との位置合わせ処理を行う。すなわち、仮想映像生成部2aは、この位置合わせ処理において、最初に視点指定信号及びワークW及び三次元モデルに基づいて基本となる基本仮想三次元映像Gkを作成する。

0035

この基本仮想三次元映像Gkは、図3(b)に示した仮想三次元映像G2と同様に、支持台T’、ワークW’、ロボット本体1’及びマーク部材M’等の主要な物体が表示されるものの実映像G1と関連付けられていない仮想映像である。したがって、基本仮想三次元映像Gkは、支持台T’、ワークW’、ロボット本体1’及びマーク部材M’等の主要な物体の位置は、実映像G1におけるワークW、ロボット本体1及びマーク部材M等とは位置関係が一致していない仮想映像である。

0036

仮想映像生成部2aは、遠隔操作装置を用いた作業の初期段階で上記基本仮想三次元映像Gkを生成し、図4に示すように基本仮想三次元映像Gkに実映像G1を重ね合わせた合成映像Ggを表示部2bに出力する。また、仮想映像生成部2aは、合成映像Ggにおける実映像G1のマーク部材Mと基本仮想三次元映像Gkのマーク部材M’とが重なり合うように基本仮想三次元映像Gkの位置を調整することを促すテロップを合成映像Ggに表示させる。

0037

操作者は、最初に自らの頭の向きを変えることによって、基本仮想三次元映像Gkの視点を実映像G1の視点つまりカメラ1dの位置に合わせる。あるいは、カメラ1dの位置から見えるはずの映像を仮想映像生成部2aで生成して表示部2bに小ウインドウの形で表示することによって、基本仮想三次元映像Gkの視点を実映像G1の視点つまりカメラ1dの位置に合わせる。

0038

そして、操作者は、このような視点調整が完了すると、操作部2cを操作することによって、実映像G1のマーク部材Mと基本仮想三次元映像Gkのマーク部材M’とが重なり合うように基本仮想三次元映像Gkの位置調整を行う。なお、図4では、実映像G1のマーク部材M及び基本仮想三次元映像Gkのマーク部材M’のみを便宜的に示している。

0039

このようにして実映像G1のマーク部材Mと基本仮想三次元映像Gkのマーク部材M’とが重なり合うことによって、作業現場の座標系に対するロボット本体1の座標系との関連付けが完了したことになる。仮想映像生成部2aは、このような基本仮想三次元映像Gkと実映像G1との位置合わせ処理が完了すると、仮想三次元映像G2を生成して表示部2bに出力する。

0040

このような仮想三次元映像G2に基づくロボット本体1の遠隔操作では、操作者が頭の向きを変えると、この変化が表示部2bのモーションセンサ2dによって検出され、視点指定信号として仮想映像生成部2aに入力される。この結果、仮想映像生成部2aは、新たな頭の向きに対応した視点の仮想三次元映像(バーチャルリアリティ映像)を生成する。この結果、表示部2bに表示される仮想三次元映像G2のワークW’及びロボット本体1’等は、新たな頭の向きに応じた視点から見たものとなる。

0041

このような本実施形態によれば、実映像G1のマーク部材Mと基本仮想三次元映像Gkのマーク部材M’とが重なり合うように基本仮想三次元映像Gkの位置を調整することによってロボット本体1の座標系と作業現場の座標系とを関連付けるので、距離計測装置を用いることなくロボット本体1の座標系と作業現場の座標系とを関連付けることが可能である。

0042

また、本実施形態によれば、操作者は仮想三次元映像G2の視点を変えることによってロボット本体1’とワークW’との位置関係をより的確に把握することができる。したがって、本実施形態によれば、従来よりも作業性に優れた遠隔操作装置を提供することが可能である。

0043

なお、本発明は上記実施形態に限定されるものではなく、例えば以下のような変形例が考えられる。
(1)上記実施形態では、マーク部材Mを共通物体としたが、本発明はこれに限定されない。マーク部材M以外の主要な物体を共通物体としてもよい。例えば、支持台TあるいはワークWを共通物体としてもよい。

0044

(2)上記実施形態では、操作者が操作部2cを操作することによって基本仮想三次元映像Gkの位置を調整したが、本発明はこれに限定されない。例えば、仮想映像生成部2aが実映像G1に画像処理を施すことによって特異な形状のマーク部材Mを抽出し、当該抽出されたマーク部材Mに対して基本仮想三次元映像Gkのマーク部材M’が重なるように基本仮想三次元映像Gkの位置を自動調整してもよい。

0045

(3)上記実施形態では、ヘッドマウントディスプレイ(HMD)を表示部2bとして採用したが、本発明はこれに限定されない。また、本発明の視点指定部は、モーションセンサ2dに限定されない。例えば操作者が操作部2dを操作することによって仮想三次元映像(バーチャルリアリティ映像)の視点を指定してもよい。

0046

1ロボット本体
1a移動台車
1bマニピュレータ
1c作業具
1dカメラ
1eロボットコントローラ
2遠隔操作装置
2a仮想映像生成部
2b 表示部
2c 操作部
2dモーションセンサ
G1 実映像
G2仮想三次元映像
Fフロア
W ワーク
T 支持台

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ