図面 (/)

技術 ケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラム

出願人 三菱電機株式会社
発明者 山崎賢人
出願日 2016年7月26日 (2年7ヶ月経過) 出願番号 2018-530227
公開日 2019年1月31日 (1ヶ月経過) 公開番号 WO2018-020568
状態 特許登録済
技術分野 CAD イメージ処理・作成 デジタル計算機のユーザインターフェイス
主要キーワード ケーブル情報 残り経路 ケーブルトレイ 付加情報画像 限定処理 設備装置 深度センサ ヘッドマウント型
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年1月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題・解決手段

ケーブル可動域表示装置(10)は、現実空間に関する現実空間情報を取得する現実空間情報取得部(11)と、現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定部(12)と、配線経路始端通過点、及び終端を示す配線経路情報(19b,19c)とケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報(19d,19a)とを受け取り、配線経路情報(19b,19c)とケーブル情報(19d,19a)とからケーブル可動域を計算するシミュレーション部(13)と、シミュレーション部(13)によって計算されたケーブル可動域とユーザ位置姿勢推定部(12)によって求められた位置及び姿勢とから、現実空間におけるケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成部(14)と、仮想現実感のケーブル可動域画像を表示する画像表示部(15)とを備える。

概要

背景

カメラ撮像装置)又はセンサ(例えば、深度センサ)などによって取得された現実空間情報(例えば、画像データ又は被写体までの距離情報)を元に推定されたユーザの位置及び姿勢に基づいて、付加情報画像としてのCG(Computer Graphics)を生成し、生成されたCGがあたかも現実空間に存在するかのように、現実空間に重ねてCGを描画する拡張現実感(Augmented Reality:AR)を用いる技術が提案されている。また、カメラによって取得された2次元画像データを元に、任意の3次元座標系におけるカメラの位置及び姿勢を求め、求められたカメラの位置及び姿勢に基づいて、計算機上で3次元座標系におけるCGを生成し、生成されたCGを現実空間に重ねて描画する技術も提案されている。これらの技術をユーザ(作業員)の作業における作業支援システムに適用した場合には、作業員は、現実空間にあたかもCGで表示された物が存在するかのような状況を見ることができるため、直観的に且つ容易に理解することができる作業指示を受けることができる。

例えば、特許文献1は、撮影されたプラント画像情報内の該当する設備装置部分を強調する描画情報重畳した画像情報を生成し、生成された画像情報を表示部に表示させる情報表示装置を提案している。

概要

ケーブル可動域表示装置(10)は、現実空間に関する現実空間情報を取得する現実空間情報取得部(11)と、現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定部(12)と、配線経路始端通過点、及び終端を示す配線経路情報(19b,19c)とケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報(19d,19a)とを受け取り、配線経路情報(19b,19c)とケーブル情報(19d,19a)とからケーブル可動域を計算するシミュレーション部(13)と、シミュレーション部(13)によって計算されたケーブル可動域とユーザ位置姿勢推定部(12)によって求められた位置及び姿勢とから、現実空間におけるケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成部(14)と、仮想現実感のケーブル可動域画像を表示する画像表示部(15)とを備える。

目的

本発明は、上記課題を解決するためになされたものであり、ケーブルの配線作業におけるケーブル可動域を現実空間に重ねて表示することを可能にするケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

現実空間に重ねてケーブル配線経路許容範囲を示すケーブル可動域を表示するケーブル可動域表示装置であって、前記現実空間に関する現実空間情報を取得する現実空間情報取得部と、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定部と、前記配線経路の始端通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを受け取り、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーション部と、前記シミュレーション部によって計算された前記ケーブル可動域と前記ユーザ位置姿勢推定部によって求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成部と、前記仮想現実感のケーブル可動域画像を表示する画像表示部とを備えたことを特徴とするケーブル可動域表示装置。

請求項2

前記現実空間情報から前記ユーザの手の位置を検出する手位置検出部をさらに備え、前記シミュレーション部は、前記手の位置が、前記配線経路情報に含まれる前記通過点であるとみなして、前記ケーブル可動域を計算することを特徴とする請求項1に記載のケーブル可動域表示装置。

請求項3

前記シミュレーション部は、前記現実空間情報から前記ケーブル可動域内に存在する3次元形状の箇所を障害物が存在する障害物領域として検出し、前記ケーブル可動域から前記障害物領域を除いた領域を、新たなケーブル可動域として出力することを特徴とする請求項1又は2に記載のケーブル可動域表示装置。

請求項4

前記画像生成部は、前記仮想現実感のケーブル可動域画像に、前記ケーブル可動域の3次元形状に応じた付加情報を付加することを特徴とする請求項1から3のいずれか1項に記載のケーブル可動域表示装置。

請求項5

前記付加情報は、色の違い及び濃度の違いの少なくとも一方を含むことを特徴とする請求項4に記載のケーブル可動域表示装置。

請求項6

前記画像表示部は、光を透過させ、前記仮想現実感のケーブル可動域画像を表示するシースルー型ディスプレイを有することを特徴とする請求項1から5のいずれか1項に記載のケーブル可動域表示装置。

請求項7

前記画像表示部は、前記仮想現実感のケーブル可動域画像を現実空間上に投影するプロジェクタを有することを特徴とする請求項1から5のいずれか1項に記載のケーブル可動域表示装置。

請求項8

前記画像生成部は、前記現実空間情報取得部で取得された画像情報に基づいて前記現実空間を前記画像表示部に表示すると共に、前記仮想現実感のケーブル可動域を画像表示部に表示することを特徴とする請求項1から5のいずれか1項に記載のケーブル可動域表示装置。

請求項9

前記配線経路情報と前記ケーブル情報とを記憶する記憶部をさらに備え、前記シミュレーション部は、前記記憶部に記憶されている前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算することを特徴とする請求項1から8のいずれか1項に記載のケーブル可動域表示装置。

請求項10

前記現実空間情報取得部は、前記現実空間情報としての画像データを取得するカメラ及び前記現実空間情報としての検出値を取得するセンサの内の少なくとも一方を含むことを特徴とする請求項1から9のいずれか1項に記載のケーブル可動域表示装置。

請求項11

前記現実空間情報取得部と前記画像表示部とは、前記ユーザの頭部に装着されるヘッドマウント型の構造を有することを特徴とする請求項1から10のいずれか1項に記載のケーブル可動域表示装置。

請求項12

現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を画像表示部に表示させるケーブル可動域表示方法であって、前記現実空間に関する現実空間情報を取得する現実空間情報取得ステップと、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定ステップと、前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを取得し、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーションステップと、前記シミュレーションステップにおいて計算された前記ケーブル可動域と前記ユーザ位置姿勢推定ステップにおいて求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成ステップと、前記仮想現実感のケーブル可動域画像を画像表示部に表示させる表示ステップとを有することを特徴とするケーブル可動域表示方法。

請求項13

現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を画像表示部に表示させるコンピュータに、前記現実空間に関する現実空間情報を取得する現実空間情報取得処理と、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定処理と、前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを取得し、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーション処理と、前記シミュレーション処理において計算された前記ケーブル可動域と前記ユーザ位置姿勢推定処理において求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成処理と、前記仮想現実感のケーブル可動域画像を画像表示部に表示させる表示処理とを実行させるためのケーブル可動域表示プログラム

技術分野

0001

本発明は、現実空間に重ねてケーブル可動域を表示するためのケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラムに関する。

背景技術

0002

カメラ撮像装置)又はセンサ(例えば、深度センサ)などによって取得された現実空間情報(例えば、画像データ又は被写体までの距離情報)を元に推定されたユーザの位置及び姿勢に基づいて、付加情報画像としてのCG(Computer Graphics)を生成し、生成されたCGがあたかも現実空間に存在するかのように、現実空間に重ねてCGを描画する拡張現実感(Augmented Reality:AR)を用いる技術が提案されている。また、カメラによって取得された2次元画像データを元に、任意の3次元座標系におけるカメラの位置及び姿勢を求め、求められたカメラの位置及び姿勢に基づいて、計算機上で3次元座標系におけるCGを生成し、生成されたCGを現実空間に重ねて描画する技術も提案されている。これらの技術をユーザ(作業員)の作業における作業支援システムに適用した場合には、作業員は、現実空間にあたかもCGで表示された物が存在するかのような状況を見ることができるため、直観的に且つ容易に理解することができる作業指示を受けることができる。

0003

例えば、特許文献1は、撮影されたプラント画像情報内の該当する設備装置部分を強調する描画情報重畳した画像情報を生成し、生成された画像情報を表示部に表示させる情報表示装置を提案している。

先行技術

0004

特開2013−117812号公報(要約、段落0009、図2

発明が解決しようとする課題

0005

一般に、ケーブルの配線作業におけるケーブルの配線経路は、使用されるケーブルの特性と、配線経路及びその周辺状況障害物の位置など)とに応じて決められるが、ある程度の許容範囲内でのずれが許容される。しかし、上記従来の装置は、ケーブルの理想的な配線経路を表示するが、ケーブルの配線経路の許容範囲(以下「ケーブル可動域」とも言う)を現実空間に重ねて表示することはできないという課題がある。

0006

本発明は、上記課題を解決するためになされたものであり、ケーブルの配線作業におけるケーブル可動域を現実空間に重ねて表示することを可能にするケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラムを提供することを目的とする。

課題を解決するための手段

0007

本発明の一態様に係るケーブル可動域表示装置は、現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を表示する装置であって、前記現実空間に関する現実空間情報を取得する現実空間情報取得部と、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定部と、前記配線経路の始端通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを受け取り、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーション部と、前記シミュレーション部によって計算された前記ケーブル可動域と前記ユーザ位置姿勢推定部によって求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成部と、前記仮想現実感のケーブル可動域画像を表示する画像表示部とを備えたことを特徴とする。

0008

本発明の他の態様に係るケーブル可動域表示方法は、現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を画像表示部に表示させるケーブル可動域表示方法であって、前記現実空間に関する現実空間情報を取得する現実空間情報取得ステップと、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定ステップと、前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを取得し、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーションステップと、前記シミュレーションステップにおいて計算された前記ケーブル可動域と前記ユーザ位置姿勢推定ステップにおいて求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成ステップと、前記仮想現実感のケーブル可動域画像を画像表示部に表示させる表示ステップとを有することを特徴とする。

0009

本発明の他の態様に係るケーブル可動域表示プログラムは、現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を画像表示部に表示させるコンピュータに、前記現実空間に関する現実空間情報を取得する現実空間情報取得処理と、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定処理と、前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを取得し、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーション処理と、前記シミュレーション処理において計算された前記ケーブル可動域と前記ユーザ位置姿勢推定処理において求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成処理と、前記仮想現実感のケーブル可動域画像を画像表示部に表示させる表示処理とを実行させるものである。

発明の効果

0010

本発明によれば、配線されるケーブルのケーブル可動域を現実空間に重ねて表示することができる。

図面の簡単な説明

0011

本発明の実施の形態1に係るケーブル可動域表示装置の構成及び機能を示す図である。
実施の形態1に係るケーブル可動域表示装置を示すハードウェア構成図である。
実施の形態1に係るケーブル可動域表示装置における情報表示処理の一例を示すフローチャートである。
実施の形態1に係るケーブル可動域表示装置におけるケーブル可動域のシミュレーション処理の一例を示すフローチャートである。
ケーブルの長さを考慮してケーブル可動域を求める方法を示す図である。
ケーブルの使用可能な許容曲げ半径を示す図である。
本発明の実施の形態2に係るケーブル可動域表示装置の構成及び機能を示す図である。
実施の形態2に係るケーブル可動域表示装置における手の位置検出処理の一例を示すフローチャートである。
実施の形態2に係るケーブル可動域表示装置におけるケーブル可動域のシミュレーション処理の一例を示すフローチャートである。
本発明の実施の形態3に係るケーブル可動域表示装置の構成及び機能を示す図である。
実施の形態3に係るケーブル可動域表示装置におけるケーブル可動域の限定処理の一例を示すフローチャートである。
本発明の実施の形態4に係るケーブル可動域表示装置の構成及び機能を示す図である。
実施の形態4に係るケーブル可動域表示装置により表示されるケーブル可動域の表示例を示す図である。

実施例

0012

《1》実施の形態1.
《1−1》構成
図1は、本発明の実施の形態1に係るケーブル可動域表示装置10の構成及び機能を示す図である。ケーブル可動域表示装置10は、ユーザ(作業員)の前の現実空間に重ねてケーブル(紐状物体)の配線経路の許容範囲を示すケーブル可動域を表示することができる情報表示装置である。また、ケーブル可動域表示装置10は、実施の形態1に係るケーブル可動域表示方法を実施することができる装置である。

0013

図1に示されるように、ケーブル可動域表示装置10は、現実空間情報取得部(カメラ、センサ)11と、ユーザ位置姿勢推定部12と、シミュレーション部13と、画像生成部14と、画像表示部(表示デバイス)15とを備える。また、ケーブル可動域表示装置10は、ケーブルの長さ(L)19a及びケーブルの許容曲げ半径(R)19dなどのケーブルに関する情報(ケーブル情報)と、ケーブルの配線予定位置(始端及び終端)19b及びケーブルの通過点19cなどのケーブルの配線経路に関する情報(配線経路情報)とを記憶する記憶部19を備えてもよい。

0014

ケーブル可動域表示装置10は、例えば、ユーザの身体に装着されるウエアラブル型コンピュータである。また、ケーブル可動域表示装置10は、デスクトップPC(Personal Computer)又はノートPCなどのようなPCであってもよい。これらの場合には、現実空間情報取得部11として、例えば、ユーザの頭部に装着されるカメラを用いることができ、画像表示部15として、例えば、ユーザの目の前に装備されるシースルー型ディスプレイ(ユーザの頭部に装着されるヘッドマウント型の構造を有するヘッドマウントディスプレイ)を用いることができる。シースルー型ディスプレイを用いる場合には、ユーザは、シースルー型ディスプレイを通して現実空間を見ながら、シースルー型ディスプレイに表示された付加情報画像を見る。ただし、画像生成部14は、現実空間情報取得部11で取得された画像情報で現実空間を画像表示部15に表示すると共に、付加情報画像を画像表示部15に重畳して表示することもできる。

0015

また、ケーブル可動域表示装置10は、例えば、タブレット端末又はスマートフォンなどのような携帯情報端末であってもよい。この場合には、現実空間情報取得部11として携帯情報端末に内蔵されているカメラを用いることができ、画像表示部15として携帯情報端末の表示パネルを用いることができる。ただし、これらの場合にも、現実空間情報取得部11として、例えば、ユーザの頭部に装着されるカメラを用い、画像表示部15として、例えば、ユーザの目の前に装備されたシースルー型ディスプレイを用いることができる。

0016

現実空間情報取得部11は、現実空間に関する現実空間情報を取得する。現実空間情報取得部11は、例えば、現実空間を撮影することによって現実空間に対応する画像データを生成するカメラである。また、現実空間情報取得部11は、カメラに代えて又はカメラに加えて、現実空間に対応する情報を取得するセンサ(例えば、被写体までの距離情報を取得する深度センサなど)を含んでもよい。

0017

画像表示部15は、仮想現実感(AR)画像としてケーブル可動域のCGを表示するディスプレイ又はプロジェクタなどのような情報表示部である。画像表示部15は、例えば、透明又は半透明スクリーンを有するシースルー型ディスプレイであってもよい。ユーザは、シースルー型ディスプレイを通して現実空間を見ながら、スクリーン上に付加情報画像として表示されたAR画像(ケーブル可動域のCG)を、現実空間に重ねて見ることができる。さらに、画像表示部15がプロジェクタである場合には、プロジェクタは、スクリーンを通さずに、AR画像を現実空間に直接投影することもできる。例えば、画像表示部15としてのプロジェクタは、現実に存在する床、壁、ケーブルトレイ設備機器)などの上にAR画像としての投射画像(ケーブル可動域を示す画像)を表示(投影)してもよい。なお、現実空間情報取得部11と画像表示部15とは、一体型であっても良く、又は、接続ケーブルによって互いに接続される別個の装置であってもよい。

0018

ユーザ位置姿勢推定部12は、現実空間情報取得部11によって取得された現実空間情報(例えば、画像データ又は被写体までの距離データなど)から任意の3次元座標系におけるユーザの位置及び姿勢を求める処理(ユーザ位置姿勢推定処理)を行う。

0019

記憶部19には、ケーブルの長さ(L)19a及びケーブルの許容曲げ半径(R)19dなどのケーブル情報と、ケーブルの配線予定位置(始端及び終端)19b及びケーブルの通過点19cなどのケーブルの配線経路情報とが記憶されている。図1では、記憶部19は、ケーブル可動域表示装置10の一部であるが、ケーブル情報とケーブルの配線経路情報とは、ケーブル可動域表示装置10の外部装置から提供されてもよく、この場合にはケーブル可動域表示装置10は記憶部19を備える必要がない。

0020

シミュレーション部13は、記憶部19からケーブルの配線予定位置(始端及び終端)19bと、始端と終端との間にあるケーブルの通過点19cとを示す配線経路情報と、ケーブルの許容曲げ半径(R)19d及びケーブルの長さ(L)19aを示すケーブル情報とを受け取り、配線経路情報とケーブル情報とからケーブル可動域の3次元画像データを算出(シミュレーション)する。

0021

画像生成部14は、シミュレーション部13によって算出されたケーブル可動域(3次元画像)とユーザ位置姿勢推定部12によって求められたユーザの位置及び姿勢とから、現実空間におけるケーブル可動域を示すAR画像としてのケーブル可動域画像(2次元画像)を生成する。言い換えれば、画像生成部14は、シミュレーション部13で算出されたケーブル可動域に基づいて、計算機上での3次元座標系において3次元CGを生成し、現実空間情報取得部11を基に現実空間に重ねて描画(表示)するAR画像を生成する。このとき、生成するAR画像は、画像表示部(ディスプレイの特徴)に合わせて生成される。

0022

図2は、実施の形態1に係るケーブル可動域表示装置10を示すハードウェア構成図である。ただし、ケーブル可動域表示装置10のハードウェア構成は、図2に示す例に限定されず、種々の変更が可能である。なお、図2において、符号20,30,40は、後述の実施の形態2から4において参照される。

0023

ケーブル可動域表示装置10は、例えば、コンピュータである。ケーブル可動域表示装置10は、CPU(Central Processing Unit)51と、GPU(Graphics Processing Unit)52と、メインメモリ53と、ストレージ54(すなわち、記憶部19)と、バス58とを備える。さらに、ケーブル可動域表示装置10は、カメラ55と、センサ56と、表示デバイス57(すなわち、画像表示部15)とを備える。カメラ55とセンサ56とは、現実空間情報取得部11の例示である。

0024

バス58は、ケーブル可動域表示装置10のハードウェア構成部分がデータを交換するために用いられるデータ転送路である。CPU51は、ケーブル可動域表示装置10が各種の処理(例えば、情報表示処理)を実行するための演算装置である。GPU52は、画面の生成又は描画に関する処理を実行する演算装置である。

0025

メインメモリ53は、データの消去及び書き換えが可能な記憶装置(例えば、半導体記憶装置など)である。メインメモリ53は、揮発性メモリであるが、ストレージ54よりも書き込み及び読み出し速度が高速である。このため、メインメモリ53は、使用中のデータ又は直ぐに使用される予定のあるデータを保存するために使用される。例えば、図3及び図4に示される処理を行うプログラムが、プログラム実行時にメインメモリ53に格納される。メインメモリ53に格納されたプログラムは、CPU51によって実行される。

0026

ストレージ54は、データの消去及び書き換えが可能な記憶装置(例えば、ハードディスク装置、半導体記憶装置など)である。ストレージ54は、記憶部19のデータを記憶しておくために使用されることができる。ストレージ54に記憶されている情報は、プログラム実行時に、メインメモリ53において展開される。

0027

カメラ55は、現実空間の情報を取得するために必要な画像を撮影する装置である。センサ56は、現実空間の情報を取得するために必要な値を取得する装置である。センサ56は、例えば、位置を計測するGPS(Global Positioning System)、加速度を計測する加速度センサ方位を計測する地磁気センサ、被写体までの距離を計測する深度センサである。

0028

表示デバイス57は、ケーブル可動域のAR画像を表示する画像表示部15である。表示デバイス57は、例えば、タブレット端末又はスマートフォンのディスプレイである。また、表示デバイス57は、ヘッドマウントディスプレイ、コンピュータのモニタ、プロジェクタ、ヘッドアップディスプレイであることができる。

0029

《1−2》動作
図3は、実施の形態1に係るケーブル可動域表示装置10の情報表示処理の一例を示すフローチャートである。ただし、ケーブル可動域表示装置10の情報表示処理は、図3に示される処理に限定されず、変更が可能である。なお、図3に示される情報表示処理は、ケーブル可動域表示装置10の現実空間情報取得部11に使用するカメラ又はセンサが現実空間の情報を取得するごとに実行される。

0030

ステップS110では、現実空間情報取得部11は、現実空間情報を取得する。現実空間情報取得部11がカメラである場合には、現実空間情報は撮影画像(画像データ)である。現実空間情報取得部11が現実空間情報を検出するセンサである場合には、現実空間情報はセンサの検出値である。

0031

次のステップS120では、ユーザ位置姿勢推定部12は、ステップS110で取得された現実空間情報を基に、ユーザの位置及び姿勢を計算(推定)する。このときの、ユーザの位置及び姿勢は、ケーブル可動域表示装置10が決めた任意の3次元座標系を基準として表される。

0032

次のステップS130では、シミュレーション部13は、記憶部19からケーブルの長さ19a、ケーブルの配線予定位置(始端と終端)19bとケーブルの通過点19c、ケーブルの許容曲げ半径19dを取得する。

0033

次のステップS140では、シミュレーション部13は、ステップS130で取得されたケーブル情報及び配線経路情報を基に、ケーブル可動域を算出(シミュレーション)する。シミュレーション方法の一例は、後述の図4に示される。

0034

次のステップS150では、画像生成部14は、ステップS140で得られたシミュレーション結果であるケーブル可動域から、3次元CGを生成する。次のステップS160では、画像生成部14は、ステップS150で生成した3次元CGをユーザの位置及び姿勢を考慮して幾何学的に変換し、ケーブル可動域表示装置10が決めた任意の3次元座標系に配置する。

0035

次のステップS170では、画像生成部14は、画像表示部15(表示デバイス57)の特徴に応じて、ステップS160で3次元座標系に配置された3次元CGを、2次元画像に変換する。現実空間情報取得部11がカメラである場合、この3次元CGを2次元画像に変換する方法を説明する。タブレットなどのようにカメラで撮影した画像に3次元CGを合成する場合は、カメラの内部パラメータ(カメラの焦点距離など)を用いて変換することができる。画像表示部15がシースルー型ディスプレイ(シースルー型ヘッドマウントディスプレイ)である場合には、カメラの光軸と目の光軸とが異なるので、3次元CGに並進及び回転処理を加えて両方の光軸を一致させてから、カメラと同様に目の内部パラメータ(焦点距離など)を用いて変換処理を行う。画像表示部15がプロジェクタのように、現実空間上にAR画像光として投影する装置である場合には、計算機上でカメラの内部パラメータを使用して変換した画像に対して、プロジェクタの内部パラメータを用いて逆投影する方法を用いて、変換処理を行う。

0036

次のステップS180では、画像表示部15で、ステップS170の変換処理で得られたAR画像を表示する。

0037

図4は、図3におけるケーブル情報からケーブル可動域をシミュレーションする処理(図3におけるステップS140)の一例を示すフローチャートである。ただし、ケーブル情報からケーブル可動域をシミュレーションする処理は、図4の例に限定されず、変更が可能である。

0038

ステップS210では、シミュレーション部13は、ケーブルを配線する予定の位置(始端と終端)19bとケーブルの通過点19cを3次元座標上に設定する。

0039

次のステップS220では、シミュレーション部13は、図5に示されるように、ステップS210で設定した始端を楕円焦点Aとし、始端の次の通過点を楕円の焦点Bと設定する。

0040

次のステップS230では、シミュレーション部13は、図5に示されるように、ステップS220で設定した焦点A、焦点Bを持ち、長軸が使用可能なケーブルの長さ[=(ケーブルの長さ19a)−((使用したケーブルの長さ)+(残り経路最短距離))]となる楕円αを生成する。ここで、楕円αを生成するのは、楕円の焦点Aと焦点Bと楕円の周上の点Cは、
線分AC)+(線分BC)=一定
という特徴を持つからである。

0041

ステップS240では、シミュレーション部13は、ステップS230で生成した楕円αの長軸を中心軸に回転させることで楕円体βを生成する。この楕円体βは、ケーブルの長さのみ考慮されたケーブル可動域となる。しかし、図6に示されるように、ケーブルは、鋭角に折り曲げることはできず、使用可能な最小曲げ半径としての許容曲げ半径Rを持つ。そこで、ステップS250では、シミュレーション部13は、ステップS240で生成された楕円体β内で、ケーブルの曲げ半径が許容曲げ半径Rより大きい領域のみを抽出する。

0042

次のステップS260では、シミュレーション部13は、焦点A、焦点Bを次の通過点に移動する。具体的には、シミュレーション部13は、前回の処理における焦点Bを,前回の次の処理における焦点Aとし、前回の通過点の次の通過点を前回の次の処理における焦点Bとする。

0043

次のステップS270では、シミュレーション部13は、焦点Aが終端に到達したかどうかを判断し、もしも到達していれば(判断がYES)、処理をステップS280に進め、もしも到達していなければ(判断がNO)、処理をステップS230に戻す。

0044

次のステップS280では、シミュレーション部13は、抽出した領域をケーブル可動域とし、画像生成部14にケーブル可動域情報を提供する。

0045

画像生成部14は、シミュレーション部13によって算出されたケーブル可動域(3次元CG)とユーザ位置姿勢推定部12によって求められたユーザの位置及び姿勢とから、現実空間におけるケーブル可動域を示すAR画像としてのケーブル可動域画像(2次元画像)を生成し、画像表示部15に表示させる。

0046

《1−3》効果
以上に説明したように、実施の形態1に係るケーブル可動域表示装置10又はケーブル可動域表示方法によれば、ケーブル可動域をシミュレーションし、シミュレーションされたケーブル可動域とユーザの位置及び姿勢とからAR画像を生成し、現実空間に重ねて又は現実空間画像に重ねて、ケーブル可動域のAR画像を表示する。このため、ケーブルの特徴に合わせたケーブル可動域を作業員にとって直観的でわかり易く表示することができる。

0047

《2》実施の形態2.
上記実施の形態1に係るケーブル可動域表示装置10では、シミュレーション部13が、ケーブル情報(ケーブルの長さ19a、ケーブルの許容曲げ半径19d)と配線経路情報(配線予定位置19bを示す始端及び終端、通過点19c)とからケーブル可動域を計算し、画像生成部14が、シミュレーション部13によって計算されたケーブル可動域からAR画像を生成し、画像表示部15に始端から終端までのケーブル可動域の3次元CG画像を表示させている、又は、画像表示部15としてのプロジェクタによってケーブル可動域のAR画像を現実空間上に投影している。

0048

これに対し、本発明の実施の形態2に係るケーブル可動域表示装置20では、手位置検出部21が配線作業の途中における作業員(ユーザ)の手の位置を検出し、画像生成部14が、手の位置から終端までのケーブル可動域を画像表示部15上に3次元CG画像として表示する処理、又は、画像表示部15としてのプロジェクタが現実空間上に手の位置から終端までのケーブル可動域をAR画像として表示する処理を実行する。

0049

図7は、実施の形態2に係るケーブル可動域表示装置20の構成及び機能を示す図である。図7において、図1(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。実施の形態2に係るケーブル可動域表示装置20は、現実空間情報取得部11で取得した現実空間の情報を基に作業員の手の位置を検出する手位置検出部21を備える点及びシミュレーション部23の処理内容の点において、実施の形態1に係るケーブル可動域表示装置10と異なる。これらの点を除いて、実施の形態2に係るケーブル可動域表示装置20及びケーブル可動域表示方法は、実施の形態1に係るケーブル可動域表示装置10及びケーブル可動域表示方法と同じである。

0050

図8は、実施の形態2に係るケーブル可動域表示装置20における手位置検出部21の処理の一例を示すフローチャートである。ただし、手の位置検出処理は、図8に示される方法に限定されず、異なる処理であってもよい。図8に示される手の位置検出処理は、現実空間情報取得部11がカメラを含む場合には、カメラが画像を撮影する毎に(例えば、一定時間間隔で)行われる。また、図8に示される手の位置検出処理は、現実空間情報取得部11が深度センサを含む場合には、被写体までの距離情報が更新される毎に(例えば、一定時間間隔で)行われる。なお、図8では、現実空間情報取得部11がカメラ及び深度センサを含む場合を説明する。

0051

図8のステップS310では、手位置検出部21は、現実空間情報取得部11によって取得されたカメラ画像から手の色(手の特徴に基づいて予め決められた色)に近い色の画素を検出する。また、手位置検出部21は、手の色に近い色の画素を検出する代わりに、熱画像から手の体温に近い画素を検出してもよい。また、手位置検出部21は、手の色に近い色の画素と手の体温に近い画素との両方を手の位置の検出に用いてもよい。次のステップS320では、手位置検出部21は、ステップS310で検出した画像をラベリングする。次のステップS330では、手位置検出部21は、ステップS320でラベリングされた領域の内、ケーブル(紐状物体)が通過しているものを手と認識する。次のステップS340では、手位置検出部21は、ステップS330で認識された手の位置を、現実空間情報取得部11の深度センサが取得した距離情報から算出(推定)する。

0052

図9は、実施の形態2に係るケーブル可動域表示装置20におけるケーブル可動域のシミュレーション処理の一例を示すフローチャートである。図9において、図4(実施の形態1)に示される処理ステップと同一又は対応する処理ステップには、図4に示されるステップ記号と同じステップ記号が付される。図9に示されるシミュレーション処理は、ステップS221とS222を有する点において、図4(実施の形態1)に示されるシミュレーション処理と異なる。

0053

ステップS221では、手位置検出部21は、図8に示される手の位置検出処理によって手の位置を検出する。手の位置の検出に成功した場合は(ステップS221においてYES)、シミュレーション部23は、ステップS222で楕円の焦点Aを手の位置に変更して、ステップS230の処理を行う。手の位置の検出に失敗した場合は(ステップS221においてNO)、シミュレーション部23は、ステップS230の処理を行う。上記以外の点において、図9のシミュレーション処理は、図4(実施の形態1)のシミュレーション処理と同じである。

0054

以上に説明したように、実施の形態2に係るケーブル可動域表示装置20又はケーブル可動域表示方法によれば、ケーブル可動域をシミュレーションし、シミュレーションされたケーブル可動域とユーザの位置及び姿勢とからAR画像を生成し、現実空間に重ねてケーブル可動域のAR画像を表示する。このため、実施の形態2においては、ケーブルの特徴に合わせたケーブル可動域を、作業員にとって直観的でわかり易く表示することができる。また、作業員が作業中であっても、実時間でケーブル可動域を表示することができるため、状況により適切に対応した表示が可能となり、作業員にとって直観的でわかり易く表示することができる。

0055

《3》実施の形態3.
上記実施の形態2では、作業員がケーブル配線の作業中であっても、ケーブル可動域を実時間で更新するケーブル可動域表示装置20及びケーブル可動域表示方法を説明した。しかし、ケーブルの配線経路の許容範囲を示すケーブル可動域内にケーブルの配線(設置)の障害になる障害物が存在することがあり得る。また、ケーブル可動域を更新(変更)しながら作業を進める場合には、更新後のケーブル可動域内に、当初は予定されていなかった障害物が存在することもあり得る。そこで、本発明の実施の形態3に係るケーブル可動域表示装置30及びケーブル可動域表示方法では、シミュレーション部33がケーブル可動域における3次元形状の箇所を障害物が存在する障害物領域として認識し、シミュレーション部33が障害物領域をケーブル可動域から除外する処理を行う。

0056

図10は、実施の形態3に係るケーブル可動域表示装置30の構成及び機能を示す図である。図10において、図7(実施の形態2)に示される構成要素と同一又は対応する構成要素には、図7に示される符号と同じ符号が付される。実施の形態3に係るケーブル可動域表示装置30は、シミュレーション部33が現実空間情報取得部11から現実空間情報を取得し、ケーブル可動域における3次元形状の箇所を障害物が存在する障害物領域として検出する点及びケーブル可動域から障害物領域を除いて新たなケーブル可動域を生成する点において、実施の形態2に係るケーブル可動域表示装置20と異なる。これらの点を除いて、実施の形態3に係るケーブル可動域表示装置30及びケーブル可動域表示方法は、実施の形態2に係るケーブル可動域表示装置20及びケーブル可動域表示方法と同じである。

0057

図11は、実施の形態3に係るケーブル可動域表示装置30におけるケーブル可動域の限定処理の一例を示すフローチャートである。実施の形態3におけるケーブル可動域を限定する処理は、図4又は図9におけるステップS270とS280との間で行われる処理である。ステップS410では、シミュレーション部33は、現実空間情報取得部11で取得した距離画像から、ケーブル可動域の周辺の3次元形状を取得する。次のステップS420では、シミュレーション部33は、ステップS250で抽出した領域から、当該抽出した領域とステップS410で取得した3次元形状の領域との共通部分を除去して、限定後のケーブル可動域を生成する。ただし、手の位置検出処理は、図11と異なる処理であってもよい。

0058

以上に説明したように、実施の形態3に係るケーブル可動域表示装置30及びケーブル可動域表示方法は、現実空間情報取得部11からシミュレーション部13にデータを提供することを特徴とする。この特徴によって、配線経路内に障害物が存在する場合、ケーブル可動域を限定することができるため、より状況に応じた表示が可能となり、作業員にとって直観的でわかり易く表示することができる。

0059

《4》実施の形態4.
上記実施の形態1から3に係るケーブル可動域表示装置10,20,30における画像生成部14は、ケーブル可動域の3次元CGから変換された2次元画像を画像表示部15(表示デバイス57)に表示させている、又は、画像表示部15としてのプロジェクタによってケーブル可動域のAR画像を現実空間上に投影している。しかし、表示デバイスの特徴(例えば、種類、画素数解像度、画面サイズなど)によっては、3次元CGを投影変換して生成された2次元画像が、奥行情報などを十分にわかり易く表示することができない場合がある。そこで、実施の形態4に係るケーブル可動域表示装置40の画像生成部44は、ケーブル可動域の3次元CGの厚み情報に応じて、2次元画像に色情報(互いに異なる複数の色による表示、又は、複数段階の濃度の違いによる表示)を付加する機能を備えている。

0060

図12は、実施の形態4に係るケーブル可動域表示装置40の構成及び機能を示す図である。図12において、図1(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。図13に示されるように、画像生成部44が、ケーブル可動域の3次元CGの厚み情報に応じて、2次元画像に色情報(互いに異なる複数の色による表示、又は、複数段階の濃度の違いによる表示)を付加する機能を備えている点において、実施の形態4に係るケーブル可動域表示装置40は、実施の形態1に係るケーブル可動域表示装置10と異なる。この点を除いて、実施の形態4に係るケーブル可動域表示装置40及び可動域表示方法は、実施の形態1に係るケーブル可動域表示装置10及び可動域表示方法と同じである。

0061

図13は、実施の形態4に係るケーブル可動域表示装置40の画像生成部44により画像表示部15に表示されるケーブル可動域の表示例を示す図である。例えば、画像生成部44は、3次元CGにおいて最も厚みがある箇所を赤色で表示し、3次元CGにおける厚みが薄くなるに伴って赤色から青色に徐々に変化させる表示方法を採用(複数色を用いて厚みを強調表示する方法)することができる。また、画像生成部44は、3次元CGにおいて最も厚みがある箇所を濃い色で表示し、3次元CGにおける厚みが薄くなるに伴って濃い色を薄色に徐々に変化させる表示方法(グラデーションを用いて厚みを強調表示する方法)を採用することができる。また、画像表示部15がプロジェクタである場合には、画像生成部44は、現実空間上に投影されるAR画像において最も厚みがある箇所を濃い色で表示し、厚みが薄くなるに伴って濃い色を薄色に徐々に変化させる表示方法(グラデーションを用いて厚みを強調表示する方法)を採用することができる。

0062

以上に説明したように、実施の形態4に係るケーブル可動域表示装置40及び可動域表示方法によれば、ケーブル可動域の3次元CGを2次元画像に変換して画像表示部15(表示デバイス57)に表示する際に、異なる複数の色によって又は色の濃淡によって、ケーブル可動域の厚み情報を付加している。このような表示を採用することによって、作業員は、3次元CGから変換された2次元画像だけでなく、厚みに関する色情報又は濃淡情報を知ることができる。このため、実施の形態4に係るケーブル可動域表示装置40及び可動域表示方法によれば、作業員に直観的にわかり易いケーブル可動域の表示を提供することができる。

0063

なお、実施の形態4における画像生成部44の処理を、実施の形態2又は3に適用することも可能である。

0064

10,20,30,40ケーブル可動域表示装置(情報表示装置)、 11現実空間情報取得部(カメラ、センサ)、 12ユーザ位置姿勢推定部、 13,23,33シミュレーション部、 14,44画像生成部、 15画像表示部、 19 記憶部、 19a ケーブルの長さ、 19b ケーブルの配線予定位置(始端及び終端)、 19c ケーブルの通過点、 19d ケーブルの許容曲げ半径、 21 手位置検出部、 51 CPU、 52 GPU、 53メインメモリ、 54ストレージ、 55 カメラ、 56 センサ、 57表示デバイス、 58バス。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

新着 最近 公開された関連が強い 技術

  • 三菱電機株式会社の「 表示制御装置および表示制御方法」が 公開されました。( 2019/02/14)

    【課題・解決手段】センサ(201)の検知情報から機器(200)の相対位置を自律航法により算出する相対位置算出部(101)と、撮像された映像フレームと三次元地図データとのマッチングを行い、機器の絶対位置... 詳細

  • 楽天株式会社の「 情報処理装置、情報処理方法、プログラム、記憶媒体」が 公開されました。( 2019/02/07)

    【課題・解決手段】全体送信が前提とされるウェブページのうちの特定部分の閲覧をユーザが希望する場合において、ユーザに対する特定部分の提示の迅速化を図る。本発明に係る情報処理装置は、端末装置からウェブペー... 詳細

  • 三菱電機株式会社の「 電子機器」が 公開されました。( 2019/01/31)

    【課題・解決手段】操作部(4)は、プッシュ式スイッチ(4a)と、プッシュ式スイッチ(4a)の外周に設けられたダイヤル式スイッチ(4b)とを有する。判別部(5)は、出力装置(3)の出力内容を判別する。機... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ