図面 (/)

技術 画像処理装置、及び画像処理方法

出願人 東芝プラントシステム株式会社
発明者 野本寛幸
出願日 2018年8月6日 (1年9ヶ月経過) 出願番号 2018-147619
公開日 2020年2月13日 (2ヶ月経過) 公開番号 2020-024497
状態 未査定
技術分野 イメージ処理・作成
主要キーワード 幾何模様 確定点 フランジ管 計算メッシュ 格子モデル 設計空間 計算格子 施工図面
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年2月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

コンピュータ支援設計により設計された設計部材の施工結果画像現実空間画像重畳可能な画像処理装置、及び画像処理方法を提供する。

解決手段

本実施形態に係る画像処理装置は、位置合わせ部と、画像処理部と、表示部と、を備える。位置合わせ部は、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。画像処理部は、位置合わせに基づき、使用者視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される仮想オブジェクトの画像を生成する。表示部は、実空間画像と仮想オブジェクトとを重畳表示する。

概要

背景

現実空間画像仮想オブジェクトを重ねて表示する画像処理装置が知られている。一方で、施工現場では、3次元CADシステムで設計された3次元の設計部材の情報を用いて2次元の施工用施工図面を起こしている。

ところが二次元の施工図面から3次元の設計部材を施工する場合に、人の認識ミスなどにより施工を間違ってしまう恐れがある。

概要

コンピュータ支援設計により設計された設計部材の施工結果画像を現実空間画像に重畳可能な画像処理装置、及び画像処理方法を提供する。本実施形態に係る画像処理装置は、位置合わせ部と、画像処理部と、表示部と、を備える。位置合わせ部は、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。画像処理部は、位置合わせに基づき、使用者視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される仮想オブジェクトの画像を生成する。表示部は、実空間画像と仮想オブジェクトとを重畳表示する。

目的

本発明が解決しようとする課題は、コンピュータ支援設計により設計された設計部材の施工結果画像を現実空間画像に重畳可能な画像処理装置、及び画像処理方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う位置合わせ部と、前記位置合わせに基づき、使用者視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成する画像処理部と、前記現実空間画像と前記仮想オブジェクトとを重畳表示する表示部と、を備える画像処理装置

請求項2

前記3次元モデル空間に設計部材を配置する設計部と、前記設計部により配置された設計部材の情報を前記仮想オブジェクトに変換する変換部と、をさらに備える、請求項1に記載の画像処理装置。

請求項3

前記設計部を操作する入力操作部を更に有し、前記変換部は、前記入力操作部を介して配置された前記3次元モデル空間内の設計部材を前記使用者の視点位置から観察される前記仮想オブジェクトに変換する、請求項2に記載の画像処理装置。

請求項4

前記設計部は、前記現実空間に配置済みの部材の設計データに基づき前記設計部材を前記3次元モデル空間に配置し、前記画像処理部は、前記現実空間に前記配置済みの部材の仮想オブジェクトを重畳表示する、請求項2に記載の画像処理装置。

請求項5

前記重畳表示された画像内における前記現実空間画像内の座標と、前記仮想オブジェクトの画像上の座標との間の距離情報を取得する画像認識処理部をさらに備える、請求項4に記載の画像処理装置。

請求項6

前記設計部は、前記画像認識処理部により取得された距離情報を用いて前記3次元モデル空間に設計部材を配置する、請求項5に記載の画像処理装置。

請求項7

前記設計部により配置される複数の設計部材に工程順の情報を属性情報として付与する属性情報付与部をさらに備え、前記画像処理部は、前記工程順に応じて、複数の設計部材に対応する仮想オブジェクトを順に前記現実空間画像に重畳表示する、請求項2乃至6のいずれか一項に記載の画像処理装置。

請求項8

前記画像処理部は、前記仮想オブジェクトの可動オブジェクトを生成し、前記現実空間に時系列に重畳表示する、請求項1乃至7のいずれか一項に記載の画像処理装置。

請求項9

前記画像処理部は、前記可動オブジェクトを前記現実空間内の所定の方向に移動させる、請求項8に記載の画像処理装置。

請求項10

コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う位置合わせ工程と、前記位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成する画像処理工程と、前記現実空間画像と前記仮想オブジェクトとを重畳表示する表示工程と、を備える画像処理方法

技術分野

0001

本発明の実施形態は、画像処理装置、及び画像処理方法に関する。

背景技術

0002

現実空間画像仮想オブジェクトを重ねて表示する画像処理装置が知られている。一方で、施工現場では、3次元CADシステムで設計された3次元の設計部材の情報を用いて2次元の施工用施工図面を起こしている。

0003

ところが二次元の施工図面から3次元の設計部材を施工する場合に、人の認識ミスなどにより施工を間違ってしまう恐れがある。

先行技術

0004

特開2012−94102号公報

発明が解決しようとする課題

0005

本発明が解決しようとする課題は、コンピュータ支援設計により設計された設計部材の施工結果画像を現実空間画像に重畳可能な画像処理装置、及び画像処理方法を提供することである。

課題を解決するための手段

0006

本実施形態に係る画像処理装置は、位置合わせ部と、画像処理部と、表示部と、を備える。位置合わせ部は、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。画像処理部は、位置合わせに基づき、使用者視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される仮想オブジェクトの画像を生成する。表示部は、実空間画像と仮想オブジェクトとを重畳表示する。

発明の効果

0007

本実施形態によれば、コンピュータ支援設計により設計された設計部材の施工結果画像を現実空間画像に重畳できる。

図面の簡単な説明

0008

本実施形態に係る画像処理装置の構成を示すブロック図。
複数の計算メッシュで構成される計算格子を示す図。
設計部材に付与された属性情報を示す図。
設計処理部により生成された設計部材を模式的に示す図。
設計部材に基づく仮想オブジェクトを現実空間に重畳した図。
除去予定の設計部材に基づく仮想オブジェクトを現実空間に重畳した図。
可動する仮想オブジェクトを現実空間に重畳した図。
仮想オブジェクト上の点と、認識された指先を示す図。
仮想オブジェクト上の点と、確定点を示すマークを表示した図。
現実空間上の点と、認識された指先を示す図。
現実空間上の点と、確定点を示すマークを表示した図。
仮想オブジェクト上の点と現実空間画像上の点との間の距離を示す図。
設計部材における仮想オブジェクトの配置点を示す図。
配置点と、設計部材の仮想オブジェクトを示す図。
現実空間画像に重畳された設計部材の移動を示す図。
配置点に配置された設計部材の仮想オブジェクトを示す図。
再配置された設計部材の移動を示す図。
画像処理装置における画像処理の流れを示すフローチャート
設計部毎に工程順の情報を属性情報として付与した結果を示す図。
最初の工程における設計部材の仮想オブジェクトを重畳した図。
次の工程における設計部材の仮想オブジェクトを重畳した図。
番目の工程における設計部材の仮想オブジェクトを重畳した図。

実施例

0009

以下、本発明の実施形態に係る画像処理装置、及び画像処理方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

0010

(第1実施形態)
図1は、本実施形態に係る画像処理装置1の構成を示すブロック図である。図1に示すように、本実施形態に係る画像処理装置1は、カメラ撮影した現実空間と3次元モデル空間とを位置合わせし、現実空間画像と仮想オブジェクトの画像とを重畳表示する装置である。この画像処理装置1は、頭部装着映像部10と、設計部20と、表示部30と、マーカ40とを備えて構成されている。

0011

頭部装着映像部10は、例えばウェアラブルコンピュータであり、操作者の頭部に装着する装置である。頭部装着映像部10の詳細な構成は後述する。

0012

設計部20は、例えば、CPU(Central Processing Unit)を含んで構成され、設計空間の座標系に設計部材を配置する。この設計部20は、例えばキャドCAD:computer−aided design)であり、3次元CADモデルを有する設計支援ツールを用いて設計部材を生成し、設計用の3次元モデル空間に設計部材を配置する。この設計部20は、属性情報付与部202と、設計処理部204と、入力操作部206と、を有する。

0013

属性情報付与部202は、後述の設計処理部204により生成する設計部材に属性情報を付与する。例えば、属性情報付与部202は、3次元CADモデルを選択するための3次元CADモデル属性情報を付与する。

0014

設計処理部204は、設計支援ツールを用いて設計部材を生成し、設計用の3次元モデル空間に設計部材を配置する。この設計処理部204は、属性情報付与部202により付与された属性情報に基づき、設計部材を生成し、設計用の3次元モデル空間に配置する。例えば、設計処理部204は、属性情報付与部202により付与された3次元CADモデル属性情報に基づき、設計用の3次元CADモデルの中から設計部材を選択する。なお、属性情報付与部202および設計処理部204の詳細は後述する。

0015

入力操作部206は、設計部20を含む頭部装着映像部10の操作に必要となる情報を入力する。入力操作部206は、例えばキーボードマウスポインティングデバイスなどにより構成される。

0016

表示部30は、各種の情報を表示する。例えば、表示部30は、設計部20により生成された各種の情報を表示する。また、表示部30は、現実空間画像と仮想オブジェクトとを重畳表示する。例えば、表示部30は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ等によって構成される。

0017

マーカ40は、2次元の幾何模様を有するマーカであり、現実空間の座標系と、設計用の3次元モデル空間の座標系とを対応付けるために用いられる。

0018

ここで、頭部装着映像部10の詳細な構成を説明する。頭部装着映像部10は、CPUを含んで構成され、複数のカメラ102と、マイク104と、入力処理部106と、認識処理部108と、画像制御処理部110と、液晶画面112と、スピーカ114とを有している。

0019

カメラ102は、例えばCCD(Charge Coupled Device)カメラ、CMOS(Complementary MOS)カメラのようなカラーデジタルカメラによって構成される。カメラ102毎は、現実空間の画像を画像データとして出力する。カメラ102が撮像した画像データは入力処理部106を介して画像処理部110bに出力される。

0020

マイク104は、操作者の発生する例えばジェスチャとしての音声集音し、音声データを出力する。マイク104は、集音した音声データを入力処理部106を介して音声認識処理部108aに出力する。

0021

入力処理部106は、位置合わせ部106aと、変換部106bと、を有する。
位置合わせ部106aは、設計部材に基づき生成された仮想オブジェクトを配置する3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。より具体的には、カメラ102が撮像したマーカ40の情報を用いて、頭部装着映像部10の位置姿勢を認識し、3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。例えば、本実施形態に係るマーカ40は、3次元モデル空間の座標系の座標原点に配置されている。このため、マーカ40は、3次元モデル空間の座標系の座標原点に対応する現実空間の位置に配置され、マーカ40の撮像画像データに基づき、頭部装着映像部10の位置姿勢が認識される。

0022

変換部106bは、設計処理部204により生成された設計部材の情報を仮想オブジェクトに変換する。より、具体的には、変換部106bは、3次元モデル空間に配意された設計部材の情報、例えば3次元CADモデルの情報を用いて、設計部材を3次元モデル空間に配置された仮想オブジェクトに変換する。

0023

認識処理部108は、音声認識処理部108aと、画像認識処理部108bと、3次元空間認識処理部108cと、を有する。
音声認識処理部108aは、マイク104が集音した音声データを指示コードに変換する。例えば、頭部装着映像部10は、この指示コードに従った制御動作を行う。

0024

画像認識処理部108bは、重畳表示された画像内における現実空間画像内の座標と、仮想オブジェクトの画像上における座標との間の距離情報を取得する。より詳細な構成は、後述する。

0025

3次元空間認識処理部108cは、例えばカメラ102が撮像した画像データに基づき、現実空間内の画像から抽出された自然特徴点の3次元座標をSfM(Structure from Motion)により算出し、ランドマークデータとして記憶する。そして、3次元空間認識処理部108cは、ランドマークデータとカメラ102が撮像した画像データから得られる自然特徴点との対応関係に基づき、頭部装着映像部10の位置姿勢を推定する。このように、マーカ40が撮像されない場合にも、現実空間内の座標系における頭部装着映像部10の位置姿勢の推定が可能となる。

0026

画像処理制御部110は、制御部110aと、画像処理部110bと、出力処理部110cとを有する。
制御部110aは、画像処理装置1全体を制御する。

0027

画像処理部110bは、位置合わせ部106aによる位置合わせに基づき、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを合成する。より具体的には、画像処理部110bは、位置合わせ部106aによる位置合わせが終了した後には、3次元空間認識処理部108cにより推定される頭部装着映像部10の位置姿勢に基づき、設計部材に基づき生成された仮想オブジェクトの位置及び形状を変更して、現実空間画像に重畳する。また、画像処理部110bは、仮想オブジェクトの可動オブジェクトを生成し、現実空間画像に重畳表示する。

0028

出力処理部110cは、画像処理部110bなどから入力されたデータ形式を変換して、表示部30、液晶画面112、及びスピーカ114に出力する。

0029

液晶画面112は、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを重畳表示する。液晶画面112は、例えば頭部装着型ディスプレイである。また、液晶画面112を光学シースルー方式によって実現してもよい。例えば、光学シースルー型液晶ディスプレイに、観察者の視点の位置および姿勢に応じて生成した仮想オブジェクトの画像を表示することにより実現される。この場合には、現実空間の画像ではなく、実際の現実空間に重なるように仮想オブジェクトの画像が重畳される。

0030

なお、頭部装着映像部10と、設計部20との通信無線通信でも有線通信でもよい。同様に、頭部装着映像部10と、表示部30との通信は無線通信でも有線通信でもよい。また、設計部20を頭部装着映像部10内に構成してもよい。

0031

さらにまた、頭部装着映像部10を操作者が装着した状態で、設計支援ツールを用いて設計部材を生成し、設計用の3次元モデル空間に設計部材を配置してもよい。すなわち、現場で設計した設計部材を仮想オブジェクトの画像として観察可能となる。この際に、設計支援ツールの操作には、入力操作部206を仮想のキーボードやテンキーとして頭部装着映像部10などに映し出し、使用してもよい。このように、設計行為を行いながら、実際の現実空間に重なる設計部材の仮想オブジェクトを確認、検証、及び修正をすることが可能となり、設計効率をより上げることができる。これにより、従来であれば3Dレーザスキャン作業のプロセスが必要であったが、不要となり、大幅な工程短縮につなげることも可能となる。

0032

スピーカ114は、認識処理部108による認識結果に基づく音声を出力する。例えば、音声認識処理部108aで出力された指示コードに基づく音声を出力する。例えば、設計支援ツールに対して音声により指示することも可能である。

0033

ここで、属性情報付与部202および設計処理部204の詳細な構成を説明する。
図2は、モデル空間を示す格子モデルと設計部材の配置を示す図である。ここでは、3次元の格子点モデル300の水平面の一部を示している。図2に示すように、属性情報付与部202は、施工対象となる現実空間の実際の寸法に基づき、施工対象となる現実空間に対応する3次元モデル空間として3次元の格子点モデル300を生成する。座標B1〜B3、及び座標C1〜C3は格子点モデル300の位置を示している。例えば、座標B1〜B3、及び座標C1〜C3は現実空間の通り芯の位置に対応している。また、マーカ位置M1は、位置合わせ部106aにより座標空間の位置合わせを行う際にマーカ40を配置する位置を示している。

0034

属性情報付与部202は、3次元モデル空間内に設計部材を配置する位置を属性情報として付与する。より具体的には、属性情報付与部202は、入力処理部106により指示された3次元の格子点モデル300(図2)上の座標に基づき、設計部材を配置する位置を属性情報として付与する。例えば、属性情報付与部202は、入力処理部106により指示された3次元の格子点モデル300(図2)上の通り芯の位置に対応させて、設計部材を配置する位置を属性情報として付与することも可能である。また、属性情報付与部202は、画像認識処理部108bにより取得された距離情報を用いて3次元のモデル空間内に設計部材を配置してもよい。

0035

図3は、設計部材に付与された属性情報を示す図である。図3に示すように、
属性情報付与部204は、設計処理部204により生成される設計部材A1〜A4、D1,MV1〜MV2に属性情報も付与する。例えば、属性情報付与部204は、設計処理部204で生成可能な属性情報のデータとして、例えば径100Aの配管、径100Aのフランジ管などの情報を記憶している。そして、属性情報付与部204は、入力処理部106により指示された属性情報を設計部材A1〜A3に付与する。属性情報付与部204は、これらの径100Aの配管、径100Aのフランジ管などの情報として、設計処理部204に記憶される3次元CADモデルの情報を付与してもよい。或いは、別の三次元モデルの情報を付与してもよい。

0036

設計部材A4には、既に現実空間に配置されている設計部材R1が属性情報として付与されている。すなわち、属性情報付与部204は、設計部材A4の属性情報として現実空間に配置されている設計部材R1を付与することが可能である。同様に、属性情報付与部204は、除去予定の設計部材D1の属性情報として現実空間に配置されている設計部材R2を付与することが可能である。また、属性情報付与部204は、移動モーションオブジェクトを生成する設計部材MV1の属性情報として現実空間に配置されている設計部材R3を付与することが可能である。同様に、移動モーションオブジェクトを生成する設計部材MV2の属性情報として、3次元モデル空間内に配置されている仮想オブジェクト、例えば後述する電動ポンプZMV2(図14など)を付与することが可能である。

0037

図4は、設計処理部204により生成された設計部材を模式的に示す図である。図4に示すように、設計処理部204は、設計部材に付与された属性情報に基づき、3次元モデル空間内に設計部材A1〜A3を生成し、配置する。例えば、設計処理部204は、設計部材に付与された3次元CADモデルの情報及び位置情報を用いて、3次元モデル空間内に設計部材A1〜A3を生成し、配置する。

0038

また、設計処理部204は、現実空間に配置済みの設計部材R1の既設設計データに基づき設計部材A4を3次元のモデル空間に配置する。このように、設計処理部204は、既設の部材に関しても3次元モデル空間内に設計部材A4、D1、MV1などを配置することが可能である。

0039

図5は、設計処理部204により生成された設計部材A1〜A4を変換部106bにより仮想オブジェクトZA1〜ZA4に変換して現実空間に重畳した図である。上側の図が現実空間の画像であり、下側の図が仮想オブジェクトを現実空間に重畳した図である。図5に示すように、設計に基づく施工位置に設計部材A1〜A4の仮想オブジェクトZA1〜ZA4を重畳可能であり、施工予想図を現実空間内に視覚化することができる。また、現実空間に配置されている設計部材R1に対応する設計部材A4の仮想オブジェクトを実空間に重畳することで、設計部材R1が設計された位置に配置されているか否かを確認することも可能となる。

0040

図6は、除去予定の設計部材R2の設計部材D1を仮想オブジェクトZD1に変換して現実空間に重畳した図である。上側の図が現実空間の画像であり、下側の図が仮想オブジェクトZD1を現実空間画像に重畳した図である。図6に示すように、現実空間に配置されている設計部材R2に対応する設計部材D1の仮想オブジェクトZD1を現実空間画像に重畳することで、除去予定の設計部材R2の位置も確認可能となる。例えば、画像処理部110bは、除去予定の設計部材R2を示すマークE1などを更に重畳することが可能である。

0041

図7は、可動する設計部材R3の設計部材MV1を仮想オブジェクトZMV1に変換して現実空間に重畳した図である。ここで、可動する設計部材R3は開閉する装置の蓋である。上側の図が現実空間の画像であり、下側の図が仮想オブジェクトZD1を現実空間に重畳した図である。図7に示すように、画像処理部110bは、設計部材MV1の仮想オブジェクトZMV1の座標を変えて複数生成し、時系列に現実空間画像に重畳する。これにより、可動する部材R3が可動する範囲を視認することが可能となる。

0042

図8図12に基づき、画像認識処理部108bの詳細な処理を説明する。
図8は、現実空間に重畳された仮想オブジェクト上のマーク点E1と、画像認識処理部108bにより認識された指先E2を示す図である。図8に示すように、画像認識処理部108bは、使用者の視点位置と認識した指先E2とを結ぶ線が現実空間、及び現実空間に重畳された仮想オブジェクトのいずれかに交わる点を3次元座標として画像処理部110bに出力する。画像処理部110bは、この3次元座標に基づき、マーク点E3を現実空間、又は現実空間に重畳された仮想オブジェクトに重畳する。

0043

図9は、現実空間に重畳された仮想オブジェクト上のマーク点E3と、確定点であることを示すマークE4とを示す図である。図9に示すように画像処理部110bは、位置が確定すると、マークE4を現実空間画像に重畳する。

0044

図10は、現実空間上のマーク点E5と、画像認識処理部108bにより認識された指先E2を示す図である。図10に示すように、画像認識処理部108bは、使用者の視点位置と認識した指先E2とを結ぶ線が現実空間、及び現実空間に重畳された仮想オブジェクトのいずれかに交わる交を3次元座標として画像処理部110bに出力する。画像処理部110bは、この3次元座標に基づき、マーク点E5を現実空間、又は現実空間に重畳された仮想オブジェクトに重畳する。

0045

図11は、現実空間上のマーク点E5と、確定点であることを示すマークE6を示す図である。図11に示すように、画像処理部110bは、位置が確定すると、マークE6を現実空間画像に重畳する。

0046

図12は、仮想オブジェクト上のマーク点E1と現実空間上のマーク点E5との間の距離E7を示す図である。図12に示すように、画像認識処理部108bは、2点の位置が確定すると、2点間の距離E7を演算し、画像処理部110bに出力する。画像処理部110bは、距離E7を示す情報を現実空間画像に重畳する。このように、仮想オブジェクト上のマーク点E1と現実空間上のマーク点E5との間の距離を取得できるので、現実空間の寸法が設計図とずれている場合などにも、正確な距離情報を取得できる。これにより、設計情報をより正確に修正することが可能となる。

0047

例えば、頭部装着映像部10を操作者が装着した状態で、設計支援ツールを用いて設計部材を生成し、設計用の3次元モデル空間に設計部材を配置する際に、画像認識処理部108bが取得した、仮想オブジェクト上のマーク点E1と現実空間上のマーク点E5との間の距離を用いることが可能となる。このように、設計部20は、画像認識処理部108bにより取得された距離情報を用いて前記3次元モデル空間に設計部材を配置することも可能である。

0048

図13図17に基づき、設計部材MV2における仮想オブジェクトの自由移動処理を説明する。
図13は、現実空間に重畳された設計部材MV2における仮想オブジェクトZMV2の配置点であるマーク点E8を示す図である。図13に示すように、画像認識処理部108bは、使用者の視点位置と認識した指先とを結ぶ線が現実空間と交わる交点を3次元座標として画像処理部110bに出力する。画像処理部110bは、この3次元座標に基づき、マーク点E8を現実空間、又は現実空間に重畳された仮想オブジェクトに重畳する。

0049

図14は、現実空間に重畳された設計部材MV2の仮想オブジェクトZMV2を示す図である。図14に示すように、画像処理部110bは、例えばマーク点E8に仮想オブジェクトZMV2の底面の中心座標を合わせて配置する。

0050

図15は、現実空間に重畳された仮想オブジェクトZMV2の移動を示す図である。図15に示すように、画像処理部110bは、仮想オブジェクトZMV2の位置を操作者の指示する方向に向けて変更し、時系列に現実空間に重畳する。これらから分かるように、仮想オブジェクトの移動経路には障害物があり、指示方向では設計部材MV2の移動はできない。

0051

図16は、異なる位置に再配置された設計部材MV2の仮想オブジェクトZMV2を示す図である。マークEは、操作の指示する移動方向を示す。このように、操作者は設計部材MV2の移動方向を指示可能である。

0052

図17は、再配置された設計部材MV2の移動を示す図である。図16に示すように、仮想オブジェクトZMV2の移動経路には障害物がなく、指示方向に設計部材MV2を移動させることが可能である。このように、設計部材MV2の仮想オブジェクトZMV2を現実空間内の任意の位置に配置し、任意の移動方向に移動させることが可能である。これにより、設計部材MV2の移動が可能であるか否かを視覚により確認することが可能である。

0053

図18は、画像処理装置1における画像処理の流れを示すフローチャートの一例である。
図18に示すように、操作者は、属性情報付与部202により施工に用いる設計部材の属性情報を入力する(ステップS100)。操作者は、例えば表示部30に表示される3次元モデル空間内に、設計部材を配置する位置に対応する座標を入力操作部206により指示する。また、操作者は、例えば表示部30に表示される3次元CADモデルの一覧の中から設計部材を選択する。属性情報付与部202は、これらの情報を設計部材の属性情報として付与する。この際に、3次元モデル空間にマーカ40を配置する座標も設定される。

0054

次に、設計処理部204は、属性情報付与部202により付与された属性情報に基づき、設計部材を生成し、設計用の3次元モデル空間に配置する(ステップS102)。これらの設計部材は、例えば表示部30に表示され、操作者により視認される。

0055

次に、3次元モデル空間に設定されたマーカ40の座標に対応する現実空間の位置にマーカ40を配置し、カメラ102により撮像する(ステップS104)。続けて、位置合わせ部106aは、撮像されたたマーカ40の情報に基づき、3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う(ステップS106)。

0056

次に、3次元空間認識処理部108cは、カメラ102が撮像した画像データから自然特徴点を取得し(ステップS108)、ランドマークデータと自然特徴点との対応関係に基づき、頭部装着映像部10の位置姿勢を推定する(ステップS110)。

0057

次に、変換部106bは、設計処理部204により生成された設計部材の情報を仮想オブジェクトに変換する。これにより、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトが3次元モデル空間内に配置される。続けて、画像処理部110bは、位置姿勢の推定結果に基づき、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを重畳する(ステップS112)。

0058

制御部110aは、画像処理制御を継続する否かを判断する(ステップS114)。画像処理制御を継続する場合(ステップS114のNO)、ステップS108からの処理を繰り返す。一方、画像処理制御を終了する場合(ステップS114のYES)、全体処理を終了する。

0059

以上のように、本実施形態によれば、位置合わせ部106aが、設計部材に基づき生成された仮想オブジェクトを配置する3次元モデル空間の座標と、現実空間の座標との位置合わせを行い、画像処理部110bが、位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される仮想オブジェクトの画像を生成する。これにより、現実空間画像に設計部材に基づき生成された仮想オブジェクトを重畳表示することが可能となり、設計部材を用いた施工結果を施工前に確認することができる。

0060

(第2実施形態)
第2実施形態に係る画像処理装置1は、属性情報付与部202が、更に複数の設計部材に工程順の情報を属性情報として付与することができる点で第1実施形態に係る画像処理装置1と相違する。以下では、第1実施形態と相違する点に関して説明する。

0061

図19は、第2実施形態に係る属性情報付与部202が設計部毎に工程順の情報を属性情報として付与した結果を示す図である。図19に示すように、本実施形態に係る属性情報付与部202は、工程順を更に属性情報として付与することができる。

0062

図20は、属性情報が2018/7/09が付与された設計部材A8、A9の仮想オブジェクトZA8、ZA9を現実空間画像に重畳表示した図である。
図21は、属性情報が2018/7/16が付与された設計部材A10、A11の仮想オブジェクトZA10、ZA11を現実空間画像に更に重畳表示した図である。
図22は、属性情報が2018/7/23が付与された設計部材A12、A13の仮想オブジェクトZA13、ZA13を現実空間画像に更に重畳表示した図である。

0063

図20〜22に示すように、画像処理部110bは、属性情報に従った順に仮想オブジェクトを現実空間画像に重畳表示する。また、画像処理部110bは、属性情報に対応する日付を示す画像を生成し現実空間画像に重畳表示する。

0064

図20に示すように、画像処理部110bは、属性情報に従った順に仮想オブジェクトを現実空間画像に重畳表示する。

0065

以上のように、本実施形態によれば、属性情報付与部202が設計部材毎に工程順の情報を属性情報として付与することとした。これにより、画像処理部110bは、属性情報に従った順に仮想オブジェクトを現実空間画像に重畳表示することができる。このように、現実空間画像に設計部材に基づき生成された仮想オブジェクトを工程順に重畳表示することが可能となり、設計部材を用いた施工過程を実施の施工前に確認することができる。

0066

本実施形態による画像処理装置1におけるデータ処理方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、データ処理方法の少なくとも一部の機能を実現するプログラムフレキシブルディスクCD−ROM等の記録媒体収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスク光ディスク等の着脱可能なものに限定されず、ハードディスク装置メモリなどの固定型の記録媒体でもよい。また、データ処理方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

0067

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

0068

1:画像処理装置、10:頭部装着映像部、20:設計部、30:表示部、40:マーカ、106a:位置合わせ部、106b:変換部、108:認識処理部、108b:画像認識処理部、110b:画像処理部、202:属性情報付与部、204:設計処理部、206:入力操作部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ