図面 (/)

技術 表示制御方法、情報処理装置および表示制御プログラム

出願人 富士通株式会社
発明者 古賀奨
出願日 2015年7月2日 (4年6ヶ月経過) 出願番号 2015-133642
公開日 2017年1月19日 (2年11ヶ月経過) 公開番号 2017-016465
状態 特許登録済
技術分野 イメージ処理・作成 スタジオ装置 デジタル計算機のユーザインターフェイス
主要キーワード 標準提供 基準物 動画合成 動画撮影状態 作業者端末 動画受信 オフライン環境 注意点
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

遠隔支援時における端末負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現する表示制御方法情報処理装置および表示制御プログラムを提供する。

解決手段

撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、基準物に対応づけて登録されたオブジェクトデータ重畳表示する表示制御方法において、複数フレームの画像を格納する第1のファイルを生成し、複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの識別情報と、フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成し、識別情報に基づいて複数フレームの画像とオブジェクトデータとの合成処理を実行する情報処理装置に、第1のファイルと第2のファイルを送信する、処理をコンピュータが実行する。

概要

背景

AR(Augmented Reality、拡張現実)技術を用い、移動端末カメラにより取得された現実空間の画像から所定のマーカを検出し、そのマーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている(例えば、特許文献1等を参照。)。

このような技術の用途の一つとして、プラントビル等の設備点検作業等において、設備の所定箇所に予め貼り付けられたARマーカ(基準物)に基づき、所定の手順等が定められていることを示すARコンテンツオブジェクトカメラ画像に重畳して表示し、作業を支援することが行われている。作業者は、オブジェクトの示す手順等の詳細を知りたい場合、オブジェクトを選択して確定する操作を行うことで、作業時の注意事項や設備の詳細情報等が表示される。

更に、作業者による現場での作業が適正に行われているかを遠隔オフィスにいる管理者がチェックして適切な支援(遠隔支援)が行えるように、作業者の端末においてカメラの画像を録画し、動画ファイルサーバに送信し、管理者がサーバから動画ファイルを受信して確認することも行われている。なお、動画ファイルとしているのは、作業の現場はデータ通信が行えないオフライン環境であることが多いため、作業中は録画を行い、作業後にデータ通信が行えるオンライン環境に入った場合にまとめて送信を行えるようにするためである。

概要

遠隔支援時における端末の負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現する表示制御方法情報処理装置および表示制御プログラムを提供する。撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、基準物に対応づけて登録されたオブジェクトデータ重畳表示する表示制御方法において、複数フレームの画像を格納する第1のファイルを生成し、複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの識別情報と、フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成し、識別情報に基づいて複数フレームの画像とオブジェクトデータとの合成処理を実行する情報処理装置に、第1のファイルと第2のファイルを送信する、処理をコンピュータが実行する。

目的

そこで、一側面では、遠隔支援時における端末の負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現することのできる技術の提供を目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータ重畳表示する表示制御方法において、前記複数フレームの画像を格納する第1のファイルを生成し、前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成し、前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、処理をコンピュータが実行することを特徴とする表示制御方法。

請求項2

前記第2のファイルの格納情報は、前記基準物の画像が含まれると判定されたフレーム内の前記オブジェクトデータの表示位置を含む、ことを特徴とする請求項1に記載の表示制御方法。

請求項3

前記第2のファイルの格納情報は、描画対象とならない前記オブジェクトデータの情報を含む、ことを特徴とする請求項1に記載の表示制御方法。

請求項4

撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御方法において、前記複数フレームの画像を格納する第1のファイルを生成し、前記複数オブジェクトデータの画像を格納する第2のファイルを生成し、前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、処理をコンピュータが実行することを特徴とする表示制御方法。

請求項5

撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する情報処理装置において、前記複数フレームの画像を格納する第1のファイルを生成する手段と、前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成する手段と、前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する手段と、を備えたことを特徴とする情報処理装置。

請求項6

撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する情報処理装置において、前記複数フレームの画像を格納する第1のファイルを生成する手段と、前記複数オブジェクトデータの画像を格納する第2のファイルを生成する手段と、前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する手段と、を備えたことを特徴とする情報処理装置。

請求項7

撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御プログラムにおいて、前記複数フレームの画像を格納する第1のファイルを生成し、前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成し、前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、処理をコンピュータに実行させる表示制御プログラム。

請求項8

撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御プログラムにおいて、前記複数フレームの画像を格納する第1のファイルを生成し、前記複数オブジェクトデータの画像を格納する第2のファイルを生成し、前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、処理をコンピュータに実行させる表示制御プログラム。

技術分野

0001

本発明は、表示制御方法情報処理装置および表示制御プログラムに関する。

背景技術

0002

AR(Augmented Reality、拡張現実)技術を用い、移動端末カメラにより取得された現実空間の画像から所定のマーカを検出し、そのマーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている(例えば、特許文献1等を参照。)。

0003

このような技術の用途の一つとして、プラントビル等の設備点検作業等において、設備の所定箇所に予め貼り付けられたARマーカ(基準物)に基づき、所定の手順等が定められていることを示すARコンテンツオブジェクトカメラ画像に重畳して表示し、作業を支援することが行われている。作業者は、オブジェクトの示す手順等の詳細を知りたい場合、オブジェクトを選択して確定する操作を行うことで、作業時の注意事項や設備の詳細情報等が表示される。

0004

更に、作業者による現場での作業が適正に行われているかを遠隔オフィスにいる管理者がチェックして適切な支援(遠隔支援)が行えるように、作業者の端末においてカメラの画像を録画し、動画ファイルサーバに送信し、管理者がサーバから動画ファイルを受信して確認することも行われている。なお、動画ファイルとしているのは、作業の現場はデータ通信が行えないオフライン環境であることが多いため、作業中は録画を行い、作業後にデータ通信が行えるオンライン環境に入った場合にまとめて送信を行えるようにするためである。

先行技術

0005

特開2012−103789号公報

発明が解決しようとする課題

0006

上述したように、作業の現場ではAR技術を用い、作業者はカメラの画像に重畳されて表示されるオブジェクトを確認しながら作業を行うものであるが、遠隔支援のために送信される画像ファイルにはAR技術により重畳されるオブジェクトは含まれていなかった。これは、端末においてカメラの画像とオブジェクトとを合成する処理の負荷が高く、動画のfps(frames per second)値が高い場合は端末における安定した動作が維持できなくなるからである。そのため、端末のOS(Android OS等)の提供する標準的な録画用メソッドサービス)を利用し、カメラの画像を録画して動画ファイルを生成して送信していた。

0007

そのため、遠隔のオフィスの管理者は、作業者が実際に見ている画像とは異なる画像を見ることとなり、オブジェクトにより作業手順注意点等が表示されていた場合に、それらを見ることができないため、適切なチェックや支援が行えないという問題があった。なお、動画ファイルのカメラの画像にはARマーカも含まれているため、画像からARマーカを抽出してオブジェクトを再現できるのではないかと思われるかもしれない。しかし、動画ファイルは伝送効率を向上させるために圧縮処理が行われているため、画質劣化によりARマーカを正確に認識することは困難であり、オブジェクトの正確な再現は困難である。

0008

そこで、一側面では、遠隔支援時における端末の負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現することのできる技術の提供を目的とする。

課題を解決するための手段

0009

一つの態様では、撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータ重畳表示する表示制御方法において、前記複数フレームの画像を格納する第1のファイルを生成し、前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成し、前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、処理をコンピュータが実行する。

発明の効果

0010

遠隔支援時における端末の負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現することができる。

図面の簡単な説明

0011

一実施形態にかかるシステムの構成例を示す図である。
作業者端末ソフトウェア構成例を示す図である。
遠隔支援サーバのソフトウェア構成例を示す図である。
作業者端末のハードウェア構成例を示す図である。
遠隔支援サーバの構成例を示す図である。
第1の処理例の概要を示す図である。
第1の処理例における作業者端末の保持するデータ例を示す図である。
第1の処理例における遠隔支援サーバの保持するデータ例を示す図である。
第1の処理例における作業者端末の処理例を示すフローチャートである。
第1の処理例における動画撮影処理の例を示すフローチャートである。
ARマーカの認識の例を示す図である。
第1の処理例における遠隔支援サーバの処理例を示すフローチャートである。
第2の処理例の概要を示す図である。
第2の処理例における作業者端末の保持するデータ例を示す図である。
第2の処理例における遠隔支援サーバの保持するデータ例を示す図である。
第2の処理例における作業者端末の処理例を示すフローチャートである。
第2の処理例における遠隔支援サーバの処理例を示すフローチャートである。
第3の処理例の概要を示す図である。
第3の処理例における作業者端末の保持するデータ例を示す図である。
第3の処理例における遠隔支援サーバの保持するデータ例を示す図である。
第3の処理例における動画撮影処理の例を示すフローチャートである。
第3の処理例における遠隔支援サーバの処理例を示すフローチャートである。

実施例

0012

以下、本発明の好適な実施形態につき説明する。

0013

<構成>
図1は一実施形態にかかるシステムの構成例を示す図である。図1において、作業現場では作業者が使用する作業者端末1のカメラ(撮像装置)により撮影(撮像)が行われるようになっている。撮影される視野内に設備等の各所に付されたARマーカ(基準物)Mが含まれる場合、AR技術により作業者に対してARコンテンツ(オブジェクト)の重畳表示が行われ、作業を支援する。また、作業者端末1は、作業中の撮影画像を録画し、オンライン時に動画ファイル等を遠隔支援サーバ2に送信する。

0014

遠隔支援サーバ2は、オンライン時に作業者端末1にAR表示のための基礎データを提供するとともに、作業者端末1から動画ファイル等を受信する。また、遠隔支援サーバ2は、作業者端末1から受信した動画ファイル等に基づいて、カメラ画像とARコンテンツの画像との合成を行い、合成された動画ファイルをオフィスにおいて管理者が使用する管理者端末3に提供する。

0015

図2は作業者端末1のソフトウェア構成例を示す図である。図2において、作業者端末1は、ARアプリケーション11により実現される機能として、ARコンテンツ生成部12と撮影部13とARマーカ認識部14とARコンテンツ表示部15と動画送信部16とを備えている。

0016

ARコンテンツ生成部12は、オンライン環境において遠隔支援サーバ2からAR表示のための基礎データを取得し、オフライン環境において表示に用いるARコンテンツを事前に生成する機能を有している。撮影部13は、カメラ機能により撮影を行い、録画が指示された場合は録画を伴う動画撮影を行う機能を有している。ARマーカ認識部14は、撮影された画像中からARマーカを認識(ARマーカの特定および配置の認識等)する機能を有している。ARコンテンツ表示部15は、認識されたARマーカに対応するARコンテンツをカメラの画像に重畳して表示する機能を有している。動画送信部16は、録画した動画ファイル等を遠隔支援サーバ2に送信する機能を有している。

0017

図3は遠隔支援サーバ2のソフトウェア構成例を示す図である。図3において、遠隔支援サーバ2は、ARコンテンツ情報提供部21と動画受信部22と動画合成部23と動画送信部24とを備えている。

0018

ARコンテンツ情報提供部21は、作業者端末1からの要求に応じてAR表示のための基礎データ(ARコンテンツ情報)を提供する機能を有している。動画受信部22は、作業者端末1から動画ファイル等を受信する機能を有している。動画合成部23は、作業者端末1から受信した動画ファイル等に基づいて、カメラの画像とARコンテンツの画像との合成を行う機能を有している。動画送信部24は、合成された動画ファイルをオフィスの管理者端末3に送信(管理者端末3からの要求を待って送信等)する機能を有している。

0019

図4は作業者端末1のハードウェア構成例を示す図である。図4において、作業者端末1は、バス100に接続された、マイク101とスピーカ102とカメラ103と表示部104と操作部105とセンサ部106と電力部107と無線部108と近距離通信部109と補助記憶装置110と主記憶装置111とCPU112とドライブ装置113と記録媒体114とを備えている。

0020

マイク101は、ユーザが発した音声や、その他の音を入力する。スピーカ102は、通話機能を使用した際の通話相手先の音声を出力したり、着信音やアプリケーションの効果音等を出力する。カメラ103は、端末に予め設定された画角内の実空間の画像(動画像静止画像)を撮影する。表示部104は、ユーザに対してOSや各種アプリケーションで設定された画面(端末のOSが標準提供する画面、カメラで撮影した画像、画面に投影されるARのオブジェクトデータ等)を表示する。表示部104の画面はタッチパネルディスプレイ等でもよく、その場合はユーザが画面に対してタップフリックスクロール等を行った際にその入力情報を取得する入力部としての機能も有する。

0021

操作部105は、表示部104の画面に表示された操作ボタンや、端末の外部に設けられたボタン等である。なお、操作ボタンは電源ボタンやホームボタン音量調節ボタン、戻るボタン等でもよい。センサ部106は、端末のある時点または継続的な位置や向き、動作等を検出する。例として、GPS、加速度センサ方位センサ地磁気センサジャイロセンサ等が挙げられる。電力部107は、端末の各部に対して電力を供給する。無線部108は、例えば、基地局(モバイルネットワーク)からの無線信号通信データをアンテナ等を用いて受信したり、無線信号を基地局に送信する通信データの送受信部である。近距離通信部109は、例えば、赤外線通信やWiFi、Bluetooth(登録商標)等の近距離通信手法を利用し、他の端末等のコンピュータと近距離通信を行うことを可能とする。

0022

補助記憶装置110は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージである。CPU112からの制御信号に基づき、アプリケーションプログラムやコンピュータに設けられた制御プログラム等を記録し、必要に応じて入出力を行う。主記憶装置111は、CPU112からの指示により補助記憶装置110から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。CPU112は、OS等の制御プログラム、または主記憶装置に格納されている実行プログラムに基づき、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することにより、各処理を実現する。ドライブ装置113は、例えば、記憶媒体等を着脱自在にセットでき、セットした記録媒体に記録された各種情報を読み込んだり、所定の情報を記録媒体に書き込むことができる。記録媒体114は、実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。図2に示した作業者端末1の各部の機能はCPU112によるプログラムの実行により実現される。プログラムは記録媒体で提供されてもよいし、ネットワーク経由で提供されてもよい。

0023

図5は遠隔支援サーバ2の構成例を示す図である。図5において、遠隔支援サーバ2は、システムバス201に接続されたCPU(Central Processing Unit)202、ROM(Read Only Memory)203、RAM(Random Access Memory)204、NVRAM(Non-Volatile Random Access Memory)205を備えている。また、遠隔支援サーバ2は、I/F(Interface)206と、I/F206に接続された、I/O(Input/Output Device)207、HDD(Hard Disk Drive)/フラッシュメモリ208、NIC(Network Interface Card)209と、I/O207に接続されたモニタ210、キーボード211、マウス212等を備えている。I/O207にはCD/DVD(Compact Disk/Digital Versatile Disk)ドライブ等を接続することもできる。図3に示した遠隔支援サーバ2の各部の機能はCPU202によるプログラムの実行により実現される。プログラムは記録媒体で提供されてもよいし、ネットワーク経由で提供されてもよい。

0024

<第1の処理例>
図6は第1の処理例の概要を示す図である。図6において、作業現場の作業者端末1は、作業の過程におけるカメラ動画のファイルとARマーカ認識情報のファイルを生成し、オンライン時に遠隔支援サーバ2に送信する。遠隔支援サーバ2は、作業者端末1から受信したファイルに基づき、カメラ画像とARコンテンツの画像との合成を行い、合成動画のファイルをオフィスにおいて管理者が使用する管理者端末3に提供する。

0025

図7は第1の処理例における作業者端末1の保持するデータ例を示す図である。図7において、作業者端末1は、遠隔支援サーバ2から取得した情報に基づくARコンテンツ管理テーブルと、作業者端末1内で生成するARマーカ認識情報管理テーブル、カメラ動画管理テーブルおよび動画撮影状態管理テーブルとを保持している。

0026

ARコンテンツ管理テーブルは、ARマーカ毎に表示するARコンテンツの情報を管理するためのテーブルであり、「マーカID」「ARコンテンツID」「座標値」「回転角度」「拡縮率」「テクスチャパス」等の項目を含んでいる。「マーカID」は、ARマーカを識別する情報である。「ARコンテンツID」は、ARコンテンツを識別する情報である。「座標値」は、ARコンテンツを表示する位置(認識されたARマーカの位置との相対値)である。「回転角度」は、ARコンテンツを表示する際に画像を回転する角度である。「拡縮率」は、ARコンテンツを表示する際に画像を拡大・縮小する比率である。「テクスチャパス」は、ARコンテンツの画像が保存されているパスである。

0027

ARマーカ認識情報管理テーブルは、認識されたARマーカの情報を保持するためのテーブルであり、「合成対象動画ID」「フレームID」「マーカID」「認識情報」等の項目を含んでいる。「合成対象動画ID」は、ARマーカに対応するARコンテンツを合成する対象となるカメラ動画を識別する情報である。「フレームID」は、ARマーカに対応するARコンテンツを表示するカメラ画像のフレームを識別する、連番またはフレーム毎タイムスタンプ等の情報である。「マーカID」は、認識されたARマーカを識別する情報である。「認識情報」は、ARマーカの認識情報であり、カメラで撮影されたARマーカの傾きや回転角度等を示す情報である。「−」はARマーカの認識情報の取得に失敗し、認識情報が存在しないことを示している。

0028

カメラ動画管理テーブルは、カメラ動画を管理するためのテーブルであり、「カメラ動画ID」「ファイル名」等の項目を含んでいる。「カメラ動画ID」は、カメラ動画を識別する情報である。「ファイル名」は、カメラ動画のファイル名である。

0029

動画撮影状態管理テーブルは、カメラによる動画の撮影状態を管理するテーブルであり、「動画撮影状態」等の項目を含んでいる。「動画撮影状態」は、「true」(動画撮影中)か「false」(動画撮影停止中)となる。

0030

図8は第1の処理例における遠隔支援サーバ2の保持するデータ例を示す図である。図8において、遠隔支援サーバ2は、自ら保持して作業者端末1に提供するARコンテンツ管理テーブルと、作業者端末1からARマーカ認識情報として取得した情報に基づくARマーカ認識情報管理テーブルおよびカメラ動画管理テーブルとを保持している。ARコンテンツ管理テーブル、ARマーカ認識情報管理テーブルおよびカメラ動画管理テーブルの内容は図7に示したのと同様である。

0031

図9は第1の処理例における作業者端末1の処理例を示すフローチャートであり、図10は第1の処理例における動画撮影処理の例を示すフローチャートである。

0032

図9において、作業者端末1は、処理を開始すると、ARアプリケーション11を起動する(ステップS101)。ARアプリケーション11は、起動に際し、カメラ機能も起動し、撮影部13により録画を伴わない通常の撮影を開始する。

0033

起動したARアプリケーション11のARコンテンツ生成部12は、オンライン環境である場合、最新のARコンテンツ情報(ARコンテンツ管理テーブル)等を遠隔支援サーバ2から取得し(ステップS102)、ARコンテンツを生成する(ステップS103)。オンライン環境でない場合、ARコンテンツ生成部12は、以前に取得されているARコンテンツ情報があれば、それに基づいてARコンテンツを生成する。

0034

次いで、ARマーカ認識部14は、撮影画像の中にARマーカ(基準物)を認識するのを待機する(ステップS104)。図11はARマーカの認識の例を示す図である。すなわち、ARマーカ認識部14は、撮影画像内からARマーカMを輪郭により捕捉した上で、輪郭の内部に記録されたパターンによりARマーカIDを特定する。そして、ARマーカMの画像の歪みにより、ARマーカMの3次元的な配置(ARマーカMの傾きや回転角度等)を認識する。

0035

図9戻り、ARマーカを認識した場合(ステップS104のYes)、ARコンテンツ表示部15は、ARマーカに対応する既に生成済のARコンテンツを撮影画像に重畳して表示する(ステップS105)。

0036

次いで、撮影部13は、動画撮影処理を行う(ステップS106)。動画撮影処理の詳細について、図10に沿って説明する。

0037

図10において、撮影部13は、動画撮影中であるか否かを動画撮影状態管理テーブルから判断し(ステップS111)、処理を分岐する。

0038

動画撮影中でない場合(ステップS111のNo)、撮影部13は、作業者から動画撮影開始の入力があるか否か判断し(ステップS112)、動画撮影開始の入力がある場合(ステップS112のYes)、カメラビューの動画撮影を開始し(ステップS113)、処理を終了する。動画撮影開始の入力がない場合(ステップS112のNo)、撮影部13は、処理を終了する。

0039

動画撮影中である場合(ステップS111のYes)、撮影部13は、作業者から動画撮影停止の入力があるか否か判断する(ステップS114)。動画撮影停止の入力がある場合(ステップS114のYes)、カメラビューの撮影を停止し、所定のファイル名を付して動画を保存し(ステップS115)、処理を終了する。保存したカメラ動画ファイルは、後にオンライン環境になった場合に、作業者の確認のもと、動画送信部16により、ARマーカ認識情報とともに遠隔支援サーバ2に送信される。

0040

動画撮影停止の入力がない場合(ステップS114のNo)、撮影部13は、ARマーカの認識情報があるか否か判断する(ステップS116)。ARマーカの認識情報がある場合(ステップS116のYes)、撮影部13は、カメラビューの現フレームに対応するようにARマーカ認識情報を保存する(ステップS117)。

0041

図9に戻り、上述した動画撮影処理の後、または、ARマーカを認識しなかった場合(ステップS104のNo)、ARアプリケーション11の終了の判断(ステップS107)に移行する。

0042

ARアプリケーション11が終了しない場合(ステップS107のNo)、ARマーカ認識の判断(ステップS104)に戻る。ARアプリケーション11が終了する場合(ステップS107のYes)、ARアプリケーション11を終了する(ステップS108)。

0043

図12は第1の処理例における遠隔支援サーバ2の処理例を示すフローチャートである。図12において、遠隔支援サーバ2は、処理を開始すると、サーバ(サーバ機能)を起動する(ステップS121)。

0044

次いで、動画合成部23は、作業者端末1から動画等(カメラ動画、ARマーカ認識情報)のデータを受信したか否か判断する(ステップS122)。

0045

動画等のデータを受信した場合(ステップS122のYes)、動画合成部23は、合成対象のカメラ動画とARマーカ認識情報があるか否か判断する(ステップS123)。

0046

合成対象のカメラ動画とARマーカ認識情報がある場合(ステップS123のYes)、動画合成部23は、カメラ動画をフレームに分解し(ステップS124)、ARマーカ認識情報に基づいてARコンテンツを生成する(ステップS125)。そして、動画合成部23は、ARマーカ認識情報のフレームIDをもとにカメラ動画のフレーム毎にARコンテンツを合成する(ステップS126)。そして、動画合成部23は、合成したフレームを動画化する(ステップS127)。動画化されたファイルは管理者端末3からの要求に応じて配信され、管理者端末3において閲覧される。

0047

上記の動画合成処理の後、または、動画等のデータを受信していない場合(ステップS122のNo)もしくは合成対象のカメラ動画とARマーカ認識情報がない場合(ステップS123のNo)、サーバの終了の判断(ステップS128)に移行する。

0048

サーバが終了しない場合(ステップS128のNo)、動画等のデータの受信の判断(ステップS122)に戻る。サーバが終了する場合(ステップS128のYes)、サーバを終了する(ステップS129)。

0049

なお、上述した処理例では、作業者端末1から遠隔支援サーバ2に送信されるARマーカ認識情報(ARマーカ認識情報管理テーブルの内容)にARコンテンツ(オブジェクト)の画像データそのものは含まれておらず、ARコンテンツIDが間接的に画像データを示すが、ARコンテンツの画像データそのものを含めてもよい。また、ARマーカ認識情報の認識情報が間接的にARコンテンツの表示位置を示すが、表示位置そのものをARマーカ認識情報に含めてもよい。

0050

以上説明したように、作業者端末1はカメラ動画とARマーカ認識情報を遠隔支援サーバ2に送信するだけでよいため、処理負荷が問題となることはない。また、遠隔支援サーバ2は、ARマーカ認識情報に基づいて正確にARコンテンツを生成することができ、作業者が見ているのと同じタイミングでカメラ動画にARコンテンツを合成することができる。その結果、管理者端末3で閲覧する管理者は、作業者と同じ動画を見ることができ、適切な遠隔支援を行うことができる。

0051

<第2の処理例>
図13は第2の処理例の概要を示す図である。図13において、作業現場の作業者端末1は、作業の過程におけるカメラ動画のファイルと、ARコンテンツ描画有無情報(カメラ動画のフレーム単位に、ARマーカに対応するARコンテンツが表示されるか否かを示す情報)を含むARマーカ認識情報のファイルとを生成し、オンライン時に遠隔支援サーバ2に送信する。遠隔支援サーバ2は、作業者端末1から受信したファイルに基づき、カメラ画像とARコンテンツの画像との合成を行い、合成動画のファイルをオフィスにおいて管理者が使用する管理者端末3に提供する。

0052

図14は第2の処理例における作業者端末1の保持するデータ例を示す図である。図14において、作業者端末1は、遠隔支援サーバ2から取得した情報に基づくARコンテンツ管理テーブルと、作業者端末1内で生成するARマーカ認識情報管理テーブル、カメラ動画管理テーブルおよび動画撮影状態管理テーブルとを保持している。

0053

ARコンテンツ管理テーブルとカメラ動画管理テーブルと動画撮影状態管理テーブルは、図7に示したものと同様である。ARマーカ認識情報管理テーブルは、「非描画対象ARコンテンツID」の項目が加わった以外は図7に示したものと同様である。「非描画対象ARコンテンツID」は、カメラ動画のフレームIDに対応して、マーカIDの示すARマーカに対応するARコンテンツのうちで描画対象とならないARコンテンツを識別する情報である。これは、カメラ画像の中にARコンテンツが含まれないことにより描画対象とならない場合のほか、GPSやビーコンによる位置情報方位情報に基づいてAR表示を行う場合に、それらの機能がオフとされていることによりAR表示そのものが行われないために描画対象とならない場合も含む。

0054

図15は第2の処理例における遠隔支援サーバ2の保持するデータ例を示す図である。図15において、遠隔支援サーバ2は、自ら保持して作業者端末1に提供するARコンテンツ管理テーブルと、作業者端末1からARマーカ認識情報として取得した情報に基づくARマーカ認識情報管理テーブルおよびカメラ動画管理テーブルとを保持している。ARコンテンツ管理テーブル、ARマーカ認識情報管理テーブルおよびカメラ動画管理テーブルの内容は図14に示したのと同様である。

0055

図16は第2の処理例における作業者端末1の処理例を示すフローチャートである。図16において、作業者端末1は、処理を開始すると、ARアプリケーション11を起動する(ステップS201)。ARアプリケーション11は、起動に際し、カメラ機能も起動し、撮影部13により録画を伴わない通常の撮影を開始する。

0056

起動したARアプリケーション11のARコンテンツ生成部12は、オンライン環境である場合、最新のARコンテンツ情報(ARコンテンツ管理テーブル)等を遠隔支援サーバ2から取得し(ステップS202)、ARコンテンツを生成する(ステップS203)。オンライン環境でない場合、ARコンテンツ生成部12は、以前に取得されているARコンテンツ情報があれば、それに基づいてARコンテンツを生成する。

0057

次いで、ARマーカ認識部14は、撮影画像の中にARマーカ(基準物)を認識するのを待機する(ステップS204)。

0058

次いで、ARマーカを認識した場合(ステップS204のYes)、ARコンテンツ表示部15は、ARマーカに対応する既に生成済のARコンテンツを撮影画像に重畳して表示する(ステップS205)。

0059

次いで、ARコンテンツ表示部15は、カメラ画像の中にARコンテンツが含まれないか、あるいは、GPSやビーコンによる位置情報・方位情報に基づいてAR表示を行う場合にそれらの機能がオフとされていることによりAR表示が行われないかに基づき、ARコンテンツ描画有無情報(フレーム単位の非描画対象ARコンテンツID)を保存する(ステップS206)。

0060

次いで、撮影部13は、動画撮影処理を行う(ステップS207)。動画撮影処理の内容は図10に示したのと同様である。

0061

次いで、動画撮影処理の後、または、ARマーカを認識しなかった場合(ステップS204のNo)、ARアプリケーション11の終了の判断(ステップS208)に移行する。

0062

ARアプリケーション11が終了しない場合(ステップS208のNo)、ARマーカ認識の判断(ステップS204)に戻る。ARアプリケーション11が終了する場合(ステップS208のYes)、ARアプリケーション11を終了する(ステップS209)。

0063

図17は第2の処理例における遠隔支援サーバ2の処理例を示すフローチャートである。図17において、遠隔支援サーバ2は、処理を開始すると、サーバ(サーバ機能)を起動する(ステップS221)。

0064

次いで、動画合成部23は、作業者端末1から動画等(カメラ動画、ARマーカ認識情報)のデータを受信したか否か判断する(ステップS222)。

0065

動画等のデータを受信した場合(ステップS222のYes)、動画合成部23は、合成対象のカメラ動画とARマーカ認識情報があるか否か判断する(ステップS223)。

0066

合成対象のカメラ動画とARマーカ認識情報がある場合(ステップS223のYes)、動画合成部23は、カメラ動画をフレームに分解し(ステップS224)、ARマーカ認識情報に基づいてARコンテンツを生成する(ステップS225)。この際、ARコンテンツ描画有無情報(フレーム単位の非描画対象ARコンテンツID)に基づいて描画対象として有効でないARコンテンツについては生成しない。

0067

次いで、動画合成部23は、ARマーカ認識情報のフレームIDをもとにカメラ動画のフレーム毎に、ARコンテンツ描画有無情報に基づいて描画対象として有効なARコンテンツを合成する(ステップS226)。そして、動画合成部23は、合成したフレームを動画化する(ステップS227)。動画化されたファイルは管理者端末3からの要求に応じて配信され、管理者端末3において閲覧される。

0068

上記の動画合成処理の後、または、動画等のデータを受信していない場合(ステップS222のNo)もしくは合成対象のカメラ動画とARマーカ認識情報がない場合(ステップS223のNo)、サーバの終了の判断(ステップS228)に移行する。

0069

サーバが終了しない場合(ステップS228のNo)、動画等のデータの受信の判断(ステップS222)に戻る。サーバが終了する場合(ステップS228のYes)、サーバを終了する(ステップS229)。

0070

以上説明したように、作業者端末1はカメラ動画とARマーカ認識情報を遠隔支援サーバ2に送信するだけでよいため、処理負荷が問題となることはない。また、遠隔支援サーバ2は、ARマーカ認識情報に基づいて正確にARコンテンツを生成することができ、作業者が見ているのと同じタイミングでカメラ動画にARコンテンツを生成することができる。その結果、管理者端末3で閲覧する管理者は、作業者と同じ動画を見ることができ、適切な遠隔支援を行うことができる。更に、ARコンテンツ描画有無情報に基づいて無駄なARコンテンツの生成および合成を省略でき、遠隔支援サーバ2における処理負荷を低減することができる。

0071

<第3の処理例>
図18は第3の処理例の概要を示す図である。図18において、作業現場の作業者端末1は、作業の過程におけるカメラ動画のファイルとARコンテンツ動画のファイルを生成し、オンライン時に遠隔支援サーバ2に送信する。遠隔支援サーバ2は、作業者端末1から受信したファイルに基づき、カメラ動画とARコンテンツ動画の合成を行い、合成動画のファイルをオフィスにおいて管理者が使用する管理者端末3に提供する。

0072

図19は第3の処理例における作業者端末1の保持するデータ例を示す図である。図19において、作業者端末1は、遠隔支援サーバ2から取得した情報に基づくARコンテンツ管理テーブルと、作業者端末1内で生成するカメラ動画管理テーブル、ARコンテンツ動画管理テーブルおよび動画撮影状態管理テーブルとを保持している。

0073

ARコンテンツ管理テーブルと動画撮影状態管理テーブルは、図7に示したものと同様である。カメラ動画管理テーブルは、「合成対象動画ID」の項目が追加された以外は図7に示したものと同様である。「合成対象動画ID」は、カメラ動画を合成する対象となるARコンテンツ動画を識別する情報である。

0074

ARコンテンツ動画管理テーブルは、ARコンテンツ動画を管理するテーブルであり、「ARコンテンツ動画ID」「ファイル名」「合成対象動画ID」等の項目を含んでいる。「ARコンテンツ動画ID」は、ARコンテンツ動画を識別する情報である。「ファイル名」は、ARコンテンツ動画のファイル名である。「合成対象動画ID」は、ARコンテンツ動画を合成する対象となるカメラ動画を識別する情報である。

0075

図20は第3の処理例における遠隔支援サーバ2の保持するデータ例を示す図である。図20において、遠隔支援サーバ2は、自ら保持して作業者端末1に提供するARコンテンツ管理テーブルと、作業者端末1から取得したカメラ動画とARコンテンツ動画の付随情報に基づくカメラ動画管理テーブルおよびARコンテンツ動画管理テーブルとを保持している。ARコンテンツ管理テーブル、カメラ動画管理テーブルおよびARコンテンツ動画管理テーブルの内容は図19に示したのと同様である。

0076

第3の処理例における作業者端末1の主たる処理は、動画撮影処理を除き、図9と同様である。

0077

図21は第3の処理例における動画撮影処理の例を示すフローチャートである。図21において、撮影部13は、動画撮影中であるか否かを動画撮影状態管理テーブルから判断し(ステップS311)、処理を分岐する。

0078

動画撮影中でない場合(ステップS311のNo)、撮影部13は、作業者から動画撮影開始の入力があるか否か判断し(ステップS312)、動画撮影開始の入力がある場合(ステップS312のYes)、ARビュー(ARコンテンツ画像)とカメラビューの動画撮影を開始し(ステップS313)、処理を終了する。動画撮影開始の入力がない場合(ステップS312のNo)、撮影部13は、処理を終了する。

0079

動画撮影中である場合(ステップS311のYes)、撮影部13は、作業者から動画撮影停止の入力があるか否か判断する(ステップS314)。動画撮影停止の入力がない場合(ステップS314のNo)、撮影部13は、処理を終了する。

0080

動画撮影停止の入力がある場合(ステップS314のYes)、撮影部13は、ARビューとカメラビューの撮影を停止し、所定のファイル名を付して動画を保存し(ステップS315)、処理を終了する。保存したカメラ動画ファイルとARコンテンツ動画ファイルは、後にオンライン環境になった場合に、作業者の確認のもと、動画送信部16により、遠隔支援サーバ2に送信される。

0081

図22は第3の処理例における遠隔支援サーバ2の処理例を示すフローチャートである。図22において、遠隔支援サーバ2は、処理を開始すると、サーバ(サーバ機能)を起動する(ステップS321)。

0082

次いで、動画合成部23は、作業者端末1から動画等(カメラ動画、ARコンテンツ動画)のデータを受信したか否か判断する(ステップS322)。

0083

動画等のデータを受信した場合(ステップS322のYes)、動画合成部23は、合成対象の動画があるか否か判断する(ステップS323)。

0084

合成対象の動画がある場合(ステップS323のYes)、動画合成部23は、動画をフレームに分解し(ステップS324)、フレームIDをもとにカメラ動画のフレームとARコンテンツ動画のフレームを合成する(ステップS325)。そして、動画合成部23は、合成したフレームを動画化する(ステップS326)。動画化されたファイルは管理者端末3からの要求に応じて配信され、管理者端末3において閲覧される。

0085

上記の動画合成処理の後、または、動画等のデータを受信していない場合(ステップS322のNo)もしくは合成対象の動画がない場合(ステップS323のNo)、サーバの終了の判断(ステップS327)に移行する。

0086

サーバが終了しない場合(ステップS327のNo)、動画等のデータの受信の判断(ステップS322)に戻る。サーバが終了する場合(ステップS327のYes)、サーバを終了する(ステップS328)。

0087

以上説明したように、作業者端末1はカメラ動画とARコンテンツ動画を合成することなく遠隔支援サーバ2に送信するだけでよいため、処理負荷が問題となることはない。また、遠隔支援サーバ2は、カメラ動画とARコンテンツ動画を合成することで、作業者が見ているのと同じ動画を生成することができる。その結果、管理者端末3で閲覧する管理者は、作業者と同じ動画を見ることができ、適切な遠隔支援を行うことができる。

0088

総括
以上説明したように、本実施形態によれば、遠隔支援時における端末の負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現することができる。

0089

以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。

0090

カメラ103は「撮像装置」の一例である。ARマーカは「基準物」の一例である。
カメラ動画ファイルは「第1のファイル」の一例である。フレームIDは「フレームの識別情報」の一例である。ARコンテンツ動画ファイルは「第2のファイル」の一例である。ARマーカ認識情報管理テーブル(図7)のマーカIDは「オブジェクトデータ」の一例である。遠隔支援サーバ2は「情報処理装置」の一例である。

0091

以上の説明に関し、更に以下の項を開示する。
(付記1)撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御方法において、
前記複数フレームの画像を格納する第1のファイルを生成し、
前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成し、
前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、
処理をコンピュータが実行することを特徴とする表示制御方法。
(付記2) 前記第2のファイルの格納情報は、前記基準物の画像が含まれると判定されたフレーム内の前記オブジェクトデータの表示位置を含む、
ことを特徴とする付記1に記載の表示制御方法。
(付記3) 前記第2のファイルの格納情報は、描画対象とならない前記オブジェクトデータの情報を含む、
ことを特徴とする付記1に記載の表示制御方法。
(付記4) 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御方法において、
前記複数フレームの画像を格納する第1のファイルを生成し、
前記複数オブジェクトデータの画像を格納する第2のファイルを生成し、
前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、
処理をコンピュータが実行することを特徴とする表示制御方法。
(付記5) 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する情報処理装置において、
前記複数フレームの画像を格納する第1のファイルを生成する手段と、
前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成する手段と、
前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する手段と、
を備えたことを特徴とする情報処理装置。
(付記6) 前記第2のファイルの格納情報は、前記基準物の画像が含まれると判定されたフレーム内の前記オブジェクトデータの表示位置を含む、
ことを特徴とする付記5記載の情報処理装置。
(付記7) 前記第2のファイルの格納情報は、描画対象とならない前記オブジェクトデータの情報を含む、
ことを特徴とする付記5記載の情報処理装置。
(付記8) 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する情報処理装置において、
前記複数フレームの画像を格納する第1のファイルを生成する手段と、
前記複数オブジェクトデータの画像を格納する第2のファイルを生成する手段と、
前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する手段と、
を備えたことを特徴とする情報処理装置。
(付記9) 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御プログラムにおいて、
前記複数フレームの画像を格納する第1のファイルを生成し、
前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第2のファイルを生成し、
前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、
処理をコンピュータに実行させる表示制御プログラム。
(付記10) 前記第2のファイルの格納情報は、前記基準物の画像が含まれると判定されたフレーム内の前記オブジェクトデータの表示位置を含む、
付記9記載の表示制御プログラム。
(付記11) 前記第2のファイルの格納情報は、描画対象とならない前記オブジェクトデータの情報を含む、
付記9記載の表示制御プログラム。
(付記12) 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御プログラムにおいて、
前記複数フレームの画像を格納する第1のファイルを生成し、
前記複数オブジェクトデータの画像を格納する第2のファイルを生成し、
前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第1のファイルと前記第2のファイルを送信する、
処理をコンピュータに実行させる表示制御プログラム。

0092

1作業者端末
11 ARアプリケーション
12 ARコンテンツ生成部
13撮影部
14 ARマーカ認識部
15 ARコンテンツ表示部
16動画送信部
2遠隔支援サーバ
21 ARコンテンツ情報提供部
22動画受信部
23動画合成部
24 動画送信部
3 管理者端末

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ