図面 (/)

技術 表示制御装置および表示制御方法

出願人 三菱電機株式会社
発明者 川浦健央加島隆博
出願日 2017年2月3日 (2年2ヶ月経過) 出願番号 2017-533368
公開日 2019年2月14日 (2ヶ月経過) 公開番号 WO2018-142580
状態 特許登録済
技術分野 測量一般 航行(Navigation) デジタル計算機のユーザインターフェイス
主要キーワード 誤差許容値 変化角度 二重積分 抽出誤り 複合回路 初期姿勢 現実映像 付加映像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年2月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題・解決手段

センサ(201)の検知情報から機器(200)の相対位置を自律航法により算出する相対位置算出部(101)と、撮像された映像フレーム三次元地図データとのマッチングを行い、機器の絶対位置を推定する絶対位置推定部(102)と、機器の絶対位置が推定された場合には、当該絶対位置を用いて機器の自己位置を推定し、機器の絶対位置が推定されなかった場合には、機器の相対位置を用いて機器の自己位置を推定する自己位置推定部(104)とを備える。

概要

背景

従来、現実映像バーチャル付加映像を加えて表示するAR技術を用いた表示制御装置が開発されている。AR技術を用いた表示制御装置は、センサから入力された信号に基づいて、表示デバイス等の機器の相対位置を自律航法で計算し、計算した機器の相対位置を、機器の絶対位置を用いて修正している。
例えば、特許文献1に開示された位置方位検出装置では、自律航法装置の位置方位検出誤差に基づいて機器に搭載されたカメラ撮像を指示し、当該指示に基づいて撮像された画像に含まれるマーク幾何形状に基づいた機器の相対位置と相対方位を算出し、位置情報方位情報、相対位置、および相対方位に基づいて、機器の絶対位置と絶対方位とを算出し、位置方位誤差が予め定められた閾値より大きい場合にカメラに撮像を指示するように構成している。

概要

センサ(201)の検知情報から機器(200)の相対位置を自律航法により算出する相対位置算出部(101)と、撮像された映像フレームと三次元地データとのマッチングを行い、機器の絶対位置を推定する絶対位置推定部(102)と、機器の絶対位置が推定された場合には、当該絶対位置を用いて機器の自己位置を推定し、機器の絶対位置が推定されなかった場合には、機器の相対位置を用いて機器の自己位置を推定する自己位置推定部(104)とを備える。

目的

この発明は、上記のような課題を解決するためになされたもので、マーカを設置することなく、自律航法で計算した機器の相対位置を機器の絶対位置を用いて修正し、機器の位置を推定することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

センサ検知情報から機器の相対位置を自律航法により算出する相対位置算出部と、撮像された映像フレーム三次元地図データとのマッチングを行い、機器の絶対位置を推定する絶対位置推定部と、前記絶対位置推定部が前記機器の絶対位置を推定した場合には、当該絶対位置を用いて前記機器の自己位置を推定し、前記絶対位置推定部が前記機器の絶対位置を推定しなかった場合には、前記相対位置算出部が算出した前記機器の相対位置を用いて前記機器の自己位置を推定する自己位置推定部とを備えた表示制御装置

請求項2

前記自己位置推定部が推定した前記機器の自己位置に基づいて、前記映像フレームに付加する付加映像を生成する付加情報生成部と、前記映像フレームに、前記付加情報生成部が生成した付加映像を重畳する重畳処理部とを備えたことを特徴とする請求項1記載の表示制御装置。

請求項3

前記絶対位置推定部は、前記映像フレーム内画像特徴点の数を計測し、前記自己位置推定部は、前記絶対位置推定部が計測した前記画像特徴点の数が予め設定した個数以上であった場合に、前記絶対位置推定部が推定した前記機器の絶対位置を用いて、前記機器の自己位置を推定することを特徴とする請求項1記載の表示制御装置。

請求項4

前記機器の周辺の明るさを示す照度情報を取得する照度情報取得部を備え、前記自己位置推定部は、前記照度情報取得部が取得した前記照度情報が、予め設定した照度以上であった場合に、前記絶対位置推定部が推定した前記機器の絶対位置を用いて、前記機器の自己位置を推定することを特徴とする請求項1記載の表示制御装置。

請求項5

前記相対位置算出部が算出した前記機器の相対位置および前記絶対位置推定部が推定した前記機器の絶対位置を適用するか否かを判断するための閾値を設定する閾値設定部を備え、前記自己位置推定部は、前記絶対位置推定部が前記機器の絶対位置を推定した場合、且つ今回推定された前記機器の絶対位置と、前回推定された前記機器の絶対位置との差分が、前記閾値設定部が設定した閾値以下であった場合に、今回推定された前記機器の絶対位置から前記機器の自己位置を推定し、前記絶対位置推定部が前記機器の絶対位置を推定しなかった場合、且つ前記相対位置算出部において今回算出された前記機器の相対位置と、前回算出された前記機器の相対位置との差分が、前記閾値設定部が設定した閾値以下であった場合に、今回算出された前記機器の相対位置から前記機器の自己位置を推定することを特徴とする請求項1記載の表示制御装置。

請求項6

前記相対位置算出部が前記相対位置を算出する処理に要した時間、および前記絶対位置推定部が前記絶対位置を推定する処理に要した時間を計数する処理時間計数部と、前記相対位置算出部が算出した相対位置、前記絶対位置推定部が推定した前記絶対位置、および前記映像フレームを一時格納し、前記処理時間計数部が計数した時間に基づいて、前記絶対位置を基準として、当該絶対位置に対応する相対位置を特定するバッファ制御部とを備えたことを特徴とする請求項1記載の表示制御装置。

請求項7

相対位置算出部は、センサの検知情報から機器の相対位置を自律航法により算出するステップと、絶対位置推定部は、撮像された映像フレームと三次元地図データとのマッチングを行い、機器の絶対位置を推定するステップと、自己位置推定部は、前記機器の絶対位置が推定された場合には、当該絶対位置を用いて前記機器の自己位置を推定し、前記機器の絶対位置が推定されなかった場合には、前記算出された前記機器の相対位置を用いて前記機器の自己位置を推定するステップとを備えた表示制御方法

技術分野

0001

この発明は、映像表示技術に関し、特にAR(Augmented Reality:AR(拡張現実))を用いて映像を表示する技術に関するものである。

背景技術

0002

従来、現実映像バーチャル付加映像を加えて表示するAR技術を用いた表示制御装置が開発されている。AR技術を用いた表示制御装置は、センサから入力された信号に基づいて、表示デバイス等の機器の相対位置を自律航法で計算し、計算した機器の相対位置を、機器の絶対位置を用いて修正している。
例えば、特許文献1に開示された位置方位検出装置では、自律航法装置の位置方位検出誤差に基づいて機器に搭載されたカメラ撮像を指示し、当該指示に基づいて撮像された画像に含まれるマーク幾何形状に基づいた機器の相対位置と相対方位を算出し、位置情報方位情報、相対位置、および相対方位に基づいて、機器の絶対位置と絶対方位とを算出し、位置方位誤差が予め定められた閾値より大きい場合にカメラに撮像を指示するように構成している。

先行技術

0003

特開2016−109619号公報

発明が解決しようとする課題

0004

しかし、上述した特許文献1に開示された技術では、自律航法で計算した機器の相対位置を修正するためには、多数のマーカを設置する必要があるという課題があった。

0005

この発明は、上記のような課題を解決するためになされたもので、マーカを設置することなく、自律航法で計算した機器の相対位置を機器の絶対位置を用いて修正し、機器の位置を推定することを目的とする。

課題を解決するための手段

0006

この発明に係る発明の表示制御装置は、センサの検知情報から機器の相対位置を自律航法により算出する相対位置算出部と、撮像された映像フレーム三次元地図データとのマッチングを行い、機器の絶対位置を推定する絶対位置推定部と、絶対位置推定部が機器の絶対位置を推定した場合には、当該絶対位置を用いて機器の自己位置を推定し、絶対位置推定部が機器の絶対位置を推定しなかった場合には、相対位置算出部が算出した機器の相対位置を用いて機器の自己位置を推定する自己位置推定部とを備えるものである。

発明の効果

0007

この発明によれば、マーカを設置することなく、自律航法で計算した機器の相対位置を機器の絶対位置を用いて修正し、機器の位置を推定することができる。

図面の簡単な説明

0008

実施の形態1に係る表示制御装置の構成を示すブロック図である。
図2A、図2Bは、実施の形態1に係る表示制御装置のハードウェア構成例を示す図である。
実施の形態1に係る表示制御装置の動作を示すフローチャートである。
実施の形態1に係る表示制御装置にセンサ値を入力する加速度センサ座標系を示す図である。
実施の形態1に係る表示制御装置の相対位置算出部の動作を示すフローチャートである。
実施の形態1に係る表示制御装置の絶対位置推定部102の動作を示すフローチャートである。
図7A、図7Bは、実施の形態1に係る表示制御装置の絶対位置推定部102の画像特徴点取得処理を示す図である。
図8A、図8B、図8Cは、実施の形態1に係る表示制御装置の撮像映像三次元地図のマッチングのイメージを示す図である。
実施の形態1に係る表示制御装置の自己位置推定部の動作を示すフローチャートである。
実施の形態2に係る表示制御装置の絶対位置推定部102の動作を示すフローチャートである。
実施の形態2に係る表示制御装置の自己位置推定部の動作を示すフローチャートである。
実施の形態3に係る表示制御装置の構成を示すブロック図である。
実施の形態3に係る表示制御装置の自己位置推定部の動作を示すフローチャートである。
実施の形態4に係る表示制御装置の構成を示すブロック図である。
実施の形態4に係る表示制御装置の動作を示すフローチャートである。
実施の形態5に係る表示制御装置の構成を示すブロック図である。
実施の形態5に係る表示制御装置の相対位置算出部と絶対位置推定部との出力タイミングを示すタイミングチャートである。
実施の形態5に係る表示制御装置の動作を示すフローチャートである。

実施例

0009

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る表示制御装置100の構成を示すブロック図である。
表示制御装置100は、相対位置算出部101、絶対位置推定部102、三次元地図データベース103、自己位置推定部104、付加情報生成部105および重畳処理部106を備えて構成される。

0010

また、図1に示すように、表示制御装置100には、センサ201、カメラ202および表示デバイス203を備えた機器200が接続されている。
まず、センサ201は、機器200に加わる加速度および回転等を検知する加速度センサおよび回転センサ等で構成される。センサ201は、検知結果であるセンサ値を表示制御装置100の相対位置算出部101に出力する。カメラ202は、機器200の周囲を撮像する。カメラ202は、撮像した撮像映像を表示制御装置100の絶対位置推定部102および重畳処理部106に出力する。表示デバイス203は、表示制御装置100の重畳処理部106から入力された映像フレームに基づいて、映像を表示する。

0011

次に、表示制御装置100の各構成について説明する。
相対位置算出部101は、センサ201から入力されるセンサ値に基づいて、機器200の相対位置を自律航法で計算する。なお、相対位置算出部101の詳細は後述する。絶対位置推定部102は、カメラ202から入力される撮像映像の映像フレームと、三次元地図データベース103に格納された三次元地図データとのマッチングを行い、機器200の絶対位置を推定する。絶対位置推定部102は、例えば、風景の撮像映像の映像フレームと、風景の三次元地図データとのマッチングを行い、機器200の絶対位置を推定する。なお、マッチングは風景の映像フレームに限定されるものではない。三次元地図データベース103は、三次元地図データを格納するデータベースである。

0012

自己位置推定部104は、相対位置算出部101が算出した相対位置、または絶対位置推定部102が推定した絶対位置を用いて、機器200の位置(以下、自己位置と記載する)を推定する。自己位置推定部104は、絶対位置推定部102が推定した絶対位置が入力された場合には、当該絶対位置を自己位置と推定する。自己位置推定部104は、絶対位置推定部102が推定した絶対位置が入力されていない場合には、相対位置算出部101が算出した相対位置を、前回算出した自己位置に累積加算して得られた位置を自己位置と推定する。

0013

付加情報生成部105は、自己位置推定部104が推定した機器200の自己位置に基づいて、カメラ202が撮像した撮像映像の映像フレームに付加すべきアノテーション映像を生成する。付加情報生成部105は、位置情報とアノテーション映像とを対応付けて記憶したデータベース等(図示しない)を参照し、アノテーション映像を生成する。重畳処理部106は、カメラ202から入力される撮像映像の映像フレームに、付加情報生成部105が生成したアノテーション映像を重畳する。重畳処理部106は、アノテーション映像を重畳した映像フレームを、表示デバイス203に出力する。

0014

次に、表示制御装置100のハードウェア構成例を説明する。
図2Aおよび、図2Bは、表示制御装置100のハードウェア構成例を示す図である。
表示制御装置100における相対位置算出部101、絶対位置推定部102、自己位置推定部104、付加情報生成部105および重畳処理部106の各機能は、処理回路により実現される。即ち、表示制御装置100は、上記各機能を実現するための処理回路を備える。当該処理回路は、図2Aに示すように専用のハードウェアである処理回路100aであってもよいし、図2Bに示すようにメモリ100cに格納されているプログラムを実行するプロセッサ100bであってもよい。

0015

図2Aに示すように相対位置算出部101、絶対位置推定部102、自己位置推定部104、付加情報生成部105および重畳処理部106が専用のハードウェアである場合、処理回路100aは、例えば、単一回路複合回路プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific IntegratedCircuit)、FPGA(Field-programmable Gate Array)、またはこれらを組み合わせたものが該当する。相対位置算出部101、絶対位置推定部102、自己位置推定部104、付加情報生成部105および重畳処理部106の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて1つの処理回路で実現してもよい。

0016

図2Bに示すように、相対位置算出部101、絶対位置推定部102、自己位置推定部104、付加情報生成部105および重畳処理部106がプロセッサ100bである場合、各部の機能は、ソフトウェアファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ100cに格納される。プロセッサ100bは、メモリ100cに記憶されたプログラムを読み出して実行することにより、相対位置算出部101、絶対位置推定部102、自己位置推定部104、付加情報生成部105および重畳処理部106の各機能を実現する。即ち、相対位置算出部101、絶対位置推定部102、自己位置推定部104、付加情報生成部105および重畳処理部106は、プロセッサ100bにより実行されるときに、後述する図3図5図6図9および図10に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ100cを備える。また、これらのプログラムは、相対位置算出部101、絶対位置推定部102、自己位置推定部104、付加情報生成部105および重畳処理部106の手順または方法をコンピュータに実行させるものであるともいえる。

0017

ここで、プロセッサ100bとは、例えば、CPU(Central Processing Unit)、処理装置演算装置、プロセッサ、マイクロプロセッサマイクロコンピュータ、またはDSP(Digital Signal Processor)などのことである。
メモリ100cは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリEPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性または揮発性半導体メモリであってもよいし、ハードディスクフレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。

0018

なお、相対位置算出部101、絶対位置推定部102、自己位置推定部104、付加情報生成部105および重畳処理部106の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、表示制御装置100における処理回路100aは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

0019

次に、表示制御装置100の動作について説明する。
図3は、実施の形態1に係る表示制御装置100の動作を示すフローチャートである。
相対位置算出部101は、センサ201からセンサ値が入力されると、対応する機器200の相対位置を自律航法で計算する(ステップST1)。相対位置算出部101は算出した機器200の相対位置を自己位置推定部104に出力する。絶対位置推定部102は、カメラ202から撮像映像の映像フレームが入力されると、当該映像フレームと、三次元地図データベース103に格納された三次元地図データとのマッチングを行い、機器200の絶対位置を推定する(ステップST2)。絶対位置推定部102は、推定した機器200の絶対位置を自己位置推定部104に出力する。

0020

自己位置推定部104は、ステップST1で計算された機器200の相対位置、およびステップST2で推定された機器200の絶対位置のうちの少なくともいずれか1つが入力されると、機器200の自己位置を推定する(ステップST3)。自己位置推定部104は、推定した機器200の自己位置を付加情報生成部105に出力する。付加情報生成部105は、ステップST3で推定された機器200の自己位置に基づいて、撮像映像の映像フレームに付加すべきアノテーション映像を生成する(ステップST4)。重畳処理部106は、ステップST4で生成されたアノテーション映像を、カメラ202から入力された撮像映像の映像フレームに重畳する(ステップST5)。重畳処理部106は、ステップST5でアノテーション映像を重畳した映像フレームを、表示デバイス203に出力し(ステップST6)、処理を終了する。

0021

次に、図3のフローチャートのステップST1の処理を、図4および図5を参照しながらより詳細に説明する。
図4は、実施の形態1に係る表示制御装置100にセンサ値を入力する加速度センサの座標系を示す図である。図4では、機器200として表示デバイス203を例に記載している。
図5は、実施の形態1に係る表示制御装置100の相対位置算出部101の動作を示すフローチャートである。
図4に示した加速度センサの座標系において、機器200(表示デバイス203)の回転を示すセンサ値を、Y軸をZ軸の方に傾けるような方向を正としてroll、Z軸をX軸の方に傾けるような方向を正としてazimuth、X軸をY軸の方に傾けるような方向を正としてpitchとして定義する。

0022

まず、相対位置算出部101は、機器200が静止している状態において、機器200の初期姿勢を記憶する(ステップST11)。相対位置算出部101は、当該初期姿勢における重力加速度のX、Y、Z軸の重力加速度の成分を記憶する(ステップST12)。相対位置算出部101は、機器200が移動している状態において、現在の機器200の姿勢におけるX、Y、Z軸の加速度を示すセンサ値を、仮想的に初期姿勢のX、Y、Z軸の加速度Ax、Ay、Azに変換するために、回転のセンサ値を使用する。回転のセンサ値は、角速度ωi(但し、i= pitch、roll、azimuth)であるため、相対位置算出部101は、入力された回転のセンサ値を、以下の式(1)に基づいて積分し、初期姿勢からの変化角度θを算出する(ステップST13)。

0023

相対位置算出部101は、ステップST13で求めた変化角度θを用いて、pitchの回転行列、rollの回転行列、azimuthの回転行列を求める(ステップST14)。
相対位置算出部101は、ステップST14において、以下の式(2)に基づいてpitchの回転行列を求める。また、ステップST14において、相対位置算出部101は、以下の式(3)に基づいてrollの回転行列を求める。また、相対位置算出部101は、ステップST14において、以下の式(4)に基づいてazimuthの回転行列を求める。

0024

相対位置算出部101は、機器200が移動している状態の姿勢の加速度のセンサ値rawAx、rawAy、rawAzを、以下の式(5)に基づいて、初期姿勢における加速度のセンサ値Ax、Ay、Azに変換する(ステップST15)。

0025

相対位置算出部101は、以下の式(6)に示すように、ステップST15で変換した初期姿勢における加速度のセンサ値Ax、Ay、Azから初期姿勢の重力加速度G0x、G0y、G0zを除去し、初期姿勢における機器200のX、Y、Z軸の加速度ax,ay,azを算出する(ステップST16)。

0026

相対位置算出部101は、ステップST16で算出した初期姿勢における機器200のX、Y、Z軸の加速度ax,ay,azを二重積分し、機器200の相対位置dx、dy、dzを算出する(ステップST17)。
相対位置算出部101は、ステップST17で算出した機器200の相対位置dx、dy、dzを、自己位置推定部104に出力する(ステップST18)。
その後、相対位置算出部101は、機器200の相対位置の算出を継続するか否か判定を行う(ステップST19)。算出を継続する場合(ステップST19;YES)、ステップST13の処理に戻り、上述した処理を繰り返す。一方、算出を継続しない場合(ステップST19;NO)、処理を終了する。

0027

次に、図3のフローチャートのステップST2の処理を、図6および図7を参照しながらより詳細に説明する。
図6は、実施の形態1に係る表示制御装置100の絶対位置推定部102の動作を示すフローチャートである。
図7は、実施の形態1に係る表示制御装置100の絶対位置推定部102の画像特徴点の取得処理を示す図である。
図8は、実施の形態1に係る表示制御装置100の撮像映像の映像フレームと三次元地図のマッチングのイメージを示す図である。

0028

図6のフローチャートにおいて、絶対位置推定部102は、カメラ202から入力された撮像映像の映像フレームの画像特徴点を取得する(ステップST21)。絶対位置推定部102が画像特徴点を取得する処理を図7に示している。
図7Aはカメラ202の映像フレームを示し、図7Bは当該映像フレームにおける画像特徴点の判定処理を示している。
絶対位置推定部102は、例えば図7Aに示す映像フレームが入力された場合、領域O内の画素Pに注目する(以下、注目画素Pと記載する、図7B参照)。注目画素Pを中心として、周囲に位置する周辺画素Qに、連続して一定個数以上、注目画素Pよりも明るいまたは暗い画素が存在するか否か判定する。図7Bの例では、絶対位置推定部102は、注目画素Pの周囲に位置する周辺画素Qの内、矢印Rで示した範囲の周辺画素Qrに基づいて、注目画素Pよりも連続して一定個数以上(例えば、一定個数の5個に対して、9個)の明るい画素が存在すると判定する。絶対位置推定部102は、当該判定結果に基づいて、注目画素Pを画像特徴点として取得する。

0029

次に、図8を参照して、撮像映像の映像フレームと三次元地図のマッチングイメージについて説明する。
図8Aは、図7Aで示した映像フレームである。図8Bは三次元地図データを示す図である。三次元地図データは、1点あたりにX,Y,Z座標の値を有する点群データである。図8Cは、カメラ202の位置202aと、カメラ202の投影面202bと、三次元地図データ202cとの関係を示した図である。
図8Cに示すように、カメラ202の位置202aを[R|t]とした場合、当該カメラ202の投影面202b上の画像特徴点Sの2次元座標(u,v)と、三次元地図データ202c上の点Tの三次元座標(X,Y,Z)は、以下の式(7)で示す関係を満たす。

なお、式(7)において、Aは、カメラ202の内部パラメータ、例えば画角中心点等である。

0030

0031

0032

上述した図10のフローチャートのステップST23からステップST26の具体的な処理内容を一例を挙げて説明する。なお、以下に示す処理は一例であり、適宜変更可能である。
絶対位置推定部102は、ステップST21で取得した画像特徴点のうち、n個の画像特徴点をランダムに選択し、選択したn個の画像特徴点についてステップST23からステップST25の処理を繰り返し実施する。絶対位置推定部102は、ステップST25で算出した画像特徴点から得られた画像特徴点の2次元座標(u´,v´)と、ステップST22で検索した画像特徴点の2次元座標(u,v)との差分が、n個の画像特徴点の間でそれぞれほぼ同値である場合に、ステップST26において差分が閾値以下であるか否かの判定を行う。

0033

一方、ステップST25で算出した画像特徴点から得られた画像特徴点の2次元座標(u´,v´)と、ステップST22で検索した画像特徴点の2次元座標(u,v)との差分が、n個の画像特徴点の間でほぼ同値でなかった場合に、絶対位置推定部102は再びステップST21で取得した画像特徴点から、n個の画像特徴点をランダムに選択し直す。絶対位置推定部102は、選択し直したn個の画像特徴点に対して上述した処理を繰り返し実施する。

0034

次に、図3のフローチャートのステップST3の処理を、図9を参照しながらより詳細に説明する。
図9は、実施の形態1に係る表示制御装置100の自己位置推定部104の動作を示すフローチャートである。図9のフローチャートでは、機器200の自己位置を推定するものとして説明する。
自己位置推定部104は、絶対位置推定部102から、機器200の絶対位置(X1)が入力されているか否か判定を行う(ステップST31)。機器200の絶対位置(X1)が入力されている場合(ステップST31;YES)、自己位置推定部104は入力された機器200の絶対位置(X1)を、自己位置(X)とする(ステップST32)。一方、機器200の絶対位置(X1)が入力されていない場合(ステップST31;NO)、自己位置推定部104はさらに機器200の相対位置(X2)が入力されているか否か判定を行う(ステップST33)。

0035

機器200の相対位置(X2)が入力されている場合(ステップST33;YES)、自己位置推定部104は、前回の自己位置(Xpre)に、機器200の相対位置(X2)を累積加算して、自己位置(X)を算出する(ステップST34)。一方、機器200の相対位置(X2)が入力されていない場合(ステップST33;NO)、自己位置推定部104は、前回の自己位置(Xpre)をそのまま適用して自己位置(X)を算出する(ステップST35)。
自己位置推定部104は、ステップST32、ステップST34またはステップST35で設定された自己位置(X)を、機器200の自己位置として付加情報生成部105に出力し(ステップST36)、処理を終了する。

0036

以上のように、この実施の形態1によれば、センサの検知情報から機器の相対位置を自律航法により算出する相対位置算出部101と、撮像された映像フレームと三次元地図データとのマッチングを行い、機器の絶対位置を推定する絶対位置推定部102と、機器の絶対位置が推定された場合には、当該絶対位置を用いて機器の自己位置を推定し、機器の絶対位置が推定されなかった場合には、相対位置算出部101が算出した機器の相対位置を用いて機器の自己位置を推定する自己位置推定部104とを備えるように構成したので、撮像映像の映像フレームと三次元地図とのマッチングにより、対象となる機器の自己位置の情報を得ることができる。これにより、多数のマーカを設置することなく、自律航法で算出した相対位置を、絶対位置を用いて修正することができる。

0037

実施の形態2.
この実施の形態2では、画像特徴点の数に基づいて機器200の自己位置を推定する構成を示す。
なお、実施の形態2の表示制御装置100の構成は、図1で示した実施の形態1の表示制御装置100の構成と同一であるためブロック図の記載を省略する。また。実施の形態2の表示制御装置100の各構成は、実施の形態1で使用した符号と同一の符号を付して説明する。

0038

絶対位置推定部102は、実施の形態1で示した処理加えて、カメラ202から入力された撮像映像の映像フレームから取得した画像特徴点の数を計測する。絶対位置推定部102は、計測した画像特徴点の数を、自己位置推定部104に出力する。自己位置推定部104は、絶対位置推定部102から入力された画像特徴点の数を参照し、当該画像特徴点の数が、予め設定した個数n個以上である場合に、絶対位置推定部102が推定した機器200の絶対位置を、機器200の自己位置に適用する。

0039

次に、表示制御装置100の動作について説明する。
表示制御装置100全体の動作は、実施の形態1の図3で示したフローチャートと同一であるため、説明を省略する。
実施の形態1とは異なる処理を行う図3のフローチャートのステップST2の処理の詳細について、図10を参照しながら説明する。
図10は、実施の形態2に係る表示制御装置100の絶対位置推定部102の動作を示すフローチャートである。なお、図10のフローチャートにおいて、図6で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。

0040

絶対位置推定部102は、ステップST22において画像特徴点の2次元座標(u,v)を取得すると、当該画像特徴点の個数を計測する(ステップST41)。絶対位置推定部102は、ステップST23からステップST28の処理を行い、ステップST28で推定した機器200の絶対位置およびステップST41で取得した画像特徴点の個数を、自己位置推定部104に出力し(ステップST42)、処理を終了する。

0041

次に、図3のフローチャートのステップST3の処理の詳細について、図11のフローチャートを参照しながら説明する。
図11は、実施の形態2に係る表示制御装置100の自己位置推定部104の動作を示すフローチャートである。なお、図11のフローチャートにおいて、図9で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
自己位置推定部104は、ステップST31において機器200の絶対位置(X1)が入力されていると判断した場合に(ステップST31;YES)、絶対位置推定部102が計測した画像特徴点の個数が予め設定したn個以上であるか否か判定を行う(ステップST51)。画像特徴点の個数がn個以上であった場合(ステップST51;YES)、ステップST32の処理に進む。一方、画像特徴点の個数がn個未満であった場合(ステップST51;NO)。ステップST33の処理に進む。

0042

以上のように、この実施の形態2によれば、絶対位置推定部102が、映像フレーム内の画像特徴点の数を計測し、自己位置推定部104が、計測された画像特徴点の数が予め設定した個数以上であった場合に、推定された機器の絶対位置を用いて、機器の自己位置を推定するように構成したので、撮像映像の映像フレームがフラットで画像特徴点の取得に誤差が生じやすい環境においても、機器の自己位置の推定における誤差の発生を抑制することができる。

0043

実施の形態3.
この実施の形態3では、撮像映像の映像フレームの領域の照度に基づいて、自己位置を推定する構成を示す。
図12は、実施の形態3に係る表示制御装置100Aの構成を示すブロック図である。
実施の形態3に係る表示制御装置100Aは、図1に示した実施の形態1の表示制御装置100に照度情報取得部107を追加して構成している。また、実施の形態1の表示制御装置100の自己位置推定部104に替えて、自己位置推定部104aを備えて構成している。
以下では、実施の形態1に係る表示制御装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。

0044

照度情報取得部107は、機器200の照度センサ等のセンサ201から、機器200の周辺の明るさを示す照度情報を取得する。照度情報取得部107は、取得した照度情報を自己位置推定部104aに出力する。自己位置推定部104aは、照度情報取得部107から入力された照度情報を参照し、照度が予め設定した照度以上であった場合に、絶対位置推定部102が推定した機器200の絶対位置を、機器200の自己位置に適用する。

0045

次に、表示制御装置100Aのハードウェア構成例を説明する。なお、実施の形態1と同一の構成の説明は省略する。
表示制御装置100Aにおける照度情報取得部107および自己位置推定部104aは、図2Aで示した処理回路100a、または図2Bで示したメモリ100cに格納されるプログラムを実行するプロセッサ100bである。

0046

次に、表示制御装置100Aの動作について説明する。
表示制御装置100A全体の動作は、実施の形態1の図3で示したフローチャートと同一であるため、説明を省略する。
実施の形態1とは異なる処理を行う、図3のフローチャートのステップST3の処理の詳細について、図13を参照しながら説明する。
図13は、実施の形態2に係る表示制御装置100Aの自己位置推定部104aの動作を示すフローチャートである。なお、図14のフローチャートにおいて、図9で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
自己位置推定部104aは、ステップST31において機器200の絶対位置(X1)が入力されていると判断した場合に(ステップST31;YES)、照度情報取得部107から入力された照度情報が示す照度が、予め設定した照度の値以上であるか否か判定を行う(ステップST52)。照度が予め設定した照度の値以上であった場合(ステップST52;YES)、ステップST32の処理に進む。一方、照度が予め設定した照度の値未満であった場合(ステップST52;NO)、ステップST33の処理に進む。

0047

以上のように、この実施の形態3によれば、機器の周辺の明るさを示す照度情報を取得する照度情報取得部107を備え、自己位置推定部104aは、照度情報が予め設定した照度以上であった場合に、推定された機器の絶対位置を用いて機器の自己位置を推定するように構成したので、映像フレームを撮像する機器の周囲が暗く、画像特徴点の取得に誤差が生じやすい環境においても、機器の自己位置の推定における誤差の発生を抑制することができる。機器の周囲の照度に応じて画像特徴点の取得に誤差が生じやすい環境とは、例えば、夜間、日陰およびトンネル等である。

0048

なお、上記実施の形態3では、実施の形態1で示した表示制御装置100に照度情報取得部107を追加して適用する構成を示したが、実施の形態2で示した表示制御装置100に照度情報取得部107を追加して適用してもよい。

0049

実施の形態4.
この実施の形態4では、相対位置算出部101が算出した相対位置および絶対位置推定部102が推定した絶対位置の採用を制限する構成を示す。
図14は、実施の形態4に係る表示制御装置100Bの構成を示すブロック図である。
実施の形態4に係る表示制御装置100Bは、図1に示した実施の形態1の表示制御装置100に閾値設定部108を追加して構成している。また、実施の形態1の表示制御装置100の自己位置推定部104に替えて、自己位置推定部104bを備えて構成している。

0050

以下では、実施の形態1に係る表示制御装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
閾値設定部108は、相対位置算出部101が算出した相対位置、および絶対位置推定部102が推定した絶対位置の採用を制限する目的で、自己位置推定部104bに対して閾値を設定する。
表示制御装置100が、例えば、一定の速度で移動する利用者携帯するタブレット端末またはスマートフォン等に適用される場合、閾値設定部108は、利用者の移動速度の平均値、または利用者の移動速度の平均値に例えば数十パーセント誤差許容値加算した値、を閾値として設定する。加算する誤差許容値は、機器200の相対位置に対する閾値を設定する場合、センサ201からの出力値ノイズを除外するための値となる。同様に、加算する誤差許容値は、機器200の絶対位置に対する閾値を設定する場合、絶対位置推定部102における画像特徴点の抽出誤りを除外するための値となる。
なお、上述した閾値の設定方法は一例であり、閾値設定部108は、表示制御装置100が適用される機器等に対応した閾値の設定を行う。

0051

自己位置推定部104bは、相対位置算出部101が算出した機器200の相対位置と、前回算出の相対位置との差分が、閾値β以下であった場合には、算出された相対位置を用いて機器200の自己位置を推定する。
自己位置推定部104bは、絶対位置推定部102が推定した機器200の絶対位置と、前回算出の絶対位置との差分が、閾値α以下であった場合には、推定された絶対位置を用いて機器200の自己位置を推定する。

0052

次に、表示制御装置100Bのハードウェア構成例を説明する。なお、実施の形態1と同一の構成の説明は省略する。
表示制御装置100Bにおける閾値設定部108および自己位置推定部104bは、図2Aで示した処理回路100a、または図2Bで示したメモリ100cに格納されるプログラムを実行するプロセッサ100bである。

0053

次に、表示制御装置100Bの動作について説明する。
表示制御装置100B全体の動作は、実施の形態1の図3で示したフローチャートと同一であるため、説明を省略する。
実施の形態1とは異なる処理を行う、図3のフローチャートのステップST3の処理の詳細について、図15を参照しながら説明する。
図15は、実施の形態4に係る表示制御装置100Bの自己位置推定部104bの動作を示すフローチャートである。
なお、図15のフローチャートの処理が行われる前に、閾値設定部108は、自己位置推定部104bに対して閾値αおよび閾値βを設定しているものとする。また、図15のフローチャートにおいて、図9で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。

0054

自己位置推定部104bは、ステップST31において機器200の絶対位置(X1)が入力されていると判断した場合に(ステップST31;YES)、絶対位置(X1)と前回算出した絶対位置(X1pre)との差分の絶対値が、閾値設定部108が設定した閾値α以下であるか否か判定を行う(ステップST61)。差分の絶対値が閾値α以下である場合(ステップST61;YES)、自己位置推定部104bは、絶対位置(X1)を機器200の自己位置Xとする(ステップST32)。また、自己位置推定部104bは、前回の絶対位置(X1pre)を今回の絶対位置(X1)で上書きする(ステップST62)。その後、フローチャートはステップST36の処理に進む。一方、差分の絶対値が閾値α以下でない場合(ステップST61;NO)、ステップST35の処理に進む。

0055

自己位置推定部104bは、ステップST31において絶対位置(X1)が入力されていないと判断した場合に(ステップST31;NO)、当該機器200の相対位置(X2)が入力されているか否か判定を行う(ステップST33)。相対位置(X2)が入力されている場合(ステップST33;YES)、相対位置(X2)と前回算出した相対位置(X2pre)との差分の絶対値が、閾値設定部108が設定した閾値β以下であるか否か判定を行う(ステップST63)。差分の絶対値が閾値β以下である場合(ステップST63;YES)、自己位置推定部104bは、前回の自己位置Xpreに相対位置(X2)を累積加算して、機器200の自己位置Xを算出する(ステップST34)。また、自己位置推定部104bは、前回の相対位置(X2pre)を今回の相対位置(X2)に上書きする(ステップST64)。その後、フローチャートはステップST36の処理に進む。
一方、差分の絶対値が閾値β以下でない場合(ステップST63;NO)、またはステップST33において相対位置(X2)が入力されていないと判断した場合に(ステップST33;NO)、ステップST35の処理に進む。

0056

以上のように、この実施の形態4によれば、相対位置算出部101が算出した機器の相対位置および絶対位置推定部102が推定した機器の絶対位置を適用するか否かを判断するための閾値を設定する閾値設定部108を備え、自己位置推定部104bが、絶対位置推定部102が機器の絶対位置を推定した場合、且つ今回推定された機器の絶対位置と、前回推定された機器の絶対位置との差分が、設定された閾値以下であった場合に、今回推定された機器の絶対位置から機器の自己位置を推定し、絶対位置推定部102が機器の絶対位置を推定しなかった場合、且つ相対位置算出部101において今回算出された機器の相対位置と、前回算出された機器の相対位置との差分が、設定された閾値以下であった場合に、今回算出された機器の相対位置から機器の自己位置を推定するように構成したので、相対位置の算出または絶対位置の推定において計算エラーが発生した場合であっても、機器の自己位置の推定における誤差の発生を抑制することができる。

0057

なお、上記実施の形態4では、実施の形態1で示した表示制御装置100に閾値設定部108を追加して適用する構成を示したが、実施の形態2で示した表示制御装置100および実施の形態3で示した表示制御装置100Aに閾値設定部108を追加して適用してもよい。

0058

実施の形態5.
この実施の形態5では、相対位置算出部101において相対位置が算出されるタイミングと、絶対位置推定部102において絶対位置が推定されるタイミングとの違いを吸収する構成を示す。
図16は、実施の形態5に係る表示制御装置100Cの構成を示すブロック図である。
実施の形態5に係る表示制御装置100Cは、図1に示した実施の形態1の表示制御装置100に処理時間計数部109およびバッファ制御部110を追加して構成している。

0059

センサ201は、カメラ202の映像フレーム信号に同期させて、センサ値を相対位置算出部101に出力する。相対位置算出部101は、実施の形態1と同様に、機器200の相対位置を算出する処理を行う。絶対位置推定部102は、実施の形態1と同様に、機器200の絶対位置を算出する処理を行う。カメラ202は、撮像映像の映像フレームを、絶対位置推定部102に加えて、後述するバッファ制御部110にも出力する。

0060

処理時間計数部109は、相対位置算出部101をモニタし、センサ201からセンサ値が入力されてから、相対位置を算出し、算出した相対位置をバッファ制御部110に出力するまでの時間Δt1を計数する。処理時間計数部109は、絶対位置推定部102をモニタし、カメラ202から映像フレームが入力されてから、絶対位置を算出し、算出した絶対位置をバッファ制御部110に出力するまでの時間Δt2を計数する。処理時間計数部109は、計数した時間Δt1および時間Δt2をバッファ制御部110に出力する。

0061

ここで、絶対位置推定部102は、画像を取り扱うため、相対位置算出部101よりも処理時間を多く要する。そのため、時間Δt1と時間Δt2は、Δt1<Δt2の関係を満たす。時間Δt1と時間Δt2について、図17を参照しながら説明する。
図17は、実施の形態5の表示制御装置100Cの相対位置算出部101と絶対位置推定部102との出力タイミングを示すタイミングチャートである。
センサ値の出力および映像フレームの出力を、フレーム1からフレームF5で示している。フレームF1で出力されたセンサ値に基づいて相対位置算出部101が算出した相対位置の出力は、出力F1aとなる。同様に、フレームF2で出力されたセンサ値に基づいて相対位置算出部101が算出した相対位置の出力は、出力F2aとなる。出力F1aの出力タイミングは、フレームF1で示したセンサ値が出力されてから時間Δt1後であり、出力F2aの出力タイミングは、フレームF2で示したセンサ値が出力されてから時間Δt1後である。

0062

次に、フレームF1で出力された映像フレームに基づいて絶対位置推定部102が推定した絶対位置の出力は、出力F1bとなる。同様に、フレームF4で出力された映像フレームに基づいて絶対位置推定部102が推定した絶対位置の出力は、出力F4bとなる。出力F1bの出力タイミングは、フレームF1で示した映像フレームが出力されてから時間Δt2後であり、出力F4bの出力タイミングは、フレームF4で示した映像フレームが出力されてから時間Δt2後である。

0063

出力F1bと出力F1aとの差分、および出力F4bと出力F4aとの差分は、時間(Δt2−Δt1)で表される。絶対位置推定部102の絶対位置の出力である出力F1bを基準とした場合、対応する相対位置算出部101の相対位置の出力である出力F1aは、出力F1bから時間(Δt2−Δt1)遡った出力となる。

0064

バッファ制御部110は、相対位置算出部101から入力される相対位置および絶対位置推定部102から入力される絶対位置を一時格納する。バッファ制御部110は、カメラ202から入力される撮像映像の映像フレームを一時格納する。バッファ制御部110は、格納された絶対位置を基準に設定する。次に、バッファ制御部110は、処理時間計数部109から入力される時間Δt1およびΔt2に基づいて、基準に設定された絶対位置の映像フレームと同一の出力タイミングで出力されたセンサ値から算出された相対位置を自己位置推定部104に出力する。また、バッファ制御部110は、基準とした絶対位置を推定する際に用いた映像フレームを重畳処理部106に出力する。

0065

表示制御装置100Cのハードウェア構成例を説明する。なお、実施の形態1と同一の構成の説明は省略する。
表示制御装置100Cにおける処理時間計数部109およびバッファ制御部110は、図2Aで示した処理回路100a、または図2Bで示したメモリ100cに格納されるプログラムを実行するプロセッサ100bである。

0066

次に、表示制御装置100Cの動作について説明する。
図18は、実施の形態5に係る表示制御装置100Cの動作を示すフローチャートである。なお、図18のフローチャートにおいて、図3で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
相対位置算出部101は、カメラ202の映像フレームに同期して、センサ201からセンサ値が入力されると、対応する機器200の相対位置を自律航法で計算する(ステップST1a)。相対位置算出部101は算出した機器200の相対位置をバッファ制御部110に出力する。絶対位置推定部102は、カメラ202から撮像映像の映像フレームが入力されると、三次元地図データベース103に格納された三次元地図データとのマッチングを行い、機器200の絶対位置を推定する(ステップST2)。絶対位置推定部102は、推定した機器200の絶対位置をバッファ制御部110に出力する。

0067

処理時間計数部109は、ステップST1の処理に要した時間Δt1およびステップST2の処理に要した時間Δt2を計数し、バッファ制御部110に出力する(ステップST71)。バッファ制御部110は、ステップST71で入力された時間Δt1および時間Δt2に基づいて、絶対位置推定部102が直近に推定した絶対位置を基準として、当該絶対位置から時間(Δt2−Δt1)遡った出力である相対位置を特定する(ステップST72)。バッファ制御部110は、当該絶対位置およびステップST72で特定した相対位置を、自己位置推定部104に出力する。また、バッファ制御部110は、基準とした絶対位置を推定する際に用いた映像フレームを重畳処理部106に出力する(ステップST73)。その後、フローチャートはステップST3の処理に進む。

0068

以上のように、この実施の形態5によれば、相対位置算出が相対位置を算出する処理に要した時間、および絶対位置推定部102が絶対位置を推定する処理に要した時間を計数する処理時間計数部109と、相対位置算出部101が算出した相対位置、絶対位置推定部102が推定した絶対位置、および映像フレームを一時格納し、処理時間計数部109が計数した時間に基づいて、絶対位置を基準として、当該絶対位置に対応する相対位置を特定するバッファ制御部110とを備えるように構成したので、相対位置算出に要する時間と、絶対位置推定に要する時間の差を吸収して、機器の自己位置を推定することができる。また、映像フレームとずれのないアノテーション映像を重畳したAR表示を行うことができる。

0069

なお、上記実施の形態5では、実施の形態1で示した表示制御装置100に処理時間計数部109およびバッファ制御部110を追加して適用する構成を示したが、実施の形態2で示した表示制御装置100および実施の形態3で示した表示制御装置100Aおよび実施の形態4で示した表示制御装置100Bに追加して適用してもよい。

0070

上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

0071

この発明に係る表示制御装置は、マーカに含まれた絶対位置情報を読み取ることなく、自律航法で計算した相対位置を用いて機器の自己位置を推定することができるため、ナビゲーションシステム等に適用し、システム構築費用の増大を抑制しつつ、自己位置推定を実現するのに適している。

0072

100,100A,100B,100C表示制御装置、101 相対位置算出部、102 絶対位置推定部、103三次元地図データベース103、104,104a,104b自己位置推定部、105付加情報生成部、106重畳処理部、107照度情報取得部、108閾値設定部、109 処理時間計数部、110バッファ制御部、200機器、201センサ、202カメラ、203表示デバイス。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ