図面 (/)

技術 3次元点群表示装置、3次元点群表示システム、3次元点群表示方法および3次元点群表示プログラム、記録媒体

出願人 三菱電機株式会社
発明者 赤木亮輔
出願日 2017年11月20日 (3年1ヶ月経過) 出願番号 2017-222447
公開日 2019年6月20日 (1年6ヶ月経過) 公開番号 2019-095876
状態 未査定
技術分野 閉回路テレビジョンシステム イメージ分析
主要キーワード 概略範囲 リアルタイム状態 単位移動 設備管理データベース 境界エッジ マッチング作業 可動カメラ 命令ステップ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年6月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

次元点群データと画像データのマッチングを行う上で、3次元点群データと画像データとのマッチングを確実に行わせる3次元点群表示装置を得ることを目的とする。

解決手段

3次元点群表示装置1は、監視対象カメラ21により撮影して得られた画像データ22を取得するデータ取得部2と、監視対象のうち、カメラ21により撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データ31を画面4aに表示する処理を行う表示処理部3と、画面4bに表示される3次元点群データ31に対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部6と、を備えている。

概要

背景

河川等の広域インフラ監視を行う場合、レーザスキャンにより得られた地形構造物の3次元点群データを3次元点群表示装置に表示させることがある。そして、3次元点群表示装置の画面上にカメラ撮像された動画静止画といった画像データを重畳表示することで、画像によるリアルタイム状態と周囲の環境を合わせて確認でき、河川の氾濫状況などを正確に把握することが可能となる。この機能を実現するためには、3次元点群データと画像データのマッチングを行う必要がある。

従来、3次元点群データと画像データのマッチングを取るために、周辺の実画像を撮影するカメラ、GPS装置から取得したモバイル端末概略位置の周辺の3次元座標データサーバから取得し、この取得した3次元座標データと、上記カメラによって撮影された現在の実画像をオルソ補正したものとについて、それぞれ特徴情報を抽出し、この抽出した特徴情報同士をマッチングさせていた(特許文献1)。

概要

3次元点群データと画像データのマッチングを行う上で、3次元点群データと画像データとのマッチングを確実に行わせる3次元点群表示装置を得ることを目的とする。3次元点群表示装置1は、監視対象をカメラ21により撮影して得られた画像データ22を取得するデータ取得部2と、監視対象のうち、カメラ21により撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データ31を画面4aに表示する処理を行う表示処理部3と、画面4bに表示される3次元点群データ31に対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部6と、を備えている。

目的

本発明は上記のような課題を解決するためになされたものであり、3次元点群データと画像データのマッチングを行う上で、3次元点群データと画像データとのマッチングを確実に行わせる3次元点群表示装置を得ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

監視対象カメラにより撮影して得られた画像データを取得するデータ取得部と、前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データ画面に表示する処理を行う表示処理部と、前記画面に表示される前記3次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部と、前記演算範囲設定部の設定に基づき前記3次元点群データから選択された選択データと前記データ取得部により取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出部と、前記特徴情報抽出部による前記抽出の結果に基づき、前記3次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング部と、前記マッチング部のマッチングの結果に基づき、前記画面内で前記3次元点群データの上に前記画像データを重畳表示させる重畳表示処理部と、を備えた3次元点群表示装置

請求項2

前記表示処理部は、前記演算範囲設定部での前記設定を行う場合に、前記画面の内部で前記画像データを表示させる画像データ表示領域を作成する請求項1に記載の3次元点群表示装置。

請求項3

前記画像データ表示領域は、前記画面の角部に配置される請求項2に記載の3次元点群表示装置。

請求項4

前記演算範囲設定部は、前記演算範囲に対応する演算範囲領域を前記画面に表示する請求項1から3のいずれか一項に記載の3次元点群表示装置。

請求項5

前記演算範囲設定部は、ポインティングデバイスを利用して前記演算範囲を設定する請求項1から4のいずれか一項に記載の3次元点群表示装置。

請求項6

前記マッチング部による前記マッチングの結果を判定するマッチング度判定部を有し、前記判定の結果に応じて、前記演算範囲の再設定を促す警告を報知する請求項1から5のいずれか一項に記載の3次元点群表示装置。

請求項7

前記警告が報知され、前記演算範囲の設定を再度行う場合、警告対象となった前回の前記演算範囲の領域である前回演算範囲領域が前記画面に表示される請求項6に記載の3次元点群表示装置。

請求項8

前記データ取得部は、前記カメラが撮影方向を可変可動カメラである場合、前記可動カメラにより撮影された複数方向における複数の前記画像データを取得し、前記特徴情報抽出部は、複数の前記画像データを利用した特徴情報の抽出を行う請求項1から7のいずれか一項に記載の3次元点群表示装置。

請求項9

監視対象をカメラにより撮影して得られた画像データを取得するデータ取得部と、前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理部と、前記画面に表示される前記3次元点群データに対して、前記画像データに含まれる属性情報により演算範囲の設定を行う演算範囲設定部と、前記演算範囲設定部の設定に基づき前記3次元点群データから選択された選択データと前記データ取得部により取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出部と、前記特徴情報抽出部による前記抽出の結果に基づき、前記3次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング部と、前記マッチング部のマッチングの結果に基づき、前記画面内で前記3次元点群データの上に前記画像データを重畳表示させる重畳表示処理部と、を備えた3次元点群表示装置。

請求項10

監視対象を撮影するカメラと、前記カメラにより撮影して得られた画像データを取得するデータ取得部と、前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理部と、前記画面に表示される前記3次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部と、前記演算範囲設定部の設定に基づき前記3次元点群データから選択された選択データと前記データ取得部により取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出部と、前記特徴情報抽出部による前記抽出の結果に基づき、前記3次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング部と、前記マッチング部のマッチングの結果に基づき、前記画面内で前記3次元点群データの上に前記画像データを重畳表示させる重畳表示処理部と、を備えた3次元点群表示システム

請求項11

前記表示処理部は、前記演算範囲設定部での前記設定を行う場合に、前記画面の内部で前記画像データを表示させる画像データ表示領域を作成する請求項10に記載の3次元点群表示システム。

請求項12

監視対象をカメラにより撮影して得られた画像データを取得するデータ取得ステップと、前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理ステップと、前記画面に表示される前記3次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定ステップと、前記演算範囲設定ステップでの設定に基づき前記3次元点群データから選択された選択データと前記データ取得ステップにより取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップと、前記特徴情報抽出処理ステップによる前記抽出の結果に基づき、前記3次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング処理ステップと、前記マッチング処理ステップでのマッチングの結果に基づき、前記画面内で前記3次元点群データの上に前記画像データを重畳表示させる重畳表示処理ステップと、を有する3次元点群表示方法

請求項13

前記表示処理ステップは、前記演算範囲設定ステップでの前記設定を行う場合に、前記画面の内部で前記画像データを表示させる画像データ表示領域を作成する請求項12に記載の3次元点群表示方法。

請求項14

監視対象をカメラにより撮影して得られた画像データを取得するデータ取得ステップと、前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理ステップと、前記画面に表示される前記3次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定ステップと、前記演算範囲設定ステップでの設定に基づき前記3次元点群データから選択された選択データと前記データ取得ステップにより取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップと、前記特徴情報抽出処理ステップによる前記抽出の結果に基づき、前記3次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング処理ステップと、前記マッチング処理ステップのマッチングの結果に基づき、前記画面内で前記3次元点群データの上に前記画像データを重畳表示させる重畳表示処理ステップと、をコンピュータに実行させるための3次元点群表示プログラム

請求項15

前記表示処理ステップは、前記演算範囲設定ステップでの前記設定を行う場合に、前記画面の内部で前記画像データを表示させる画像データ表示領域を作成する請求項14に記載の3次元点群表示プログラム。

請求項16

請求項14または15に記載の3次元点群表示プログラムを記録した記録媒体

技術分野

0001

この発明は、3次元点群表示装置表示画面上に、カメラ撮影された画像を半自動マッチングさせて表示させる、3次元点群表示装置、3次元点群表示システム、3次元点群表示方法、3次元点群表示プログラムおよび記録媒体に関するものである。

背景技術

0002

河川等の広域インフラ監視を行う場合、レーザスキャンにより得られた地形構造物の3次元点群データを3次元点群表示装置に表示させることがある。そして、3次元点群表示装置の画面上にカメラで撮像された動画静止画といった画像データを重畳表示することで、画像によるリアルタイム状態と周囲の環境を合わせて確認でき、河川の氾濫状況などを正確に把握することが可能となる。この機能を実現するためには、3次元点群データと画像データのマッチングを行う必要がある。

0003

従来、3次元点群データと画像データのマッチングを取るために、周辺の実画像を撮影するカメラ、GPS装置から取得したモバイル端末概略位置の周辺の3次元座標データサーバから取得し、この取得した3次元座標データと、上記カメラによって撮影された現在の実画像をオルソ補正したものとについて、それぞれ特徴情報を抽出し、この抽出した特徴情報同士をマッチングさせていた(特許文献1)。

先行技術

0004

特開2016−170060号公報(段落[0007])

発明が解決しようとする課題

0005

特許文献1は、モバイル端末での拡張現実を用いて、現実空間映像設備情報を重畳表示することを想定したものであり、モバイル端末のユーザは設備に近くにいることが多い。そのため、GPSから現在の概略位置を取得した後、概略位置を中心に半径20メートルの領域を含む3次元地図情報の要求を、サーバの3次元地図情報送信部に送信するように構成されていた。

0006

しかしながら、広域インフラ監視を行う場合、カメラの周囲にカメラで撮影している画像の対象が存在するとは限らず、特許文献1のように現在の概略位置のGPSデータを基準とした周囲の3次元地図情報と実画像をマッチングさせようとしてもマッチングできない可能性があった。

0007

本発明は上記のような課題を解決するためになされたものであり、3次元点群データと画像データのマッチングを行う上で、3次元点群データと画像データとのマッチングを確実に行わせる3次元点群表示装置を得ることを目的とする。

課題を解決するための手段

0008

本発明に係る3次元点群表示装置は、監視対象をカメラにより撮影して得られた画像データを取得するデータ取得部と、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理部と、画面に表示される3次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部と、演算範囲設定部の設定に基づき3次元点群データから選択された選択データとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出部と、特徴情報抽出部による抽出の結果に基づき、3次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング部と、マッチング部のマッチングの結果に基づき、画面内で3次元点群データの上に画像データを重畳表示させる重畳表示処理部と、を備えている。

0009

本発明に係る3次元点群表示装置は、監視対象をカメラにより撮影して得られた画像データを取得するデータ取得部と、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理部と、画面に表示される3次元点群データに対して、画像データに含まれる属性情報により演算範囲の設定を行う演算範囲設定部と、演算範囲設定部の設定に基づき3次元点群データから選択された選択データとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出部と、特徴情報抽出部による抽出の結果に基づき、3次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング部と、マッチング部のマッチングの結果に基づき、画面内で3次元点群データの上に画像データを重畳表示させる重畳表示処理部と、を備えている。

0010

また、本発明に係る3次元点群表示システムは、監視対象を撮影するカメラと、カメラにより撮影して得られた画像データを取得するデータ取得部と、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理部と、画面に表示される3次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部と、演算範囲設定部の設定に基づき3次元点群データから選択された選択データとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出部と、特徴情報抽出部による抽出の結果に基づき、3次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング部と、マッチング部のマッチングの結果に基づき、画面内で3次元点群データの上に画像データを重畳表示させる重畳表示処理部と、を備えている。

0011

また本発明に係る3次元点群表示方法は、監視対象をカメラにより撮影して得られた画像データを取得するデータ取得ステップと、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理ステップと、画面に表示される3次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定ステップと、演算範囲設定ステップでの設定に基づき3次元点群データから選択された選択データとデータ取得ステップにより取得された画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップと、特徴情報抽出処理ステップによる抽出の結果に基づき、3次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング処理ステップと、マッチング処理ステップでのマッチングの結果に基づき、画面内で3次元点群データの上に画像データを重畳表示させる重畳表示処理スを有している。

0012

また、本発明に係る3次元点群表示プログラムは、監視対象をカメラにより撮影して得られた画像データを取得するデータ取得ステップと、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データを画面に表示する処理を行う表示処理ステップと、画面に表示される3次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定ステップと、演算範囲設定ステップでの設定に基づき3次元点群データから選択された選択データとデータ取得ステップにより取得された画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップと、特徴情報抽出処理ステップによる抽出の結果に基づき、3次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング処理ステップと、マッチング処理ステップのマッチングの結果に基づき、画面内で3次元点群データの上に画像データを重畳表示させる重畳表示処理ステップと、をコンピュータに実行させる。

0013

また、本発明に係る記録媒体は、上記3次元点群表示プログラムが記録されている。

発明の効果

0014

また、本発明に係る3次元点群表示装置によれば、3次元点群データと画像データとのマッチングを確実に行わせることが可能になる。

0015

また、本発明に係る3次元点群表示システムによれば、3次元点群データと画像データとのマッチングを確実に行わせることが可能になる。

0016

また、本発明に係る3次元点群表示方法によれば、3次元点群データと画像データとのマッチングを確実に行わせることが可能になる。

0017

また、本発明に係る3次元点群表示プログラムによれば、3次元点群データと画像データとのマッチングを確実に行わせることが可能になる。

0018

また、本発明に係る記録媒体によれば、上記プログラムを記録しており、3次元点群データと画像データとのマッチングを確実に行わせることが可能になる。

図面の簡単な説明

0019

実施の形態1に係る3次元点群表示システムの構成を示すブロック図である。
実施の形態1に係る3次元点群表示装置のハードウェア構成例を示す図である。
実施の形態1に係る監視対象として河川を想定した場合のカメラとレーザスキャナの配置の例を示す図である。
実施の形態1に係る3次元点群表示装置の動作を示すフローチャート図である。
実施の形態1に係る画像データと、3次元点群データを表示する表示器における画面の内容を示す図である。
実施の形態1に係る演算範囲設定部として機能するメッセージ入力画面の構成を示す図である。
実施の形態1に係る特徴情報抽出作業と、マッチング作業の内容を説明するための図である。
実施の形態1に係る重畳表示処理部が表示器において画像データを3次元点群データに重畳表示させることを示す図である。
実施の形態2に係る入力部としてポインティングデバイスを利用して演算範囲を設定する場合のブロック図である
実施の形態2に係るポインティングデバイスを利用しての演算範囲を設定する設定画面である。
実施の形態3に係る演算部の構成を示すブロック図である。
実施の形態3に係る3次元点群表示装置の動作を示すフローチャート図である。
実施の形態3に係る変形例を示す図である。
実施の形態4に係る、3次元点群表示システムの構成を示すブロック図である。
実施の形態4に係る3次元点群表示装置の動作を示すフローチャート図である。
実施の形態4に係る3次元点群データを表示する表示器における画面の内容を示す図である。
実施の形態4に係る変形例の動作を示すフローチャート図である。

実施例

0020

以下に、本発明の実施の形態に係る3次元点群表示装置、3次元点群表示システム装置、3次元点群表示方法について図面に基づいて詳細に説明する。なお、各実施の形態により本発明が限定されるものではなく、各実施の形態を組み合わせたり適宜変更したりすることができる。また、各実施の形態で同等の構成については、同一の符号を付してその説明を省略などする。

0021

実施の形態1.
本発明の実施の形態1について、図1から図8を用いて説明する。実施の形態1の概要は、画面に表示される3次元点群データに対してマッチング作業を行う演算範囲の設定を受け付ける演算範囲設定部を設けたことである。

0022

図1は実施の形態1に係る3次元点群表示システム40の構成を示すブロック図である。3次元点群表示システム40は、3次元点群表示装置1と、カメラユニット20と、記憶部30とを含んでいる。記憶部は3次元点群表示装置1とは別の構成として開示しているが、3次元点群表示装置1自体に十分な記録保存領域があれば、3次元点群表示装置1の中に記憶部30を設けてもよい。

0023

3次元点群表示装置1は、3次元点群表示装置1の各種機能を実現する3次元点群表示プログラムとしてのプログラムP(後に詳述する)と、カメラユニット20から不図示のネットワーク等を介して送信される画像データ22および記憶部30から呼び出される3次元点群データ31を取得するデータ取得部2と、データ取得部2が取得した画像データ22、3次元点群データ31および後述の演算範囲設定部6による演算範囲の設定に関するデータをデータ取得部2から取り込んでディスプレイなどの表示器4に表示する処理を行う表示処理部3と、マウストラックボールキーボードなどの外部の接続機器である入力部7からの入力を受け付ける入力受付部5と、を含んでいる。

0024

また、3次元点群表示装置1は、各種演算を行う演算部8を備えている。演算部8は、データ取得部2で取得した画像データ22のカメラ21からの視点と3次元点群データ31の視点を対応させる視点対応部9と、画像データ22および3次元点群データ31を取り込んでエッジ情報などに関する各々の特徴情報を抽出する特徴情報抽出部10と、抽出した各々の特徴情報に基づき画像データ22および3次元点群データ31に関するマッチングを行うマッチング部11と、を含んでいる。

0025

データ取得部2は、表示器4に表示された不図示のデータ範囲取得画面での入力部7による設定に関する入力を入力受付部5から受信した場合、記憶部30と通信を行い、表示器4に表示させる3次元点群データ31のデータ範囲を絞ってデータ取得を行うように構成される。例えば、図3において説明を行う監視対象についての選択をしたり、3次元点群データ31の取得時期を選択したり、といったことが想定される。また、データ取得部2は、演算部8における演算範囲を設定する演算範囲設定部6を含んでいる。

0026

また、表示処理部3は、マッチング部11によるマッチングの結果に基づき、3次元点群データ31の上に画像データ22を位置合わせして重畳表示する重畳表示処理部12を有している。

0027

特徴抽出部10と、マッチング部11および重畳表示処理部12の各々の処理をするタイミングについて説明する。ある時点での画像データ22を利用して行う特徴抽出部10に特徴抽出の作業および抽出された特徴情報を利用してのマッチング部11によるマッチングの作業は、少なくとも3次元点群表示システ40を構築する際に、初期設定として行うだけで十分である。3次元点群表示システム40を運用する段階では初期設定として行ったマッチング部11のマッチングの結果を利用して、重畳表示処理部12が、データ取得部2から都度取得される画像データ22を3次元点群表示データ31の各点と対応する位置に重畳表示すればよい。

0028

カメラユニット20は、河川などの環境や工場などの設備といった監視対象を撮影するカメラ21と、カメラ21により撮影された画像データ22を3次元点群表示装置1のデータ取得部2へ送信するデータ送信部23とを含んでいる。

0029

なお、カメラ21により撮影される画像データ22は静止画であっても動画であってもよい。ただし特徴抽出部10に特徴抽出の作業および抽出された特徴情報を利用してのマッチング部11によるマッチングの作業は、画像データ22が動画の場合には、予め定められた期間に撮影された画像データ22としての動画データの平均値を利用したり、予め定められた期間における任意の時点での1つの画像を利用したりすることが好ましい。すなわち、リアルタイムに変化する動画に基づいてマッチングを行おうとすると、特徴抽出部10に特徴抽出の作業および抽出された特徴情報を利用してのマッチング部11によるマッチングの作業を行おうとすると、計算量が膨大になる可能性があるためである。

0030

記憶部30は、レーザスキャナ24(図3を参照)などにより予め監視対象やその周囲をスキャンして取得した複数の点を3次元点群データ31として格納している。3次元点群データ31は、たとえば、X軸、Y軸、Z軸により構成されるワールド座標系の空間における点である。なお、3次元点群データ31は、不図示のGPSデータなども利用して、各点が、絶対座標を保有してもよい。

0031

図2は、3次元点群表示装置1のハードウェア構成例を示す図である。図2に示すように、3次元点群表示装置1は、プロセッサ100と、メモリ101と、インタフェース回路102とを備えている。プロセッサ100、メモリ101、インタフェース回路102は、システムバス103によりそれぞれ通信可能に接続されている。

0032

プロセッサ100は、記録媒体としてのメモリ101に格納されたプログラムPを呼び出すことで、コンピュータとしての3次元点群表示装置1aにおける表示処理部3の機能を実現したり、重畳表示処理部12の機能を実現したり、演算部8における特徴情報抽出部10の機能を実現したり、マッチング部11の機能を実現したり、その他のデータ処理の機能を実現したりする。

0033

さらにプロセッサ100は、インタフェース回路102を介して接続される入力部7においてユーザが入力を行った場合、メモリ101における入力受付部5が入力を受け付けることで、記憶部30の3次元点群データ31のデータをデータ処理(抽出、加工、変換等)することが可能である。

0034

なお、プロセッサ100は、処理回路の一例であり、CPU(Central Processing Unit)、DSP(Digital Signal Processer)、およびシステムLSI(Large Scale Integration)のうち1以上を含む。メモリ101は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリEPROM(Enable Program Read Only Memory)をはじめとした不揮発性または揮発性半導体メモリ磁気ディスクフレキシブルメモリ、光ディスクコンパクトディスク、およびDVD(Digital Versatile Disc)のうち1以上を含んでいる。また、本ハードウェアの構成は、実施の形態1について説明したが、本発明の各実施の形態も同様のハードウェア構成を採用することが可能である。

0035

図3は、監視対象として河川25を想定した場合のカメラ21とレーザスキャナ24の配置の例を示す図である。カメラ21とレーザスキャナ24は河川25見渡せる高台26に設置されている。高台26は川岸125に対して河川25よりも離れた位置に位置する。

0036

カメラ21により河川25を撮影することにより、水位の変化や河川氾濫の可能性などをリアルタイムに監視することが可能となる。カメラ21は、監視対象である河川25以外に、周囲の環境や構造物を合わせて撮影することがある。例えば、カメラ21の撮影方向を撮影方向121aとし、河川25の近辺に存在する構造物としての倉庫27や住宅28を撮影対象として収める撮影フレーム29とすることで、河川25の状況を分かりやすく把握できる。

0037

一方、レーザスキャナ24は、スキャン部が可動式となっており、通常、カメラ21よりも広いエリアをスキャンして、3次元点群データ31として記憶部30に格納される。しかしながらこのような構成に限られず、レーザスキャナ24は、監視対象のうち、カメラ21により撮影された範囲の少なくとも一部を含んで計測して3次元点群データ31を得るように設けられればよい。すなわち、監視対象に対して、画像データ22と3次元点群データ31とのデータの範囲が重なる部分を有していればよい。

0038

なお、撮影方向121aとは、例えば、撮影フレーム29の中心とカメラ21とを結ぶ方向のことを示す。カメラ21の撮影方向121aは不図示の方位センサ等により取得され、カメラ21の撮影位置121bは不図示のGPSデータ等により取得される。撮影方向121aと撮影位置121bに関する情報は、たとえば画像データ22に埋め込まれて記録されている。

0039

なお、マッチング部11によるマッチングを行うに当たって、カメラ21による撮影時期と、レーザスキャナ24によるスキャンの時期は同じ時期か近い時期の方が、画像データ22と3次元点群データとの相違が少ないために演算部8による各種の演算に好適である。しかしながら、両者のデータの時期が離れていても演算部8による各種の演算を行うことは可能である。

0040

図4は、3次元点群表示装置1の動作を示すフローチャート図である。図1図5から図8も適宜参照して説明を行う。まず、図1に示すように、データ取得部2は、画像データ22と3次元点群データ31とを取得する(図4のデータ取得ステップST1)。なお、以下の各ステップの説明において、説明を簡略化するために、単にステップST1、ステップST2などとステップの名称を省略した形で記載することがあることを述べておく。

0041

図5に示すように、表示処理部3は、データ取得部2から受け取った画像データ22と3次元点群データ31とを処理して、画像データ22と3次元点群データ31を表示器4に表示する(表示処理ステップST2)。ワールド座標系である3次元点群データ31は、スクリーン座標系として視点を切り替え可能に表示器4に表示される。次に、ユーザが入力部7を用いて入力を行い、入力受付部5を介して視点対応部9によりカメラ21の座標(位置)を表示器4の画面4a(図5)のように設定する(視点対応処理ステップST3)。

0042

その後、カメラ21の視点と3次元点群データ31の視点が一致した画面4b(図6)を表示される(視点対応画面表示処理ステップST4)。視点対応処理ステップST3および視点対応画面表示処理ステップST4の内容を図5および図6を用いて詳細に説明する。

0043

図5は、画像データ22と、3次元点群データ31を表示する表示器4における画面4aの内容を示す図である。監視対象となった河川25やその周囲の構造物と、3次元点群データ31との関係性を説明する。画面4aでは、河川25は点群河川25a、川岸125は点群川岸125a、河川25と川岸125の境界を第1の点群境界25a1、第2の点群境界25a2、倉庫27は点群倉庫27a、住宅28は点群住宅28a、カメラ21は点群カメラ21aとして3次元点群データ31により表示されている。

0044

監視対象となった河川25やその周囲の構造物と、画像データ22との関係性を説明する。表示器4は、画面4aにおいて、角部の表示領域に画像データ22の内容が画像データ表示領域41(画像フレーム)を作成し、3次元点群データ31と画像データ22とを両方合わせて確認できる。後に詳述する演算範囲設定部6による演算範囲の設定を行う作業が効率的に行える効果を奏する。なお、画像データ表示領域41に表示される画像データ22は、リアルタイムに映し出されるものであってもよいし、ある時点で撮影されたものであってもよい。

0045

画像データ表示領域41では、河川25は画像河川25b、河川25の水の色合起伏などが画像河川水25b1、倉庫27は画像倉庫27b、住宅28は画像住宅28bとして画像データ22により表示されている。

0046

なお、画像データ表示領域41は画面4aの角部(たとえば画面4aの対角の端部領域)に配置されることで、画面4aにおける3次元点群データ31の表示領域での視認性の低下を抑制でき、画像データ22と3次元点群データ31との両者の状態を効率よく把握することが可能である。ただし、画像データ表示領域41を設けないで、画面4aには3次元点群データ31だけを表示し、画像データ22は不図示の別の画面に表示するようにしてもよい。

0047

ところで、3次元点群データ31と画像データ22とのマッチング部11によるマッチング作業を行う上では、互いの視点が一致した状態で特徴情報抽出部10による特徴情報の抽出が好ましい。すなわち、互いの視点がずれていると、特徴情報抽出部10により抽出された3次元点群データ31の特徴情報と画像データ22の特徴情報とが、アスペクト比が異なった状態で抽出されてしまい、マッチング部11によるマッチング作業が精度よく実行されない恐れがあるためである。ただし、必ずしも視点の一致を行わなくても、ある程度マッチング作業を行うことは可能である。

0048

そこで、3次元点群データ31と画像データ22との視点を合わせるために、例えば、画面4aにおいて、入力部7としてのマウスによるカーソル29を点群カメラ21aの位置に合わせると、点群カメラ21aの座標が表示される(視点対応処理ステップST3)。そして、カメラの視点にビューワの視点を合わせるかどうかのメッセージ42が表示される。そして、Yesのチェックボックスでの「Yes」の選択を行う(視点対応処理ステップST3)。その後、図6に示すように3次元点群データ31と画像データ22との視点が一致するように表示器4は画面4bを表示する(図4の視点対応画面表示処理ステップST4)。

0049

なお、画面4aに、点群カメラ21aが存在しない場合がある。その場合には、たとえば、カメラ21を設置した際にカメラの設置位置の絶対座標を記録して管理している不図示の設備管理データベースを参照する。そして、参照した絶対座標のデータを入力部7で入力し、点群データ31の絶対座標と対応させるなどすることで視点対応処理ステップST3を実行してもよい。

0050

図6は、演算範囲設定部6として機能するメッセージ入力画面44の構成を示す図である。演算範囲設定部6により、3次元点群データ31における演算を行う演算範囲の設定を行う(図4の演算範囲設定テップST5)。すなわち、演算範囲設定部6による演算範囲の設定基づき3次元点群データ31から選択された選択データ31aに対して、演算部8は演算を行う。

0051

なお、演算範囲設定部6の設定によりマッチング部11によるマッチング作業の範囲のみを設定し特徴情報抽出部10による特徴情報の抽出は3次元点群データ31の全領域で行ってもよいし、特徴情報抽出部10による特徴情報の抽出およびマッチング部11によるマッチング作業の両者の範囲を設定するようにしてもよい。すなわち、少なくとも、3次元点群データ31におけるマッチング部11のマッチング作業の範囲が設定されていればよい。

0052

メッセージ入力画面44に対する具体的な入力方法について説明する。画像データ22と3次元点群データ31とをマッチングさせるためには、画像データ22全体が包含される3次元点群データ31の領域を設定することが好ましい。しかしながら3次元点群データ31において広い領域を演算範囲として設定すると演算部8による演算量が多くなってしまう。そこで、画面フレーム41と画面4bに共通して表示される構造物などを目印に、その周囲の範囲を演算の対象とする演算範囲として設定することが好ましい。

0053

例えば、倉庫27(点群倉庫27a、画像倉庫27b)が共通して存在する目印とした場合、点群倉庫27aにカーソル29を合わせて点群倉庫27aの座標(X1,Y1,Z1)を表示させ、その座標の情報を基に、メッセージ入力画面44に演算範囲(X1−α1≦X1≦X1+α2、Y1−β1≦X1≦X1+β2、Z1−γ1≦X1≦X1+γ2)を設定する。このように3次元点群データ31と画像データ22に共通して表示される構造物の座標を目印に演算範囲を設定することで、演算量を抑えつつ、マッチング作業を確実に実行させることが可能となる。

0054

なお、演算範囲設定テップST5では、メッセージ入力画面44で入力した演算範囲に基づき、演算範囲となる演算範囲領域44aを画面4bに表示するようにしてもよい。このようにすれば、ユーザにとって、どの領域が演算範囲として設定されたかが分かり、設定した演算範囲が不適な場合には、容易に修正を行うことが可能になる。

0055

なお、演算範囲設定部6の例としてメッセージ入力画面44におけるユーザ入力による演算範囲の設定方法について説明したが、これに限られるものではない。たとえば、画像データ22に含まれる属性情報を利用して演算範囲を設定してもよい。属性情報としては、たとえば、カメラ21に関する撮影方向121aおよび撮影位置121bに関する情報と、必要に応じてカメラ21に関するレンズなどの情報が想定される。

0056

具体的には、撮影方向121a、撮影位置121b、カメラ21のレンズの焦点距離などから、画像データ22が撮影する概略範囲が分かるため、その概略範囲に予め定められたマージンを持たせるような範囲を演算範囲とするようにしてもよい。あるいは、自動的に演算範囲の仮設定を行い、仮設定を踏まえてユーザが調整して正式な演算範囲の設定とするようにしてもよい。

0057

図7は、特徴情報抽出部10により、データ取得部2を介して取得した画像データ22および3次元点群データ31から各々の特徴情報を抽出する特徴情報抽出作業(図4の特徴情報抽出処理ステップST6)と、マッチング部11により、設定された演算範囲内での各々の特徴情報が最も一致する画像データ22の位置とサイズを抽出するマッチング作業(図4のマッチング処理ステップST7)の内容を説明するための図である。例えば、特徴情報としてエッジ情報が想定される。

0058

エッジ情報とは、画像データ22および3次元点群データ31の特徴情報の抽出により得られた、境界線の情報である。例えば、画像データ22であれば、監視対象が河川の場合、水面と部で大きく色合いが異なることから、境界線が抽出できる。また監視対象が道路の場合、舗装された道路と、路肩の色が異なることから、境界線が抽出できる。

0059

一方、3次元点群データ31であれば、点群はx座標、y座標、z座標のデータの集合であり、たとえば監視対象が河川の場合、水面は、ほぼxy平面に平行なのに対し、水面付近の陸部は傾いているため、水面と陸部との境界線を取ることができる。

0060

図7の(A)と(B)は、3次元点群データ31に関するエッジ情報の抽出を説明するための図である。図7(A)が初期状態で、図7(B)がエッジ情報の抽出結果である。説明を分かりやすくするために、画面4bにおいては画像データ表示領域41の表示は省略して記載している。

0061

一方、図7の(C)と(D)は画像データ22に関するエッジ情報の抽出を説明するための図である。図7(C)が初期状態で、図7(D)がエッジ情報の抽出結果である。図7の(A)と(B)と比較しやすいように、図7の(C)と(D)の画像データ表示領域41を拡大して記載している。図7(E)は、図7の(B)と(D)との抽出結果を基にしたマッチング作業の結果を示す図である。

0062

以下、詳細に特徴情報抽出作業およびマッチング作業について説明する。図7(B)では、第1の点群境界25a1が第1の点群境界エッジ45a1としてエッジ情報が抽出され、第2の点群境界25a2が第2の点群境界エッジ45a2としてエッジ情報が抽出され、点群倉庫27aは点群倉庫エッジ46aとしてエッジ情報が抽出され、点群住宅28aは点群住宅エッジ47aとしてエッジ情報が抽出されていることが表示されている。

0063

一方、図7(D)では、画像河川25bが画像河川エッジ45bとしてエッジ情報が抽出され、画像倉庫27bが画像倉庫エッジ46bとしてエッジ情報が抽出され、画像住宅28bは画像住宅エッジ47bとしてエッジ情報が抽出される。図7(C)では画像河川水25b1が表示されていたがエッジ情報としては抽出されないため、図7(D)には対応するものが存在していない。

0064

なお、図7の(B)または(D)において、エッジ処理の状態を把握しながら、エッジ処理をより適切な状態にすべく、たとえばバーの移動によるエッジ抽出に関するパラメータ調整が可能なようにしてもよい。このようにすれば図7(E)でのマッチング作業の精度向上が期待できる。

0065

図7(E)は、表示器4が画面4cを表示したものである。画面4cでは、特徴情報抽出処理ステップST6で取得したエッジ情報を利用して、マッチング処理ステップST7でのマッチング作業では3次元点群データ31のエッジ情報と画像データ22のエッジ情報の重ね合わせを行った結果を表示している。

0066

具体的には、画面4cは画像データ22のエッジ情報が3次元点群データ31のエッジ情報に対してもっとも重なる3次元点群データ上の位置および画像データ22のサイズを抽出して、抽出結果に基づく位置及びサイズを調整しての表示となる。今回のマッチング作業の結果では、点群倉庫エッジ46aには画像倉庫エッジ46bがおおよそ重なり、点群住宅47aには画像住宅47bがおおよそ重なり、第1の点群境界エッジ45a1には画像河川エッジ45bがおおよそ重なっていることが読み取れる。

0067

図8は、マッチング結果に基づき、重畳表示処理部12が表示器4において画像データ22を3次元点群データ31に重畳表示させることを示す図である(図4の重畳表示処理ステップST8)。たとえば、図7(E)における画面4cの表示の後、たとえば数秒など予め定められた時間が経過した後か画面4cをカーソル29でクリックするなどすると、図8のように表示される。

0068

具体的には、画像データ22は、マッチング結果と、撮影方向121aおよび撮影位置121bに関する情報を利用して、点群データ31が存在する空間上に3次元座標で出力される。そして、画像データ22は、アスペクト比(縦横比)を変更せず、マッチング結果に基づき拡大または縮小が行われ、表示処理部3は、3次元点群データ31に画像データ22を重畳表示する処理を行う。すなわち、点群河川25aには画像河川25bが重畳表示され、点群倉庫27aには画像倉庫27bが重畳表示され、点群住宅28aには画像住宅28bが重畳表示される。

0069

マッチング部11で利用した画像データ22がある時点での画像データである場合には、マッチング結果を利用して、重畳表示処理部12は、今後、カメラ21により取得される画像データ22を3次元点群データ31に対する適切な位置に重畳表示するようにすればよい。

0070

このようにして、ユーザは画面4cにおいて、監視対象のリアルタイムな情報を画像データ22が表示される画像データ表示領域41aに表示される内容で知覚し、画像データ表示領域41aの周囲の状況を3次元点群データ31の内容により把握でき、総合的な監視対象への監視を行うことが可能となる。

0071

なお、図1では、3次元点群表示装置1が演算部8を含んでいることを説明したが、たとえば、計算能力が3次元点群表示装置1よりも高い不図示のサーバやワークステーションに演算部8を格納するようにしてもよい。そうすることで、より短時間で特徴情報抽出作業やマッチング作業を行うことが可能になる。合わせて記憶部30も不図示のサーバに格納してもよい。

0072

また、図7では特徴情報抽出作業とマッチング作業を画面4bや画面4cに表示することを説明したが、画面4bや画面4cに表示をせずに、内部処理として実行するようにしてもよい。表示処理部3の負荷が減ることで3次元点群表示装置1の処理能力余裕が生まれ、特徴情報抽出作業とマッチング作業の処理速度を内部処理にしない場合と比べて向上させることができる。

0073

本発明の実施の形態1に係る3次元点群表示装置1によれば、監視対象をカメラ21により撮影して得られた画像データ22を取得するデータ取得部2と、監視対象のうち、カメラ21により撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データ31を画面4aに表示する処理を行う表示処理部3と、画面4bに表示される3次元点群データ31に対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部6と、演算範囲設定部6の設定に基づき3次元点群データ31から選択された選択データ31aとデータ取得部2により取得された画像データ22の各々の特徴情報を抽出する特徴情報抽出部10と、特徴情報抽出部10による抽出の結果に基づき、3次元点群データ31の特徴情報と画像データ22の特徴情報同士をマッチングさせるマッチング部11と、マッチング部11のマッチングの結果に基づき、画面4c内で3次元点群データ31の上に画像データを重畳表示させる重畳表示処理部12と、を備えたので、GPSデータを基準とした周囲の3次元地図情報と実画像をマッチングさせる構成と比べて、3次元点群データ31と画像データ22とのマッチングを確実に行わせることが可能になる。

0074

また、本発明の実施の形態1に係る3次元点群表示装置1は、表示処理部3は、演算範囲設定部6での設定を行う場合に、画面4aの内部で画像データ22を表示させる画像データ表示領域41を作成するので、演算範囲設定部6による演算範囲の設定を行う作業が効率的に行える効果を奏する。

0075

また、本発明の実施の形態1に係る3次元点群表示装置1によれば、演算範囲設定部6での設定を行う場合に、画像データ表示領域41は、画面4aの角部に配置されるので、画面4aにおける3次元点群データ31の表示領域での視認性の低下を抑制でき、画像データ22と3次元点群データ31との両者の状態を効率よく把握することが可能である。

0076

また、本発明の実施の形態1に係る3次元点群表示装置1によれば、演算範囲設定部6は、ユーザ入力により設定された演算範囲に対応する演算範囲領域44aを画面4bに表示するので、ユーザにとって、どの領域が演算範囲として設定されたかが分かり、設定した演算範囲が不適な場合には、容易に修正を行うことが可能になる。

0077

本発明の実施の形態1に係る3次元点群表示装置1によれば、監視対象をカメラ21により撮影して得られた画像データ22を取得するデータ取得部2と、監視対象のうち、カメラ21により撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データ31を画面4aに表示する処理を行う表示処理部3と、画面4bに表示される3次元点群データ31に対して画像データ22に含まれる属性情報(たとえば、撮影方向121aおよび撮影位置121bに関する情報)により演算範囲の設定を行う演算範囲設定部6と、演算範囲設定部6の設定に基づき3次元点群データ31から選択された選択データ31aとデータ取得部2により取得された画像データ22の各々の特徴情報を抽出する特徴情報抽出部10と、特徴情報抽出部10による抽出の結果に基づき、3次元点群データ31の特徴情報と画像データ22の特徴情報同士をマッチングさせるマッチング部11と、マッチング部11のマッチングの結果に基づき、画面4c内で3次元点群データ31の上に画像データを重畳表示させる重畳表示処理部12と、を備えたので、GPSデータを基準とした周囲の3次元地図情報と実画像をマッチングさせる構成と比べて、3次元点群データ31と画像データ22とのマッチングを確実に行わせることが可能になる。

0078

また、本発明の実施の形態1に係る3次元点群表示システム40によれば、監視対象を撮影するカメラ21と、カメラ21により撮影して得られた画像データ22を取得するデータ取得部2と、監視対象のうち、カメラ21により撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データ31を画面4aに表示する処理を行う表示処理部3と、画面4bに表示される3次元点群データ31に対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部6と、演算範囲設定部6の設定に基づき3次元点群データ31から選択された選択データ31aとデータ取得部2により取得された画像データ22の各々の特徴情報を抽出する特徴情報抽出部10と、特徴情報抽出部10による抽出の結果に基づき、3次元点群データ31の特徴情報と画像データ22の特徴情報同士をマッチングさせるマッチング部11と、マッチング部11のマッチングの結果に基づき、画面4c内で3次元点群データ31の上に画像データを重畳表示させる重畳表示処理部12と、を備えたので、GPSデータを基準とした周囲の3次元地図情報と実画像をマッチングさせる構成と比べて、3次元点群データ31と画像データ22とのマッチングを確実に行わせることが可能になる。

0079

また、本発明の実施の形態1に係る3次元点群表示システム40によれば、表示処理部3が演算範囲設定部6での設定を行う場合に、画面4a内で画像データ22を表示させる画像データ表示領域41を作成するので、演算範囲設定部6による演算範囲の設定を行う作業が効率的に行える効果を奏する。

0080

また、本発明の実施の形態1に係る3次元点群表示方法によれば、監視対象をカメラ21により撮影して得られた画像データ22を取得するデータ取得ステップST1と、監視対象のうち、カメラ21により撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データ31を画面4aに表示する処理を行う表示処理ステップST2と、画面4bに表示される3次元点群データに対してユーザ入力により演算範囲の設定を行う重畳表示処理ステップと、演算範囲設定ステップST5での設定に基づき3次元点群データから選択された選択データ31aとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップST6と、特徴情報抽出部による抽出の結果に基づき、3次元点群データ31の特徴情報と画像データの特徴情報同士をマッチングさせる重畳表示処理ステップST7と、マッチング処理ステップST7の結果に基づき、画面4c内で3次元点群データ31の上に画像データ22を重畳表示させる重畳表示処理ステップST8と、を有するので、GPSデータを基準とした周囲の3次元地図情報と実画像をマッチングさせる構成と比べて、3次元点群データと画像データとのマッチングを確実に行わせることが可能になる。

0081

また、本発明の実施の形態1に係る3次元点群表示方法によれば、表示処理ステップST2は、演算範囲設定ステップST5での設定を行う場合に、画面4bの内部で画像データ22を表示させる画像データ表示領域41を作成するので、演算範囲設定ステップST5での演算範囲の設定を行う作業が効率的に行える効果を奏する。

0082

また、本発明の実施の形態1に係る3次元点群表示プログラムによれば、監視対象をカメラ21により撮影して得られた画像データ22を取得するデータ取得ステップST1と、監視対象のうち、カメラ21により撮影された範囲の少なくとも一部を含んで計測して得た3次元点群データ31を画面4aに表示する処理を行う表示処理ステップST2と、画面4bに表示される3次元点群データに対してユーザ入力により演算範囲の設定を行う重畳表示処理ステップと、演算範囲設定ステップST5での設定に基づき3次元点群データから選択された選択データ31aとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップST6と、特徴情報抽出部による抽出の結果に基づき、3次元点群データ31の特徴情報と画像データの特徴情報同士をマッチングさせる重畳表示処理ステップST7と、マッチング処理ステップST7の結果に基づき、画面4c内で3次元点群データ31の上に画像データ22を重畳表示させる重畳表示処理ステップST8と、をコンピュータに実行させるので、GPSデータを基準とした周囲の3次元地図情報と実画像をマッチングさせる構成と比べて、3次元点群データと画像データとのマッチングを確実に行わせることが可能になる。

0083

また、本発明の実施の形態1に係る3次元点群表示プログラムによれば、表示処理ステップST2は、演算範囲設定ステップST5での設定を行う場合に、画面4bの内部で画像データ22を表示させる画像データ表示領域41を作成するので、演算範囲設定ステップST5での演算範囲の設定を行う作業が効率的に行える効果を奏する。

0084

また、本発明の実施の形態1に係る記録媒体によれば、プログラムPが記録されているので、プログラムPによる各種機能を実行することができる。

0085

実施の形態2.
本発明の実施の形態2について、図9および図10を用いて説明する。実施の形態1では、演算範囲設定部6による演算範囲の設定はX軸、Y軸、Z軸の各軸の座標をユーザ入力により行っていたが、本実施の形態では入力部7としてのマウスなどによるカーソル移動の利用により、演算範囲を設定することが異なる部分である。

0086

図9は、入力部7としてポインティングデバイスを利用して演算範囲を設定する場合のブロック図である。ポインティングデバイスとしては、たとえば、マウス7aやジョイスティック7b、不図示のトラックボールなどが想定される。これらポインティングデバイスからの入力を入力受付部5が受付けて、データ取得部2a内の演算範囲設定部6aにおいてカーソル29の移動による演算範囲の設定が実行される。

0087

図10は、ポインティングデバイスを利用しての演算範囲を設定する設定画面である。画面4b内で表示されるスクリーン座標系での表示に対して、ユーザが演算範囲としたい領域を検討する。たとえばマウス7aの操作によりカーソル29を移動操作させて、X軸方向およびZ軸方向における演算範囲を決める。そして、奥行きであるY軸方向の演算範囲を決める際には、視点移動ツール51を使ってY軸方向の視点をずらしつつ、X軸またはZ軸におけるカーソル29の移動操作と同様の操作を行えばよい。

0088

本発明の実施の形態2に係る3次元点群表示装置1は、演算範囲設定部6が、ポインティングデバイス7a,7bを利用して演算範囲を設定するようにしたので、ユーザが視覚的に演算範囲を行うことが可能になる。すなわち、どの範囲を演算範囲として設定するかを座標となる数字を入力する場合と比べて容易に行える。

0089

実施の形態3.
本発明の実施の形態3について、図11および図12を用いて説明する。実施の形態1では、マッチング作業は、設定された演算範囲内で画像データと3次元点群データの各々の特徴情報が最も一致する画像データの位置とサイズを抽出する作業であったが、マッチングの程度がよくない場合に演算範囲を再設定することを促す機能を有することが異なる部分である。

0090

図11は、演算部8aの構成を示すブロック図である。演算部8aは視点対応部9、特徴情報抽出部10、マッチング部11のほかに、マッチングの程度を判定するマッチング度判定部11aを含んでいる。マッチング度合判定部11aは、予め定めたマッチング度に対して、マッチング部11でのマッチング作業の結果がどの程度のものかを把握するために機能する。マッチング度を求める方式としては、たとえば、3次元点群データ31において設定された演算範囲の中で、画像データ22が3次元点群データ31に対して一致するピクセル数と一致しないピクセル数をカウントし、全ピクセル数のうちの一致するピクセル数の割合から求めるようにしてもよい。

0091

図12は、3次元点群表示装置1の動作を示すフローチャート図である。ステップST1からステップST8は実施の形態1と同様の構成であり、ステップST2からステップST4を省略して記載している。マッチング度確認ステップST17と演算範囲の再設定を促す警告表示ステップST18が実施の形態1とは異なるステップである。

0092

たとえば、マッチング度確認ステップST17において予め定めたマッチング度に対してマッチング部11でのマッチング作業の結果が到達していない場合、警告表示ステップST18へとフローが分岐し、表示処理部3が「もう一度演算範囲の設定を行って、演算をやり直してください」などと警告144が報知されるように構成される。その後、ユーザは警告144の表示を踏まえて、再度演算範囲設定テップST5へと移行してカーソル29などにより演算範囲の設定を実行する。なお、警告144は文字意外に、音声など、ユーザに伝わるものであれば何でもよい。

0093

本発明の実施の形態3に係る3次元点群表示装置1は、マッチング部11によるマッチングの結果を判定するマッチング度判定部11aを有し、判定の結果に応じて、演算範囲の再設定を促す警告144を報知するので、3次元点群データ31に対する画像データ22の重畳表示が精度悪く表示されることを防止する効果を奏する。

0094

変形例3a
変形例3aについて図13を用いて説明する。警告表示ステップST18を受けてユーザが再び演算範囲設定ステップST5での演算範囲の設定を行う際、前回の演算範囲を把握していで新たに演算範囲の設定を行ったとしても、再度のマッチング作業でのマッチング度が向上せず、予め定めたマッチング度の度合いに達しない恐れがある。

0095

そこで、前回の演算範囲の領域を前回演算範囲領域51として表示し、それを踏まえて、最新演算範囲領域52として演算範囲を設定することが可能となる。すなわち、前回設定した演算範囲ではマッチング部11でのマッチング作業に不足していた領域を把握でき、より効率的に最新演算範囲領域52を設定することが可能となる。

0096

本発明の実施の形態3の変形例3aに係る3次元点群表示装置1は、警告144が報知され、演算範囲の設定を再度行う場合、警告対象となった前回演算範囲領域51が画面に表示されるので、演算範囲の再設定を行う場合に効率的に再設定を行える効果を奏する。

0097

実施の形態4.
本発明の実施の形態4について、図14から図16を用いて説明する。実施の形態1では、カメラが視野の変化がない固定カメラであることを主に想定していたが、本実施の形態4では左右や上下などに角度を変えて撮影できる可動カメラであることを想定し、実施の形態1よりも広いエリアを撮影した画像データを利用してのマッチング作業を行うものである。

0098

図14は、3次元点群表示システム40aの構成を示すブロック図である。実施の形態1の図1における3次元点群表示システム40と異なる構成について説明する。カメラユニット20aは可動カメラ21aと、3次元点群表示装置1aから送られる可動カメラ21aを制御する可動カメラ制御信号13aを受信するデータ受信部123と、を有している。

0099

3次元点群表示装置1aは、可動カメラ制御信号13aを送るカメラ制御部13と、可動カメラ21aと、可動カメラ制御信号13aを生成する3次元点群表示プログラムとしてのプログラムPaと、可動カメラ21aにより撮影された複数の画像データ22を合成して合成画像データ22aを作成する画像合成部14と、を含んでいる。また、記憶部30は、複数の画像合成部14が合成する複数の画像データ22をデータ取得部2から受け取って格納する機能を有する。

0100

入力部7からの入力により入力受付部5が可動カメラ21aを制御する指示を受けると、その指示がカメラ制御部13に送信される。カメラ制御部13は指示を受信し、カメラユニット20aにおけるデータ受信部123に対して、可動カメラ制御信号13aを送信する。可動カメラ21aは可動カメラ制御信号13aを受けて、各種動作を行うように構成されている。

0101

図15は、可動カメラ制御信号13aがカメラ制御部13から送信され、可動カメラ21aが可動カメラ制御信号13aを受信した場合における、3次元点群表示システム40aの動作を示すフローチャート図である。図14図16も適宜参照しながら3次元点群表示システム40aの動作の説明を行う。

0102

まず、可動カメラ21aは初期位置などのある方向で撮影を行う。そして、たとえば、予め定められた複数の角度で、順次、画像データ22同士の境界部分が重複するように水平方向に連続して撮影を行う(複数撮影ステップSTA)。そして撮影された画像データ22は、データ送信部23およびデータ取得部2を介して、順次、記憶部30に格納される(画像記憶ステップSTB)。すなわち、可動カメラ21aは、複数の撮影方向での撮影を行う。

0103

その後、予め定められた複数の角度すべてで可動カメラ21aによる撮影が終了した場合、データ取得部2は記憶部30と通信して、格納した複数の画像データ22を画像合成部14に送る。画像合成部14は受信した複数の画像データ22を合成して合成画像データ22aを作成する(画像データ合成ステップSTC)。合成画像データ22aが作成された後は、実施の形態1と同様に、ステップST1からステップST8が実行される。

0104

図16は、3次元点群データ31を表示する表示器4における画面4cの内容を示す図である。合成画像データ22aを画像データ表示領域41aにて表示している。画像データ表示領域41aのうち、第1画像データ表示領域41a1に表示される画像データ22は可動カメラ21aの初期位置としての撮影範囲により撮影されたものであり、第2画像データ表示領域41a2に表示される画像データ22は可動カメラ21aの撮影方向を可変させた場合の撮影範囲により撮影されたものである。

0105

なお、ある撮影方向(たとえば初期位置)での撮影範囲と、撮影方向を可変させた場合の別の撮影方向での撮影範囲の境界を、境界線42として表示している。仮に合成画像データ22aの内部に、普段とは違うノイズが映り込むなどの画像に異常が生じた場合、境界線42が表示されることで第1画像データ表示領域41a1または第2画像データ表示領域41a2のどちらに原因があるかを容易に把握することができるため、合成画像データ22aを再生成する際に効率的である。

0106

なお、撮影方向を可変させて、連続する撮影範囲を取得した画像データ22から合成画像データ22aを作成した上で、特徴抽出部10による特徴情報の抽出やマッチング部11によるマッチングを行うことを説明したが、必ずしも連続する撮影範囲を取得した画像データ22でなくてもよい。すなわち、ある撮影方向で撮影した図示しない第1画像データと、撮影方向を可変させて撮影した図示しない第2画像データとは、各々の画像データが離散していても良く、この場合には、第1画像データと第2画像データとの関係性として、撮影した角度情報など、各画像データの関係性が把握できればよい。

0107

このようにして、複数の撮影方向により撮影された複数の画像データ22を利用することで、実施の形態1の場合と比べて、特徴抽出部10による特徴情報の抽出を多くすることができ、マッチング部11によるマッチングの結果がより広範囲なエリアでマッチングさせることができる。その結果、実施の形態1よりも、より正確に、画面4の中で、3次元点群データ31の上に画像データ22を重畳表示させることが可能になる。

0108

本発明の実施の形態4に係る3次元点群表示装置1は、データ取得部2は、カメラ21が撮影方向を可変な可動カメラ21aである場合、可動カメラ21aにより撮影された複数方向における複数の画像データ22を取得し、特徴情報抽出部10は、複数の画像データ22を利用した特徴情報の抽出を行うので、より正確に、画面4cの中で、3次元点群データ31の上に画像データ22を重畳表示させることが可能になる。

0109

変形例4a
この変形例は、可動カメラにより撮影された画像と3次元点群データとを利用して、1命令ごとの撮影方向の単位移動量が不明な可動カメラの仕様を求め、監視業務に役立てようとするものであり、図17を用いて説明する。

0110

図17は本変形例の動作を示すフローチャート図である。ステップSTAからステップST7までは実施の形態4と同様である。ステップST9が本変形で追加された内容である。

0111

ステップSTAでは、図14に記載のカメラ制御部13を介して、ユーザは可動カメラ21に対して、撮影方向を変える命令を送信している。この変形例における可動カメラ21aは単位移動量が判明しておらず、たとえば、ユーザは感覚的に1秒間に亘って可動カメラ21aを左に動かすための図示しない移動命令ステップを持続する、などとしていた。

0112

そこで、ステップSTAで撮影方向を変更する際に移動命令ステップに関する情報を記録し、移動命令ステップに関する情報とマッチング処理ステップST7での結果を利用して、単位移動量計算ステップST9では単位移動命令ステップごとの可動カメラ21aの単位移動量(撮影方向の単位移動量)を求めている。

0113

単位移動量計算ステップST9を有することで、単位移動命令ステップごとに可動カメラ21aの単位移動量が判明するため、監視業務を行う上で、より精密な運用を行うことができる。

0114

1 3次元点群表示装置、2データ取得部、3表示処理部、4表示器、4a,4b,4c画面、5入力受付部、6演算範囲設定部、7 入力部、7aマウス(ポインティングデバイス)、7bジョイスティック(ポインティングデバイス)、8演算部、9視点対応部、10特徴情報抽出部、11マッチング部、11aマッチング度判定部、12重畳表示処理部、20カメラユニット、21カメラ、22 画像データ、23データ送信部、30 記憶部、 31 3次元点群データ、 31 a 選択データ、 40 3次元点群表示システム、41画像データ表示領域、44a演算範囲領域(演算範囲)、45a1 第1の点群境界エッジ(エッジ情報、特徴情報)、45a2 第2の点群境界エッジ(エッジ情報、特徴情報)、45b 画像河川エッジ(エッジ情報、特徴情報)、46a 点群倉庫エッジ(エッジ情報、特徴情報)、46b 画像倉庫エッジ(エッジ情報、特徴情報)、47a 点群住宅エッジ(エッジ情報、特徴情報)、47b 画像住宅エッジ(エッジ情報、特徴情報)、51前回演算範囲領域、101メモリ(記録媒体)、121a撮影方向(属性情報)、121b撮影位置(属性情報)、144 警告
P,Paプログラム(3次元点群表示プログラム)、ST1データ取得ステップ、ST2表示処理ステップ、ST5 演算範囲設定ステップ、ST6 特徴情報抽出処理ステップ、ST7マッチング処理ステップ、ST8 重畳表示処理ステップ、ST9単位移動量計算ステップ、STA複数撮影ステップ、STB画像記憶ステップ、STC画像データ合成ステップ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • クリスタルメソッド株式会社の「 推定システム、及び推定装置」が 公開されました。( 2020/10/29)

    【課題】キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供する。【解決手段】仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボード... 詳細

  • 日本電気株式会社の「 画像処理装置、スキャナ、プロジェクタ、画像処理方法、プログラム」が 公開されました。( 2020/10/29)

    【課題】人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場合に、ある領域に載置された媒体に記載される情報を、他人が見やすい状態で出力する画像処理装置を提供する。【解... 詳細

  • コニカミノルタ株式会社の「 ガス検知システム」が 公開されました。( 2020/10/29)

    【課題・解決手段】雨や雪から生じた水蒸気を監視対象のガスと区別することができるガス検知システムを提供する。ガス検知システム100は、赤外カメラ21と、赤外カメラ21によって撮影した画像がガスか否かを判... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ