図面 (/)

技術 複合現実感技術による画像生成方法及び画像生成システム

出願人 学校法人立命館
発明者 天目隆平田村秀行大島登志一一刈良介樋下航
出願日 2010年1月14日 (9年9ヶ月経過) 出願番号 2010-005725
公開日 2011年7月28日 (8年3ヶ月経過) 公開番号 2011-145856
状態 特許登録済
技術分野 イメージ処理・作成
主要キーワード 対応付け候補 各画像列 撮影セット 立方体形 RANSAC法 微分方向 測量器 幾何学的位置
関連する未来課題
重要な関連分野

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2011年7月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

解決手段

本発明の画像生成方法は、データベースDB1を構築する第1ステップと、現実空間10の入力画像から抽出された自然特徴点Pと、データベースDB1に登録された自然特徴点とを対応付けカメラ11の位置・姿勢推定する第2ステップとを含む。第1ステップは、所定の経路で移動するカメラによって撮影され、かつ現実空間に設置されたマーカを含む画像を取得するステップと、当該画像中のマーカに基づいて当該画像の撮影時点におけるカメラの位置・姿勢に関する情報を取得するステップと、当該画像から自然特徴点を抽出するステップと、カメラの位置・姿勢に関する情報からデータベースに登録する自然特徴点の位置に関する情報を取得するステップと、を含む。

概要

背景

近年、カメラによって撮影された現実空間の画像にCGコンピュータグラフィックス)画像や文字等の仮想空間の情報を重畳表示することによって、現実空間の情報を増幅拡張する複合現実感(Mixed Reality;MR)技術に関する研究、開発が盛んに行われている。また、複合現実感技術活用し、映画などの映像コンテンツ制作支援する新しい可視化技術が開発されつつある。

従来、映画の製作過程においては、本番の撮影前に監督が想定するシーン俳優制作スタッフに伝えるため、絵コンテを作成したり、アクションカメラワーク等を含むかたちでフルCG映像により事前に想定シーンを可視化(プレビジュアライゼーション;PreViz)したりすることが行われていた。しかし、絵コンテやフルCG映像では表現力限界があるため、監督の意図をより正確に伝えるのが困難な場合があった。

そのため、上記複合現実感技術を用い、本番の撮影前に、実際の撮影セットやロケ地等の背景登場人物のみのCG画像を合成することによって、本番により近く表現力の高い動画映像(以下、「MR映像」若しくは「MR−PreViz映像」ともいう)を作成し、このMR映像をもとに本番撮影をより効率的に進めようとする試みがなされている。

ここで、MR映像の撮影には、現実空間と仮想空間との位置合わせを正確に行って実際の背景とCG画像との幾何学的整合性を保つために、実時間で高精度にカメラの位置・姿勢推定することが要求される。そして、カメラの位置・姿勢を高精度に推定する手法として下記非特許文献1に記載の技術が知られている。

この技術は、MR映像の撮影の前段階で、移動を伴った背景の撮影画像の各フレームから自然特徴点ランドマーク)を抽出するとともに、その3次元位置や撮影時点でのカメラの位置・姿勢を推定し、これらの情報をランドマークごとに登録したデータベース(以下、「ランドマークデータベース」という)を構築するものである。そして、MR映像の撮影時に、現実空間の撮影画像(入力画像)から自然特徴点をリアルタイムに抽出するとともに、入力画像から抽出した自然特徴点と事前に構築したランドマークデータベースに登録されたランドマークとの対応付けを行い、対応付けられたランドマークに基づいてカメラの位置・姿勢を推定し、推定されたカメラの位置・姿勢に応じて入力画像にCG画像を重畳表示する。

概要

複合現実感技術による画像生成方法において、データベースの構築を高速にする。本発明の画像生成方法は、データベースDB1を構築する第1ステップと、現実空間10の入力画像から抽出された自然特徴点Pと、データベースDB1に登録された自然特徴点とを対応付けてカメラ11の位置・姿勢を推定する第2ステップとを含む。第1ステップは、所定の経路で移動するカメラによって撮影され、かつ現実空間に設置されたマーカを含む画像を取得するステップと、当該画像中のマーカに基づいて当該画像の撮影時点におけるカメラの位置・姿勢に関する情報を取得するステップと、当該画像から自然特徴点を抽出するステップと、カメラの位置・姿勢に関する情報からデータベースに登録する自然特徴点の位置に関する情報を取得するステップと、を含む。

目的

本発明は、上記の実情に鑑みてなされたものであり、データベースを用いた複合現実感技術による画像生成方法及びシステムにおいて、データベースの構築を高速化することを目的とする

効果

実績

技術文献被引用数
2件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

データベースを利用した複合現実感技術による画像生成方法であって、カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごと登録したデータベースを構築する第1ステップと、現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けてカメラの位置・姿勢推定する第2ステップとを含み、前記第1ステップが、所定の経路で移動するカメラによって撮影され、かつ前記現実空間に配置されたマーカを含む画像を取得するステップと、当該画像中のマーカに基づいて当該画像の撮影時点における前記カメラの位置・姿勢に関する情報を取得するステップと、当該画像から自然特徴点を抽出するステップと、前記カメラの位置・姿勢に関する情報から前記自然特徴点の位置に関する情報を取得して前記データベースに登録するステップと、を含むことを特徴とする複合現実感技術による画像生成方法。

請求項2

前記第2ステップにおいて、カメラの位置・姿勢の取得が破綻した場合に、前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、破綻直後の入力画像の画像フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、破綻直後の入力画像の画像フレームに含まれる自然特徴点とを対応づけて、破綻直後の入力画像の画像フレーム撮影時点におけるカメラの位置・姿勢を推定する請求項1に記載の複合現実感技術による画像生成方法。

請求項3

前記第2ステップにおいて、前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、現実空間の入力画像の初期フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、初期フレームに含まれる自然特徴点とを対応づけて、初期フレーム撮影時点におけるカメラの位置・姿勢を推定する請求項1又は2に記載の複合現実感技術による画像生成方法。

請求項4

データベースを利用した複合現実感技術による画像生成方法であって、カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築する第1ステップと、現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けてカメラの位置・姿勢を推定する第2ステップとを含み、前記第2ステップにおいて、カメラの位置・姿勢の取得が破綻した場合に、前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、破綻直後の入力画像の画像フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、破綻直後の入力画像の画像フレームに含まれる自然特徴点とを対応づけて、破綻直後の入力画像の画像フレーム撮影時点におけるカメラの位置・姿勢を推定することを特徴とする複合現実感技術による画像生成方法。

請求項5

カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築するデータベース構築手段と、現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けてカメラの位置・姿勢を推定するカメラ位置姿勢推定手段とを有している、データベースを利用した複合現実感技術による画像生成システムであって、前記データベース構築の際に前記現実空間に配置されるマーカを備え、前記データベース構築手段が、所定の経路で移動するカメラによって撮影した前記マーカを含む現実空間の画像を取得する手段と、この画像中のマーカに基づいて当該画像の撮影時点における前記カメラの位置・姿勢に関する情報を取得する手段と、前記画像から自然特徴点を抽出する手段と、前記カメラの位置・姿勢に関する情報から前記データベースに登録される前記自然特徴点の位置に関する情報を取得する手段と、を有していることを特徴とする複合現実感技術による画像生成システム。

技術分野

0001

本発明は、複合現実感技術による画像生成方法及び画像生成システムに関する。

背景技術

0002

近年、カメラによって撮影された現実空間の画像にCGコンピュータグラフィックス)画像や文字等の仮想空間の情報を重畳表示することによって、現実空間の情報を増幅拡張する複合現実感(Mixed Reality;MR)技術に関する研究、開発が盛んに行われている。また、複合現実感技術を活用し、映画などの映像コンテンツ制作支援する新しい可視化技術が開発されつつある。

0003

従来、映画の製作過程においては、本番の撮影前に監督が想定するシーン俳優制作スタッフに伝えるため、絵コンテを作成したり、アクションカメラワーク等を含むかたちでフルCG映像により事前に想定シーンを可視化(プレビジュアライゼーション;PreViz)したりすることが行われていた。しかし、絵コンテやフルCG映像では表現力限界があるため、監督の意図をより正確に伝えるのが困難な場合があった。

0004

そのため、上記複合現実感技術を用い、本番の撮影前に、実際の撮影セットやロケ地等の背景登場人物のみのCG画像を合成することによって、本番により近く表現力の高い動画映像(以下、「MR映像」若しくは「MR−PreViz映像」ともいう)を作成し、このMR映像をもとに本番撮影をより効率的に進めようとする試みがなされている。

0005

ここで、MR映像の撮影には、現実空間と仮想空間との位置合わせを正確に行って実際の背景とCG画像との幾何学的整合性を保つために、実時間で高精度にカメラの位置・姿勢推定することが要求される。そして、カメラの位置・姿勢を高精度に推定する手法として下記非特許文献1に記載の技術が知られている。

0006

この技術は、MR映像の撮影の前段階で、移動を伴った背景の撮影画像の各フレームから自然特徴点ランドマーク)を抽出するとともに、その3次元位置や撮影時点でのカメラの位置・姿勢を推定し、これらの情報をランドマークごとに登録したデータベース(以下、「ランドマークデータベース」という)を構築するものである。そして、MR映像の撮影時に、現実空間の撮影画像(入力画像)から自然特徴点をリアルタイムに抽出するとともに、入力画像から抽出した自然特徴点と事前に構築したランドマークデータベースに登録されたランドマークとの対応付けを行い、対応付けられたランドマークに基づいてカメラの位置・姿勢を推定し、推定されたカメラの位置・姿勢に応じて入力画像にCG画像を重畳表示する。

先行技術

0007

大江統子、他3名、「幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置姿勢推定」、日本バーチャリアリティ学会論文誌、Vol.10、No.3、2005

発明が解決しようとする課題

0008

上記非特許文献1に記載の技術は、予め自然特徴点に関するランドマークデータベースを構築することによって、広域な環境下においてもカメラの位置・姿勢の推定誤差が累積せず、現実空間と仮想空間との安定した位置合わせを行うことができるという利点を有している。しかし、ランドマークデータベースの構築時、現実空間におけるいくつかの自然特徴点の3次元位置を測量器によって実測する必要があり、この実測に要する時間を含めランドマークデータベースの構築に長時間を要するという欠点がある。

0009

そのため、非特許文献1に記載のようなランドマークデータベースを利用した複合現実感技術は、前述の映画製作過程におけるMR映像の撮影のために利用することは現実的ではなかった。すなわち、映画撮影過程におけるMR映像の撮影のために上記非特許文献1に記載の技術を利用すると、例えば1シーンの可視化のためだけに長時間かけてランドマークデータベースを構築したり、カメラの移動経路が変わるたびに長時間かけてランドマークデータベースを構築し直したりする場合が生じ、非常に効率が悪化するという弊害があるからである。

0010

また、非特許文献1に記載の技術は、ランドマークデータベースの構築後、MR映像の撮影を開始したときのカメラの初期位置・姿勢の推定に時間がかかるという欠点も有している。さらに、MR映像の撮影中、カメラの前を障害物等が通過することによって自然特徴点が映像から消えたり、手ぶれ等によりカメラ視野が急速に移動することによって映像中の自然特徴点が流れたりすると、カメラの位置・姿勢の推定の連続性が途切れるが、その際に復帰することができないという欠点も有している。

0011

本発明は、上記の実情に鑑みてなされたものであり、データベースを用いた複合現実感技術による画像生成方法及びシステムにおいて、データベースの構築を高速化することを目的とする。

課題を解決するための手段

0012

本発明は、データベースを利用した複合現実感技術による画像生成方法であって、
カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築する第1ステップと、
現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けてカメラの位置・姿勢を推定する第2ステップとを含み、
前記第1ステップが、
所定の経路で移動するカメラによって撮影され、かつ前記現実空間に設置されたマーカを含む画像を取得するステップと、
当該画像中のマーカに基づいて当該画像の撮影時点における前記カメラの位置・姿勢に関する情報を取得するステップと、
当該画像から自然特徴点を抽出するステップと、
前記カメラの位置・姿勢に関する情報から前記自然特徴点の位置に関する情報を取得して前記データベースに登録するステップと、を含むことを特徴としている。

0013

本発明は、例えば映画の撮影現場のように、カメラによる撮影範囲(カメラの移動経路)が所定に限定されている環境下で使用されることを前提としており、したがって、データベースの構築時、現実空間にはカメラによる撮影範囲に含まれるように一定の場所にマーカを配置することができ、このマーカに基づいてカメラの位置・姿勢に関する情報を取得するとともに、画像中の自然特徴点の位置についての情報を取得することが可能となる。そのため、従来のように自然特徴点の位置を測量器を用いて実測する必要が無くなり、データベースの構築を高速で行うことができる。また、MR映像の撮影時には、データベースを使用することから、現実空間にマーカは不要であり、現実空間からマーカを取り除いた状態でMR映像を撮影することができる。したがって、本発明は、映画等の本番撮影前に、想定シーンをMR映像により表現する手段として採用することができる。

0014

前記第2ステップにおいて、カメラの位置・姿勢の取得が破綻した場合に、
前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、破綻直後の入力画像の画像フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、破綻直後の入力画像の画像フレームに含まれる自然特徴点とを対応づけて、破綻直後の入力画像の画像フレーム撮影時点におけるカメラの位置・姿勢を推定することが好ましい。

0015

これにより、カメラによる撮影中に、カメラの位置・姿勢の取得が破綻した場合であっても、迅速にカメラの位置・姿勢を推定し、処理を復帰させることができる。

0016

前記第2ステップにおいて、
前記データベースの構築に使用された撮影画像中の任意の複数の画像フレームから、現実空間の入力画像の初期フレームに類似するものを選択し、選択された画像フレームに含まれる自然特徴点と、初期フレームに含まれる自然特徴点とを対応づけて、初期フレーム撮影時点におけるカメラの位置・姿勢を推定することが好ましい。

0017

これにより、入力画像の初期フレームにおけるカメラの位置・姿勢の推定を迅速に行うことができる。

0018

本発明は、カメラによって撮影された現実空間の画像から複数の自然特徴点を抽出し、この自然特徴点の位置に関する情報を自然特徴点ごとに登録したデータベースを構築するデータベース構築手段と、現実空間の入力画像から抽出された自然特徴点と、前記データベースに登録された自然特徴点とを対応付けてカメラの位置・姿勢を推定するカメラ位置・姿勢推定手段とを有している、データベースを利用した複合現実感技術による画像生成システムであって、
前記データベース構築の際に前記現実空間に配置されるマーカを備え、
前記データベース構築手段が、
所定の経路で移動するカメラによって撮影した前記マーカを含む現実空間の画像を取得する手段と、
この画像中のマーカに基づいて当該画像の撮影時点における前記カメラの位置・姿勢に関する情報を取得する手段と、
前記画像から自然特徴点を抽出する手段と、
前記カメラの位置・姿勢に関する情報から前記データベースに登録される前記自然特徴点の位置に関する情報を取得する手段と、を有していることを特徴としている。

0019

したがって、本発明の複合現実感技術による画像生成システムは、上記画像生成方法と同様の作用効果を有する。

発明の効果

0020

本発明によれば、データベースを用いた複合現実感技術による画像生成方法及びシステムにおいて、データベースの構築を高速化することができる。

図面の簡単な説明

0021

本発明の実施形態に係る画像生成方法を用いてMR−PreViz映像を撮影する様子を示す図である。
表示装置に表示されたMR−PreViz映像を示す図である。
本実施形態の画像生成方法の概要を示すフローチャートである。
ランドマークデータベースの内容を概略的に示す図である。
準備段階のためのカメラ撮影の様子を示す説明図である。
準備段階におけるデータベースへの登録情報取得の流れを示すフローチャートである。
キーフレームデータベースを概略的に示す図である。
キーフレームデータベースに登録されるキーフレームを説明する図である。
カメラの位置・姿勢の推定の手順を示すフローチャートである。
ランドマークの対応付け手法を説明する図である。

実施例

0022

以下、本発明の実施形態を図面を参照して説明する。
図1は、本発明の実施形態に係る画像生成方法を用いてMR−PreViz映像を撮影する様子を示す図である。本実施形態は、映画の本番撮影前に、想定されるシーンを複合現実感(Mixed Reality;MR)技術を利用した映像(MR−PreViz映像)によって表現しようとするものである。したがって、本実施形態では、MR−PreViz映像の背景に映画の撮影セット10が使用されており、この撮影セット10を視野に含むようにカメラ11が設置されている。また、カメラ11は、地面に敷設されたレール14によって所定の経路で移動するものとされている。また、カメラ11は、上下方向のチルト角度や左右方向のパン角度ズームフォーカス等により決まる画角等を変更可能である。

0023

カメラ11には、CPU等の演算部やROM、RAM、HDD等の記憶部等を備えたコンピュータからなる処理装置12が接続され、この処理装置12の出力インターフェースには液晶モニタやCRT等の表示装置13が接続されている。そして、処理装置12は、カメラ11で撮影した映像に対して所定の処理を施すことによって、表示装置13に図2に示すようなMR−PreViz映像を出力する。

0024

図2は、MR−PreViz映像が表示された表示装置13の表示画面を示す図である。このMR−PreViz映像には、撮影セット10からなる背景を含む画像に、出演者仮想映像であるCG画像(点線で示す)が重畳表示されている。実際には、撮影セット10を背景として含む動画画像列)がカメラ11の移動を伴って撮影され、そのカメラ11の位置・姿勢に応じてCG画像の方向を随時変化させながら、CG画像が重畳表示される。

0025

図3は、本実施形態の画像生成方法の処理の概要を示すフローチャートである。本実施形態の画像生成処理過程は、MR−PreViz映像を撮影する前の準備段階(オフライン処理)S1と、実際のMR−PreViz映像の撮影段階オンライン処理)S2との2つの段階に大きく分けることができる。準備段階では、主として、カメラ11の撮影画像から抽出された自然特徴点(ランドマーク)についての情報が登録されたデータベース(ランドマークデータベース、キーフレームデータベース)を構築する。そして、MR−PreViz映像の撮影段階では、準備段階で構築したデータベースを活用し、カメラ11によって撮影した撮影セット10の画像(入力画像)からカメラ11の位置・姿勢を推定し、このカメラ11の位置・姿勢に応じてCG画像を合成する。

0026

<準備段階の内容>
以下、準備段階の内容について詳細に説明する。図4は、ランドマークデータベースの内容を概略的に示す図である。ランドマークデータベースDB1は、処理装置12の記憶部に構築されるものであり、ランドマークデータベースDB1には、ランドマークの3次元位置を示す位置情報と、ランドマークの撮影地点ごとの情報とが含まれる。また、撮影地点ごとの情報は、ランドマークの識別情報と、撮影時におけるカメラ11の位置・姿勢情報とが含まれる。

0027

図5は、準備段階のためのカメラ撮影の様子を示す説明図、図6は、準備段階におけるデータベースへの登録情報取得の流れを示すフローチャートである。
この準備段階においては、まず、図5に示すように、現実空間、すなわち撮影セット10中に人工マーカMを配置する。本実施形態の人工マーカMは、立方体形状であり、カメラ11によって撮影される少なくとも2つの面がマーカ面M1とされている。本実施形態のマーカ面M1には、公知のARToolKitマーカが貼付されており、具体的には、「F」字形状のマーカと「L」字形状のマーカとがそれぞれマーカ面M1に設けられている。また、人工マーカMは、地上の座標系世界座標系)の基準となるものであり、世界座標系における人工マーカMの座標は予め設定され、処理装置12の記憶部に記憶される。例えば、人工マーカMは、ユーザが世界座標系の原点としたい場所に配置する。

0028

次いで、人工マーカMが配置された撮影セット10中をカメラ11にて撮影し、画像シーケンス(画像列)を取得する(図6のステップS11)。このときカメラ11は本番撮影時と同様のカメラワークでレール14上を移動させるものとする。

0029

そして、カメラ11によって撮影された人工マーカMの画像から、カメラ11の位置・姿勢を推定する処理を行う(ステップS12)。人工マーカMを利用したカメラ11の位置・姿勢の推定には、既知の手法(例えば、特開2009−20614号公報等に開示された手法)を用いることができる。例えば、まず、カメラ11によって撮影された画像から人工マーカMを検出し、撮影画像における人工マーカMの投影位置と人工マーカMの世界座標系における位置との対応から、世界座標系におけるカメラ11の位置・姿勢を推定し(いわゆるPnP問題を解く)、各画像列におけるカメラ11の位置・姿勢からカメラパスを推定する。

0030

これにより従来手動であったカメラパス推定を自動化することができ、データベース構築時間を短縮することができる。なお、人工マーカMは現実空間に複数個設けてもよく、この場合、複数の人工マーカMのキャリブレーションを事前に行って人工マーカM間の位置関係を求めておく。

0031

次いで、カメラ11によって撮影された画像から公知の手法にて自然特徴点Pを抽出し、この自然特徴点Pの3次元位置を推定する処理を行う(ステップS13)。この自然特徴点Pは、例えば、撮影セット10に含まれる建物端点、例えば、壁や屋根コーナー部分等が抽出される。この自然特徴点Pの抽出には、Fast corner detector(Rosten,E.and Drummond,T ”Machine learning for high−speed corner detection.” Proc.9th European Conf.on Computer Vision(ECCV’06), Vol.1, pp.430−443,2006.)や、Harris Operator(C.Harris and M.Stephens “A combined corner and edge detector” Proc. 4th Alvey Vision Conf. pp147−151,1998.)の手法等を用いて行うことができる。なお、これらの手法のうち、前者の手法の方がより高速に自然特徴点Pを抽出することができる。自然特徴点Pの抽出処理に用いられる手法はこれらの例に限定されず、他の手法を用いてもよい。

0032

次に,Structure−From−Motion(SFM)技術により特徴点の世界座標系における3次元位置を推定する。前処理において世界座標系におけるカメラ11の位置・姿勢が推定されているので、SFM技術によって抽出された自然特徴点Pの3次元位置を推定することができる。なお、SFMは、単眼のカメラ11によって異なる時刻に異なる視点から撮影された複数枚の撮影画像を用い、撮影画像上の対象物動き及び撮影位置変位に基づいて対象物の3次元位置を計算する技術である。

0033

次に、全てのフレームにおいて、カメラ11の位置・姿勢と自然特徴点Pの3次元位置との最適化処理を行う(ステップS14)。この処理は、LM(Levenberg−Marquardt)法によるバンドル調整によって実現する。

0034

図4に示すランドマークデータベースDB1には、ランドマーク(自然特徴点P)ごとに、その3次元位置について情報が登録される。また、カメラ11の位置・姿勢について情報は、各ランドマークについて、複数の撮影地点(複数の画像フレーム)ごとに登録される。また、ランドマークデータベースDB1には、以上の他に、撮影地点ごとの情報としてランドマークの識別情報が登録される。

0035

ランドマークの識別情報には、種々の情報を登録することができる。例えば、識別情報として、SIFT特徴量及びSIFTスケール決定係数固有スケール決定係数)を用いることができる。SIFT特徴量は、後述するカメラのトラッキング処理時に、ランドマークデータベースDB1に登録されたランドマークと、カメラ11による入力画像から抽出された自然特徴点Pとの対応付けを可能にするためのものであり、例えば、”D.G.Lowe,“Distinctive image features from scaleinvariant keypoints”(International Journal of Computer Vision, Vol.60, No.2 pp.91−110,2004)に記載された手法を用いて算出することができる。

0036

SIFT特徴量は、特徴点の近傍領域の局所画像を4×4のブロックに分割し、ブロック内にある画素微分方向ヒストグラム値を並べて特徴ベクトルとしたものである。方向ヒストグラムは45°の間隔で離散化されるため、4×4×8=128次元のベクトルとなる。SIFTスケール決定係数は、カメラ11とランドマーク間との3次元距離と、SIFTスケールとを乗じた値である。SIFTスケールは、画像上での特徴量記述領域の大きさである。

0037

また、本実施形態では、上述のように構築したランドマークデータベースDB1から、キーフレームデータベースDB2を構築する。図7は、キーフレームデータベースDB2を概略的に示す図であり、図8は、キーフレームデータベースDB2に登録されるキーフレームを説明する図である。キーフレームデータベースDB2は、所定のカメラパス16を移動するカメラ11によって撮影された画像のフレーム単位でランドマークを管理するものである。このキーフレームは、ランドマークデータベースDB1の構築の際に利用されたフレームからいくつかを任意に選択(例えば、10フレームおきに選択)したものであり、キーフレームデータベースDB2は、キーフレームごとにランドマークに関する情報を登録したものである。この登録内容はランドマークの3次元位置と識別情報(SIFT特徴量等)を含み、カメラ11の位置・姿勢に関する情報を含めても良い。

0038

<MR−PreViz映像の撮影段階>
以上の準備段階において、ランドマークデータベースDB1とキーフレームデータベースDB2の構築を行うと、次に実際のMR−PreViz映像の撮影段階に入る。
このMR−PreViz映像の撮影は、カメラ11を所定の移動経路で移動させながら撮影セット10を撮影することによって行われる。この撮影は、ランドマークデータベースDB1の構築時と同様に、本番撮影と同様のカメラワークで行い、準備段階で使用したマーカは撮影セット10から取り除いておく。

0039

そして、カメラ11によって撮影した撮影セット10の画像(入力画像)から、ランドマークデータベースDB1及びキーフレームデータベースDB2を用いてカメラ11の位置・姿勢を推定し、このカメラ11の位置・姿勢により、現実空間と仮想空間との幾何学的整合性を持たせた状態でCG画像を合成する。

0040

図9は、カメラ11の位置・姿勢の推定の手順を示すフローチャートである。
まず、カメラ11によって撮影を開始した時点のカメラ11の位置・姿勢の推定する。この推定には、準備段階で構築したキーフレームデータベースDB2を使用する。本実施形態では、データベースDB1,DB2構築時のカメラパスとMR映像撮影時のカメラパスとがほぼ同じであることを利用し、カメラの初期位置を高速で推定する。具体的には、入力画像の初期フレームの画像に最も類似したキーフレームをキーフレームデータベースDB2から検索する。この検索には、フレーム間の類似度を用いる。フレーム間の類似度cは、SSD(Sum of Squared Differences)を利用して、次の式(1)で求めることができる。

0041

0042

ただし、Nはキーフレーム内の全ランドマーク数、Viは、各ランドマークのSIFT特徴量であり、V’は最近傍である自然特徴点Pの特徴量である。

0043

そして、類似度cが最大のキーフレーム内に存在するランドマークと入力画像中の特徴点とを、既知の探索手法によって対応付けることで、カメラ11の初期位置・姿勢を推定する。この探索手法としては、例えば、kd木を用いた最近傍探索を使用することができるが、これに限定されるものではない。

0044

図9のステップS22以降の処理で、初期フレームより後ろの各フレームについて、カメラ11の位置・姿勢を推定する処理(トラッキング処理)を行う。このトラッキング処理は、まず、ステップS22において、フレーム内の背景から自然特徴点Pを抽出する処理を行う。この処理では、ランドマークデータベースDB1の構築段階で述べたものと同様に、撮影セット10に含まれる建物の端点、例えば、壁や屋根のコーナー部分等が自然特徴点Pとして抽出される。この自然特徴点Pの抽出は、Fast corner detectorや、Harris Operator、その他の手法等を用いて行うことができる。

0045

次いで、ステップS23においてランドマークの選択を行う。これは、ランドマークデータベースDB1から対応付けに使用するランドマークを限定するものであり、次の条件を全て満たすものを選択する。
1.カメラ11の視野内に存在するもの
2.ランドマークデータベース構築の際におけるランドマーク撮影時のカメラ11の位置と、前フレームのカメラ11の位置との距離が閾値以下であるもの
3.入力画像におけるランドマーク同士の距離が閾値以上であるもの

0046

また、フレームごとの計算量を一定にするために、選択されるランドマーク数に上限を設け、この上限を超える場合には、前フレームで対応付けられたランドマークを優先的に使用する。これによって、フレーム間で利用するランドマークに連続性を持たせることができ、合成するCG画像の振動を抑制することができる。

0047

次いで、ステップS24において、ランドマークの対応付けを行う。まず、対応付けの候補となる自然特徴点を限定するため、図10に示すように、入力画像中に設定された探索窓内で検出された自然特徴点を、対応付けの候補とする。この探索窓は、各ランドマークの入力画像への投影座標を中心とした円として設定される。ランドマークの入力画像への投影には、前フレームにおけるカメラ11の位置・姿勢を用いる。
そして、入力画像から抽出された自然特徴点PについてSIFT特徴量を求め、このSIFT特徴量と、対応付け候補となる各ランドマークのSIFT特徴量とを比較し、両者のSIFTベクトル間の角度が最小となる候補を対応ランドマークとする。

0048

次いで、ステップS25において、ランドマークの3次元位置と入力画像上の2次元位置の対応関係から既知の手法により誤った対応ランドマークの排除を行い、残った対応ランドマークを用いてカメラ11の位置・姿勢を推定する。誤った対応のランドマークを排除する手法として、RANSAC法やPROSAC法等を用いることができるが、後者のほうがより高速に処理を行うことができる。

0049

ステップS26では、カメラ11の位置・姿勢の推定が失敗したか否かを判定する。カメラ11による撮影中、歩行者や障害物等が横切ることによって自然特徴点Pがフレームから消滅したり、手ぶれ等によってカメラ11が急速に振れ、フレーム内の自然特徴点Pが流れてしまったりすると、前フレームからの連続性が途切れ、上述のようなカメラ11の位置・姿勢のトラッキング処理が行えなくなってしまう。このような場合、前工程のステップS25におけるカメラ11の位置・姿勢の推定が失敗となり、トラッキング処理が破綻する。
そこで、本実施形態では、トラッキング処理が破綻した場合に、高速に復帰することができるように、以下の手法を採用した。
すなわち、本実施形態では、既に構築してあるキーフレームデータベースDB2を用いてトラッキング破綻から復帰する処理を行う。
この復帰処理は、前述の初期フレームにおけるカメラ11の位置・姿勢の推定と同様に、キーフレームデータベースDB2に登録されている各キーフレームと、破綻直後の入力画像のフレームとを比較し、入力画像のフレームの画像に最も類似したキーフレームを検索する。そして、類似度cが最大のキーフレーム内に存在するランドマークと入力画像中の自然特徴点とを、既知の探索手法によって対応付けることで、カメラ11の位置・姿勢を高速に推定する(ステップS27)。
このような処理によってトラッキングが破綻したとしても実時間で高速に復帰することが可能となる。

0050

以上、説明した本実施形態では、まず、準備段階としてのランドマークデータベースDB1の構築工程において、撮影セット10に人工マーカMを設置し、この人工マーカMを用いてカメラ11の位置・姿勢を推定するとともに、自然特徴点Pの3次元位置等を推定している。そのため、従来技術(非特許文献1)のように、自然特徴点Pを実測する工程が不要となり、ランドマークデータベースDB1の構築を迅速に行うことが可能となる。そのため、本番撮影前の想定シーンの可視化のために、ランドマークデータベースDB1を用いた複合現実感技術を好適に採用することが可能となる。

0051

また、上記実施形態では、入力画像の初期フレームにおけるカメラ11の位置・姿勢を推定する処理にキーフレームを用いているので、この処理をも迅速に行うことができる。
また、カメラ11の位置・姿勢の推定処理が破綻(トラッキング破綻)した場合であっても、上記と同様にキーフレームを用いることで、当該破綻から復帰することができる。

0052

本発明は、以上に説明した実施形態に限定されるものではなく、特許請求の範囲に記載の範囲で適宜変更することが可能である。例えば、ランドマークデータベースDB1に登録する各ランドマークの撮影地点毎の情報には、ランドマークの識別情報として、SIFT特徴量に代えて、非特許文献1に記載の技術と同様に撮影地点ごとの画像テンプレートを採用することができる。

0053

また、本発明は、映画製作のためのMR−PreViz映像の撮影にのみならず、カメラの移動経路が限定されるような他の用途に好適に採用することができる。

0054

10撮影セット(現実空間)
11カメラ
12処理装置
13表示装置
14レール
DB1ランドマークデータベース
DB2キーフレームデータベース
M人工マーカ
P 自然特徴点

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人