図面 (/)

技術 三次元モデリング方法と装置

出願人 三洋電機株式会社
発明者 寺内智哉藤村恒太江見哲一
出願日 2004年6月25日 (15年10ヶ月経過) 出願番号 2004-187970
公開日 2005年2月10日 (15年2ヶ月経過) 公開番号 2005-037379
状態 未査定
技術分野 光学的手段による測長装置 イメージ入力 画像処理 イメージ分析
主要キーワード 輝度ベース 非存在領域 クレイモデル 自己遮蔽 キャリブレーションマーク 三次元座標情報 アナロジー カメラ焦点
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2005年2月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

オブジェクト三次元形状データを取得する際、効率や精度の改善は変わらぬテーマである。

解決手段

プロジェクタ12からオブジェクトにスリット光を投ずる。これをカメラ14で撮影する。プロジェクタ12とカメラ14の三次元位置既知とする。プロジェクタ12からオブジェクト表面に生じたスリット光の像を結ぶ面と、同様にスリット光の像からカメラ14の焦点を結ぶ面の上には、オブジェクトまたはその一部は存在しえない。撮影を多数行い、オブジェクトの非存在領域を特定すれば、オブジェクトの形状が特定できる。

概要

背景

美術品アーカイブ化したり、クレイモデルから設計データを取得したり、人間を撮影してその立体像を得るようなとき、実在対象物体を三次元デジタイズしてモデリングすることがある。例えば非特許文献1には、ステレオカメラを利用して対象物体の三次元座標情報を取得する技術が紹介されている。また、非特許文献2には、取得された離散的な三次元の点から対象物体の表面を再構築する技術が紹介されている。対象物体の三次元モデリングは、CG処理をするハードウエア高性能化やオブジェクトデータ伝送する通信帯域の拡大により、今後さらに多くのアプリケーションを獲得していくと思われる。
谷内田著,「ロボットビジョン」,昭晃堂,1990年,p.181−185
H. Hoppe, T. DeRose, T. Duchamp, J. McDonald and W. Stuetzle, “Surface Reconstruction from Unorganized Points.” Siggraph ’92, pp.71-78, 1992

概要

オブジェクト三次元形状データを取得する際、効率や精度の改善は変わらぬテーマである。プロジェクタ12からオブジェクトにスリット光を投ずる。これをカメラ14で撮影する。プロジェクタ12とカメラ14の三次元位置既知とする。プロジェクタ12からオブジェクト表面に生じたスリット光の像を結ぶ面と、同様にスリット光の像からカメラ14の焦点を結ぶ面の上には、オブジェクトまたはその一部は存在しえない。撮影を多数行い、オブジェクトの非存在領域を特定すれば、オブジェクトの形状が特定できる。

目的

本発明はこうした課題を認識してなされたものであり、その目的は、対象物体がある程度複雑な形状であっても、比較的簡便に正確な三次元データを取得することのできる三次元モデリング技術を提供することにある。

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光源からモデリング対象物体投影されたスリット光投影像を単一のカメラ撮影するステップと、前記光源と前記投影像の各点を直線で結んで形成される第1の有限な面、および前記投影像の各点と前記カメラの焦点を直線で結んで形成される第2の有限な面の位置を、前記光源およびカメラの前記対象物体に対する位置関係をもとに特定するステップと、前記第1の有限な面上および第2の有限な面上には、前記対象物体またはその一部が存在しない旨を記録するステップと、を含むことを特徴とする三次元モデリング方法

請求項2

光源からモデリングの対象物体に投影されたスリット光の投影像をステレオカメラで撮影するステップと、前記光源と前記投影像の各点を直線で結んで形成される第1の有限な面の位置は問わない一方、前記投影像の各点と前記ステレオカメラを構成する左右カメラのそれぞれの焦点を直線で結んで形成される第2および第3の有限な面の位置を、前記ステレオカメラの位置をもとに特定するステップと、前記第2の有限な面上および第3の有限な面上には、前記対象物体またはその一部が存在しない旨を記録するステップと、を含むことを特徴とする三次元モデリング方法。

請求項3

請求項1に記載の方法において、前記記録するステップはさらに、前記第1の有限な面と第2の有限な面によって切り取られるボリューム空間には、前記対象物体またはその一部が存在しない旨を記録することを特徴とする三次元モデリング方法。

請求項4

請求項2に記載の方法において、前記記録するステップはさらに、前記第2の有限な面と第3の有限な面によって切り取られるボリューム空間にも、前記対象物体またはその一部が存在しない旨を記録することを特徴とする三次元モデリング方法。

請求項5

光源からモデリングの対象物体に投影されたスリット光の投影像をカメラで撮影するステップと、前記対象物体が存在しうる空間に注目点を定め、その注目点の前記カメラによる撮影画像内位置と前記スリット光の像の撮影画像内位置とを比較するステップと、前記注目点の前記カメラによる撮影画像内位置のほうが前記スリット光の像の撮影画像内位置よりも前記光源に近いとき、前記注目点の奥行きと、前記注目点とカメラ焦点を結ぶ直線とスリット光平面の交点の奥行きとを比較するステップと、前記注目点の奥行きのほうが前記交点の奥行きよりも小さいとき、その注目点には前記対象物体またはその一部が存在しない旨を記録するステップと、を含むことを特徴とする三次元モデリング方法。

請求項6

請求項1または5に記載の方法において、前記カメラおよび光源からなる系と前記対象物体とを相対運動させながら、前記の各ステップを実行することを特徴とする三次元モデリング方法。

請求項7

請求項2に記載の方法において、前記ステレオカメラと前記対象物体とを相対運動させながら、前記の各ステップを実行することを特徴とする三次元モデリング方法。

請求項8

請求項1、2、5のいずれかに記載の方法において、前記対象物体が存在しうる空間を予めボクセルに分割し、かつそれら各ボクセルに前記対象物体またはその一部が存在する旨の情報を初期値として付与するステップを実行した後、前記の各ステップを実行し、前記記録するステップにおいて、前記対象物体またはその一部が存在しないことが判明したボクセルについて、前記初期値を更新することを特徴とする三次元モデリング方法。

請求項9

請求項1、2、5に記載の方法において、前記の各ステップの実行前に、前記対象物体を複数回撮影し、それら複数の撮影画像のそれぞれについて前記対象物体の輪郭線外には前記対象物体またはその一部が存在しない旨を記録していくことにより、前記対象物体の概形を特定する輪郭判定ステップを実行し、この輪郭判定ステップの後においても、前記対象物体またはその一部が存在しない旨が記録されていない空間領域について、前記の各ステップを実行することを特徴とする三次元モデリング方法。

請求項10

請求項1から9のいずれかに記載の各ステップをコンピュータに実行せしめることを特徴とするコンピュータプログラム

請求項11

光源からモデリングの対象物体に投影されたスリット光の投影像を単一のカメラで撮影して得られた画像データを入力する画像入力部と、前記光源と前記投影像の各点を直線で結んで形成される第1の有限な面、および前記投影像の各点と前記カメラの焦点を直線で結んで形成される第2の有限な面の位置を、前記光源およびカメラの前記対象物体に対する位置関係をもとに特定する座標計算部と、前記第1の有限な面上および第2の有限な面上には、前記対象物体またはその一部が存在しない旨をメモリに記録する記録制御部と、を含むことを特徴とする三次元モデリング装置

請求項12

光源からモデリングの対象物体に投影されたスリット光の投影像をステレオカメラで撮影して得られた画像データを入力する画像入力部と、前記光源と前記投影像の各点を直線で結んで形成される第1の有限な面の位置は問わない一方、前記投影像の各点と前記ステレオカメラを構成する左右カメラのそれぞれの焦点を直線で結んで形成される第2および第3の有限な面の位置を、前記ステレオカメラの位置をもとに特定する座標計算部と、前記第2の有限な面上および第3の有限な面上には、前記対象物体またはその一部が存在しない旨をメモリに記録する記録制御部と、を含むことを特徴とする三次元モデリング装置。

請求項13

光源からモデリングの対象物体に投影されたスリット光の投影像をカメラで撮影して得られた画像データを入力する画像入力部と、前記対象物体が存在しうる空間に注目点を定め、その注目点の前記カメラによる撮影画像内位置と前記スリット光の像の撮影画像内位置とを比較し、および前記注目点の奥行きと、前記注目点とカメラ焦点を結ぶ直線とスリット光平面の交点の奥行きとを比較する座標計算部と、前記注目点の前記カメラによる撮影画像内位置のほうが前記スリット光の像の撮影画像内位置よりも前記光源に近く、かつ、前記注目点の奥行きのほうが前記交点の奥行きよりも小さいとき、その注目点には前記対象物体またはその一部が存在しない旨をメモリに記録する記録制御部と、を含むことを特徴とする三次元モデリング装置。

請求項14

請求項11または13に記載の装置において、前記単一のカメラと前記光源を一体に備えるアームをさらに含むことを特徴とする三次元モデリング装置。

請求項15

請求項12に記載の装置において、前記ステレオカメラと前記光源を一体に備えるアームをさらに含むことを特徴とする三次元モデリング装置。

請求項16

請求項2に記載の方法において、前記光源の位置を特定するステップと、特定された光源の位置をもとに、前記第1の有限な面上には前記対象物体またはその一部が存在しない旨を記録するステップと、を含むことを特徴とする三次元モデリング方法。

請求項17

請求項2に記載の方法において、前記ステレオカメラに3台目以降のカメラを追加し、3台目以降のそれぞれのカメラの焦点と、前記投影像の各点とを直線で結んで形成される第4以降の有限な面の位置を特定するステップと、前記第4以降の有限な面上には前記対象物体またはその一部が存在しない旨を記録するステップと、をさらに含むことを特徴とする三次元モデリング方法。

技術分野

0001

この発明は三次元モデリング技術に関し、特に、カメラ対象物体撮影してその対象物体の座標データを取得する三次元モデリング方法と装置に関する。

背景技術

0002

美術品アーカイブ化したり、クレイモデルから設計データを取得したり、人間を撮影してその立体像を得るようなとき、実在の対象物体を三次元デジタイズしてモデリングすることがある。例えば非特許文献1には、ステレオカメラを利用して対象物体の三次元座標情報を取得する技術が紹介されている。また、非特許文献2には、取得された離散的な三次元の点から対象物体の表面を再構築する技術が紹介されている。対象物体の三次元モデリングは、CG処理をするハードウエア高性能化やオブジェクトデータ伝送する通信帯域の拡大により、今後さらに多くのアプリケーションを獲得していくと思われる。
谷内田著,「ロボットビジョン」,昭晃堂,1990年,p.181−185
H. Hoppe, T. DeRose, T. Duchamp, J. McDonald and W. Stuetzle, “Surface Reconstruction from Unorganized Points.” Siggraph ’92, pp.71-78, 1992

発明が解決しようとする課題

0003

ステレオカメラによる方法だと、取得される三次元データの精度が左右画像マッチングの精度に依存する。また、オクルージョン、すなわち、自己遮蔽が発生する部分は、当然ながら正しいデータが取得できない。一方、まず三次元の離散的な点の座標を取得する場合、形状が複雑な場所では、サーフェイスの再構築の際、点どうしのコネクティビティ誤り、結果として誤った形状を認識することがある。

0004

本発明はこうした課題を認識してなされたものであり、その目的は、対象物体がある程度複雑な形状であっても、比較的簡便に正確な三次元データを取得することのできる三次元モデリング技術を提供することにある。

課題を解決するための手段

0005

本発明のある態様は三次元モデリング方法であり、光源からモデリングの対象物体に投影されたスリット光投影像を単一のカメラで撮影するステップと、前記光源と前記投影像の各点を直線で結んで形成される第1の有限な面、および前記投影像の各点と前記カメラの焦点を直線で結んで形成される第2の有限な面の位置を、前記光源およびカメラの前記対象物体に対する位置関係をもとに特定するステップと、前記第1の有限な面上および第2の有限な面上には、前記対象物体またはその一部が存在しない旨を記録するステップとを含む。

0006

「光源およびカメラの位置関係」は、光源とカメラの座標および方向の双方によって確定する。この位置関係がわかっていれば、光源から対象物体に投影されたスリット光の位置とカメラ焦点を結ぶことにより、スリット光の位置が特定できる。その特定方法自体は既知である。いずれにしても、第1の有限な面と第2の有限な面は光路であるから、そこには対象物体もその一部も存在しない。

0007

なお、単一のカメラの代わりにステレオカメラを利用すれば、前記光源と前記投影像の各点を直線で結んで形成される第1の有限な面の位置は問わない一方、前記投影像の各点と前記ステレオカメラを構成する左右カメラのそれぞれの焦点を直線で結んで形成される第2および第3の有限な面の位置を、前記ステレオカメラの位置をもとに特定し、前記第2の有限な面上および第3の有限な面上には、前記対象物体またはその一部が存在しない旨を記録すればよい。

0008

ステレオカメラを用いても、スリット光が対象物体に投影されているため、左右画像のマッチングは一般に容易である。また、ステレオカメラを用いる場合、光源の位置はもはや不要であり、ステレオカメラの位置、すなわちステレオカメラを構成する左右カメラの位置と方向がわかれば、第2、第3の有限な面を特定できる。またそれらの面は光路であるから、対象物体もその一部も存在しない。

0009

なお、光源の位置を特定する場合は、特定された光源の位置をもとに、第1の有限な面上にも対象物体またはその一部が存在しない旨を記録することができる。
同様に、ステレオカメラに3台目以降のカメラを追加し、3台目以降のそれぞれのカメラの焦点と、前記の投影像の各点とを直線で結んで形成される第4以降の有限な面の位置を特定し、第4以降の有限な面上には前記対象物体またはその一部が存在しない旨を記録してもよい。光源の位置を特定したり、3台目以降のカメラの位置を利用することにより、当然ながら、一回の撮影でより広い範囲のモデリングが可能になる。

0010

単一のカメラを利用する場合、前記記録するステップはさらに、前記第1の有限な面と第2の有限な面によって切り取られるボリューム空間には、前記対象物体またはその一部が存在しない旨を記録してもよい。例えば、カメラと光源が比較的近い場合、その中に対象物体の一部が進入してくることはないと考えてもよいし、または、進入しないよう計測をすればよい。この態様によると、一回の撮影で相当なボリューム空間が処理できるため、効率的である。なお、ボリューム空間とは実空間の一部に対応するように仮想的に設定された空間であり、例えば、ボクセルを用いて表現される。ボクセルとは、二次元画像でいうピクセル、すなわち画素に対応するものであり、ピクセルを三次元に拡張したものである。

0011

同様のことをステレオカメラの場合で考えれば、前記記録するステップはさらに、前記第2および第3の有限な面によって切り取られるボリューム空間にも、前記対象物体またはその一部が存在しない旨を記録すればよい。

0012

単一カメラの場合、カメラおよび光源からなる系と前記対象物体とを相対運動させながら、前記の各ステップを実行してもよい。この直観的な意味は、対象物体の周辺をどんどん削り取り、対象物体の表面を次第にあらわにすることにある。あらわになった時点で、対象物体の表面が特定できたことになる。ステレオカメラの場合も同様である。

0013

別の態様では、前記対象物体が存在しうる空間を予めボクセルに分割し、かつそれら各ボクセルに前記対象物体またはその一部が存在する旨の情報を初期値として付与するステップを実行した後、前記の各ステップを実行し、前記記録するステップにおいて、前記対象物体またはその一部が存在しないことが判明したボクセルについて、前記初期値を更新してもよい。

0014

さらに別の態様では、前記の各ステップの実行前に、前記の各ステップの実行前に、前記対象物体を複数回撮影し、それら複数の撮影画像のそれぞれについて前記対象物体の輪郭線外には前記対象物体またはその一部が存在しない旨を記録していくことにより、前記対象物体の概形を特定する輪郭判定ステップを実行し、この輪郭判定ステップの後においても、前記対象物体またはその一部が存在しない旨が記録されていない空間領域について、前記の各ステップを実行してもよい。輪郭判定ステップの一例は、後述の輪郭によるモデリング法である。

0015

この態様によれば、まず大まかに対象物体の概形を決め、つぎに詳細に決めることができ、処理の効率化が実現する。これはいわば、彫刻における「荒削り」の段階と仕上げの段階のアナロジーと考えることができ、その効率のよさは容易に理解できるところである。

0016

本発明のさらに別の態様は、三次元モデリング装置であり、光源からモデリングの対象物体に投影されたスリット光の投影像を単一のカメラで撮影して得られた画像データを入力する画像入力部と、前記光源と前記投影像の各点を直線で結んで形成される第1の有限な面、および前記投影像の各点と前記カメラの焦点を直線で結んで形成される第2の有限な面の位置を、前記光源およびカメラの前記対象物体に対する位置関係をもとに特定する座標計算部と、前記第1の有限な面上および第2の有限な面上には、前記対象物体またはその一部が存在しない旨をメモリに記録する記録制御部とを含む。

0017

ステレオカメラを利用する場合、この装置は光源からモデリングの対象物体に投影されたスリット光の投影像をステレオカメラで撮影して得られた画像データを入力する画像入力部と、前記光源と前記投影像の各点を直線で結んで形成される第1の有限な面の位置は問わない一方、前記投影像の各点と前記ステレオカメラを構成する左右カメラのそれぞれの焦点を直線で結んで形成される第2および第3の有限な面の位置を、前記ステレオカメラの位置をもとに特定する座標計算部と、前記第2の有限な面上および第3の有限な面上には、前記対象物体またはその一部が存在しない旨をメモリに記録する記録制御部とを含む。

0018

三次元モデリング装置において、前記単一のカメラまたはステレオカメラと前記光源を一体に備えるアームをさらに含んでもよい。この場合、アームを対象物体の周囲で操作することにより、例えばなるべくオクルージョンがない位置から計測したり、複雑な形状の部分については、より詳細に計測するといった作業が可能であり、モデリングの精度を高めることができる。

0019

本発明のさらに別の態様は三次元モデリング方法であり、光源からモデリングの対象物体に投影されたスリット光の投影像をカメラで撮影するステップと、前記対象物体が存在しうる空間に注目点を定め、その注目点の前記カメラによる撮影画像内位置と前記スリット光の像の撮影画像内位置とを比較するステップと、前記注目点の前記カメラによる撮影画像内位置のほうが前記スリット光の像の撮影画像内位置よりも前記光源に近いとき、前記注目点の奥行きと、前記注目点とカメラ焦点を結ぶ直線とスリット光平面の交点の奥行きとを比較するステップと、前記注目点の奥行きのほうが前記交点の奥行きよりも小さいとき、その注目点には前記対象物体またはその一部が存在しない旨を記録するステップとを含む。

0020

本発明のさらに別の態様は、三次元モデリング装置であり、光源からモデリングの対象物体に投影されたスリット光の投影像をカメラで撮影して得られた画像データを入力する画像入力部と、前記対象物体が存在しうる空間に注目点を定め、その注目点の前記カメラによる撮影画像内位置と前記スリット光の像の撮影画像内位置とを比較し、および前記注目点の奥行きと、前記注目点とカメラ焦点を結ぶ直線とスリット光平面の交点の奥行きとを比較する座標計算部と、前記注目点の前記カメラによる撮影画像内位置のほうが前記スリット光の像の撮影画像内位置よりも前記光源に近く、かつ、前記注目点の奥行きのほうが前記交点の奥行きよりも小さいとき、その注目点には前記対象物体またはその一部が存在しない旨をメモリに記録する記録制御部とを含む。

0021

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム記録媒体コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

発明の効果

0022

本発明によれば、対象物体に関する正確で効率的な三次元モデリングが実現する。

発明を実施するための最良の形態

0023

実施の形態1.
図1から図5は、第1の実施の形態に係る三次元モデリング技術の原理を示す。図1において、本実施の形態はオブジェクト10に対してプロジェクタ12からスリット光を投射し、その投影像(以下これをスリット像ともいう)をカメラ14で撮影する。プロジェクタ12とカメラ14の位置関係、すなわちそれらの位置と向きは三次元空間において既知とする。

0024

このとき、プロジェクタ12とスリット像を結ぶ面(これを第1面とよぶ)の上には、オブジェクト10またはその一部は存在しない。さらに、スリット像からカメラ14の焦点を結ぶ面(これを第2面とよぶ)の上にも、オブジェクト10またはその一部は存在しない。こうして、オブジェクト10が存在しないところを特定していくことにより、逆にオブジェクト10が存在するところを残すことでオブジェクト10の中実な三次元データを取得する。

0025

本実施の形態では、最初にオブジェクト10が存在しうる空間全体をボクセルに分割し、各ボクセルに初期値「1」を与えておく。この「1」は物体が存在するという意味をもっており、前述の第1面、第2面のいずれかと交差するボクセルを検出し、その値を「0」に更新する。「0」は物体の非存在を意味する。なお、全体の系が小さく、プロジェクタ12とカメラ14の間にオブジェクト10の一部が進入しないような状況では、単に第1面と第2面の面上だけでなく、それらによって切り取られるボリューム空間全体を物体の非存在領域(これを単に非存在領域と略す)として一気に多数のボクセルを「0」にしてもよい。具体的には、プロジェクタ12の任意の基準点とカメラ14の焦点とスリット像の両端点の合計4点で定まる三角錐の領域を非存在領域とみなすことができる。以降、プロジェクタ12とカメラ14で構成される系とオブジェクト10とを相対移動させることにより、次々に非存在領域を特定していき、オブジェクト10の存在領域浮き彫りにしていく。

0026

この処理からもわかるように、本実施の形態ではオブジェクト10にソリッドモデルを採用することになるから、サーフェイスモデルでしばしば問題になる、多様体としてあり得ない形状の表現等の問題が自然に解決されている。

0027

図2図1の系を上から見た模式図である。いま、プロジェクタ12、カメラ14の位置も向きも三次元空間で既知であるから、まずプロジェクタ12からスリット像(図中Pと表記)へ向かう第1面を含む平面が特定できる。つぎに、カメラ14の撮影画像に含まれるスリット像の位置から第2面を含む平面が特定できる。これらふたつの平面の交線がスリット像であるから、スリット像の三次元座標が特定できる。これにより、非存在領域の三次元座標が特定される。スリット像の三次元座標の特定自体は既知の技術である。

0028

図3は、ある時刻におけるプロジェクタ12とカメラ14の位置から決まる非存在領域と、別の時刻におけるプロジェクタ12とカメラ14の位置から決まる非存在領域を示している。同図において、未着色、すなわち白色のボクセルは非存在領域、着色したボクセルはそうではない領域を示す。ここでは、第1面と第2面のそれぞれの面上のみを非存在領域としているが、プロジェクタ12とカメラ14による系とオブジェクト10を相対運動させることで、非常に容易に非存在領域を成長させていくことができる。一方、図4は面上だけでなく、前述の三角錐領域をいちどに非存在領域とする例を示す。同図からも、本実施の形態によるモデリング効率のよさが理解できる。

0029

図5は単一のカメラ14に替えてステレオカメラ16を利用する場合の原理を示す。いまステレオカメラ16の左右カメラの位置と向きが既知とする。その場合、ステレオカメラ16だけでスリット像の三次元座標が特定できるため、プロジェクタ12の位置は未知でもよい。ステレオカメラ16の場合も処理の本質は同じであるが、追加になったカメラとスリット像を結ぶ第3面が発生し、この面上も非存在領域となる。したがって、第2面、第3面の配置によっては、一回の撮影で大きく非存在領域を特定することができる。なお、プロジェクタ12の位置も取得する場合には、第1面上も非存在領域となる。同様に、ステレオカメラ16に三台目以降の位置が既知のカメラを追加すれば、当然それらのカメラとスリット像を結ぶ第4以降の面上も非存在領域となり、処理を効率化することができる。

0030

図6は、以上の原理に基づく三次元モデリング装置100を含むシステムの全体構成を示す。ここでは、オブジェクト10はテーブル30に載置されている。また、アーム20も同様にテーブル30に固定されている。このアーム20の先、プローブ22付近に、プローブ22との位置関係が既知な撮影ユニット24が取り付けられている。撮影ユニット24は、図示しないがプロジェクタ12とカメラ14とを一体に内蔵している。なお、アーム20や撮影ユニット24も含めて三次元モデリング装置100と考えてもよい。

0031

アーム20は、単に撮影ユニット24を支持するだけでなく、そのプローブ22の位置と向き(以下これらを統括して単に「アームの位置情報」などという)が常に特定可能になっている。そうしたアーム20として、例えば、米国ファローテクノロジー社のFARO Arm(商標)がある。この製品は測定系に測定物を持っていくのではなく、測定物に測定機を持っていく思想で設計されており、6軸多関節構造を有する。各関節の角度は常にロータリーエンコーダで検出されており、プローブ22の三次元位置が完全に特定できる。いま、プローブ22と撮影ユニット24の位置関係が既知であるから、アーム20をどのような操作しても、つねに撮影ユニット24の三次元位置が判明する。したがって、アーム20をオブジェクト10の周囲のいろいろな角度へ据えつけて撮影を行えば、極めて効率的なモデリングが実現する。アームが1台の場合でも、オブジェクト10をターンテーブルに載せて回転させ、いろいろな回転角で撮影を行えば、全周のモデリングが効率よく実現できる。ただし、このようなアーム20がない場合、オブジェクト10をターンテーブルに載せて回転させ、いろいろな回転角で固定型のプロジェクタ12およびカメラ14から撮影をしてもよい。一般論として、測定系に対してオブジェクト10を動かす場合、回転速度のわかっている回転台に対象物体を載せたり、オブジェクト10を載せた台に位置キャリブレーションマークを付け、測定中は常にそれを撮影するといった方法を採ることができる。

0032

三次元モデリング装置100は、アーム20から撮影画像を入力するインタフェイスである画像入力部40と、アームの位置情報および撮影画像から非存在領域の三次元座標を特定する座標計算部42と、非存在領域をメモリ66へ記録する記録制御部60とを有する。三次元モデリング装置100の構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリのロードされたモデリングプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

0033

座標計算部42のアーム位置取得部44は、アーム20からアーム位置を読み込む。線分抽出部46は画像入力部40から撮影画像を入力し、スリット像を画像内の線分として抽出する。この抽出は例えば輝度ベース等、既知の手法でなされる。抽出された線分の画像内における二次元位置は線分位置算出部48へ通知される。線分位置算出部48は、アーム位置からプロジェクタ12とカメラ14の位置を特定し、図2で説明したごとく第1面と第2面をそれぞれ含むふたつの平面を特定し、線分の三次元位置を特定する。その結果は領域特定部50へ通知され、領域特定部50が図3または図4の方法で非存在領域を特定する。以上の結果が記録制御部60へ通知される。

0034

記録制御部60の初期化部62は、オブジェクト10が存在しうる空間領域全体のボクセルに対して初期値「1」を設定する。更新部64は、領域特定部50からの通知された非存在領域に一部または全部が入るボクセルの値を「0」にクリアする。ただし、一部のみが非存在領域に入るボクセルについては「1」のままで維持し、全体が入ったときに限り、「0」にクリアしてもよい。これは設計の方針による。

0035

以上が三次元モデリング装置100の構成であるが、座標計算部42には、オプショナルな構成として輪郭判定部52が設けられている。輪郭判定部52は、本発明者が先に提案した「輪郭線を用いたモデリング」(以下「輪郭モデリング」という)を実行するもので、その詳細は特開2003−67726に述べたとおりである。いまその原理だけ説明すれば、カメラ14による撮影画像からオブジェクト10の輪郭線を抽出し、カメラ14の焦点と輪郭線上の各点を結んで得られる曲面の外を非存在領域とするものである。この処理をオブジェクト10の周りから撮影された複数の画像についてなせば、非常に短時間でオブジェクト10の概形を大まかに特定することができる。ただし、オブジェクト10の表面の窪みなどはこの方法では特定が困難であるから、輪郭モデリングを最初に実行し、つづいて詳細情報を得るために本実施の形態による非存在領域の特定を実行する「二段階処理」は有効である。

0036

図7は以上の構成による処理の流れを示す。処理の開始に先立ち、まず初期化部62によってボクセルの初期化がなされる(S10)。つづいて、プロジェクタ12からスリット光を投じ(S12)、カメラ14で撮影する(S14)。線分抽出部46は画像入力部40経由で画像を取得し(S16)、一方、アーム位置取得部44はアーム20からアーム位置情報を取得する(S18)。

0037

つづいて、線分抽出部46はスリット像である線分の撮影画像内における二次元位置を特定する(S20)。線分位置算出部48はその結果から線分の三次元位置を算出し(S22)、領域特定部50が非存在領域を算出する(S24)。つづいて、ボクセル単位の処理がなされ(S26)、オブジェクト10の形状が十分に得られるまで(S28のNo)、S14以下の処理が繰り返される。形状が十分に得られれば処理を抜ける(S28のYes)。

0038

図8はS26におけるボクセル単位の処理の流れを示す。同図のごとく、まずボクセルの値が「1」、すなわち「物体が存在する」であれば(S100のYes)、そのボクセルが非存在領域に入っているかどうかを判定し(S102)、入っていれば(S102のYes)、ボクセルの値を「0」にクリアして(S104)、処理を抜ける。S100でNo、S102でNoの場合は、それぞれ処理を抜ける。以上の処理をすべてのボクセルについて行う。

0039

実施の形態2.
図9は本実施の形態に係る三次元モデリング方法の原理を示す。同図は系を上から見たところであり、以下の記号を使用する。
P:スリット像が現実に発生するオブジェクト10上の位置
p: スリット像の撮影画像18内位置
C:カメラ14とスリット像を結ぶ面、すなわち第2面
B: いま検査しているボクセル
P0: ボクセルBとカメラ14焦点を結ぶ直線C0と、スリット光平面Lすなわち第1面Lの交点
p0: ボクセルBの撮影画像18内位置
D0: P0の奥行き
DB: ボクセルBの奥行き

0040

本実施の形態は、図4同様、第1面と第2面によって囲まれる空間を非存在領域として特定する。この際、以下のふたつの条件を同時に満たすボクセルが非存在領域にあると考える。
条件1: 第2面Cよりも左側にある
条件2: 第1面Lよりも右側にある

0041

ここで、条件1は「p0のほうがpよりもプロジェクタ12に近い」と換言できる。ただし、p0とpを比較する際、撮影画像18内の水平方向(Y方向)で比較する。一方、条件2は「DBがD0よりも小さい」と換言できる。D0およびDBは、Bの座標、カメラ14の焦点距離ボクセル空間座標系におけるカメラ位置情報、Lの式がすべて既知なので、簡単な計算から求まる。オブジェクト10が存在しうる空間内のすべてのボクセルについて、これらふたつの条件を同時に満たすかどうかを検査し、同時に満たせばそのボクセルは非存在領域として判定される。

0042

本実施の形態を実現する構成は図6のものでよい。ただし、領域特定部50の機能が変更になる。領域特定部50は、オブジェクト10が存在しうる空間に検査の対象となる注目点であるボクセルBを定め、ボクセルBの撮影画像18内位置p0とスリット光の撮影画像18内位置pとを比較し、さらに、ボクセルBの奥行きDBと、ボクセルBとカメラ14焦点を結ぶ直線C0とスリット光平面Lの交点P0の奥行きD0とを比較する。比較の結果から、そのボクセルが条件1、2を満たす場合、その旨を記録制御部60へ通知する。記録制御部60による記録は既述のとおりである。

0043

実施の形態における処理手順図7からS22を除いたものとなる。ただし、S24の処理が変更になる。S24では、各ボクセルについて条件1、2の成立性が検査される。条件1が不成立の場合、条件2の検査はスキップできる。本実施の形態でも、当然ながらカメラ14およびプロジェクタ12からなる系とオブジェクト10とを相対運動させながら各処理ステップを実行することにより非存在領域を成長させることができる。以上、本実施の形態も、比較的簡単な計算からオブジェクト10の三次元形状をモデリングでき、利便性が高い。

0044

以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例を挙げる。

0045

実施の形態では、撮影画像をもとに三次元モデリングを行った。しかし、アーム20のような機構を利用するのであれば、別のモデリングも可能である。例えば、撮影ユニット24の代わりに形状が既知の付属物を取り付け、この付属物をオブジェクト10に接触させながらスキャンすることも可能である。この場合、この付属物の存在領域にはオブジェクト10やその一部は存在しないため、非存在領域が特定できる。付属物は操作性の面、および早期に非存在領域を確定する目的の面から形状設計されればよい。なお、この方法の場合、光学的な処理ができない黒、透明、鏡面などの形状を得ることができる。

図面の簡単な説明

0046

実施の形態1による三次元モデリングの原理を示す図である。
図1の系を上から見た模式図である。
実施の形態1により、オブジェクトの非存在領域が特定される原理を示す図である。
実施の形態1の別の方法により、オブジェクトの非存在領域が特定される原理を示す図である。
実施の形態1でステレオカメラを用いた場合の三次元モデリングの原理を示す図である。
実施の形態1に係る三次元モデリング装置を含むシステムの全体構成図である。
実施の形態1による三次元モデリングの処理を示すフローチャートである。
図7のうち、S26の詳細を示す図である。
実施の形態2による三次元モデリングの原理を示す図である。

符号の説明

0047

10オブジェクト、 12プロジェクタ、 14カメラ、 16ステレオカメラ、 20アーム、 22プローブ、 24撮影ユニット、 40画像入力部、 42座標計算部、 44アーム位置取得部、 46線分抽出部、 48 線分位置算出部、 50領域特定部、 52輪郭判定部、 60記録制御部、 62初期化部、 64更新部、 66メモリ、 100三次元モデリング装置。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ