図面 (/)

技術 形状測定のためのシステム、方法および媒体

出願人 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク
発明者 グプタモヒトナヤルシュリーケー
出願日 2012年11月21日 (8年6ヶ月経過) 出願番号 2014-543568
公開日 2015年1月19日 (6年4ヶ月経過) 公開番号 2015-501933
状態 特許登録済
技術分野 光学的手段による測長装置
主要キーワード サブサーフェス 周波数集合 文化遺産 形状測定機構 リニアシステム 投影構造 工場自動化 最終周波数
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年1月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題・解決手段

本発明は形状測定のためのシステム、方法および媒体を提供する。幾つかの実施形態では、形状測定のためのシステムを提供した。前記システムは、シーンに複数の照明パターン投影するためのプロジェクターを含み、前記各照明パターンはいずれも所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、3つの異なる照明パターンは第1の所定周波数で投影され、1つのみまたは2つの異なる照明パターンは第2の所定周波数で投影される。前記システムはさらに、前記各期間にシーンの画像を検出するためのカメラと、前記複数の照明パターンの所定周波数を決定し、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサーと、を含む。

概要

背景

位相シフトは、信頼性があり、幅広く用いられる形状測定技術である。この技術は、低コスト高速度および精密性などのメリットを有するため、外科手術工場自動化パフォーマンスキャプチャー文化遺産デジタル化及び他の応用に用いられる。

位相シフトは、アクティブステレオ三角測量技術の種類に属する。このような技術は、コード化された輝度パターンシーン投影するによって、プロジェクター画素カメラとの間の対応関係確立している。そして、この対応関係により、シーンにおける点に対して三角測量を行い、シーンにおける物体の形状を確立する。

他のアクティブシーン回復技術と同様に、位相シフトは、シーンの点が1つのみの単一光源により直接照らされると仮定するので、全体照明が発生しない。しかし、実際に、相互反射およびサブサーフェス散乱により、全体照明は避けられないことである。事実、全体照明はほとんどの現実な世界シーンに発生している。結果として、典型的な位相シフトはこのような全体照明により誤った結果を生じさせる。

また、位相シフト算法は、通常、光源無限の被写界深さを有する理想点であると仮定する。しかし、すべての光源の被写界深さは有限であるので、ディフォーカスを招く。ディフォーカスを解消するために、従来の位相シフト技術は大量の入力画像を取る必要がある。

そのため、新規形状測定機構が必要となっている。

概要

本発明は形状測定のためのシステム、方法および媒体を提供する。幾つかの実施形態では、形状測定のためのシステムを提供した。前記システムは、シーンに複数の照明パターンを投影するためのプロジェクターを含み、前記各照明パターンはいずれも所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、3つの異なる照明パターンは第1の所定周波数で投影され、1つのみまたは2つの異なる照明パターンは第2の所定周波数で投影される。前記システムはさらに、前記各期間にシーンの画像を検出するためのカメラと、前記複数の照明パターンの所定周波数を決定し、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサーと、を含む。

目的

同時に、幾つかの実施形態では、カメラ106はシーンから反射した光線を検出し、検出した画像をコンピュータに提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

形状測定のためのシステムであって、シーンに複数の照明パターン投影するためのプロジェクターであって、前記各照明パターンはいずれも所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、3つの異なる照明パターンは第1の所定周波数で投影され、1つのみまたは2つの異なる照明パターンは第2の所定周波数で投影されるプロジェクターと、前記各期間にシーンの画像を検出するためのカメラと、前記複数の照明パターンの所定周波数を決定し、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサーと、を含むことを特徴とするシステム。

請求項2

前記ハードウェアプロセッサーは更に、異なる周波数の照明パターンの反射光振幅を測定し、小範囲振幅に対応する周波数を選択することによって、前記複数の照明パターンの所定周波数を決定するように設置されたことを特徴とする請求項1に記載のシステム。

請求項3

前記小範囲振幅は互いに1%異なっていることを特徴とする請求項2に記載のシステム。

請求項4

前記小範囲振幅は互いに5%異なっていることを特徴とする請求項2に記載のシステム。

請求項5

前記小範囲振幅は互いに10%異なっていることを特徴とする請求項2に記載のシステム。

請求項6

前記ハードウェアプロセッサーは更に、前記シーンに関する複数の光伝送特徴を決定し、前記複数の光伝送特徴により空間周波数を決定するように設置されることを特徴とする請求項1に記載のシステム。

請求項7

前記ハードウェアプロセッサーは更に、各正弦波パターンパラメータを決定するように設置されることで、前記複数画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項1に記載のシステム。

請求項8

前記ハードウェアプロセッサーは更に、Gushov−Solodkin(G−S)算法により位相アンラッピングを実行するように設置されることを特徴とする請求項1に記載のシステム。

請求項9

前記複数の照明パターンの各所定周波数はいずれも10Hzより高いことを特徴とする請求項1に記載のシステム。

請求項10

前記複数の照明パターンの各所定周波数はいずれも30Hzより高いことを特徴とする請求項1に記載のシステム。

請求項11

前記複数の照明パターンの各所定周波数はいずれも60Hzより高いことを特徴とする請求項1に記載のシステム。

請求項12

形状測定のための方法であって、プロジェクターを用いてシーンに複数の照明パターンを投影し、前記各照明パターンはいずれも1つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、3つの異なる照明パターンは第1の所定周波数で投影され、1つのみまたは2つの異なる照明パターンは第2の所定周波数で投影されることと、カメラを用いて前記各期間に前記シーンの画像を検出することと、ハードウェアプロセッサーを用いて前記複数の照明パターンの所定周波数を決定することと、前記ハードウェアプロセッサーを用いて前記シーンにおける物体の形状を測定することと、を含むことを特徴とする方法。

請求項13

異なる周波数の照明パターンの反射光の振幅を測定し、小範囲振幅に対応する周波数を選択することによって、前記複数の照明パターンの所定周波数を決定することを特徴とする請求項12に記載の方法。

請求項14

前記小範囲振幅は互いに1%異なっていることを特徴とする請求項13に記載の方法。

請求項15

前記小範囲振幅は互いに5%異なっていることを特徴とする請求項13に記載の方法。

請求項16

前記小範囲振幅は互いに10%異なっていることを特徴とする請求項13に記載の方法。

請求項17

前記シーンに関する複数の光伝送特徴を決定することと、前記複数の光伝送特徴により空間周波数を決定することと、を更に含むことを特徴とする請求項12に記載の方法。

請求項18

各正弦波パターンのパラメータを決定することを更に含むことで、前記複数の画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項12に記載の方法。

請求項19

Gushov−Solodkin(G−S)算法により位相アンラッピングを実行することを更に含むことを特徴とする請求項12に記載の方法。

請求項20

前記複数の照明パターンの各所定周波数はいずれも10Hzより高いことを特徴とする請求項12に記載の方法。

請求項21

前記複数の照明パターンの各所定周波数はいずれも30Hzより高いことを特徴とする請求項12に記載の方法。

請求項22

前記複数の照明パターンの各所定周波数はいずれも60Hzより高いことを特徴とする請求項12に記載の方法。

請求項23

コンピュータ実行可能な命令を有する非一時的なコンピュータ可読媒体であって、プロセッサーにより処理される時に、前記命令により、前記プロセッサーは形状を測定する方法を実行し、前記方法は、シーンに複数の照明パターンを投影し、前記各照明パターンはいずれも1つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、3つの異なる照明パターンは第1の所定周波数で投影され、1つのみまたは2つの異なる照明パターンは第2の所定周波数で投影されることと、前記各期間に前記シーンの画像を検出することと、前記複数の照明パターンの所定周波数を決定することと、前記シーンにおける物体の形状を測定することと、を含むことを特徴とする非一時的なコンピュータ可読媒体。

請求項24

異なる周波数の照明パターンの反射光の振幅を測定し、小範囲振幅に対応する周波数を選択することによって、前記複数の照明パターンの所定周波数を決定することを特徴とする請求項23に記載の非一時的なコンピュータ可読媒体。

請求項25

前記小範囲振幅は互いに1%異なっていることを特徴とする請求項24に記載の非一時的なコンピュータ可読媒体。

請求項26

前記小範囲振幅は互いに5%異なっていることを特徴とする請求項24に記載の非一時的なコンピュータ可読媒体。

請求項27

前記小範囲振幅は互いに10%異なっていることを特徴とする請求項24に記載の非一時的なコンピュータ可読媒体。

請求項28

前記方法は、前記シーンに関する複数の光伝送特徴を決定することと、前記複数の光伝送特徴により空間周波数を決定することと、を更に含むことを特徴とする請求項23に記載の非一時的なコンピュータ可読媒体。

請求項29

前記方法は、各正弦波パターンのパラメータを決定することで、前記複数の画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項23に記載の非一時的なコンピュータ可読媒体。

請求項30

前記方法は、Gushov−Solodkin(G−S)算法により位相アンラッピングを実行することを更に含むことを特徴とする請求項23に記載の非一時的なコンピュータ可読媒体。

請求項31

前記複数の照明パターンの各所定周波数はいずれも10Hzより高いことを特徴とする請求項23に記載の非一時的なコンピュータ可読媒体。

請求項32

前記複数の照明パターンの各所定周波数はいずれも30Hzより高いことを特徴とする請求項23に記載の非一時的なコンピュータ可読媒体。

請求項33

前記複数の照明パターンの各所定周波数はいずれも60Hzより高いことを特徴とする請求項23に記載の非一時的なコンピュータ可読媒体。

技術分野

0001

連邦政府資金による研究についての声明
この発明は、アメリカ国立科学財団(National Science Foundation)から受賞された契約書IIS−0964429による政府支援、及び、米国海軍研究署(Office of Naval Research)から受賞された契約書N00014−11−1−0285による政府支援を受けてなされたものであり、米国政府はこの発明に対して一部の権利を有する。

0002

[関連出願の相互参照
本出願は、2011年11月23日に出願された米国仮特許出願第61/563,470号の優先権の利益を主張するものであり、この特許出願の全内容は参考として本出願に援用されている。

背景技術

0003

位相シフトは、信頼性があり、幅広く用いられる形状測定技術である。この技術は、低コスト高速度および精密性などのメリットを有するため、外科手術工場自動化パフォーマンスキャプチャー文化遺産デジタル化及び他の応用に用いられる。

0004

位相シフトは、アクティブステレオ三角測量技術の種類に属する。このような技術は、コード化された輝度パターンシーン投影するによって、プロジェクター画素カメラとの間の対応関係確立している。そして、この対応関係により、シーンにおける点に対して三角測量を行い、シーンにおける物体の形状を確立する。

0005

他のアクティブシーン回復技術と同様に、位相シフトは、シーンの点が1つのみの単一光源により直接照らされると仮定するので、全体照明が発生しない。しかし、実際に、相互反射およびサブサーフェス散乱により、全体照明は避けられないことである。事実、全体照明はほとんどの現実な世界シーンに発生している。結果として、典型的な位相シフトはこのような全体照明により誤った結果を生じさせる。

0006

また、位相シフト算法は、通常、光源無限の被写界深さを有する理想点であると仮定する。しかし、すべての光源の被写界深さは有限であるので、ディフォーカスを招く。ディフォーカスを解消するために、従来の位相シフト技術は大量の入力画像を取る必要がある。

0007

そのため、新規形状測定機構が必要となっている。

0008

形状測定のためのシステム、方法および媒体を提供した。幾つかの実施形態では、形状測定のためのシステムを提供した。前記システムは、シーンに複数の照明パターンを投影するためのプロジェクターを含み、前記各照明パターンはいずれも所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、3つの異なる照明パターンは第1の所定周波数で投影され、1つのみまたは2つの異なる照明パターンは第2の所定周波数で投影される。前記システムはさらに、前記各期間にシーン画像を検出するためのカメラと、前記複数の照明パターンの所定周波数を決定し、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサーと、を含む。

0009

幾つかの実施形態では、形状測定のための方法を提供した。前記方法では、プロジェクターを用いてシーンに複数の照明パターンを投影し、前記各照明パターンはいずれも1つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、3つの異なる照明パターンは第1の所定周波数で投影され、1つのみまたは2つの異なる照明パターンは第2の所定周波数で投影される。前記方法はさらに、カメラを用いて前記各期間に前記シーンの画像を検出することと、ハードウェアプロセッサーを用いて前記複数の照明パターンの所定周波数を決定することと、前記ハードウェアプロセッサーを用いて前記シーンにおける物体の形状を測定することと、を含む。

0010

幾つかの実施形態では、コンピュータ実行可能な命令を有する非一時的なコンピュータ可読媒体を提供し、プロセッサーにより処理される時に、前記プロセッサーは形状を測定する方法を実行する。前記方法では、シーンに複数の照明パターンを投影し、前記各照明パターンはいずれも1つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、3つの異なる照明パターンは第1の所定周波数で投影され、1つのみまたは2つの異なる照明パターンは第2の所定周波数で投影される。前記方法はさらに、前記各期間に前記シーンの画像を検出することと、前記複数の照明パターンの所定周波数を決定することと、前記シーンにおける物体の形状を測定することと、を含む。

図面の簡単な説明

0011

幾つかの実施形態に用いられる形状測定のためのハードウェアの実例を示すブロック図である。
幾つかの実施形態に用いられるコンピュータハードウェアの実例を示すブロック図である。
幾つかの実施形態に用いられる照明パターンの実例を示す図である。
幾つかの実施形態において形状測定に用いられるプロセスの実例を示す図である。

実施例

0012

形状測定のためのシステム、方法および媒体は提供される。幾つかの実施形態では、形状測定機構は、任意の適切なプロジェクターを用いて照明パターンを、1つまたは複数の物体を含むシーンに投影し、前記シーンから反射したこれらの照明パターンは、任意の適切なカメラにより検出されて画像として記憶される。前記の投影パターンは、任意の適切なパターン、例えば、正弦波パターンでよい。これらのパターンに使用される周波数は、十分に高い周波数を選択することが可能であり、これによって、検出・記憶されたすべての画像に対して全体照明およびディフォーカス効果は、実質上、不変となる。そして、プロジェクター画素とカメラ画素との間の対応関係を決定することができ、シーンにある物体の表面における点に対して三角測量を行うことで、これらの物体の形状を決定する。

0013

図1は、幾つかの実施形態に用いられるハードウェア100の実例を示す。図に示すように、幾つかの実施形態では、ハードウェア100はコンピュータ、プロジェクター、カメラ、1つまたは複数の入力装置108及び1つまたは複数の出力装置110を含んでいる。

0014

幾つかの実施形態では、作動中、コンピュータ102によって、プロジェクター104は適切な数の構造光画像をシーン112に投影し、前記シーンは任意の適切な物体、例えば物体114および116を含んでいる。同時に、幾つかの実施形態では、カメラ106はシーンから反射した光線を検出し、検出した画像をコンピュータに提供する。また、幾つかの実施形態では、コンピュータは、ここに記載のプロセスを行うことによって、シーンにおける物体に関する形状および他の適切なデータを決定することができる。

0015

幾つかの実施形態では、コンピュータ102は、任意の適切な処理装置でよく、プロジェクター104およびカメラ106の動作を制御し、ここに記載の演算、適切な出力データの生成、及び/又は他の適切な機能の実行を行うことができればよい。後に、図2を参照し、幾つかの実施形態のコンピュータ102の特徴を更に説明する。

0016

プロジェクター104は、ここに記載されているような投影構造光画像に適用できる任意の装置でよい。例えば、プロジェクター104は投影システムディスプレイ等でよい。具体的には、例えば、幾つかの実施形態では、プロジェクター104は、米国カリフォルニアサンディエゴに位置する三洋アメリカ社により製造されるSANYOPLC−XP18N投影システムでよい。

0017

カメラ106は、ここに記載されているような画像検出に適用できる任意の装置でよい。例えば、カメラ106は写真用のカメラ、ビデオカメラ光センサー画像センサー等でよい。具体的には、例えば、幾つかの実施形態では、カメラ106は、カナダブリティッシュコロンビアリッチモンドに位置するPOINTGREY RESEARCH社、またはカナダオンタリオ州オダワに位置するLUMENERA CORPORATION社により製造されるマシンビジョンカメラでよい。

0018

幾つかの実施形態では、入力装置108は、コンピュータ102を制御することに適用できる任意の1つまたは複数の入力装置でよい。例えば、入力装置108はタッチスクリーンコンピュータマウスポインティングデバイス、1つまたは複数のボタンキーパッドキーボード音声識別回路マイクロフォン等でよい。

0019

幾つかの実施形態では、出力装置110は、コンピュータ102からデータを出力することに適用できる任意の1つまたは複数の出力装置でよい。例えば、出力装置110はディスプレイ、オーディオデバイス等を含む。

0020

幾つかの実施形態によれば、ハードウェア100は他の適切な素子を含んでよい。また、幾つかの実施形態では、ハードウェア100における任意の適切な素子の組み合わせ及び/又は省略を行うことができる。

0021

幾つかの実施形態では、任意の適切なハードウェアを用いてコンピュータ102を作動させてもよい。例えば、幾つかの実施形態では、コンピュータ102は任意の適切な汎用コンピュータまたは専用コンピュータでよい。このような汎用コンピュータまたは専用コンピュータは、適切なハードウェアを含んでよい。例えば、図2に示すハードウェア200の実例のように、このようなハードウェアは、ハードウェアプロセッサー202、メモリシステム及び/又は記憶装置204、通信インターフェース(1つまたは複数)206、入力コントローラ208、出力コントローラ210、プロジェクターインターフェース212、カメラインターフェース214及びバス216を含む。

0022

幾つかの実施形態では、ハードウェアプロセッサー202は、任意の適切なハードウェアプロセッサー、例えば、マイクロプロセッサーマイクロコントローラデジタル信号プロセッサー、専用ロジック回路及び/又は汎用コンピュータまたは専用コンピュータの動作を制御することに適用できる他の回路システムを含んでよい。

0023

幾つかの実施形態では、メモリ及び/又は記憶装置204は、プログラム、データ、投影される画像、検出した画像、測定値等を記憶することに適用できる任意のメモリシステム及び/又は記憶装置でよい。例えば、メモリ及び/又は記憶装置204は、ランダムアクセスメモリリードオンリーメモリフラッシュメモリハードディスク記憶装置光学式媒体等を含んでよい。

0024

幾つかの実施形態では、通信インターフェース(1つまたは複数)206は1つまたは複数の通信ネットワークに接続されることに適用できる任意の回路システムでよい。例えば、インターフェース(1つまたは複数)206はネットワークインターフェースカード回路システム、無線通信回路システム等を含んでよい。

0025

幾つかの実施形態では、入力コントローラ208は、1つまたは複数の入力装置108からの入力データを受信することに適用できる任意の適切な回路システムでよい。例えば、入力コントローラ208は、入力データを受信するための回路システムでよく、前記入力データはタッチスクリーン、コンピュータマウス、ポインティングデバイス、1つまたは複数のボタン、キーパッド、キーボード、音声識別回路、マイクロフォン等からのものとなる。

0026

幾つかの実施形態では、出力コントローラ210は、1つまたは複数の出力装置110を制御・駆動することに適用できる任意の適切な回路システムでよい。例えば、出力コントローラ210は、データをディスプレイ、オーディオデバイス等に出力するための回路システムでよい。

0027

幾つかの実施形態では、プロジェクターインターフェース212は、ハードウェア200をプロジェクター(例えば、プロジェクター104)と接続させることに適用できる任意の適切なインターフェースでよい。幾つかの実施形態では、インターフェース212は、任意の適切なプロトコルを用いてよい。

0028

幾つかの実施形態では、カメラインターフェース214は、ハードウェア200をカメラ(例えば、カメラ106)と接続させることに適用できる任意の適切なインターフェースでよい。幾つかの実施形態では、インターフェース214は、任意の適切なプロトコルを用いてよい。

0029

幾つかの実施形態では、バス216は、素子202、204、206、208、210、212および214のうち2つまたは複数の間の通信に適用できる任意の機構でよい。

0030

幾つかの実施形態によれば、ハードウェア200は他の適切な素子を含んでよい。さらに、幾つかの実施形態では、ハードウェア200におけるすべての適切な素子の組み合わせ及び/又は省略を行うことができる。

0031

図3は、幾つかの実施形態による、プロジェクター104によってシーン112に投影される構造光パターン302の実例を示している。幾つかの実施形態では、パターン302は、例えば、正弦波304に示すように、白色と黒色との間で正弦関数により変化する輝度を有する。従って、パターン302における各画素列は1つの所定の輝度ベクトルを有する。さらに、幾つかの実施形態では、306で示されるパターンの周期を画素で測定することができる。

0032

図4は、幾つかの実施形態による形状測定のプロセスの実例400を示している。幾つかの実施形態では、このプロセスは図1に示すコンピュータ102により実行される。

0033

図4に示すように、幾つかの実施形態では、プロセス400は402で開始された後、投影される構造光の周波数を404で決定する。ここで、任意の適切な周波数を用いることができ、任意の適切な方式でこれらの周波数を決定することもできる。

0034

例えば、幾つかの実施形態では、以下の2つの条件を満たすように、パターン周波数集合Ω(即ちΩ={ω1、…、ωF})を選択する。すなわち、(1)平均周波数ωmが十分に高く(周期λが小さい)、全体照明が回復位相に重大なエラーを生じさせない。(2)周波数帯域幅δ(即ち、δは、Ωにおけるすべての周波数が帯域幅[ωm−δ/2、ωm+δ/2]内に位置する周波数帯域幅である)が十分に小さく、すべての周波数に対してカメラが検出した振幅はほぼ同一となる。即ち、




となる。

0035

上述した第1の条件について、幾つかの実施形態では、任意の適切なωm値を用いて良い。例えば、幾つかの実施形態では、96画素以下(例えば、16画素、32画素等)の周期λmに対応する平均周波数ωm(図3に示すように)は、シーンの大量収集時に全体照明による回復位相に現れるエラーを十分に防止するように、充分に高くすることができる。また、他の幾つかの実例では、10Hzより高い平均周波数ωmを充分に高く(例えば、30Hz、60Hz等)して、シーンの大量収集時に全体照明による回復位相に現れるエラーを防止することができる。

0036

幾つかの実施形態では、平均周波数の選択は、次のことを考慮すべきである。すなわち、これらの実施例に用いられる所定のプロジェクターに存在する光学収差により、プロジェクターがある高周波数を確実に投射することができないので、このような高周波数より低い平均周波数を選択すべきである。

0037

上述した第2の条件について、幾つかの実施形態では、任意の適切なδ値を用いることができる。例えば、幾つかの実施形態では、周波数帯域幅δは最大値を選択し、この最大値により、前記周波数帯域における任意の一対となる投影パターン周波数の間の反射光振幅の最大変化は、カメラのノイズレベルにより、ある程度のパーセンテージ、例えば1%、5%、10%等を超えない。例えば、カメラのノイズレベルが高ければ、投影パターン周波数対の間の反射光振幅の大きい変化が許される。幾つかの実施形態では、このような変化は、反射光振幅平均値を測定して算出することによって確認することができ、前記反射光は、異なる量の全体照明およびディフォーカスを受け付ける大量のシーンポイントからのものである。

0038

幾つかの実施形態では、平均周波数ωmは16画素の周期λmに対応するため、周波数帯域幅δは3画素の周期に対応する。

0039

幾つかの実施形態では、周波数帯域幅δの選択は、次のことを考慮すべきである。すなわち、これらの実施例に用いられる所定プロジェクターの空間および輝度の分解能が限られているので、2つの周波数間の差が閾値εより小さいと、プロジェクターがこの2つの周波数を区別することができない。従って、このような実施形態では、周波数帯域幅δは十分に大きく選択されて、F個の異なる周波数を区別することを確保し、すなわち、少なくともε離れるようにする。

0040

平均周波数ωmおよび周波数帯域幅δが選択されると、結果としての周波数帯域を決定することができる。例えば、16画素の周期λmに対応する平均周波数ωm、及び3画素の周期に対応する周波数帯域幅δに基づき、14.5〜17.5画素の周期に対応する最終周波数帯域を決定することができる。

0041

次に、照明パターンの各周波数を選択する。幾つかの実施形態では、任意の適切な方式でこれらの周波数を選択することができる。例えば、幾つかの実施形態では、これらの周波数が選択されることで、位相エラーによる深さエラーを最小に低減することができる。幾つかの実施形態では、
(a)このような深さエラーは位相エラーに比例していて、ΔΦ=|p−q|となり、ここで、所定のカメラ画素に対して、pは正確なプロジェクター縦列であり、qは算出したプロジェクター縦列である。
(b)F個の周波数を用いる場合に、唯一のF+2次元輝度ベクトル(即ち、各投影画像に1個ずつ)を用いて各プロジェクター縦列を符号化する。
よって、位相エラー発生の可能性を最小に低減させるために、周波数集合を選択し、すなわち、異なるプロジェクター縦列に対応するベクトル間の距離dpqを最大にする周波数集合を選択する。所定の周波数集合Ωにとって、輝度ベクトル間の平均加重距離は下記の式により算出される。

0042

0043

式では、Nはプロジェクター縦列の総数である。幾つかの実施形態では、dpqについて、標準−2ユークリッド距離を選択してよい。そして、幾つかの実施形態では、以下の制限されたF次元最適化問題を用いてE(Ω)を最小にする周波数帯域[ωmin、ωmax]内の周波数集合を選択することができる。

0044

0045

この最適化問題は、任意の適切な方式で解決することができる。例えば、幾つかの実施形態では、シンプレックスサーチ法(例えば、MATLAB最適化ツールボックスでの実施)は最適化問題の解決に用いられる。

0046

幾つかの実施形態では、[14.5、17.5]画素の周波数帯域について、且つF=5となる場合に、上述した手順は14.57、16.09、16.24、16.47および16.60画素の周期に対応する周波数集合を取得することができる。

0047

幾つかの実施形態では、プロセス400は照明パターン周波数を選択すると、プロセス400は、406でこれらの周波数の第1の周波数を選択することができる。幾つかの実施形態では、任意の1つの適切な周波数を任意の適切な方式で選択することができる。例えば、幾つかの実施形態では、これらの周波数の第1の周波数として最少周波数、最大周波数または平均周波数に最も近い周波数を選択することができる。

0048

そして、幾つかの実施形態では、プロセス400は408でプロジェクターに特定の周波数で照明パターンを投影させる。例えば、プロセス400は、図1に示すプロジェクター104に、選択された第1の周波数に等しい周波数で図3に示す照明パターン302を投影させる。

0049

幾つかの実施形態では、プロジェクターが408で照明パターンを投影するとき、プロセス400は、カメラに、検出された画像としてシーンから反射された投影パターンを検出させ、410でカメラからこの画像を取得する。

0050

そして、プロセスは412で、408で行われた投影が最後の投影であるか否かを判断する。「いいえ」と判断された場合、プロセス412は414で、他の異なる周波数を用いて次の投影を行うか否かを決定する。上述した判断は、任意の適切な標準および任意の適切な方式で行うことができる。例えば、404で決定した周波数集合におけるすべての周波数はいずれも406または416で選択されていない場合に、プロセス400はもう1回の投影を決定することができる。また、例えば、2つまたは2つ以上の移行位相の投影が所定の周波数に規定され、408で各投影が実施されていない場合に、プロセス400はもう1回の投影を決定することができる。

0051

具体的には、例えば、幾つかの実施形態では、所定周波数の数Fについて、F+2画像を投影し検出することができる。さらに具体的には、幾つかの実施形態では、第1の周波数について、3つの画像を投影して検出することができる。残りのF−1周波数のそれぞれに対しては、1つの画像を投影し検出することができる。

0052

従って、プロセス400は412で、最後の投影が行われたばかりか否かを判断することができる。「はい」と判断された場合、後述するように、プロセス400は418に進み、各投影周波数下のプロジェクター画素の位相を回復する。「いいえ」と判断された場合、プロセス400は414で他の異なる周波数を用いて次の投影を行うか否かを決定する。「はい」と決定した場合、プロセス400は416で隣接の周波数を選択し、そして408に戻る。「いいえ」と決定した場合、プロセス400は408に戻る。

0053

以上に記載したように、幾つかの実施形態では、プロセス400は418で、各投影周波数でのプロジェクター画素の位相を回復する。さらに、幾つかの実施形態では、任意の適切な方式で位相を回復することができる。例えば、410で取得した検出画像により、プロセス400は下記の式により位相値を回復することができる。

0054

0055

ここで、
fは、集合Ωにおいて番号が1〜Fの周波数の識別子である。
pは、カメラ画素cを照射するプロジェクター画素である。
A(c)は、カメラ画素cが周波数fでの振幅であり、シーン双方向反射分布関数(BRDF)、表面シェーディング効果およびプロジェクター輝度減衰を含み、





で示されてもよい。

0056

0057

Ufactは、以下の式から取得したリニアシステム解くことにより算出される。

0058

0059

ここで、
Rmicroは、記録した輝度のベクトルである。
Mmicroは、F+2サイズの正方行列であり、かつ




により示される。

0060

ここで、IIF−1は、F−1×F−1サイズの単位行列である。

0061

0062

O(c)は、カメラ画素cのオフセット項であり、環境照明分布を含む。

0063

幾つかの実施形態では、位相が回復すると、420で位相アンラッピングを行うことができる。幾つかの実施形態では、位相アンラッピングは、任意の適切な技術で実施することができる。例えば、Gushov−Solodkin(G−S)算法(V.I.GushovおよびY.N.Solodkinが『光学レーザー技術』誌の1991年第14期に発表した「整数干渉計における縞模様自動処理」で説明しており、その全部内容は参考として本出願に援用されている)は、複数の高周波数位相を単一低周波数位相に合併することができる。この高周波数正弦波の周期がペアワイズ共同素数(公因数無し)であれば、すべての高周波数正弦波の周期の積に等しい周期の低周波数正弦波を模擬することができる。

0064

幾つかの実施形態では、Gushov−Solodkin(G−S)算法は、任意の適切なアプローチで実行することができる。例えば、幾つかの実施形態では、まず、各周波数の位相は、下記の式により残留プロジェクター縦列数pfに転換される。

0065

0066

例えば、仮にλf=16画素(周波数fの周期)、Фf=π/4(周波数fの位相)とした場合、残留縦列数はpf=2となる。そして、曖昧性を解消した最終縦列の対応関係pは、下記の式により取得することができる。

0067

0068

ここで、Mf=(λ1λ2。。。λF)/λf、係数bfは合同式bfMf=1(modλf)を解くことにより取得される。このような合同式は、ユークリッド算法により解かれる。幾つかの実施形態では、上述したプロシージャは、以下のような変更を行うことによって、非整数残差pfと周期λfにも用いることができる。すなわち、残差の整数部分を取ってアンラッピングされた縦列数pを算出し、そしてpに対して小数部分を再び加える。

0069

位相アンラッピングが完成された後、422で、カメラ画素縦列cの位相とプロジェクター画素縦列pの位相との間の対応関係を決定し、そして三角測量によりシーンにおける物体表面(Sx、Sy、Sz)各点の3次元(3D)位置を決定することによって、シーンにおける物体の形状を算出することができる。そして、形状データは適切なメモリ装置及び/又は記憶装置に記憶される。

0070

幾つかの実施形態によれば、任意の適切な方式で三角測量を行う。例えば、幾つかの実施形態では、三角測量は以下の方式で行って良い。

0071

カメラ中心の3D座標(CCam1、CCam2、CCam3)およびプロジェクター中心の3D座標(CProj1、CProj2、CProj3)はそれぞれ、従来の技術で知られているように、プロジェクターおよびカメラを幾何学的に校正することによって先験的に算出することができる。ここで、カメラ画素cの3D座標を(Vc1、Vc2、Vc3)とする。カメラ画素座標が既知のものであるため、カメラ画素cの3D座標(Vc1、Vc2、Vc3)も判るものである。

0072

プロジェクター縦列pおよびプロジェクター中心(CProj1、CProj2、CProj3)は、3D空間で唯一の平面を定義することができる。この平面をPと称し、その3D方程式は、




となる。

0073

ここで、縦列座標pが既知のものであるため、P1、P2、P3およびP4も分かるものである。

0074

画素cおよびカメラ中心を通過する線をLと称する。ここで注意すべきことは、シーン点Sは、線Lと平面Pとが交差する所に位置することである。三角測量によりこの交差点発見できる。3Dにおける線Lの方程式は、




となる。

0075

線Lは、スカラーパラメータtによりのパラメーター化される。目的はt値を発見し、このように算出した線上の点は平面Pに位置する。t値は下記式により算出される。

0076

0077

t値を算出した後、点Sの3D座標は、




となる。

0078

最後に、プロセス400は424で終了する。

0079

なお、次のことも注意すべきである。すなわち、図4に示すプロセス400における少なくとも一部のステップは、図に示す順序またはシーケンスに限られることなく、任意の順序またはシーケンスで実行または進行してもよい。また、図4に示すプロセス400の前記ステップの一部は、適切な場合にほぼ同時に実行または進行してもよく、或いは、プロセスの長さおよび処理時間の短縮と並行させてもよい。

0080

幾つかの実施形態では、任意の適切なコンピュータ可読媒体は、上記の機能およびプロセスを実行する命令を記憶するために使用可能である。

0081

例えば、幾つかの実施形態では、コンピュータ可読媒体は、一時的なものまたは非一時的なものである。非一時的なコンピュータ可読媒体は、例えば、磁性媒体(例えば、ハードディスクフロッピーディスク等)、光学式媒体(例えば、コンパクトディスクデジタルビデオディスクブルーレイディスク)、半導体媒体(例えば、フラッシュメモリ、電気プログラマブル読取り専用メモリEPROM)、電気的消去可能なプログラマブル読取り専用メモリ(EEPROM)等)、伝送中に永続性外観を有して快速消失しない任意の適切な媒体、及び/又は任意の適切な実体媒体を含んでよい。また、他の実例では、一時的なコンピュータ可読媒体は、ネットワーク信号線路信号、光ファイバー信号、回路信号、伝送中に永続性の外観を有しなく快速に消失する任意の適切な媒体、及び/又は任意の適切な無形媒体を含んでよい。

0082

上述した実施形態では、本発明を例示し説明したが、これらは、本発明を例示するものに過ぎず、本発明実施の細部への多数の変更は、特許請求の範囲に規定される本発明の精神と範囲から逸脱することなくできる。また、ここで公開された実施例の複数特徴は、組合せや再編が可能である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社MUJINの「 物体識別のための方法および計算システム」が 公開されました。( 2021/04/01)

    【課題】空間構造データを処理するためのシステムおよび方法を提供する。【解決手段】システムは、物体構造を記述する空間構造データであって、物体構造について複数の層を示す奥行き情報を有する空間構造データにア... 詳細

  • 株式会社FUJIの「 測定装置及び部品実装機」が 公開されました。( 2021/04/01)

    【課題・解決手段】平行光を出力する投光部(14)と受光部(15)とを所定の位置関係で固定したベース部(13)と、このベース部を傾動させることで前記平行光の照射角度を変化させる傾動機構部(25)とを備え... 詳細

  • 株式会社FUJIの「 部品データ、部品データ作成方法及び部品実装機」が 公開されました。( 2021/04/01)

    【課題・解決手段】部品実装機(20)の部品撮像用カメラ(21)で撮像した部品の画像を処理して当該部品を認識する際に使用する当該部品の形状的な特徴を示す形状データを含む部品データにおいて、前記部品は、そ... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ