図面 (/)

技術 画像処理装置、システム、画像処理方法、校正方法およびプログラム

出願人 株式会社リコー
発明者 菊池直樹齊藤樹一郎
出願日 2015年12月4日 (5年0ヶ月経過) 出願番号 2015-237429
公開日 2016年7月28日 (4年5ヶ月経過) 公開番号 2016-136720
状態 特許登録済
技術分野 スタジオ装置 イメージ分析 光学的手段による測長装置 画像処理
主要キーワード 中央領 校正ステップ 校正パターン 三次元測定装置 両撮像画像 投影対象物 拡大法 アフィン変換式
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年7月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

パターン撮像距離が変化しても、安定して特徴点を抽出できる画像処理装置、システム画像処理方法校正方法およびプログラムを提供する。

解決手段

本発明が適用される画像処理装置は、取得部と、生成部とを備える。取得部は、複数の空間周波数と1対1に対応する複数の第1の画像を生成する。生成部は、取得部により生成された複数の第1の画像を合成して第2の画像を生成する。

概要

背景

三次元計測技術の一つであるステレオ法では、一方のカメラ撮像した画像中の画素ブロック相関を有する画素ブロックを、他方のカメラで撮像した画像において特定し(対応点を抽出し)、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。距離データの算出精度を高めることを目的として、対応点抽出の密度を高くするために、多くの特徴点を有するパターン(例えば不規則なパターンを有するランダムパターン)を使用する技術が知られている。

例えば特許文献1には、均一性分散性とを向上させることを目的として、ランダムパターンに含まれる低周波数成分カット(除去)する技術が開示されている。

概要

パターンの撮像距離が変化しても、安定して特徴点を抽出できる画像処理装置、システム画像処理方法校正方法およびプログラムを提供する。本発明が適用される画像処理装置は、取得部と、生成部とを備える。取得部は、複数の空間周波数と1対1に対応する複数の第1の画像を生成する。生成部は、取得部により生成された複数の第1の画像を合成して第2の画像を生成する。

目的

(プログラム)
上述した実施形態のパターン投影装置10で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルCD−ROMフレキシブルディスクFD)、CD−R、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)等のコンピュータ読み取り可能な記録媒体に記録して提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の空間周波数と1対1に対応する複数の第1の画像を取得する取得部と、前記取得部により取得された前記複数の第1の画像を合成して第2の画像を生成する生成部と、を備える、画像処理装置

請求項2

前記複数の第1の画像の各々は、対応する空間周波数の成分を少なくとも含む、請求項1に記載の画像処理装置。

請求項3

前記取得部は、第1の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値ランダムに決定することで原画像を生成し、該原画像のサイズを第1の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第1の画像を生成する、請求項1または請求項2に記載の画像処理装置。

請求項4

前記画像領域のサイズは第1の画像のサイズよりも小さく、前記取得部は、生成した原画像のサイズを第1の画像と同じサイズに拡大することで、前記複数の空間周波数のうちの一の空間周波数に対応する第1の画像を生成する、請求項3に記載の画像処理装置。

請求項5

前記生成部は、前記複数の第1の画像の各々に含まれる複数の画素ごとに、前記複数の第1の画像の各々における当該画素の輝度値の平均を求めて設定することで、前記第2の画像を生成する、請求項1乃至4のうちの何れか1項に記載の画像処理装置。

請求項6

前記第2の画像に基づく出力を制御する出力制御部をさらに備える、請求項1乃至5のうちの何れか1項に記載の画像処理装置。

請求項7

請求項1乃至6のうちの何れか1項に記載の画像処理装置により生成された前記第2の画像が表示された対象物撮像する撮像部と、前記対象物が映り込んだ撮像画像と、前記撮像部と前記対象物との間の距離と、に基づいて、前記撮像部による撮像で得られた撮像画像を補正するための補正パラメータを算出する算出部と、を備える、システム

請求項8

照射したパターンに基づいて視差の計算を行うシステムであって、前記パターンとして、複数の空間周波数と1対1に対応する複数の第1の画像を合成して生成された第2の画像に基づくパターンを用い、前記パターンに基づいて、前記視差の計算を行う、システム。

請求項9

複数の空間周波数と1対1に対応する複数の第1の画像を取得する取得ステップと、前記取得ステップにより取得された前記複数の第1の画像を合成して第2の画像を生成する生成ステップと、を含む、画像処理方法

請求項10

複数の空間周波数と1対1に対応する複数の第1の画像を合成した第2の画像が表示された対象物を撮像部で撮像する撮像ステップと、前記撮像ステップによる撮像で得られた撮像画像と、予め定められた、前記撮像部と前記対象物との間の距離と、に基づいて、前記撮像部による撮像で得られた撮像画像を補正するための補正パラメータを算出する算出ステップと、を含む、画像処理方法。

請求項11

校正パターンを用いてステレオカメラ校正する校正方法であって、前記校正パターンとして、複数の空間周波数と1対1に対応する複数の第1の画像を合成して生成された第2の画像に基づく校正パターンを用い、第1の距離での撮像によって、前記校正パターンを含む画像を得る第1の撮像ステップと、前記第1の距離とは異なる第2の距離での撮像によって、前記校正パターンを含む画像を得る第2の撮像ステップと、前記第1の距離で得られた画像および前記第2の距離で得られた画像に基づいて、前記ステレオカメラの校正を行う校正ステップと、を含む、校正方法。

請求項12

コンピュータに、複数の空間周波数と1対1に対応する複数の第1の画像を取得する取得ステップと、前記取得ステップにより取得された前記複数の第1の画像を合成して第2の画像を生成する生成ステップと、を実行させるためのプログラム

技術分野

0001

本発明は、画像処理装置、システム画像処理方法校正方法およびプログラムに関する。

背景技術

0002

三次元計測技術の一つであるステレオ法では、一方のカメラ撮像した画像中の画素ブロック相関を有する画素ブロックを、他方のカメラで撮像した画像において特定し(対応点を抽出し)、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。距離データの算出精度を高めることを目的として、対応点抽出の密度を高くするために、多くの特徴点を有するパターン(例えば不規則なパターンを有するランダムパターン)を使用する技術が知られている。

0003

例えば特許文献1には、均一性分散性とを向上させることを目的として、ランダムパターンに含まれる低周波数成分カット(除去)する技術が開示されている。

発明が解決しようとする課題

0004

しかしながら、従来技術では、撮像距離(撮像時におけるカメラとランダムパターンとの間の距離)を考慮せずにランダムパターンを生成しているので、安定して特徴点を抽出することができないという問題がある。

課題を解決するための手段

0005

上述した課題を解決し、目的を達成するために、本発明は、複数の空間周波数と1対1に対応する複数の第1の画像を取得する取得部と、前記取得部により取得された前記複数の第1の画像を合成して第2の画像を生成する生成部と、を備える画像処理装置である。

発明の効果

0006

本発明によれば、パターンの撮像距離が変化しても、安定して特徴点を抽出できる。

図面の簡単な説明

0007

図1は、実施形態のシステムの構成の一例を示す図である。
図2は、撮像画像に含まれる所定のパターン画像見え方と撮像距離との関係の一例を示す模式図である。
図3は、パターン投影装置ハードウェア構成の一例を示す図である。
図4は、パターン投影装置が有する機能の一例を示す図である。
図5は、第1の画像の生成方法の一例を説明するための図である。
図6は、取得部による処理の一例を示すフローチャートである。
図7は、第2の画像の生成方法の一例を説明するための図である。
図8は、パターン投影装置の動作例を示すフローチャートである。
図9は、変形例のシステムの構成の一例を示す図である。
図10は、変形例の被撮像用具を撮像する様子を示す模式図である。
図11は、変形例の被撮像用具を撮像する様子を示す模式図である。
図12は、変形例の算出部が有する機能の一例を示す図である。
図13は、変形例の算出部の動作例を示すフローチャートである。

実施例

0008

以下、添付図面を参照しながら、本発明に係る画像処理装置、システム、画像処理方法、校正方法およびプログラムの実施形態を詳細に説明する。以下では、本発明が適用される画像処理装置の一例として、画像投影装置の一態様であるパターン投影装置を例に挙げて説明するが、これに限られるものではない。

0009

図1は、本実施形態のシステム1の構成の一例を示す図である。図1に示すように、本実施形態のシステム1は、パターン投影装置10と、三次元測定装置20とを備える。

0010

パターン投影装置10は、後述の撮像画像の座標値補正するための補正パラメータの決定に用いられる被撮像用具30(対象物の一例)の表面に対して、多数の特徴点を含む第2の画像(後述)に基づく光を投影する。これにより、被撮像用具30の表面(投影面)には、後述の第2の画像を表す投影像が形成される。見方を変えれば、パターン投影装置10によって、被撮像用具(対象物)30には後述の第2の画像が表示されると考えることもできる。パターン投影装置10の詳細な構成については後述する。

0011

三次元測定装置20は、一対のカメラで構成されるステレオカメラを用いて、一方のカメラによる撮像で得られた画像(以下の説明では「撮像画像」と称する場合がある)中の画素ブロックと相関を有する画素ブロックを、他方のカメラによる撮像で得られた撮像画像において特定し、両撮像画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。なお、本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体(撮像対象)の像を、電気信号に変換することを指す。

0012

本実施形態では、三次元測定装置20は、撮像部21と算出部22と測定部23とを有する。撮像部21は、後述の第2の画像が表示された被撮像用具30を撮像する。この例では、撮像部21はステレオカメラで構成される。

0013

算出部22は、被撮像用具30が映り込んだ撮像画像と、撮像部21と被撮像用具30との間の距離(既知の距離)と、に基づいて、撮像部21による撮像で得られた撮像画像を補正するための補正パラメータを算出する。この補正パラメータを算出する方法としては、公知の様々な技術を利用することができる。例えば、特許第4109077号公報や特許第4501239号公報に開示された方法などを利用できる。本実施形態では、算出部22は、ステレオカメラを構成する一方のカメラ(第1のカメラ)による撮像で得られた撮像画像を補正するための補正パラメータ(第1の補正パラメータ)、および、他方のカメラ(第2のカメラ)による撮像で得られた撮像画像を補正するための補正パラメータ(第2の補正パラメータ)をそれぞれ算出する。

0014

測定部23は、撮像部21による撮像で得られた撮像画像を、算出部22により算出された補正パラメータを用いて補正することで得られた補正画像に基づいて距離データを測定する。この距離データの算出方法としては、公知の様々な技術を利用することができる。例えば、SAD(Sum of Absolute Difference)やNCC(Normalized Cross Correlation)等によるマッチング処理が行われて視差値が計算され、必要に応じて視差値が距離変換される。本実施形態では、測定部23は、第1のカメラによる撮像で得られた撮像画像を第1の補正パラメータを用いて補正することで得られた第1補正画像と、第2のカメラによる撮像で得られた撮像画像を第2の補正パラメータを用いて補正することで得られた第2補正画像とから視差を計算し、第1の補正画像および第2の補正画像のうち基準となる方の画像の各画素値奥行き値デプス)を示す視差画像デプスマップ)を生成して出力することができる。

0015

次に、パターン投影装置10の構成について説明する。具体的な内容の説明に先立ち、本実施形態のパターン投影装置10の特徴の概要を説明する。図2は、上述の三次元測定装置20の撮像部21が、パターン投影装置10によって任意のパターン画像(多数の特徴点を含むパターン画像、説明の便宜上「所定のパターン画像」と称する)が表示された被撮像用具30を撮像することで得られた撮像画像に含まれる所定のパターン画像の見え方と、撮像距離(撮像時における撮像部21と被撮像用具30との距離)との関係の一例を示す模式図である。図2の例では、被撮像用具30に表示された所定のパターン画像は、撮像距離が中距離の場合に当該所定のパターン画像を正確に認識できるものとする。つまり、ここでの所定のパターン画像に対応する空間周波数は、撮像距離が中距離の場合に所定のパターン画像を正確に認識できるような値を示すものとする。

0016

撮像距離がx倍になると、撮像画像に映り込んだ物体の大きさは1/x倍に見える、つまり、空間周波数としては元の空間周波数のx倍相当になるので、所定のパターン画像に含まれるパターン(模様)は、より細かなパターンとして見えるようになる。したがって、図2の例では、撮像距離が中距離よりも大きくなると(遠距離になると)、所定のパターン画像に含まれるパターンがより細かなパターンとして見えることになり、ひとつひとつのパターンが認識できないくらいにつぶれてしまい、コントラストも低下する。反対に、撮像距離が中距離よりも小さくなると(近距離になると)、所定のパターン画像の一部しか見えなくなってしまい、ひとつのパターン(例えば黒色四角形)が数十ピクセル(1ピクセルは1画素分のサイズを表す)を覆うようになると、当該パターンの中心部では特徴(典型的には濃淡の変化)がなくなり、特徴点を抽出することができなくなる。したがって、所定のパターン画像が表示された被撮像用具30と撮像部21との距離(撮像距離)が、中距離よりも大きい場合(遠距離の場合)や中距離よりも小さい場合(近距離の場合)においては、安定して特徴点を抽出することができず、撮像画像の校正(補正)や距離データの算出を高精度に行うことができないという問題が起こる。すなわち、算出部22によるパラメータ算出および測定部23による距離測定が正確にできなくなるという問題が起こる。

0017

そこで、本実施形態では、パターン投影装置10は、1つのパターン画像の中に、各距離に適した空間周波数の成分(パターン)を含める。すなわち、撮像距離が中距離よりも小さいことを想定する場合は、パターン画像の中に中距離のものより小さい空間周波数成分(中距離よりも小さい距離に適した空間周波数成分)を含めるようにする。逆に、撮像距離が中距離よりも大きいことを想定する場合は、パターン画像の中に中距離のものより大きい空間周波数成分(中距離よりも大きい距離に適した空間周波数成分)を含めるようにする。これにより、撮像距離が変化しても、変化後の距離に適した空間周波数のパターンが特徴として現れるので、安定して特徴点を抽出することができる。なお、その距離に適した空間周波数は、レンズ画角特徴点抽出における抽出範囲等にも依存するため、三次元測定装置20において各距離で特徴点の抽出に有利なものが、適宜に選択される。以下、本実施形態のパターン投影装置10の具体的な構成を説明する。

0018

図3は、パターン投影装置10のハードウェア構成の一例を示す図である。図3に示すように、パターン投影装置10は、CPU101と、ROM102と、RAM103と、投影部104と、I/F部105とを備える。

0019

CPU101は、パターン投影装置10の動作を統括的に制御する。

0020

ROM102は、プログラム等の各種のデータを記憶する不揮発性メモリである。

0021

RAM103は、CPU101が実行する各種の演算の処理の作業領域(ワークエリア)として機能する揮発性のメモリである。

0022

投影部104は、CPU101の制御の下、投影用画像(この例では後述の第2の画像)に基づく光を投影対象物に投影する。図3の例では、投影部104は、光源106と、画像形成部107と、レンズ部108とを含む。画像形成部107には、光源106から射出された光が供給される。画像形成部107は、光源106から供給された光を、投影用画像(後述の第2の画像)に基づく光に変換して、レンズ部108へ出力する機能を有する。例えば画像形成部107は、透過型液晶素子であってもよいし、反射型液晶素子DMD(Digital Micro mirror Device)等であってもよい。レンズ部108は、画像形成部107から出力された光を投影対象物に向けて投影する。レンズ部108は、例えば複数のレンズ、プリズムミラー等の光学素子によって構成される。

0023

I/F部105は、外部装置と接続するためのインタフェースである。

0024

図4は、本実施形態のパターン投影装置10が有する機能の一例を示す図である。図4に示すように、パターン投影装置10は、取得部110と、生成部120と、出力制御部130とを有する。説明の便宜上、図4では、本発明に係る機能を主に例示しているが、パターン投影装置10が有する機能はこれらに限られるものではない。

0025

また、本実施形態では、パターン投影装置10が有する機能(取得部110、生成部120、出力制御部130)は、CPU101がROM102等に格納されたプログラムを実行することにより実現されるが、これに限られるものではない。例えば、パターン投影装置10が有する機能のうちの少なくとも一部が専用のハードウェア回路半導体集積回路等)によって実現される形態であってもよい。

0026

取得部110は、複数の空間周波数と1対1に対応する複数の第1の画像を取得する。より具体的には、複数の第1の画像の各々は、対応する空間周波数の成分(パターン)を少なくとも含む。本実施形態では、取得部110は、第1の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第1の画像と同じサイズに変更することで、複数の空間周波数のうちの一の空間周波数に対応する第1の画像を生成する。この例では、画像領域のサイズは第1の画像のサイズよりも小さく、取得部110は、生成した原画像のサイズを第1の画像と同じサイズに拡大することで、複数の空間周波数のうちの一の空間周波数に対応する第1の画像を生成することができる。

0027

一例として、ある空間周波数に対応する第1の画像を生成する場合を例に挙げて説明する。この例では、第1の画像のサイズは横方向(左右方向)に6ピクセル、縦方向(上下方向)に4ピクセルであることを想定して説明するが、第1の画像のサイズはこれに限られるものではない。図5に示すように、取得部110は、所望の第1の画像のサイズの1/2のサイズ(図5の例では、横方向に3ピクセル、縦方向に2ピクセルのサイズ)の画像領域を確保する。そして、当該画像領域内に含まれる複数の画素(3×2=6画素)の各々の画素値を、乱数等によって決めることにより原画像を生成する。図5の例では、グレースケール256階調の画像と仮定し、各画素の画素値を、0(最小の階調値)または255(最大の階調値)の何れかに設定している。なお、画素値については、最小の階調を示す「0」または最大の階調を示す「255」の2値に限らず、256段階の中から任意の値を選択する形態であってもよい。また、画素が複数の色を有するカラー画像であっても、白または黒を示すモノクロ画像であっても、同様の処理を行うことができる。

0028

そして、取得部110は、原画像のサイズを、所望の第1の画像のサイズにするため、横方向および縦方向の各々のサイズを2倍に拡大する。これにより、原画像の1/2の空間周波数(ある空間周波数に相当)を示すパターン画像を第1の画像として生成することができる。この例では、最近傍法ニアレストネイバー法)による補間を行っているが、これに限らず、線形拡大法バイリニア法)や三次補間法バイキュービック法)などの補間処理を行う形態であってもよい。図5の例では、横方向および縦方向の各々のサイズを2倍にしているため、拡大後の画像は、原画像の1/2の空間周波数を示すパターン画像(第1の画像)として扱える。

0029

図6は、取得部110による処理の一例を示すフローチャートである。図6に示すように、まず取得部110は、第1の画像のサイズ(所望のサイズ)よりも小さい画像領域を確保する(ステップS1)。次に、取得部110は、画像領域に含まれる複数の画素の各々の画素値を、乱数等によりランダムに決定することで(ステップS2)、原画像を生成する。次に、取得部110は、生成した原画像のサイズを第1の画像と同じサイズに拡大する(ステップS3)。これにより、複数の空間周波数のうちの一の空間周波数(原画像の1/2の空間周波数)を示すパターン画像を、第1の画像として生成することができる。

0030

なお、この例では、第1の画像が表すパターン(模様)は、不規則なパターンであるが、これに限らず、第1の画像が表すパターンは規則的なパターンであってもよい。例えば取得部110は、第1の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値を所定の規則に従って決定することで原画像を生成し、該原画像のサイズを第1の画像と同じサイズに変更することで、第1の画像を生成することもできる。所定の規則は任意に設定可能であり、例えば最大の階調値を示す画素の集合で構成される列と、最小の階調値を示す画素の集合で構成される列とが交互に配置されるように画像領域の各画素の画素値を決定する形態であってもよいし、例えば最大の階調値を示す画素と、最小の階調値を示す画素とが、行方向および列方向の各々において交互に配置されるように画像領域の各画素の画素値を決定する形態であってもよい。

0031

また、本実施形態では、取得部110は、複数の空間周波数と1対1に対応する複数の第1の画像を生成しているが、これに限らず、取得部110は、外部のサーバ装置(あるいは外部の記憶装置)やパターン投影装置10の内部のメモリ等から、予め生成された複数の第1の画像を取得する形態であってもよい。なお、複数の空間周波数と1対1に対応する複数の第1の画像の生成方法は任意であり、例えば複数の空間周波数は、所望する複数の距離と1対1に対応する形態であってもよい。つまり、撮像距離が一の距離の場合に、当該一の距離に対応する空間周波数の成分が特徴として現れる(観察者が正確に認識できる)よう、各距離に対応する空間周波数が設定(例えば実験等により予め設定)される形態であってもよい。なお、被撮像用具(対象物)30に表示された画像の見え方は、撮像距離だけでなく、カメラの焦点距離ぼけ具合などに応じても変わるので、それらも考慮して、空間周波数を選定することが望ましい。

0032

図4に戻って説明を続ける。生成部120は、取得部110により取得された複数の第1の画像を合成して第2の画像を生成する。本実施形態では、生成部120は、複数の第1の画像の各々に含まれる複数の画素ごとに、複数の第1の画像の各々における当該画素の輝度値の平均を求めて設定することで、第2の画像を生成する。例えば図7に示すように、取得部110によって、空間周波数f=1/64を示す第1の画像、空間周波数f=1/16を示す第1の画像、および、空間周波数f=1/4を示す第1の画像の各々が生成された場合を想定する。この例では、取得部110により生成される複数の第1の画像の各々のサイズは同一であるので、3つの第1の画像の各々に含まれる複数の画素ごとに、3つの第1の画像の各々における当該画素の輝度値の平均を求める。そして、第1の画像と同じサイズの画像領域内の各画素の画素値を、3つの第1の画像の各々における当該画素の輝度値の平均値に設定することで、第2の画像(合成画像)を生成することができる。

0033

図8は、第2の画像を生成する場合のパターン投影装置10の動作例を示すフローチャートである。図8に示すように、まず取得部110は、複数の空間周波数と1対1に対応する複数の第1の画像を生成する(ステップS11)。具体的な内容は上述したとおりである。次に、生成部120は、ステップS11で生成された複数の第1の画像を合成して第2の画像を生成する(ステップS12)。具体的な内容は上述したとおりである。

0034

図4に戻って説明を続ける。出力制御部130は、生成部120により生成された第2の画像に基づく出力を制御する。本実施形態では、出力制御部130は、生成部120により生成された第2の画像に基づく光を被撮像用具30に投影するよう、投影部104を制御する。

0035

なお、本実施形態では、本発明が適用される画像処理装置として、パターン投影装置を例に挙げて説明したが、本発明が適用される画像処理装置の種類は任意に変更可能である。要するに、本発明が適用される画像処理装置は、上述の取得部110に対応する機能と、上述の生成部120に対応する機能とを少なくとも備える形態であればよい。

0036

また、生成部120により生成された第2の画像に基づく出力の形態は、本発明が適用される画像処理装置の種類に応じた形態となる。例えば本発明が適用される画像処理装置が、画像形成装置の一態様である印刷装置である場合、出力制御部130は、生成部120により生成された第2の画像を、記録媒体(紙や金属板等)上に形成するよう、印刷エンジン部を制御する形態であってもよい。例えば記録媒体がアルミ板で構成される場合は、第2の画像が印刷された当該アルミ板を、被撮像用具30として利用してもよい。また、例えば記録媒体が用紙などで構成される場合は、第2の画像が印刷された当該用紙を板状の部材の表面に貼付することで、被撮像用具30を作成する形態であってもよい。

0037

また、例えば本発明が適用される画像処理装置は、自身が生成した第2の画像に基づいて、板状の型(例えば遮光性の型)を作成する装置であってもよい。この場合、当該装置を挟んで対象物(例えば被撮像用具30)とは反対側に光源が配置され、当該光源から型および対象物に向けて射出される光によって、型に応じた投影像が対象物の表面に形成される形態とすることもできる。また、自ら発光する板であってもよい。いわゆる電子ペーパのようなものでもよい。

0038

以上に説明したように、本実施形態では、被撮像用具30に表示するパターン画像として、複数の空間周波数と1対1に対応する複数の第1の画像を合成した第2の画像を生成する。これにより、パターン画像の撮像距離が変化しても、変化後の距離に適した空間周波数のパターンが特徴として現れるので、安定して特徴点を抽出することができるという有利な効果を達成できる。

0039

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

0040

例えば特願2014−208897号明細書に記載された構成のように、三次元測定装置20と、上述の第2画像が表示された被撮像用具30との間の距離(撮像距離)を変えながら撮像を行い、複数の距離ごとに、その距離での撮像により得られた撮像画像(第2の画像が表示された被撮像用具30が映り込んだ撮像画像)と、その距離(既知の値)とに基づいて、補正パラメータを算出することもできる。要するに、算出部22は、対象物が映り込んだ撮像画像と、撮像部21と対象物との間の距離(既知の距離)と、に基づいて、撮像部21による撮像で得られた撮像画像を補正するための補正パラメータを算出する形態であればよい。例えば図9に示すように、撮像部21は、水平方向に所定の距離(基線長)Bを設けて配置された一対の第1カメラ24aおよび第2カメラ24bを有するものとする。第1カメラ24aおよび第2カメラ24bの各々は、撮像レンズ25と撮像素子(例えばCCDイメージセンサ)26とを有し、撮像レンズ25により結像された被写体の像が撮像素子26の撮像面に撮像される。

0041

まず、図10に示すように、第2の画像が表示された被撮像用具30と撮像部21との間を距離X1(例えば5m)に設定した状態で、第1カメラ24aおよび第2カメラ24bによる撮像を行い、次に、図11に示すように、第2の画像が表示された被撮像用具30と撮像部21との間を距離X2(例えば1m)に設定した状態で、第1カメラ24aおよび第2カメラ24bによる撮像を行い、それぞれの距離で得られた撮像画像を元に、補正パラメータを算出することができる。

0042

図12は、本変形例の算出部22が有する機能の一例を示す図である。図12に示すように、算出部22は、第1取得部31と、第1算出部32と、第2取得部33と、第2算出部34と、第3算出部35とを備える。

0043

第1取得部31は、撮像部21から第1距離X1(この例では5m)だけ離れた被撮像用具30(第2の画像が表示された被撮像用具30)を第1カメラ24aで撮像することで得られた撮像画像(以下の説明では、「第1撮像画像」と称する場合がある)と、該被撮像用具30を第2カメラ24bで撮像することで得られた撮像画像(以下の説明では、「第2撮像画像」と称する)とを取得する。

0044

第1算出部32は、第1距離X1(この例では5m)、第1撮像画像、第2撮像画像に基づき、第1撮像画像および第2撮像画像のうちの少なくとも一方について、第2の画像が表示された被撮像用具30が映り込んだ画像領域(本変形例においては撮像画像の中央領域)を示す第1画像領域内の複数の特徴点と1対1に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第1対応データを算出する。なお、被撮像用具30を、第1カメラ24aおよび第2カメラ24bの各々で撮像した場合、第1カメラ24aの位置と第2カメラ24bの位置とは異なるので、第1撮像画像に映り込んだ被撮像用具30と、第2撮像画像に映り込んだ被撮像用具30とでは見え方に差がある(視差がある)。すなわち、被撮像用具30に表示された第2の画像内の同一の特徴点に対応する第1撮像画像の位置および第2撮像画像の位置は視差分だけ離れる(ずれる)ことになる。

0045

第1算出部32は、第1撮像画像のうち上述の第1画像領域に含まれる(映り込んだ)複数の特徴点ごとに、当該特徴点に対応する第1撮像画像の座標値および第2撮像画像の座標値を特定するとともに理想ずれ量を求める。なお、同一の特徴点に対応する第1撮像画像の座標値および第2撮像画像の座標値の各々を特定する手法(対応点探索方法)としては、公知の様々な技術(例えばSAD(Sum Of Absolute Difference)やPOC(位相限定相関など)を利用可能である。その後、第1算出部32は、第1画像領域に含まれる複数の特徴点ごとに、理想的な座標値(理想の視差を得るための位置、以下、「目標座標値」と称する場合がある)を求める。

0046

以上のようにして、第1算出部32は、第1距離X1、第1撮像画像、第2撮像画像に基づき、第1撮像画像および第2撮像画像の各々について、上述の第1画像領域に含まれる複数の特徴点と1対1に対応する複数の座標値(補正前の撮像画像の座標値)ごとに、理想の視差を得るための目標座標値を対応付けた第1対応データを算出する。なお、この例では、第1算出部32は、第1撮像画像に対応する第1対応データと、第2撮像画像に対応する第1対応データとをそれぞれ算出しているが、これに限らず、例えば第1算出部32は、第1撮像画像および第2撮像画像のうちの一方に対応する第1対応データのみを算出する形態であってもよい。

0047

要するに、第1算出部32は、第1距離X1、第1撮像画像、第2撮像画像に基づき、第1撮像画像および第2撮像画像のうちの少なくとも一方について、第2の画像が表示された対象物(この例では第2の画像が表示された被撮像用具30)が映り込んだ第1画像領域内の複数の特徴点と1対1に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第1対応データを算出する形態であればよい。

0048

図12の説明を続ける。第2取得部33は、撮像部21から第2距離X2(この例では1m)だけ離れた被撮像用具30(第2の画像が表示された被撮像用具30)を第1カメラ24aで撮像することにより得られた第3撮像画像と、該被撮像用具30を第2カメラ24bで撮像することで得られた第4撮像画像とを取得する。なお、本変形例では、上述の第1取得部31および第2取得部33を別体として記載するが、これに限らず、例えば第1取得部31および第2取得部33は同一の構成要素であってもよい。つまり、第1取得部31および第2取得部33のうちの一方が他方の機能も兼ねる形態であってもよい。

0049

第2算出部34は、第2距離X2(この例では1m)、第3撮像画像、第4撮像画像に基づき、第3撮像画像および第4撮像画像のうちの少なくとも一方について、第2の画像が表示された被撮像用具30が映り込んだ画像領域のうち、上述の第1画像領域に相当する部分以外の画像領域を示す第2画像領域(本変形例においては撮像画像の中央領域以外の画像領域)に含まれる複数の特徴点と1対1に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第2対応データを算出する。

0050

第2対応データの算出方法は、基本的には上述の第1対応データの算出方法と同様である。本変形例の第2算出部34は、第2距離X2、第3撮像画像、第4撮像画像に基づき、第3撮像画像および第4撮像画像の各々について、上述の第2画像領域に含まれる複数の特徴点と1対1に対応する複数の座標値(補正前の撮像画像の座標値)ごとに、理想の視差を得るための目標座標値を対応付けた第2対応データを生成する。

0051

この例では、第2算出部34は、第3撮像画像に対応する第2対応データと、第4撮像画像に対応する第2対応データとをそれぞれ生成しているが、これに限らず、例えば第2算出部34は、第3撮像画像および第4撮像画像のうちの一方に対応する第2対応データのみを生成する形態であってもよい。要するに、第2算出部34は、第2距離X2、第3撮像画像、第4撮像画像に基づき、第3撮像画像および第4撮像画像のうちの少なくとも一方について、第2の画像が表示された対象物(この例では第2の画像が表示された被撮像用具30)が映り込んだ画像領域のうち、第1画像領域に相当する部分以外の画像領域を示す第2画像領域内の複数の特徴点と1対1に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第2対応データを算出する形態であればよい。

0052

図12の説明を続ける。第3算出部35は、上述の第1対応データと上述の第2対応データとに基づいて、第1カメラ24aまたは第2カメラ24bによる撮像で得られる撮像画像を補正するための補正パラメータを算出する。より具体的には、第3算出部35は、上述の第1対応データおよび上述の第2対応データの各々に含まれる座標値と目標座標値とがそれぞれ対応付けられた複数の組から、最小二乗法により、第1カメラ24aまたは第2カメラ24bによる撮像で得られる撮像画像の座標値と目標座標値との関係を表す補正式係数を、補正パラメータとして算出する。補正式は、例えば以下の式1で表すことができる。式1において、xは、補正前の撮像画像の左右方向の座標値を示し、yは、補正前の撮像画像の上下方向の座標値を示す。また、x’は、撮像画像の左右方向の目標座標値を示し、y’は、撮像画像の上下方向の目標座標値を示す。なお、補正式は、以下の式1のようなアフィン変換式に限定されるものではなく、他の形でも構わない。

0053

本変形例では、第3算出部35は、上述の第1撮像画像に対応する第1対応データに含まれる複数のデータセット(補正前の座標値と目標座標値との組)と、上述の第3撮像画像に対応する第2対応データに含まれる複数のデータセットとから、最小二乗法により、第1カメラ24aによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す補正式(以下の説明では、「第1補正式」と称する場合がある)の係数a〜f(第1の補正パラメータであると考えることができる)を算出する。また、第3算出部35は、上述の第2撮像画像に対応する第1対応データに含まれる複数のデータセットと、上述の第4撮像画像に対応する第2対応データに含まれる複数のデータセットとから、最小二乗法により、第2カメラ24bによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す補正式(以下の説明では、「第2補正式」と称する場合がある)の係数a〜f(第2の補正パラメータであると考えることができる)を算出する。

0054

以上のようにして、第3算出部35は、第1カメラ24aによる撮像で得られた撮像画像の座標値と目標座標値との関係を表す第1補正式と、第2カメラ24bによる撮像で得られた撮像画像の座標値と目標値との関係を表す第2補正式とをそれぞれ求める。そして、測定部23は、第1補正式を用いて、第1カメラ24aによる撮像で得られた撮像画像の座標値を補正することで、第1補正画像を得る。また、測定部23は、第2補正式を用いて、第2カメラ24bによる撮像で得られた撮像画像の座標値を補正することで、第2補正画像を得る。そして、第1補正画像と第2補正画像とから視差を計算し、第1補正画像および第2補正画像のうち基準となる方の画像の各画素の奥行き値(デプス)を示す視差画像(デプスマップ)を生成して出力することができる。

0055

本変形例においても、距離X1に対応する空間周波数の成分と、距離X2に対応する空間周波数の成分とを含むように第2の画像を生成することで、何れの距離(X1、X2)で撮像を行う場合であっても、安定して特徴点を抽出することができる。また、本変形例においては、キャリブレーションに用いられる被撮像用具30の数は1つで済むので、構成を簡素化できるという利点もある。

0056

図13は、変形例の算出部22の動作例を示すフローチャートである。

0057

まず、第1取得部31は、撮像部21から第1距離X1(この例では5m)だけ離れた被撮像用具30(第2の画像が表示された被撮像用具30)を第1カメラ24aで撮像することで得られた第1撮像画像と、該被撮像用具30を第2カメラ24bで撮像することで得られた第2撮像画像とを取得する(ステップS21)。次に、第1算出部32は、ステップS21で取得された第1撮像画像および第2撮像画像と、既知の第1距離X1(この例では5m)とに基づいて、上述の第1対応データを算出する(ステップS22)。この第1対応データの算出方法は、上述したとおりである。

0058

次に、第2取得部33は、撮像部21から第2距離X2(この例では1m)だけ離れた被撮像用具30(第2の画像が表示された被撮像用具30)を第1カメラ24aで撮像することにより得られた第3撮像画像と、該被撮像用具30を第2カメラ24bで撮像することで得られた第4撮像画像とを取得する(ステップS23)。次に、第2算出部34は、ステップS23で取得された第3撮像画像および第4撮像画像と、既知の第2距離X2(この例では1m)とに基づいて、上述の第2対応データを算出する(ステップS24)。この第2対応データの算出方法は、上述したとおりである。

0059

次に、第3算出部35は、ステップS22で算出された第1対応データと、ステップS4で算出された第2対応データとに基づいて補正パラメータを算出する(ステップS25)。上述したように、第3算出部35は、第1撮像画像に対応する第1対応データと、第3撮像画像に対応する第2対応データとに基づいて、第1カメラ11aによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す第1補正式の係数を、補正パラメータとして算出する。また、第3算出部35は、第2撮像画像に対応する第1対応データと、第4撮像画像に対応する第2対応データとに基づいて、第2カメラ11bによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す第2補正式の係数を、補正パラメータとして算出する。

0060

そして、測定部23は、ステップS25で算出した補正パラメータを用いて、撮像画像の補正(校正)を行う(ステップS26)。上述したように、測定部23は、第1補正式を用いて、第1カメラ24aによる撮像で得られた撮像画像の座標値を補正することで、第1補正画像を得る。また、測定部23は、第2補正式を用いて、第2カメラ24bによる撮像で得られた撮像画像の座標値を補正することで、第2補正画像を得る。

0061

以上のような校正方法(撮像画像の座標値を補正する方法)は、校正パターン(チャート等も含む)を用いてステレオカメラを校正する校正方法であって、校正パターンとして複数の空間周波数と1対1に対応する複数の第1の画像を合成して生成された第2の画像に基づく校正パターンを用い、第1の撮像ステップと第2の撮像ステップと校正ステップとを含むと考えることができる。第1の撮像ステップは、第1の距離での撮像によって、校正パターンを含む画像(以上の例では第1撮像画像、第2撮像画像に対応)を得るステップである。第2の撮像ステップは、第1の距離とは異なる第2の距離での撮像によって、校正パターンを含む画像(以上の例では第3撮像画像、第4撮像画像に対応)を得るステップである。校正ステップは、第1の距離で得られた画像および第2の距離で得られた画像に基づいて、ステレオカメラの校正を行うステップである。

0062

また、上記実施形態および変形例におけるパターン投影装置10は、ステレオカメラの校正(キャリブレーション)のみに用いられるわけではなく、ステレオカメラ動作時の視差の計算にも利用できる。例えば、特開2007−101276号公報等のようなパターン照射を利用するステレオカメラを備えたシステムにも用いられ得る。すなわち、照射したパターンに基づいて視差の計算を行うシステムであって、パターンとして、複数の空間周波数と1対1に対応する複数の第1の画像を合成して生成された第2の画像に基づくパターンを用い、そのパターンに基づいて、視差の計算を行うシステムであってもよい。

0063

(プログラム)
上述した実施形態のパターン投影装置10で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルCD−ROMフレキシブルディスクFD)、CD−R、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)等のコンピュータ読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ROM等に予め組み込んで提供するように構成してもよい。

0064

1 システム
10パターン投影装置
20三次元測定装置
21撮像部
22 算出部
23測定部
30 被撮像用具
101 CPU
102 ROM
103 RAM
104投影部
105 I/F部
106光源
107画像形成部
108レンズ部
110 取得部
120 生成部
130出力制御部

先行技術

0065

特開2011−118328号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ