図面 (/)

技術 光学的捕捉システムを校正する装置及び方法

出願人 トムソンライセンシング
発明者 ブロンデ,ローランドラジ,ヴァルテセイフィ,モズデフ
出願日 2016年9月16日 (2年11ヶ月経過) 出願番号 2018-514263
公開日 2018年10月25日 (9ヶ月経過) 公開番号 2018-531448
状態 未査定
技術分野 画像処理 写真撮影方法及び装置 スタジオ装置
主要キーワード ダイヤフラム開口 実効サイズ 線織面 幾何学的形 多次元情報 電磁放射ビーム プレノプティック レンズ画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年10月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題・解決手段

市場入手可能な何種類ものプレノプティックカメラ及びカメラ・アレイが存在し、これら全てのライトフィールド捕捉装置は各自専用のファイルフォーマットを有する。しかしながら多次元情報捕捉及び伝送支え規格は存在しない。光学捕捉システムセンサピクセルと光学的捕捉システムの対物空間との間の対応関係の情報を得ることは興味深いことである。実際、光学的捕捉システムの対物空間のうち、光学的捕捉システムのセンサに属するピクセルが感知しているのは何れの部分であるかを知ることは、信号処理オペレーションの改善を可能にする。そこで、コンパクトなフォーマットでそのような情報を保存するために、カメラの光学系の対物空間における光線群により占められるボリューム表現するピクセル・ビームという概念が導入される。

概要

背景

4Dライトフィールドサンプリング(即ち、光線の記録)として見ることが可能な4つの次元又は4Dのライト・フィールド・データの捕捉は、例えば、ECCV2008の議事録公開されている「AnatLevin et al.,“Understanding camera trade-offs through a Bayesian analysis of light field projections”」という記事で説明されており、活気のある研究対象である。

カメラから取得される古典的な2つの次元又は2Dの画像と比較して、4Dライト・フィールド・データは、画像のレンダリング及びユーザーとの対話増進する多くの事後的な処理機能に、ユーザーがアクセスすることを可能にする。例えば、自由に選択される焦点距離で画像をフォーカスし直すことが可能であり、焦点面の位置が後に指定/選択されることが可能であるだけでなく、画像のシーン中視野を僅かに変化させることも可能である。4Dライト・フィールド・データを捕捉するために、幾つかの技術を利用することが可能である。例えば、プレノプティック・カメラは4Dライト・フィールド・データを捕捉することが可能である。プレノプティック・カメラのアーキテクチャの詳細は図1Aにおいて提供される。図1Aはプレノプティック・カメラ100を概略的に表現する図である。プレノプティック・カメラ100は、メインレンズ101と、二次元アレイに配置される複数のマイクロ・レンズ103を含むマイクロレンズアレイ102と、画像センサ104とを有する。

4Dライト・フィールド・データを捕捉する別の方法は、図1Bに示されるようなカメラ・アレイを利用するものである。図1Bは、マルチ・アレイ・カメラ110を表現する。マルチ・アレイ・カメラ110は、レンズ・アレイ112と、画像センサ114とを有する。

図1Aに示されるようなプレノプティック・カメラ100の例では、メイン・レンズ101は、メイン・レンズ101の物体視野における(図示されていない)物体からの光を受信し、メイン・レンズ101の像視野を経て光を通す。

最後に、4Dライト・フィールドを捕捉する別の方法は、異なる焦点面において、同じシーンの2D画像のシーケンスを捕捉するように構成される従来のカメラを利用することである。例えば、2014年10月に「OPTICS EXPRESS, Vol.22, No.21」で公開されている「J.-H. Park et al.,“Light ray field capture using focal plane sweepingand its optical reconstruction using 3D displays”」という文書で説明されている技術が、従来のカメラを利用して4Dライト・フィールド・データの捕捉を達成するために利用されて良い。

4Dライト・フィールド・データを表現する方法は幾つかある。実際、200年6月に公表された「Ren Ng,“Digital Light Field Photography”」というPh.D学位論文の第3.3章には、4Dライト・フィールド・データを表現するための3つの異なる方法が記述されている。第1に、4Dライト・フィールド・データは、マイクロ・レンズ画像集まりによりプレノプティック・カメラが記録すると、表現されることが可能である。この表現における4Dライト・フィールド・データは、ロー画像又はロー4Dライト・フィールド・データ(raw images or raw 4D light-field data)と命名されている。第2に、4Dライト・フィールド・データは、プレノプティック・カメラ又はカメラ・アレイで一群のサブ・アパーチャ画像(a set of sub-aperture images)により記録されると、表現されることが可能である。サブ・アパーチャ画像は視点から捕捉されたシーン画像に対応し、視点(the point of view)は2つのサブ・アパーチャ画像の間で僅かに異なる。これらのサブ・アパーチャ画像は、撮像されるシーンの視差及び深度に関する情報を与える。第3に、4Dライト・フィールド・データは一群のエピポーラ画像(a set of epipolar images)により表現されることが可能であり、この点については、ISVC2011の議事録で公開されている「S.Wanner et al.,“GeneratingEPIRepresentation of a 4D Light Fieldswith a Single Lens Focused Plenoptic Camera”」という記事を参照されたい。

市場入手可能な幾つものタイプのプレノプティック・カメラ及びカメラ・アレイが存在し、これら全てのライト・フィールド捕捉装置は、それら専用のファイルフォーマットを有する。即ち、多次元情報の捕捉及び伝送支え規格は存在しないので、標準的な2D又は3Dイメージングを除いては生存できないように思われる。本発明は上記の考察により為されている。

概要

市場で入手可能な何種類ものプレノプティック・カメラ及びカメラ・アレイが存在し、これら全てのライト・フィールド捕捉装置は各自専用のファイル・フォーマットを有する。しかしながら多次元情報の捕捉及び伝送を支える規格は存在しない。光学捕捉システムセンサピクセルと光学的捕捉システムの対物空間との間の対応関係の情報を得ることは興味深いことである。実際、光学的捕捉システムの対物空間のうち、光学的捕捉システムのセンサに属するピクセルが感知しているのは何れの部分であるかを知ることは、信号処理オペレーションの改善を可能にする。そこで、コンパクトなフォーマットでそのような情報を保存するために、カメラの光学系の対物空間における光線群により占められるボリュームを表現するピクセル・ビームという概念が導入される。2

目的

最後に、4Dライト・フィールドを捕捉する別の方法は、異なる焦点面において、同じシーンの2D画像のシーケンスを捕捉するように構成される従来のカメラを利用することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光学捕捉システム校正する装置であって、プロセッサを有し、前記プロセッサは:前記光学的捕捉システムの像空間におけるパラメータを算出するように構成され、前記パラメータは・前記光学的捕捉システムのセンサピクセルの中心と前記光学的捕捉システムの瞳の中心とを通る第1光線、及び・前記光学的捕捉システムの瞳と前記光学的捕捉システムの前記センサの前記ピクセルとを通る光線群により占められるボリュームの表面に属する2点を通る第2光線であって、前記第2光線の第1点は前記光学的捕捉システムのセンサ面に属し、前記第2光線の第2点は瞳面に属する、第2光線を規定し、前記プロセッサは、前記光学的捕捉システムの対物空間における前記第1光線及び前記第2光線のコンジュゲートのパラメータを算出するように構成され、前記第2光線のコンジュゲートは、集団的に、前記光学的捕捉システムの瞳と前記ピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、前記第1光線のコンジュゲートの周りの回転により生成し、前記光線群により占められる前記ボリュームはピクセル・ビームと呼ばれる、装置。

請求項2

光線を規定する前記パラメータは、光線が通る点の座標と、3つの座標軸を有する座標系で前記光線を規定する方向ベクトル一群方向余弦とを含む、請求項1に記載の装置。

請求項3

前記第1光線を規定する前記パラメータは、前記ピクセルの中心の座標(xp,yp,zp)、及び という一群の方向余弦であり、前記座標系の原点は前記瞳の中心である、請求項2に記載の装置。

請求項4

前記第2光線を規定する前記パラメータは、前記センサ面に位置付けられ且つ前記ピクセルを中心とする半径aの円に属する前記第1点の座標、及び という一群の方向余弦であり、前記座標系の原点は前記瞳の中心である、請求項2に記載の装置。

請求項5

前記プロセッサが、前記光学的捕捉システムの対物空間における前記第1光線及び前記第2光線のコンジュゲートのパラメータを算出するように構成されることは、前記像空間において前記第1光線及び前記第2光線を規定する前記パラメータと光学系の設計パラメータとに基づいて、前記対物空間における前記第1光線及び前記第2光線をトレースすることから成る、請求項1ないし4のうちの何れか一項に記載の装置。

請求項6

光学的捕捉システムを校正する方法であって:前記光学的捕捉システムの像空間におけるパラメータを算出するステップであって、前記パラメータは・前記光学的捕捉システムのセンサのピクセルの中心と前記光学的捕捉システムの瞳の中心とを通る第1光線、及び・前記光学的捕捉システムの瞳と前記光学的捕捉システムの前記センサの前記ピクセルとを通る光線群により占められるボリュームの表面に属する2点を通る第2光線であって、前記第2光線の第1点は前記光学的捕捉システムのセンサ面に属し、前記第2光線の第2点は瞳面に属する、第2光線を規定する、ステップ;前記光学的捕捉システムの対物空間における前記第1光線及び前記第2光線のコンジュゲートのパラメータを算出するステップであって、前記第2光線のコンジュゲートは、集団的に、前記光学的捕捉システムの瞳と前記ピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、前記第1光線のコンジュゲートの周りの回転により生成し、前記光線群により占められる前記ボリュームはピクセル・ビームと呼ばれる、ステップ;を有する方法。

請求項7

光線を規定する前記パラメータは、光線が通る点の座標と、3つの座標軸を有する座標系で前記光線を規定する方向ベクトルの一群の方向余弦とを含む、請求項6に記載の方法。

請求項8

前記第1光線を規定する前記パラメータは、前記ピクセルの中心の座標(xp,yp,zp)、及び という一群の方向余弦であり、座標系の原点は前記瞳の中心である、請求項6に記載の方法。

請求項9

前記第2光線を規定する前記パラメータは、前記センサ面に位置付けられ且つ前記ピクセルを中心とする半径aの円に属する前記第1点の座標、及び という一群の方向余弦であり、座標系の原点は前記瞳の中心である、請求項6に記載の方法。

請求項10

前記光学的捕捉システムの対物空間における前記第1光線及び前記第2光線のコンジュゲートのパラメータを算出することは、前記像空間において前記第1光線及び前記第2光線を規定する前記パラメータと光学系の設計パラメータとに基づいて、前記対物空間における前記第1光線及び前記第2光線をトレースすることから成る、請求項6ないし9のうちの何れか一項に記載の方法。

請求項11

規則的な格子構造で構成されるマイクロレンズアレイフォトセンサであって、前記マイクロ・レンズのアレイから前記フォトセンサに投影される光を捕捉するように構成され、一群のピクセルを有し、前記一群のピクセルの各々は、前記マイクロ・レンズのアレイの個々のマイクロ・レンズに光学的に関連付けられている、フォトセンサ;及びライトフィールドイメージングデバイスを校正するための請求項1に記載の装置;を有するライト・フィールド・イメージング・デバイス。

請求項12

請求項6ないし10のうちの何れか一項に記載の方法に従って校正された、光学的捕捉装置により捕捉されたライト・フィールド・データから、画像をレンダリングする装置。

請求項13

光学的捕捉システムの校正データを有するディジタルファイルであって、前記校正データは:前記光学的捕捉システムの対物空間における第1光線のコンジュゲートのパラメータであって、前記第1光線は、前記光学的捕捉システムのセンサのピクセルの中心と前記光学的捕捉システムの瞳の中心とを通る、パラメータ;前記光学的捕捉システムの対物空間における第2光線のコンジュゲートのパラメータであって、前記第2光線は、前記光学的捕捉システムのセンサ面に属する第2光線の第1点と、瞳面に属する前記第2光線の第2点とを含み;前記第2光線のコンジュゲートは、集団的に、前記光学的捕捉システムの瞳と前記ピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、前記第1光線のコンジュゲートの周りの回転により生成し、前記光線群により占められる前記ボリュームはピクセル・ビームと呼ばれる、ディジタル・ファイル。

請求項14

請求項6ないし10のうち何れか一項に記載の方法により得られる、請求項13に記載のディジタル・ファイル。

請求項15

プロセッサにより実行される場合に、光学的捕捉システムを校正するための請求項6ないし10のうちの何れか一項に記載の方法を実現するプログラムコード命令を有することを特徴とするコンピュータ・プログラム。

請求項16

光学的捕捉システムを校正するための請求項6ないし10のうち何れか一項に記載の方法をプロセッサに実行させる命令を保存したプロセッサ読み取り可能な媒体

請求項17

コンピューティング・デバイスでプログラムが実行される場合に、光学的捕捉システムを校正するための請求項6ないし10のうち何れか一項に記載の方法を実行するプログラム・コードの命令を担う非一時的な記憶媒体

技術分野

0001

本発明はライトフィールド表現するデータの生成に関連する。

背景技術

0002

4Dライト・フィールドのサンプリング(即ち、光線の記録)として見ることが可能な4つの次元又は4Dのライト・フィールド・データの捕捉は、例えば、ECCV2008の議事録公開されている「AnatLevin et al.,“Understanding camera trade-offs through a Bayesian analysis of light field projections”」という記事で説明されており、活気のある研究対象である。

0003

カメラから取得される古典的な2つの次元又は2Dの画像と比較して、4Dライト・フィールド・データは、画像のレンダリング及びユーザーとの対話増進する多くの事後的な処理機能に、ユーザーがアクセスすることを可能にする。例えば、自由に選択される焦点距離で画像をフォーカスし直すことが可能であり、焦点面の位置が後に指定/選択されることが可能であるだけでなく、画像のシーン中視野を僅かに変化させることも可能である。4Dライト・フィールド・データを捕捉するために、幾つかの技術を利用することが可能である。例えば、プレノプティック・カメラは4Dライト・フィールド・データを捕捉することが可能である。プレノプティック・カメラのアーキテクチャの詳細は図1Aにおいて提供される。図1Aはプレノプティック・カメラ100を概略的に表現する図である。プレノプティック・カメラ100は、メインレンズ101と、二次元アレイに配置される複数のマイクロ・レンズ103を含むマイクロレンズアレイ102と、画像センサ104とを有する。

0004

4Dライト・フィールド・データを捕捉する別の方法は、図1Bに示されるようなカメラ・アレイを利用するものである。図1Bは、マルチ・アレイ・カメラ110を表現する。マルチ・アレイ・カメラ110は、レンズ・アレイ112と、画像センサ114とを有する。

0005

図1Aに示されるようなプレノプティック・カメラ100の例では、メイン・レンズ101は、メイン・レンズ101の物体視野における(図示されていない)物体からの光を受信し、メイン・レンズ101の像視野を経て光を通す。

0006

最後に、4Dライト・フィールドを捕捉する別の方法は、異なる焦点面において、同じシーンの2D画像のシーケンスを捕捉するように構成される従来のカメラを利用することである。例えば、2014年10月に「OPTICS EXPRESS, Vol.22, No.21」で公開されている「J.-H. Park et al.,“Light ray field capture using focal plane sweepingand its optical reconstruction using 3D displays”」という文書で説明されている技術が、従来のカメラを利用して4Dライト・フィールド・データの捕捉を達成するために利用されて良い。

0007

4Dライト・フィールド・データを表現する方法は幾つかある。実際、200年6月に公表された「Ren Ng,“Digital Light Field Photography”」というPh.D学位論文の第3.3章には、4Dライト・フィールド・データを表現するための3つの異なる方法が記述されている。第1に、4Dライト・フィールド・データは、マイクロ・レンズ画像集まりによりプレノプティック・カメラが記録すると、表現されることが可能である。この表現における4Dライト・フィールド・データは、ロー画像又はロー4Dライト・フィールド・データ(raw images or raw 4D light-field data)と命名されている。第2に、4Dライト・フィールド・データは、プレノプティック・カメラ又はカメラ・アレイで一群のサブ・アパーチャ画像(a set of sub-aperture images)により記録されると、表現されることが可能である。サブ・アパーチャ画像は視点から捕捉されたシーン画像に対応し、視点(the point of view)は2つのサブ・アパーチャ画像の間で僅かに異なる。これらのサブ・アパーチャ画像は、撮像されるシーンの視差及び深度に関する情報を与える。第3に、4Dライト・フィールド・データは一群のエピポーラ画像(a set of epipolar images)により表現されることが可能であり、この点については、ISVC2011の議事録で公開されている「S.Wanner et al.,“GeneratingEPIRepresentation of a 4D Light Fieldswith a Single Lens Focused Plenoptic Camera”」という記事を参照されたい。

0008

市場入手可能な幾つものタイプのプレノプティック・カメラ及びカメラ・アレイが存在し、これら全てのライト・フィールド捕捉装置は、それら専用のファイルフォーマットを有する。即ち、多次元情報の捕捉及び伝送支え規格は存在しないので、標準的な2D又は3Dイメージングを除いては生存できないように思われる。本発明は上記の考察により為されている。

0009

本発明の第1形態によれば、光学捕捉システム校正するための装置が提供され、本装置は、光学的捕捉システムの像空間(an image space)におけるパラメータを算出するように構成されるプロセッサを有し、パラメータは:
・ 光学的捕捉システムのセンサピクセルの中心と光学的捕捉システムの瞳の中心とを通る第1光線、及び
・ 光学的捕捉システムの瞳と光学的捕捉システムのセンサのピクセルとを通る光線群により占められるボリュームの表面に属する2点を通る第2光線であって、第2光線の第1点は光学的捕捉システムのセンサ面に属し、第2光線の第2点は瞳面に属する、第2光線を規定し、
プロセッサは、光学的捕捉システムの対物空間(an object space)における第1光線及び第2光線のコンジュゲート又は共役(conjugate)のパラメータを算出するように構成され、第2光線のコンジュゲートは、集団的に、光学的捕捉システムの瞳とピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、第1光線のコンジュゲートの周りの回転により生成し、光線群により占められる前記ボリュームはピクセル・ビームと呼ばれる。

0010

本発明の実施形態によれば、光線を規定するパラメータは、光線が通る点の座標と、3つの座標軸を有する座標系で光線を規定する方向ベクトルの一群の方向余弦とを含む。

0011

本発明の実施形態によれば、第1光線を規定するパラメータは、ピクセルの中心の座標(xp,yp,zp)、及び

0012

という一群の方向余弦であり、座標系の原点は前記瞳の中心である。

0013

本発明の実施形態によれば、第2光線を規定するパラメータは、センサ面に位置付けられ且つピクセルを中心とする半径aの円に属する第1点の座標、及び

0014

という一群の方向余弦であり、座標系の原点は瞳の中心である。

0015

本発明の実施形態によれば、プロセッサが、光学的捕捉システムの対物空間における第1光線及び第2光線のコンジュゲートのパラメータを算出するように構成されることは、像空間において第1光線及び第2光線を規定するパラメータと光学系の設計パラメータとに基づいて、対物空間における第1光線及び第2光線をトレースすることから成る。

0016

本発明の他の実施形態は、光学的捕捉システムを校正する方法に関連し、本方法は、
光学的捕捉システムの像空間においてパラメータを算出するステップであって、パラメータは
・ 光学的捕捉システムのセンサのピクセルの中心と光学的捕捉システムの瞳の中心とを通る第1光線、及び
・ 光学的捕捉システムの瞳と光学的捕捉システムのセンサのピクセルとを通る光線群により占められるボリュームの表面に属する2点を通る第2光線であって、第2光線の第1点は光学的捕捉システムのセンサ面に属し、第2光線の第2点は瞳面に属する、第2光線を規定する、ステップ;
光学的捕捉システムの対物空間における第1光線及び第2光線のコンジュゲートのパラメータを算出するステップであって、第2光線のコンジュゲートは、集団的に、光学的捕捉システムの瞳とピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、第1光線のコンジュゲートの周りの回転により生成し、光線群により占められるボリュームはピクセル・ビームと呼ばれる、ステップ;
を有する方法である。

0017

本発明の実施形態によれば、光線を規定するパラメータは、光線が通る点の座標と、3つの座標軸を有する座標系で光線を規定する方向ベクトルの一群の方向余弦とを含む。

0018

本発明の実施形態によれば、第1光線を規定するパラメータは、ピクセルの中心の座標(xp,yp,zp)、及び

0019

という一群の方向余弦であり、座標系の原点は瞳の中心である。

0020

本発明の実施形態によれば、第2光線を規定するパラメータは、センサ面に位置付けられ且つピクセルを中心とする半径aの円に属する第1点の座標、及び

0021

という一群の方向余弦であり、座標系の原点は瞳の中心である。

0022

本発明の実施形態によれば、光学的捕捉システムの対物空間における第1光線及び第2光線のコンジュゲートのパラメータを算出することは、像空間において第1光線及び第2光線を規定するパラメータと光学系の設計パラメータとに基づいて、対物空間における第1光線及び第2光線をトレースすることから成る。

0023

本発明の別の対象はライト・フィールド・イメージング・デバイスであり、本デバイスは:
規則的な格子構造で構成されるマイクロ・レンズのアレイ;
マイクロ・レンズのアレイからフォトセンサ投影される光を捕捉するように構成され、一群のピクセルを有するフォトセンサであって、一群のピクセルの各々は、マイクロ・レンズのアレイの個々のマイクロ・レンズに光学的に関連付けられている、フォトセンサ;及び
ライト・フィールド・イメージング・デバイスを校正するための本発明による装置を有する。

0024

本発明の別の対象は、光学的捕捉システムの校正データを有するディジタル・ファイルであり、校正データは:
光学的捕捉システムの対物空間における第1光線のコンジュゲートのパラメータであって、第1光線は、光学的捕捉システムのセンサのピクセルの中心と光学的捕捉システムの瞳の中心とを通る、パラメータ;
光学的捕捉システムの対物空間における第2光線のコンジュゲートのパラメータであって、第2光線は、光学的捕捉システムのセンサ面に属する第2光線の第1点と、瞳面に属する第2光線の第2点とを含み;
第2光線のコンジュゲートは、集団的に、光学的捕捉システムの瞳とピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、第1光線のコンジュゲートの周りの回転により生成し、光線群により占められるボリュームはピクセル・ビームと呼ばれる。

0025

本発明の要素により実現される幾つかのプロセスはコンピュータで実現されるものであっても良い。従って、そのような要素は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア常駐ソフトウェア、マイクロ・コード等を含む)、又はソフトウェア及びハードウェアの形態を組み合わせる実施形態の形式を採用しても良く、それらは全て一般的に「回路」、「モジュール」又は「システム」のように本願では言及されて良い。更に、そのような要素は、媒体に組み込まれるコンピュータ利用可能なプログラム・コードを有する、任意の有形の媒体表現で実現されるコンピュータ・プログラム・プロダクトの形式を採用しても良い。

0026

本発明の要素はソフトウェアで実現されることが可能であるので、本発明は、任意の適切な搬送媒体におけるプログラム可能な装置に提供するためのコンピュータ読み取り可能なコードとして具現化されることが可能である。有形の搬送媒体は、フロッピ・ディスクCD-ROMハード・ディスク・ドライブ磁気テープ・デバイス、ソリッドステートメモリ・デバイス等のような記憶媒体を含んでも良い。一時的な搬送媒体は、電気信号電子信号光信号音響信号磁気信号電磁信号(例えば、マイクロ波又はRF信号)のような信号を含んでも良い。

図面の簡単な説明

0027

本発明の実施形態は、単なる例示により及び以下の図面を参照しながら説明される:
プレノプティック・カメラを概略的に表現する図。
マルチ・アレイ・カメラを表現する図。
カメラの光学系又は光学的捕捉システムの対物空間における光線群により占められるボリュームを表現する図。
一葉双曲面を表現する図。
一葉双曲面の別の眺めを表現する図。
本開示の実施形態による光学的捕捉システムを校正する装置例を示す概略ブロック図。
本発明の実施形態による光学的捕捉システムを校正するプロセス例を説明するためのフローチャート
本発明の実施形態によるピクセル・ビームを規定する生成光線(a generating ray)及び主光線(a chief ray)を表現する図。
本発明の実施形態によるピクセル・ビームを規定する生成光線を表現する図。
ガウシアン・ビームの幾何学的形状を表現する図。

実施例

0028

業者に認められるように、本原理の各側面は、システム、方法及びコンピュータ読み取り可能な媒体として実施されることが可能である。従って、本原理の側面は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロ・コード等を含む)、或いは、ソフトウェア及びハードウェアの側面を含む実施形態の形式を採用することが可能であり、本願においてそれらは全て一般的に「回路」、「モジュール」又は「システム」として言及されることが可能である。更に、本原理の側面は、コンピュータ読み取り可能な記憶媒体の形式を採用することが可能である。1つ以上のコンピュータ読み取り可能な記憶媒体の任意の組み合わせが使用されても良い。

0029

プレノプティック式であってもなくても良い何らかの光学的捕捉システムに加えて、光学的捕捉システムで捕捉される4Dライト・フィールド・データを表現するロー画像又はエピポーラ画像に関し、光学的捕捉システムのセンサのピクセルと光学的捕捉システムの対物空間との間の対応関係の情報を得ることは興味深い。光学的捕捉システムのセンサに属するピクセルが、光学的捕捉システムの対物空間の何れの部分をセンシングしているかを知ることは、非多重化、非モザイク化、再フォーカシング、及び、様々な特徴を有する様々な光学系で捕捉された画像のミキシング等のような信号処理オペレーションの改善を可能にする。更に、光学的捕捉システムのセンサのピクセルと、光学的捕捉システムの対物空間との間の対応関係の情報は、光学的捕捉システムとは独立している。

0030

本開示は、図2に示されるようなピクセル・ビーム10という表記を導入し、ピクセル・ビーム10は、(図2では不図示の)カメラ又は光学的捕捉システムの光学系11の対物空間における光線群により占められる体積又はボリューム(a volume)を表現する。光線群は、光学系21の瞳24を介して、カメラのセンサ23のピクセル22により感知される。光学系21は、写真用カメラ又はビデオ・カメラ用に合わせられたレンズの組み合わせであっても良い。光学系の入射瞳(An entrance pupil of an optical system)は、光学系の所定のレンズを通じて見えるような開口絞り(an aperture stop)の像として定義され、所定のレンズは、光学的捕捉システムのうち、開口絞りの前に在るレンズである。開口絞りは、光学的捕捉システムの光学系を通過する光量を制限する開口である。

0031

例えば、カメラ・レンズの前方付近に配置される調節可能なダイヤフラムは、そのレンズの開口絞りである。ダイヤフラムを通過するように許可される光の量は、カメラのユーザーが許可しようとする光量に依存して適合させられて良いダイヤフラム開口の直径により制御される。例えば、開口を小さくすることは、ダイヤフラムを通るように許容される光の量を減らすが、焦点の深度を増やす。絞り実効サイズは、レンズの屈折作用に起因して、絞りの物理的なサイズより大きくても小さくても良い。形式的に、瞳は、光学的捕捉システムの光学系の先行するレンズを通る開口絞りの像である。

0032

ピクセル・ビーム10は、入射瞳24を通って光学系21を介して伝搬する場合に所与のピクセル22に到達する光線束(a pencil of rays of light)として定義される。光は自由空間内で直線的に進むので、そのようなピクセル・ビーム20の形状は2つのセクションによって規定されることが可能であり、一方はピクセル22のコンジュゲート25であり、他方は入射瞳24である。ピクセル22は、その非ヌル表面(its non-null surface)及びその感度マップにより規定される。

0033

かくて、図3に示されるように、ピクセル・ビーム30は、一葉双曲面によって表現され、対物空間におけるピクセル22のコンジュゲート35及び瞳34という2つの要素によって支持される。

0034

一葉双曲面は、光線束の表記を支持することが可能な線織面(a ruled surface)であり、物理的な光ビームの「エテンデュ(etendue)」の表記、即ち、物理的な光ビーム断面に対するエネルギの保存と矛盾しない。

0035

一葉双曲面は、ガウシアン・ビームの形状に対応する。実際、光学において、ガウシアン・ビームは単色性電磁放射ビーム(a beam of monochromatic electromagnetic radiation)であり、そのトラバース電磁場振幅特性ガウシアン関数により与えられ;これはガウシアン強度特性を示す。この基本トラバース・ガウシアン・モードは、ほとんどのレーザーの意図される出力を説明するが、その理由は、そのような光ビームは最も集中したスポットに焦点を合わせることが可能だからである。

0036

以下の数式は、zの全ての値において円形断面を有するビームを仮定しており;これは、1つの横断する次元(r)が登場することを記述することよって理解されることが可能である。

0037

(焦点から測定される)ビームに沿った位置zにおいて、スポット・サイズ・パラメータwは次式により与えられる。

0038

ここで、w0はウエスト(又はくびれ)のサイズである。

0039

図9に示されるように、ウエストからzRに等しい距離において、ビームの幅wは√2w0である。

0040

ガウシアン関数のテール(the tail)は、実際上、決してゼロには達しない。しかし、ウエストから離れたビームの「エッジ(edge)」は円錐形状になる。その円錐に沿うライン(円錐の半径はr=w(z)である)と、ビームの中心軸(r=0)との間の角度は、ビームの発散(the divergence)と呼ばれる。

0041

従って、ウエストから遠くにあるビームの角度広がり全体は、Θ=2θにより与えられる。

0042

図4に示されるように、一葉双曲面40は、対物空間においてピクセル22に対応するウエスト45と呼ばれる最小セクションの基本領域を除いて、漸近的な円錐41,42に概ね一致する。ライト・フィールド・カメラのようなプレノプティック・システムの場合、これは、複数の経路光線による空間サンプリングが実行される領域である。ピクセル22の感度は、その表面上の何十平方ミクロンに関してかなり大きく、また、円錐の先端であるような無限に小さな面積数学上の点によって表現されることは可能でないので、この領域で円錐により空間をサンプリングすることは適切ではない。

0043

図5は、本開示の実施形態による光学的捕捉システムを校正する装置例を示す概略ブロック図である。

0044

装置500は、プロセッサ501と、ストレージユニット502と、入力デバイス503と、ディスプレイ・デバイス504と、インターフェース・ユニット505とを有し、これらはバス506により接続されている。当然に、コンピュータ装置500の構成要素は、バス接続以外の接続によって接続されても良い。

0045

プロセッサ501は装置500の動作を制御する。ストレージ・ユニット502は、プロセッサ501により実行される、光学的捕捉イステムを構成することが可能な少なくとも1つのプログラム及び様々なデータを保存し、そのデータは、光学的捕捉システムのピクセル・ビーム10,20,30,40を規定する光線に関連するパラメータ、光学的捕捉システムの光学系21に関連するパラメータ、プロセッサ501により実行される演算で使用されるパラメータ、或いは、プロセッサ501により実行される演算の中間的なデータ等を含む。プロセッサ501は、任意の既知の適切なハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせにより形成されても良い。例えば、プロセッサ501は、処理回路のような専用ハードウェアにより、或いは、メモリに保存されたプログラムを実行するCPU(中央処理ユニット)のようなプログラム可能な処理ユニットにより形成されても良い。

0046

ストレージ・ユニット502は、コンピュータ読み取り可能な形式でプログラム又はデータ等を保存することが可能な適切な任意の手段又はストレージにより形成されても良い。ストレージ・ユニット502の具体例は、半導体メモリ・デバイス、及び、読み込み及び書き込みユニット内に搭載される磁気的、光学的又は磁気光学的な記録媒体のような非一時的なコンピュータ読み取り可能な記憶媒体を含む。プログラムは、図6に関連して後述されるような本開示の実施形態による光学的捕捉システムを校正するプロセスを、プロセッサ501に実行させる。

0047

コマンドを入力するため、及び、光学系の対物空間内の光線群により占められるボリュームのパラメータ表現を生成するために使用されるパラメータのユーザーによる選択のためにユーザーが使用するように、入力デバイス503は、キーボードマウスのようなポインティング・デバイス等により形成されても良い。出力デバイス504は、本開示の実施形態に従う光学的捕捉システムの校正の最中に、例えばグラフカル・ユーザー・インターフェース(GUI)のような表示を行うディスプレイ・デバイス、或いは、プロセッサ501により算出される様々なピクセル・ビームのパラメータを含むファイルによって形成されても良い。入力デバイス504及び出力デバイス504は、例えば、タッチスクリーンパネルにより一体的に形成されても良い。

0048

インターフェース・ユニット505は、装置500と外部の装置との間でインターフェースを提供する。インターフェース・ユニット505は、ケーブル又は無線通信により、外部の装置と通信可能であっても良い。一実施形態において、外部の装置は、光学的捕捉システムであっても良い。

0049

図6は、本発明の実施形態による光学的捕捉システムを校正するプロセスを説明するためのフロー・チャートである。

0050

そのような校正方法は、光学的捕捉システムのセンサ23のピクセルに関連する様々なピクセル・ビームを規定するパラメータを取得することを可能にする。

0051

ピクセル・ビーム10,20,30,40は一葉双曲面として表現される。座標軸x,y,zを有する座標系のz軸に関する一葉双曲面の一般式は、次のとおりである:

0052

ここで、zpはz軸上におけるピクセル・ビームのウエスト35の位置であり、a,a及びcはそれぞれx,y及びz軸に沿う双曲面の半軸(the semi-axes)の長さであり、それぞれ0x,0y,0zに沿う半軸の長さに対応し、ここで、aは0x軸に沿うウエスト半径を表し;bは0y軸に沿うウエスト半径を表し;cはピクセル・ビームの角度開口(an angular aperture)を規定する。本発明の実施形態では、a及びbは同じ値であり、この場合、ウエストは円形状を有する。座標系の原点は、座標が(0,0,0)である瞳の中心である。

0053

図7に示されるように、光学的捕捉システムの像空間において、即ち、光学系21と光学的捕捉システムのセンサ23との間に位置する空間の部分において、ピクセル・ビームは、主光線70及び生成光線71という2つの光線により表現される。主光線70は、その座標系での座標(x,y,z)が(xp,yp,zp)であるピクセル72の中心と、座標が(0,0,0)である瞳73の中心とを通る直線である。

0054

線織面である双曲面は、生成光線71により生成されることが可能である。生成光線は、双曲面の表面を記述する直線である。生成光線71は、双曲面の表面に属する2点を通る直線であり、第1の点は光学的捕捉システムのセンサ23の面と双曲面の表面とに所属し、第2の点は瞳の面と双曲面の表面とに所属する。双曲面の主光線とその表面を記述する生成光線とは互いに平行ではなく、それらは互いに決して交わらない。

0055

直線は次の6つのパラメータにより規定されることが可能である:直線が通る点の座標(x,y,z)(3つの値)及びその座標系で直線を規定する方向ベクトルの方向余弦(l,m,n)(3つのコサイン)。

0056

ステップ601において、プロセッサ601は、光学的捕捉システムの像空間における主光線70を規定するパラメータを算出する。

0057

主光線が方向(θx,θy)に向けられている双曲面は、以下の数式により規定される:

0058

ここで、tx=tanθx 及びty=tanθy である。

0059

この場合、主光線70は次のように規定される:

0060

ここで、(xp,yp,zp)はその座標系でのピクセル22の中心座標である。

0061

従って、主光線を規定する方向ベクトルの方向余弦は、次のように表現される:

0062

ここで、座標系の原点は瞳の中心である。

0063

その後、ステップ602において、プロセッサ501は、ピクセル22の中心の座標の値と、ピクセル22に関連するピクセル・ビームの主光線を規定する数式(4)に基づく方向余弦の値と、ピクセル・ビームを規定する瞳及びピクセル22の間の距離のような光学的捕捉システムの光学系21のパラメータとを算出する。

0064

ステップ602において算出されるピクセル・ビームの主光線を規定するパラメータは、装置500のストレージ・ユニット502に保存される。

0065

ステップ603において、プロセッサ501は主光線70の「ずれ」の補正(a correction of the shear of the chief ray 70)を算出する。主光線のずれ補正(The unshearing of the chief)は次のように書ける:(5):

0066

ステップ604において、プロセッサは、光学的捕捉システムの像空間における生成光線71を規定するパラメータを算出する。

0067

次の数式を考察する:

0068

ここで、rは瞳の半径である。

0069

図8を参照し、平面yOzに平行な直線gを考察する。直線gは、その座標系での座標が(a,0,zp)である点Gを通る。

0070

即ち、直線gは2点G及びIにより規定され:Gの座標は(a,0,zp)であり、Iの座標は次のとおりである:

0071

直線gを規定するベクトル(→IG)の成分は、次のように書ける:

0072

従って、ベクトル(→IG)の方向余弦は、次のように書ける:

0073

ピクセル面が(+xp’,+yp’)=(zp.tx,zp.ty)だけシフトされた場合、直線gは、座標が(xp’+a,yp’,zp)である点Gと座標が(a,√(r2-a2),0)である点Iとを通る。

0074

直線gを規定するベクトル(→IG)の成分は、次のように書ける:

0075

従って、ベクトル(→IG)の方向余弦は、次のように書ける:

0076

生成光線71は、点Gの座標(xp’+a,yp’,zp)及び以下の方向余弦により規定される:

0077

その後、ステップ605において、プロセッサ501は、座標Gの値と、ピクセル22に関連するピクセル・ビームの生成光線を規定する数式(6)に基づく方向余弦の値と、ピクセル・ビームを規定する瞳及びピクセル22の間の距離のような光学的捕捉システムの光学系21のパラメータとを算出する。

0078

ステップ605において算出されるピクセル・ビームの生成光線を規定するパラメータは、装置500のストレージ・ユニット502に保存される。

0079

ステップ606の際に、像空間における主光線70及び生成光線を表現するパラメータを知っており、プロセッサ501は、対物空間におけるパラメータの値を算出し、ピクセル・ビームのパラメータを求める。

0080

この計算は、例えば、光学系11を介する光線の伝搬をモデル化することが可能なプログラムを実行する装置500のプロセッサ501により実現される。そのようなプログラムは、例えば、Zemax(登録商標)、ASAP(登録商標)又はCode V(登録商標)のような光学設計プログラムである。光学設計プログラムは、光学系11を設計及び分析するために使用される。光学設計プログラムは、光学系11を介する光線の伝搬をモデル化し;及び単レンズ非球面レンズグラジエントインデックス・レンズ、ミラー及び回折光学要素などのような光学要素の影響をモデル化することが可能である。市販のレンズのライブラリは、装置500のストレージ・ユニット502に保存され、そして、プロセッサが光学設計プログラムを実行する場合にプロセッサ501にとってアクセス可能である。

0081

以上、本発明は特定の実施形態に関連して説明されてきたが、本発明は特定の実施形態に限定されず、本発明の範囲内にある変形は、当業者に明らかであろう。

0082

多くの更なる修正及び変形も上記の例示的な実施形態を参照する当業者に示唆され、その例示的な実施形態は、具体例としてしか与えられておらず、添付の特許請求の範囲によってのみ決定される本発明の範囲を限定するようには意図されていない。特に、様々な実施形態からの様々な特徴は、適切であれば相互に置換されて良い。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 楽天株式会社の「 画像処理装置、画像処理方法、および画像処理プログラム」が 公開されました。( 2019/06/27)

    【課題・解決手段】一実施形態に係る画像処理装置はプロセッサを備える。プロセッサは、入力画像を取得するステップと、入力画像を畳み込み層により処理することで特徴残差を算出するステップと、入力画像に対して少... 詳細

  • 三菱電機株式会社の「 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体」が 公開されました。( 2019/06/27)

    【課題・解決手段】高解像度撮像領域(15a)と複数の低解像度撮像領域(15b、15c、…)に、互いに同じ視野の画像を結像させる。撮像領域間で、異なる種類の情報を表す画像が得られるように光学フィルター(... 詳細

  • 日清工業有限公司の「 ストロボ装置」が 公開されました。( 2019/06/27)

    【課題】レンズ移動型の電動ズーム式のストロボ装置において、レンズ保持体に前後方向の外力が作用しても、ズーム用駆動装置に損傷が生じることを未然に防止すること。【解決手段】発光部36を有するストロボ本体2... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ