図面 (/)

この項目の情報は公開日時点(2018年5月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

偏光撮像において視差の影響を抑制する。

解決手段

第1偏光で被写体を照明時に得る第1および第2の偏光画像、第2偏光で被写体を照明時に得る第3および第4の偏光画像に基づいて画像を形成し、第1偏光の被写体での鏡面反射に起因して第1偏光画像に現れる複数の第1輝点の像および第2偏光の被写体での鏡面反射に起因して第4偏光画像に現れる複数の第2輝点の像に基づいて平行移動された第1偏光画像、第2偏光画像、第3偏光画像および第4偏光画像から被写体の画像を形成し、前記画像形成回路は、平行移動がなされた前記第1偏光画像および前記第4偏光画像を平均化した第1平均化画像と、平行移動がなされた前記第2偏光画像および前記第3偏光画像を平均化した第2平均化画像との間の差分を求めることによって前記被写体の画像を形成する。

概要

背景

透明な物体に付着した異物および透明な物体の表面の状態の検出に、偏光を利用した撮像が有効であることが知られている。例えば、下記の特許文献1は、互いに直交する直線偏光を透明な板状部材に順次に照射し、各直線偏光の照射に対応して取得される第1および第2の偏光画像合成画像を利用して異物を検出する表面観察装置を開示している。

下記の特許文献2および非特許文献1は、半透明粘膜に覆われた組織表面微細な構造の観察への偏光撮像の利用を提案している。特許文献2および非特許文献1に記載の技術では、照明光としての直線偏光の偏光面を90°変えてそれぞれの照明光のもとで平行ニコル画像および直交ニコル画像を取得し、2つの平行ニコル画像を平均化した画像と、2つの直交ニコル画像を平均化した画像とを差分処理する。特許文献2および非特許文献1によれば、このような処理により、被写体の表面の微細な凹凸の強調された画像を得ることが可能である。下記の非特許文献2は、直線偏光の照射部と、透過軸の方向が互いに異なる2つの偏光子とを先端に有し、2つの偏光子に対応して2つのCCD(charge-coupled device)を有する多眼式の硬性内視鏡を開示している。参考のため、特許文献2および非特許文献1の開示内容の全てを本明細書に援用する。

概要

偏光撮像において視差の影響を抑制する。第1偏光で被写体を照明時に得る第1および第2の偏光画像、第2偏光で被写体を照明時に得る第3および第4の偏光画像に基づいて画像を形成し、第1偏光の被写体での鏡面反射に起因して第1偏光画像に現れる複数の第1輝点の像および第2偏光の被写体での鏡面反射に起因して第4偏光画像に現れる複数の第2輝点の像に基づいて平行移動された第1偏光画像、第2偏光画像、第3偏光画像および第4偏光画像から被写体の画像を形成し、前記画像形成回路は、平行移動がなされた前記第1偏光画像および前記第4偏光画像を平均化した第1平均化画像と、平行移動がなされた前記第2偏光画像および前記第3偏光画像を平均化した第2平均化画像との間の差分を求めることによって前記被写体の画像を形成する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1方向に偏光した状態にある第1照明光で被写体を照明する複数の第1光出射部と、前記第1方向と交差する第2方向に偏光した状態にある第2照明光で前記被写体を照明する複数の第2光出射部と、前記第1方向に偏光した状態にある第1反射光を受ける第1領域および前記第2方向に偏光した状態にある第2反射光を受ける第2領域を含む撮像面を有する撮像装置と、前記第1照明光で前記被写体が照明されているときに前記撮像装置によって得られる、前記第1反射光に関する第1偏光画像および前記第2反射光に関する第2偏光画像、ならびに、前記第2照明光で前記被写体が照明されているときに前記撮像装置によって得られる、前記第1反射光に関する第3偏光画像および前記第2反射光に関する第4偏光画像に基づいて前記被写体の画像を形成する画像形成回路とを備え、前記複数の第1光出射部のそれぞれの位置を結んだ図形の重心および前記複数の第2光出射部のそれぞれの位置を結んだ図形の重心は、一致しており、前記画像形成回路は、前記第1照明光の前記被写体での鏡面反射に起因して前記第1偏光画像に現れる複数の第1輝点の像および前記第2照明光の前記被写体での鏡面反射に起因して前記第4偏光画像に現れる複数の第2輝点の像に基づいて平行移動された第1偏光画像、第2偏光画像、第3偏光画像および第4偏光画像から前記被写体の画像を形成し、前記画像形成回路は、平行移動がなされた前記第1偏光画像および前記第4偏光画像を平均化した第1平均化画像と、平行移動がなされた前記第2偏光画像および前記第3偏光画像を平均化した第2平均化画像との間の差分を求めることによって前記被写体の画像を形成する、画像形成装置

請求項2

前記複数の第1光出射部および前記複数の第2光出射部は、円状に配置されており、前記複数の第1光出射部のそれぞれの位置を通る円の中心と、前記複数の第2光出射部のそれぞれの位置を通る円の中心とは、一致している、請求項1に記載の画像形成装置。

請求項3

前記被写体側から見たとき、前記複数の第1光出射部および前記複数の第2光出射部は、前記撮像装置を取り囲んでいる、請求項1または2に記載の画像形成装置。

請求項4

照明制御回路をさらに備え、前記複数の第1光出射部のぞれぞれは、第1光源を含み、前記複数の第2光出射部のぞれぞれは、第2光源を含み、前記照明制御回路は、前記第1光源と前記第2光源とを異なるタイミングで点灯させる、請求項1から3のいずれかに記載の画像形成装置。

請求項5

前記画像形成回路は、前記第1偏光画像中の前記複数の第1輝点の像の重心が前記第1偏光画像の中央に位置するように前記第1偏光画像を平行移動させ、かつ、前記第1偏光画像に対する平行移動と同じ移動方向および移動量で前記第3偏光画像を平行移動させ、前記第4偏光画像中の前記複数の第2輝点の像の重心が前記第4偏光画像の中央に位置するように前記第4偏光画像を平行移動させ、かつ、前記第4偏光画像に対する平行移動と同じ移動方向および移動量で前記第2偏光画像を平行移動させる、請求項1から4のいずれかに記載の画像形成装置。

請求項6

前記第1領域を含む1以上の第1撮像素子および前記第2領域を含む1以上の第2撮像素子を有する、請求項1から5のいずれかに記載の画像形成装置。

技術分野

0001

本開示は、画像形成装置に関する。

背景技術

0002

透明な物体に付着した異物および透明な物体の表面の状態の検出に、偏光を利用した撮像が有効であることが知られている。例えば、下記の特許文献1は、互いに直交する直線偏光を透明な板状部材に順次に照射し、各直線偏光の照射に対応して取得される第1および第2の偏光画像合成画像を利用して異物を検出する表面観察装置を開示している。

0003

下記の特許文献2および非特許文献1は、半透明粘膜に覆われた組織表面微細な構造の観察への偏光撮像の利用を提案している。特許文献2および非特許文献1に記載の技術では、照明光としての直線偏光の偏光面を90°変えてそれぞれの照明光のもとで平行ニコル画像および直交ニコル画像を取得し、2つの平行ニコル画像を平均化した画像と、2つの直交ニコル画像を平均化した画像とを差分処理する。特許文献2および非特許文献1によれば、このような処理により、被写体の表面の微細な凹凸の強調された画像を得ることが可能である。下記の非特許文献2は、直線偏光の照射部と、透過軸の方向が互いに異なる2つの偏光子とを先端に有し、2つの偏光子に対応して2つのCCD(charge-coupled device)を有する多眼式の硬性内視鏡を開示している。参考のため、特許文献2および非特許文献1の開示内容の全てを本明細書に援用する。

0004

特開2013−036908号公報
特開2015−164518号公報

先行技術

0005

Katsuhiro Kanamori, "Image enhancement of surface micro-structure on mucosa for polarimetric endoscopy", Proc. of SPIE, 2015, Vol. 9318, 93180O-1 to 93180O-14
Neil T. Clancy, Shobhit Arya, Ji Qi, Danail Stoyanov, George B. Hanna, and Daniel S. Elson, "Polarised stereo endoscope and narrowband detection for minimal access surgery", Biomedical Optics Express, 1 December 2014, Vol. 5, No. 12, pp 4108-4117

発明が解決しようとする課題

0006

特許文献1に開示されている表面観察装置では、イメージセンサの前面に、マイクロレンズと、偏光パターンが形成された偏光フィルタとが配置されている。このような構成においては、微細な偏光パターンの形成に高度な技術を要し、また、イメージセンサの各受光領域に対応するように各マイクロレンズおよび偏光パターンを精度よく位置合わせする必要がある。他方、非特許文献2において提案されるような多眼式の偏光カメラによれば、イメージセンサの各受光領域と偏光パターンとの間の位置合わせが基本的に不要であるので、より柔軟な設計が可能になる。また、露光量を増加させる観点からも有利である。

0007

しかしながら、多眼式の構成では本質的に視差の発生が避けられない。非特許文献2では、視差をキャンセルするために、各カメラによって取得される複数の画像中の凸部を検出し、画像間で凸部が整合するようにして各画素画素値を算出している。非特許文献2に開示される技術は、被写体にテクスチャがある場合には有効と考えられるものの、被写体の表面が滑らかな場合には、画像間における凸部の対応づけが困難である。

課題を解決するための手段

0008

本開示の一態様に係る画像形成装置は、第1方向に偏光した状態にある第1照明光で被写体を照明する複数の第1光出射部と、前記第1方向と交差する第2方向に偏光した状態にある第2照明光で前記被写体を照明する複数の第2光出射部と、前記第1方向に偏光した状態にある第1反射光を受ける第1領域および前記第2方向に偏光した状態にある第2反射光を受ける第2領域を含む撮像面を有する撮像装置と、前記第1照明光で前記被写体が照明されているときに前記撮像装置によって得られる、前記第1反射光に関する第1偏光画像および前記第2反射光に関する第2偏光画像、ならびに、前記第2照明光で前記被写体が照明されているときに前記撮像装置によって得られる、前記第1反射光に関する第3偏光画像および前記第2反射光に関する第4偏光画像に基づいて前記被写体の画像を形成する画像形成回路とを備え、前記複数の第1光出射部のそれぞれの位置を結んだ図形の重心および前記複数の第2光出射部のそれぞれの位置を結んだ図形の重心は、一致しており、前記画像形成回路は、前記第1照明光の前記被写体での鏡面反射に起因して前記第1偏光画像に現れる複数の第1輝点の像および前記第2照明光の前記被写体での鏡面反射に起因して前記第4偏光画像に現れる複数の第2輝点の像に基づいて平行移動された第1偏光画像、第2偏光画像、第3偏光画像および第4偏光画像から前記被写体の画像を形成し、前記画像形成回路は、平行移動がなされた前記第1偏光画像および前記第4偏光画像を平均化した第1平均化画像と、平行移動がなされた前記第2偏光画像および前記第3偏光画像を平均化した第2平均化画像との間の差分を求めることによって前記被写体の画像を形成する。

0009

なお、包括的または具体的な態様は、システム、方法、集積回路コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD−ROM(Compact Disc-Read Only Memory)などの不揮発性の記録媒体を含む。

発明の効果

0010

本開示によれば、視差の影響が抑制された偏光撮像が可能となる。本開示の一態様の付加的な恩恵および有利な点は本明細書および図面から明らかとなる。この恩恵および/または有利な点は、本明細書および図面に開示した様々な態様および特徴により個別に提供され得るものであり、その1以上を得るために全てが必要ではない。

図面の簡単な説明

0011

図1は、本開示の第1の実施形態による画像形成装置の例示的な構成を示す図である。
図2は、被写体200側から見た、複数の光出射部122、および、撮像装置140Aにおける2つの開口APhおよびAPvの配置の典型例を示す図である。
図3は、照明制御回路162および画像形成回路164による典型的な処理の概略を示す図である。
図4Aは、ある時刻tにおける照明装置120Aの動作状態と、時刻tにおいて取得される偏光画像10pおよび20cとをあわせて示す図である。
図4Bは、時刻tよりも後の時刻(t+1)における照明装置120Aの動作状態と、時刻(t+1)において取得される偏光画像30cおよび40pとをあわせて示す図である。
図5Aは、視差補正部164aによる視差補正の処理の例を説明するための図であり、視差補正前の状態を模式的に示す。
図5Bは、視差補正部164aによる視差補正の処理の例を説明するための図であり、視差補正後の状態を模式的に示す。
図6は、画像処理部164bによる典型的な処理の概略を示す図である。
図7は、被写体200の表面と、光出射部122から発せられた光の虚像との間の位置関係を模式的に示す図である。
図8は、被写体200の表面からの虚像Vまでの距離と、撮像素子142の撮像面における結像位置のずれの大きさとの間の関係を説明するための図である。
図9は、複数の視点に対応して配置された複数の撮像素子を有する画像形成装置の例を示す図である。
図10は、複数の光出射部122hおよび複数の光出射部122vの配置の他の例を示す図である。
図11Aは、時刻tにおける照明装置120Cの動作状態と、時刻tにおいて取得される偏光画像11pおよび21cとをあわせて示す図である。
図11Bは、時刻(t+1)における照明装置120Cの動作状態と、時刻(t+1)において取得される偏光画像31cおよび41pとをあわせて示す図である。
図12は、複数の光出射部122hおよび複数の光出射部122vの配置のさらに他の例を示す図である。
図13Aは、時刻tにおける照明装置120Dの動作状態と、時刻tにおいて取得される偏光画像12pおよび22cとをあわせて示す図である。
図13Bは、時刻(t+1)における照明装置120Dの動作状態と、時刻(t+1)において取得される偏光画像32cおよび42pとをあわせて示す図である。
図14は、複数の光出射部122hおよび複数の光出射部122vの配置のさらに他の例を示す図である。
図15Aは、時刻tにおける照明装置120Eの動作状態と、時刻tにおいて取得される偏光画像13pおよび23cとをあわせて示す図である。
図15Bは、時刻(t+1)における照明装置120Eの動作状態と、時刻(t+1)において取得される偏光画像33cおよび43pとをあわせて示す図である。
図16は、照明装置120Aとともに用いられる撮像装置の他の構成例を示す図である。
図17は、本開示の第2の実施形態による画像形成装置の例示的な構成を示す図である。
図18は、撮像装置140Gの4つの開口と、各開口に配置される検光子の透過軸の方向との関係を示す図である。
図19は、本開示の第2の実施形態による画像形成装置の変形例を示す図である。
図20は、図19に示す撮像装置140Hの拡大図である。

実施例

0012

本開示の一態様の概要は以下のとおりである。

0013

項目1]
第1方向に偏光した状態にある第1照明光で被写体を照明する複数の第1光出射部と、
第1方向と交差する第2方向に偏光した状態にある第2照明光で被写体を照明する複数の第2光出射部と、
第1方向に偏光した状態にある第1反射光を受ける第1領域および第2方向に偏光した状態にある第2反射光を受ける第2領域を含む撮像面を有する撮像装置と、
第1照明光で被写体が照明されているときに撮像装置によって得られる、第1反射光に関する第1偏光画像および第2反射光に関する第2偏光画像、ならびに、第2照明光で被写体が照明されているときに撮像装置によって得られる、第1反射光に関する第3偏光画像および第2反射光に関する第4偏光画像に基づいて被写体の画像を形成する画像形成回路と
を備え、
複数の第1光出射部のそれぞれの位置を結んだ図形の重心および複数の第2光出射部のそれぞれの位置を結んだ図形の重心は、一致しており、
画像形成回路は、第1照明光の被写体での鏡面反射に起因して第1偏光画像に現れる複数の第1輝点の像および第2照明光の被写体での鏡面反射に起因して第4偏光画像に現れる複数の第2輝点の像に基づいて平行移動された第1偏光画像、第2偏光画像、第3偏光画像および第4偏光画像から被写体の画像を形成し、
画像形成回路は、平行移動がなされた第1偏光画像および第4偏光画像を平均化した第1平均化画像と、平行移動がなされた第2偏光画像および第3偏光画像を平均化した第2平均化画像との間の差分を求めることによって被写体の画像を形成する、
画像形成装置。

0014

[項目2]
複数の第1光出射部および複数の第2光出射部は、円状に配置されており、
複数の第1光出射部のそれぞれの位置を通る円の中心と、複数の第2光出射部のそれぞれの位置を通る円の中心とは、一致している、項目1に記載の画像形成装置。

0015

[項目3]
被写体側から見たとき、複数の第1光出射部および複数の第2光出射部は、撮像装置を取り囲んでいる、項目1または2に記載の画像形成装置。

0016

[項目4]
照明制御回路をさらに備え、
複数の第1光出射部のぞれぞれは、第1光源を含み、
複数の第2光出射部のぞれぞれは、第2光源を含み、
照明制御回路は、第1光源と第2光源とを異なるタイミングで点灯させる、項目1から3のいずれかに記載の画像形成装置。

0017

[項目5]
画像形成回路は、
第1偏光画像中の複数の第1輝点の像の重心が第1偏光画像の中央に位置するように第1偏光画像を平行移動させ、かつ、第1偏光画像に対する平行移動と同じ移動方向および移動量で第3偏光画像を平行移動させ、
第4偏光画像中の複数の第2輝点の像の重心が第4偏光画像の中央に位置するように第4偏光画像を平行移動させ、かつ、第4偏光画像に対する平行移動と同じ移動方向および移動量で第2偏光画像を平行移動させる、項目1から4のいずれかに記載の画像形成装置。

0018

[項目6]
第1領域を含む1以上の第1撮像素子および第2領域を含む1以上の第2撮像素子を有する、項目1から5のいずれかに記載の画像形成装置。

0019

以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。

0020

(第1の実施形態)
図1は、本開示の第1の実施形態による画像形成装置の例示的な構成を示す。図1に示す画像形成装置100Aは、概略的には、複数の光出射部122を含む照明装置120Aと、撮像装置140Aと、制御回路160とを有する。照明装置120Aは、被写体200を直線偏光で照明し、撮像装置140Aは、直線偏光で照明された被写体200を撮像する。

0021

複数の光出射部122のそれぞれは、光源124と、光源124の前面に配置された偏光子126とを含む。光源124としては、例えば、白色発光ダイオードまたは赤外線発光ダイオードなどの公知の発光素子を用いることができ、偏光子126としては、市販の偏光シートまたは金属ワイヤグリッド偏光子などを用いることができる。

0022

複数の光出射部122は、透過軸の方向が互いに異なる少なくとも2種の偏光子を含む。したがって、各光出射部122からは、偏光子126の透過軸の方向に応じた直線偏光PL出射される。後述するように、照明装置120Aは、制御回路160の制御に基づき、複数の光源124のうち、前面に配置された偏光子126の透過軸の方向が共通する光源124を選択的に点灯させることにより、偏光面の異なる光で順次に被写体200を照明することができる。

0023

ここで、被写体200は、典型的には、透明または半透明かつ滑らかな表面を有する物体であり、被写体200として、人または動物眼球錠剤の透明パッケージなどを例示することができる。複数の位置から直線偏光PLが照射されると、図1において模式的に示すように、被写体200には、鏡面反射に起因する複数の輝点BPが生じる。これらの輝点BPの位置は、撮像時に点灯されていた光源124の位置を反映する。

0024

撮像装置140Aは、撮像素子142と、撮像素子142の撮像面上に被写体200の像を結像させる光学系とを含む。撮像素子142としては、CCDイメージセンサ、CMOS(Complementary MOS)イメージセンサ、および、半導体基板の上方に有機または無機光電変換層が積層された、いわゆる積層型のイメージセンサなどを用いることができる。すなわち、撮像素子142は複数の画素を含む。図1に例示する構成において、撮像装置140Aは、撮像装置140Aの筐体に設けられた2つの開口APhおよびAPvに対応して配置された検光子146hと146vとを有する。検光子146hおよび146vは、互いに異なる方向の透過軸を有し、偏光面が互いに異なる直線偏光を選択的に透過させる。検光子146hおよび146vには、光出射部122の偏光子126と同様に、市販の偏光シートまたは金属ワイヤグリッド偏光子などを用いることができる。

0025

この例では、検光子146hおよび撮像素子142の間に対物レンズ148hが配置され、検光子146vおよび撮像素子142の間に対物レンズ148vが配置されている。被写体200からの反射光のうち、検光子146hを通過した光は、対物レンズ148hを通過して撮像素子142の撮像面上に結像する。同様に、被写体200からの反射光のうち、検光子146vを通過した光は、対物レンズ148vを通過して撮像素子142の撮像面上に結像する。ただし、被写体200上の同一の点から発せられ、検光子146hを通過した光と、検光子146vを通過した光とは、撮像面において互いに異なる位置に結像する。換言すれば、撮像素子142の撮像面は、検光子146hを通過した光が入射する領域Raと、検光子146vを通過した光が入射する領域Rbとを含む。領域Raに入射する光の信号および領域Rbに入射する光の信号を個別に撮像素子142から取得することにより、対物レンズ148hの位置を視点とする画像と、対物レンズ148vの位置を視点とする画像とを構築することができる。

0026

ここでは、検光子146hおよび146vの透過軸の方向が互いに異なっている。したがって、領域Raおよび領域Rbは、それぞれ、被写体200からの戻り光のうち、ある方向(例えば水平方向)に偏光した状態にある光および他のある方向(例えば垂直方向)に偏光した状態にある光を受ける領域であるといえる。つまり、領域Raに入射する光の信号は、被写体200からの戻り光のうち、ある方向(例えば水平方向)に偏光した状態にある光に基づく画像を表現し、領域Rbに入射する光の信号は、被写体200からの戻り光のうち、他のある方向(例えば垂直方向)に偏光した状態にある光に基づく画像を表現する。このように、撮像装置140Aによれば、ある偏光状態の光に基づく画像の信号と、他のある偏光状態の光に基づく画像の信号とを一括して取得することが可能である。ただし、これらの画像の信号は、開口APhおよびAPvの位置に応じた視点による画像の信号であり、したがって、これらの画像の間には視差が存在している。以下、ある特定の偏光状態の光に関する画像を便宜的に「偏光画像」と呼ぶことがある。

0027

後述するように、本開示の典型的な実施形態では、照明装置120Aに含まれる複数の光源124のうち、偏光子126の透過軸の方向が共通する複数の光源124を順次に選択的に点灯させて撮像を実行する。そのため、被写体200を照明する光の偏光状態に応じた、互いに視点の異なる偏光画像の複数の対を取得することができる。本開示の典型的な実施形態では、照明光の偏光状態を変えて取得される複数の偏光画像に基づいて被写体の画像を形成する。上述したように、偏光画像は、複数の光源124のうち、偏光子126の透過軸の方向が共通する光源124を選択的に点灯させた状態での撮像によって取得される。このとき、図1において模式的に示されるように、被写体200に、撮像時に点灯されていた光源124からの光の像が輝点BPの形で現れる。そのため、取得される偏光画像中に被写体200上の輝点BPの像が現れる。輝点BPの像が現れる複数の画素位置の複数の画素値のそれぞれは、輝点BPの像が現れない複数の画素位置の複数の画素値のそれぞれより大きい。輝点BPの像の位置は、撮像時に点灯されていた光源124の位置を反映する。後に詳しく説明するように、本開示の典型的な実施形態では、取得される画像中の輝点BPの像の位置を利用して視差の補正を実行する。

0028

図1に例示する構成において、制御回路160は、照明装置120Aの動作を制御する照明制御回路162と、撮像装置140Aからの信号に基づいて被写体200の画像を形成する画像形成回路164とを含む。この例では、画像形成回路164は、視差補正部164aおよび画像処理部164bを含む。視差補正部164aは、互いに視点の異なる偏光画像間の視差をキャンセルする補正を実行する。画像処理部164bは、複数の偏光画像に基づき、被写体200の画像を形成する。後述するように、ここで説明する例では、画像処理部164bは、視差補正部164aの出力に基づき、被写体200の画像データを生成する。制御回路160の動作の典型例は、後に詳しく説明する。

0029

制御回路160は、例えばCPU(Central Processing Unit)を有するマイクロコントローラなどであり得る。照明制御回路162、ならびに、画像形成回路164の視差補正部164aおよび画像処理部164bは、単一のマイクロコントローラの一部であってもよいし、それぞれが独立した処理回路であってもよい。例えば、視差補正部164aおよび/または画像処理部164bが、DSP(digital signal processor)、ASIC(application specific integrated circuit)またはFPGA(field-programmable gate array)などによって実現されてもよい。

0030

図2は、被写体200側から見た、複数の光出射部122、および、撮像装置140Aにおける2つの開口APhおよびAPvの配置の典型例を示す。図2に示す例において、照明装置120Aは、光出射部122hの対と、光出射部122vの対とを有する。典型的には、照明装置120A中の光出射部122hおよび光出射部122vは、同一の平面内に配置される。図2は、光出射部122hおよび122vが配置された平面の法線方向に沿って被写体200側から見たときの、2つの光出射部122hおよび2つの光出射部122cの典型的な配置を示している。

0031

ここでは、撮像装置140Aの開口APhおよびAPvも、2つの光出射部122hおよび2つの122vが配置された平面内に位置している。図2に例示する構成において、2つの光出射部122hおよび2つの光出射部122vは、光出射部122hおよび122vが配置された平面の法線方向に沿って被写体200側から見たとき、撮像装置140Aにおける2つの開口APhおよびAPvを取り囲むようにして、それぞれ、紙面の上下方向および左右方向に沿って配置されている。

0032

図2は、2つの光出射部122hの中間点と、2つの光出射部122vの中間点とが一致している構成を例示している。換言すれば、2つの光出射部122hのそれぞれの位置を結ぶ図形(ここでは線分)の重心と、2つの光出射部122vのそれぞれの位置を結ぶ図形(ここでは線分)の重心とは、一致している。図2に例示する構成において、光出射部122hおよび光出射部122vは、リング状の配置を有しているということができる。特に、この例では、被写体200側から見たとき、光出射部122hおよび光出射部122vが、図2において破線で示された仮想的な円Cの円周上において90°ずつ回転した位置に交互に配置されており、かつ、これらが撮像装置140Aを取り囲んでいる。複数の光出射部122をリング状に配置することにより、被写体200を均一に照明し得る。

0033

なお、複数の光出射部122hに含まれ、複数の光出射部122hの外部に光を出射する複数の第1出射面が複数の第1円の場合、複数の第1円の複数の第1中心が複数の第1出射面の複数の第1中心になる。なお、複数の第1出射面、複数の第1円、複数の第1中心のそれぞれは1対1に対応する。

0034

例えば、図2の例では、複数の光出射部122hは、図2に向かって上側に位置する光出射部が有する上側の出射面と、図2に向かって下側に位置する光出射部が有する下側の出射面である。複数の第1中心は、上側の出射面たる上側の円形面の中心と下側の出射面たる下側の円形面の中心である。

0035

また、複数の光出射部122vに含まれ、複数の光出射部122vの外部に光を出射する複数の第2出射面が複数の第2円の場合、複数の第2円の複数の第2中心が複数の第2出射面の複数の第2中心になる。なお、複数の第2出射面、複数の第2円、複数の第2中心のそれぞれは1対1に対応する。

0036

例えば、図2の例では、複数の光出射部122vは、図2に向かって左側に位置する光出射部が有する左側の出射面と、図2に向かって右側に位置する光出射部が有する右側の出射面である。複数の第2中心は、左側の出射面たる左側の円形面の中心と右側の出射面たる右側の円形面の中心である。複数の第1中心の幾何学的重心の位置と、複数の第2中心の幾何学的重心の位置は同じであってもよい。

0037

例えば、図2の例において、複数の第1中心の幾何学的重心である上側の円形面の中心と下側の出射面たる下側の円形面の中心の幾何学的重心位置と、複数の第2中心の幾何学的重心である左側の円形面の中心と右側の出射面たる右側の円形面の中心の幾何学的重心位置が同じあってもよい。

0038

なお、複数の光出射部122が撮像装置140Aを取り囲むことは必須ではなく、後述する視差補正の原理から明らかなように、例えば、光出射部122が光出射部122hの対と光出射部122vの対とを有する場合であれば、少なくとも2つの光出射部122hの中間点と、2つの光出射部122vの中間点とが一致していればよい。つまり、これらによって規定される円Cの外側に撮像装置140Aが位置していてもよい。ただし、小型化の観点からは、複数の光出射部122が撮像装置140Aを取り囲むような配置を有していると有利である。また、複数の光出射部122が撮像装置140Aを取り囲むような配置を有すると、同軸照明に近い照明を実現し得る。

0039

図2中、光出射部122hおよび122vの位置に描かれた円の内側の太い両矢印は、偏光子126(図1参照)の透過軸の方向を模式的に示している。図2に示すように、この例では、光出射部122hの偏光子126の透過軸の方向は、紙面の左右方向(例えば水平方向)に平行である。他方、光出射部122vの偏光子126の透過軸の方向としては、光出射部122hの偏光子126の透過軸の方向に交差する方向が選ばれる。ここでは、光出射部122vの偏光子126の透過軸の方向は、紙面の上下方向に平行であり、光出射部122hの偏光子126の透過軸の方向と直交している。以下では、光出射部122hの偏光子126の透過軸の方向と、光出射部122vの偏光子126の透過軸の方向とが互いに直交している構成を例にとって説明する。光出射部122hと光出射部122vとの間で偏光子126の透過軸の方向が直交することは必須ではないが、これらが直交していると、光の利用効率の面で有利である。なお、本開示の他の図面においても、図2と同様に、円の内側に描かれた太い両矢印によって偏光子126の透過軸の方向を示すことがある。

0040

図2に例示する構成において、開口APhおよびAPv(視点といってもよい。)は、光出射部122hおよび光出射部122vによって規定される円Cの概ね中央に位置し、紙面の左右方向に沿って互いに近接して配置されている。開口APhおよびAPvの中心間の距離は、例えば、1.0mm以上10mm以下程度であり得る。図2中、角丸矩形の内側に描かれた太い両矢印は、開口APhおよびAPvに配置された検光子146hおよび146v(図1参照)の透過軸の方向を模式的に示している。以下、本開示の他の図面においても、角丸の矩形の内側に描かれた太い両矢印によって検光子の透過軸の方向を示すことがある。なお、複数の光出射部122hに含まれ、複数の光出射部122hの外部に光を出射する複数の第1面と、複数の光出射部122vに含まれ、複数の光出射部122vの外部に光を出射する複数の第2面は同一の第1平面に配置されてもよい。また、検光子146hに含まれ、検光子146hの外部から光を受光する第3面と、検光子146vに含まれ、検光子146vの外部から光を受光する第4面は同一の第2平面に配置されてもよい。さらに、第1平面と第2平面は同じでもよい。

0041

図示するように、検光子146hの透過軸の方向および検光子146vの透過軸の方向は、それぞれ、紙面の左右方向および紙面の上下方向に平行である。つまり、検光子146hの透過軸の方向として、光出射部122hにおける偏光子126の透過軸の方向に平行な方向が選択され、検光子146vの透過軸の方向として、光出射部122vにおける偏光子126の透過軸の方向に平行な方向が選択されている。このような透過軸の方向の選択により、検光子146hを通過した光に基づいて、被写体200からの戻り光のうち、光出射部122hから照射される直線偏光と偏光面が共通する光に関する偏光画像を得ることができる。また、検光子146vを通過した光に基づいて、被写体200からの戻り光のうち、光出射部122vから照射される直線偏光と偏光面が共通する光に関する偏光画像を得ることができる。なお、検光子146hの透過軸の方向と、光出射部122hにおける偏光子126の透過軸の方向とが厳密に平行である必要はなく、これらの間で数°程度のずれは許容される。検光子146vの透過軸の方向と、光出射部122vにおける偏光子126の透過軸の方向に関しても同様である。

0042

(画像形成装置の動作)
以下、図面を参照しながら、画像形成装置100Aの動作の例を説明する。以下では、被写体200として人の眼球の画像を形成する例を説明する。

0043

図3は、照明制御回路162および画像形成回路164による典型的な処理の概略を示す図である。被写体200の観察においては、まず、ある第1の方向に偏光した状態にある第1の直線偏光で被写体200を照明する(ステップS1)。例えばある時刻tにおいて、照明制御回路162(図1参照)は、照明装置120A中の複数の光源124のうち、偏光子126の透過軸の方向が共通する一部の光源124を点灯させ、他の残りの光源124を消灯させる。照明制御回路162は、例えば、光出射部122h(図2参照)中の光源124を選択的に点灯させる。この場合、紙面の左右方向に偏光した状態にある照明光が2つの光出射部122hから被写体200に向けて照射される。

0044

次に、第1の直線偏光の照射のもとで、視点が互いに異なる2つの偏光画像を取得する(ステップS2)。図4Aは、時刻tにおける照明装置120Aの動作状態と、時刻tにおいて取得される偏光画像10pおよび20cとをあわせて示す。図4Aの右側には、光出射部122hからの照明光で被写体200が照射されているときに撮像装置140Aによって取得される2つの偏光画像10pおよび20cの例が示されている。被写体200からの反射光は、光出射部122hから照射される直線偏光と偏光面が共通する成分と、光出射部122vから照射される直線偏光と偏光面が共通する成分とを含む。偏光画像10pは、被写体200において反射された光のうち、検光子146hを通過し、撮像素子142の撮像面の領域Raに入射した光に基づく画像である。換言すれば、被写体200からの戻り光のうち、光出射部122hから照射される直線偏光と偏光面が共通する光に関する画像である。ここでは、光出射部122hの偏光子126と検光子146hとの間で透過軸の方向が一致しているので、偏光画像10pを第1の平行ニコル画像と呼んでもよい。

0045

なお、光出射部122hである複数の第1光出射器が第1方向に偏光した第1光を、第1期間に被写体に照明し、被写体が第1光を反射し、第1反射光および第2反射光を出力する場合、検光子146hである「第1方向に偏光した光を選択的に透過する第1偏光フィルタ」が、第1反射光を受け取り、第1方向に偏光した第1偏光光を出力してもよい。

0046

なお、撮像素子142は撮像素子142が含む複数の第1画素が撮像面の領域Raに入射する第1偏光光を検出し、撮像素子142は複数の第1画素における複数の第1画素値を含む第1画像、すなわち、偏光画像10pたる第1の平行ニコル画像を出力してもよい。

0047

鏡面反射では偏光状態はほとんど変化せず、光出射部122hから照射された直線偏光は、偏光面が照明光と共通の直線偏光として反射される。そのため、図4Aにおいて模式的に示すように、偏光画像10pには、光出射部122hから照射された直線偏光の被写体200での鏡面反射に起因する輝点BPの像Bhが現れる。上述したように、被写体200上の輝点BPの位置は、撮像時に点灯されていた光源124の位置を反映する。ここでは、偏光画像10p中の上下方向に沿った2箇所に輝点BPの像Bhが現れている。図4A中の太い十字は、輝点BPの像Bhの位置によって規定される図形(ここでは線分)の重心Maの位置を示している。ここでは、重心Maは、輝点BPの像Bhの中心間を結ぶ線分の中点である。

0048

重心Maは、例えば、以下の手順の画像処理にて求めてもよい。
1)輝点BPの像Bhは非常に明るいため通常、輝度飽和している(例えば8bit画像では画素値=255)ため上記領域を画像から2値化処理で抽出できる。
2)抽出領域ラベリングノイズ除去して2個の領域だけを抽出する。
3)上記2個の領域毎に重心座標を求め、最後に2つの重心座標を計算してMaを求める。

0049

なお、N個の頂点を有するN角形の場合、N個の頂点の座標のそれぞれを(xi、yi)、iは1以上でN以下の自然数、N角形の重心座標を(xg、yg)とすると、xg=(Σxi)/N、yg=(Σyi)/Nとして求めてもよい。撮像素子142は複数の第1画素における複数の第1画素値を含む第1画像、すなわち、偏光画像10pたる第1の平行ニコル画像を出力してもよい。複数の第1画素は複数の第2画素と複数の第3画素を含んでもよい。複数の第1画素における複数の第1画素値は、複数の第2画素における複数の第2画素値と、複数の第3画素における複数の第3画素値を含んでもよい。複数の第2画素における複数の第2画素値のそれぞれが、複数の第3画素における複数の第3画素値のそれぞれより大きい場合、第1画像に含まれる輝点BPは、複数の第2画素に表れているとしてもよい。

0050

撮像装置は複数の第2画素と複数の第3画素を含む複数の第1画素を含む第1領域を含んでもよい。第1領域をx-y直交座標系で表現した場合、画像形成回路164は複数の第2画素の複数の座標の幾何学的重心である重心Maを示す第1座標値(Xa,Ya)を算出してもよい。

0051

他方、偏光画像20cは、被写体200において反射された光のうち、検光子146vを通過し、撮像素子142の撮像面の領域Rbに入射した光に基づく画像である。換言すれば、被写体200からの戻り光のうち、光出射部122vから照射される直線偏光と偏光面が共通する光に関する画像である。人の眼球は、透明かつ滑らかな表面の角膜を有し、光出射部122hからの照明光は、眼球の表面およびその近傍で反射され、偏光状態にはほとんど変化は生じない。図2を参照すればわかるように、ここでは、光出射部122hにおける偏光子126の透過軸の方向と、検光子146vの透過軸の方向とが互いに直交している。そのため、偏光画像20cには、輝点BPの像Bhは現れない。偏光画像20cは、コントラスト比の低い暗い画像である。偏光画像20cを第1の直交ニコル画像と呼んでもよい。

0052

なお、光出射部122hである複数の第1光出射器が第1方向に偏光した第1光を、第1期間に被写体に照明し、被写体が前記第1光を反射し、第1反射光および第2反射光を出力する場合、検光子146vである「第2方向に偏光した光を選択的に透過する第2偏光フィルタ」が、第2反射光を受け取り、第2方向に偏光した第2偏光光を出力してもよい。

0053

次に、時刻tよりも後の時刻(t+1)において、第1の方向と交差する第2の方向に偏光した状態にある第2の直線偏光で被写体200を照明する(図3のステップS3)。例えば、照明制御回路162は、光出射部122h中の光源124を消灯させ、光出射部122v中の光源124を点灯させる。このとき、紙面の上下方向に偏光した状態にある照明光が2つの光出射部122vから被写体200に向けて照射される。このように、照明制御回路162は、前面に配置された偏光子126の透過軸の方向が共通する光源124の間で点灯タイミングを一致させ、かつ、偏光子126の透過軸の方向が異なる光源124が互いに異なるタイミングで点灯するように照明装置120Aを駆動する。このような構成によれば、電場ベクトル振動方向が第1の方向(例えば水平方向)である直線偏光と、電場ベクトルの振動方向が第1の方向に交差する第2の方向(例えば垂直方向)である直線偏光とで被写体200を順次に照明することができる。

0054

次に、第2の直線偏光の照射のもとで、視点が互いに異なる2つの偏光画像を取得する(図3のステップS4)。図4Bは、時刻(t+1)における照明装置120Aの動作状態と、時刻(t+1)において取得される偏光画像30cおよび40pとをあわせて示す。光出射部122v中の光源124が選択的に点灯された状態においては、被写体200は、紙面の上下方向に偏光した状態にある照明光で照明される。図4Bの右側には、光出射部122vからの照明光で被写体200が照明されているときに撮像装置140Aによって取得される2つの偏光画像30cおよび40pの例が示されている。偏光画像30cは、被写体200において反射された光のうち、検光子146hを通過し、撮像素子142の撮像面の領域Raに入射した光に基づく画像である。換言すれば、被写体200からの戻り光のうち、光出射部122hから照射される直線偏光と偏光面が共通する光に関する画像である。偏光画像20c(第1の直交ニコル画像)と同様に、偏光画像30cは、コントラスト比の低い暗い画像であり、偏光画像30cには、輝点BPの像は現れていない。偏光画像30cを第2の直交ニコル画像と呼んでもよい。

0055

なお、光出射部122vである複数の第2光出射器が第2方向に偏光した第2光を、「複数の第1光出射器が第1光を被写体に照明する第1期間」と異なる第2期間に、被写体に照明し、被写体が第2光を反射し、第3反射光および第4反射光を出力する場合、検光子146hである「第1方向に偏光した光を選択的に透過する第1偏光フィルタ」が、第3反射光を受け取り、第1方向に偏光した第3偏光光を出力してもよい。

0056

なお、撮像素子142は撮像素子142が含む複数の第1画素が撮像面の領域Raに入射する第3偏光光を検出し、撮像素子142は複数の第1画素における複数の第5画素値を含む第3画像、すなわち、偏光画像30cたる第2の直交ニコル画像を出力してもよい。

0057

他方、偏光画像40pは、被写体200において反射された光のうち、検光子146vを通過し、撮像素子142の撮像面の領域Rbに入射した光に基づく画像である。つまり、被写体200からの戻り光のうち、光出射部122vから照射される直線偏光と偏光面が共通する光に関する画像である。光出射部122vにおける偏光子126の透過軸の方向と、検光子146vの透過軸の方向とは、互いに平行である。偏光画像40pを第2の平行ニコル画像と呼んでもよい。

0058

なお、光出射部122vである複数の第2光出射器が第2方向に偏光した第2光を、「複数の第1光出射器が第1光を被写体に照明する第1期間」と異なる第2期間に、被写体に照明し、被写体が第2光を反射し、第3反射光および第4反射光を出力する場合、検光子146vである「第2方向に偏光した光を選択的に透過する第2偏光フィルタ」が、第4反射光を受け取り、第2方向に偏光した第4偏光光を出力してもよい。

0059

なお、撮像素子142は撮像素子142が含む複数の第2画素が撮像面の領域Rbに入射する第4偏光光を検出し、撮像素子142は複数の第4画素における複数の第6画素値を含む第4画像、すなわち、偏光画像40pたる第2の平行ニコル画像を出力してもよい。

0060

図4Bの右側において模式的に示すように、偏光画像40pには、光出射部122vから照射された直線偏光の被写体200での鏡面反射に起因する輝点BPの像Bvが現れる。輝点BPの像Bvは、光出射部122vの配置に対応して、偏光画像40pにおいて偏光画像40pの左右方向に沿った2箇所に現れる。図4B中の太い十字は、輝点BPの像Bvの位置によって規定される図形(ここでは線分)の重心Mbの位置を示しており、ここでは、重心Mbは、輝点BPの像Bvの中心間を結ぶ線分の中点である。

0061

撮像素子142は複数の第4画素における複数の第6画素値を含む第4画像、すなわち、偏光画像40pたる第2の平行ニコル画像を出力してもよい。複数の第4画素は複数の第5画素と複数の第6画素を含んでもよい。複数の第4画素における複数の第6画素値は、複数の第5画素における複数の第7画素値と、複数の第6画素における複数の第8画素値を含んでもよい。複数の第5画素における複数の第7画素値のそれぞれが、複数の第6画素における複数の第8画素値のそれぞれより大きい場合、第4画像に含まれる輝点BPは、複数の第7画素に表れているとしてもよい。

0062

撮像装置は複数の第5画素と複数の第6画素を含む複数の第4画素を含む第2領域を含んでもよい。第2領域をx-y直交座標系で表現した場合、画像形成回路164は複数の第5画素の複数の座標の幾何学的重心である重心Mbを示す第2座標値(Xb,Yb)を算出してもよい。

0063

図4Aに示す偏光画像10pおよび図4Bに示す偏光画像30cは、同一の視点から取得された画像であるので、時刻tと時刻(t+1)との間において被写体200と画像形成装置100Aとの間の配置に変化がなければ、偏光画像10pと偏光画像30cとの間には視差は生じない。同様に、図4Aに示す偏光画像20cと、図4Bに示す偏光画像40pとの間にも視差は生じない。しかしながら、図4Aに示す偏光画像10pと20cとの間には視差が存在し、図4Bに示す偏光画像30cと40pとの間にも視差が存在する。そのため、偏光画像10p中の重心Maの座標を(Xa,Ya)、偏光画像40p中の重心Mbの座標を(Xb,Yb)とすれば、これらのX座標は、一致しない。以下に説明するように、視差補正部164a(図1参照)は、このような視点の違いの影響をキャンセルする補正を実行する。

0064

視差補正の処理において、視差補正部164aは、まず、偏光画像10p(第1の平行ニコル画像)中の像Bhの重心Maの位置と、偏光画像40p(第2の平行ニコル画像)中の像Bvの重心Mbの位置とを算出する(図3のステップS5)。なお、像Bhの座標および像Bvの座標としては、例えば、予め設定しておいた閾値より高い画素値を有する複数の画素の中央に位置する画素の座標を採用することができる。通常、像Bh、Bvは非常な高輝度のため画素値が飽和しており、偏光画像10p、40pそれぞれの画像内において他に同様の高輝度画素領域は存在しないため、各々の画像内にて像を一意的に区別し決定できるため、それらの画素の中央(幾何学的重心)座標を求めることは容易である。

0065

次に、視差補正部164aは、算出された重心の座標が適当な目標の座標に一致するように、各偏光画像を平行移動させる(ステップS6)。ここで、平行移動で済む理由は、本開示において、開口APhおよびAPv(視点)は左右方向に沿って平行に配置されているため視差が水平方向(左右)にずれるだけのためである。図5Aおよび図5Bは、視差補正部164aによる視差補正の処理の例を説明するための図である。図5Aは、視差補正前の状態を模式的に示している。図5Aにおいて模式的に示されるように、偏光画像10pの取得時の視点と偏光画像40pの取得時の視点とが例えば水平方向において異なる場合、重心MaのX座標および重心MbのX座標は、一致しない。すなわち、ここではXa≠Xbである。

0066

視差補正部164aは、重心Maの座標が適当な目標の座標に一致するように、偏光画像10pを平行移動させる。例えば、視差補正部164aは、図5A中において太い矢印A1で模式的に示すように、画像領域の中央に重心Maが位置するように偏光画像10pを平行移動させる。例えば、偏光画像10pの中心を通過する垂線上に、重心Maが位置するよう偏光画像10pを平行移動させてもよい。また、視差補正部164aは、太い矢印A4で模式的に示すように、画像領域の中央に重心Mbが位置するように偏光画像40pを平行移動させる。例えば、偏光画像40pの中心を通過する垂線上に、重心Mbが位置するよう偏光画像40pを平行移動させてもよい。このような平行移動により、偏光画像10pと偏光画像40pとの間の視差がキャンセルされる。

0067

視差補正部164aは、さらに、図5A中において太い矢印A3で模式的に示すように、偏光画像30cを偏光画像10pと同様に平行移動させる。すなわち、このときの移動量および移動の方向は、偏光画像10pにおける移動量および移動の方向に一致される。このような平行移動によれば、偏光画像30cと偏光画像40pとの間の視差を撮像後においてキャンセルすることができる。また、視差補正部164aは、図5A中において太い矢印A2で模式的に示すように、偏光画像20cを偏光画像40pと同様に平行移動させる。つまり、偏光画像20cは、その移動量および移動の方向が偏光画像40pの平行移動における移動量および移動の方向と同じになるように平行移動される。このような平行移動により、偏光画像20cと偏光画像10pとの間の視差を撮像後においてキャンセルすることができる。結果として、被写体200に照射される2種の直線偏光および2つの視点に応じて取得される4つの偏光画像の間における視差をキャンセルして、同一の視点から4つの偏光画像(2つの平行ニコル画像および2つの直交ニコル画像)を撮像した場合と同様の画像が得られる。

0068

図5Bは、視差補正後の状態を模式的に示す。図5Bに示す偏光画像10ptおよび30ctは、偏光画像10pに現れた複数の輝点の像Bhの位置に基づく平行移動の結果として得られる画像である。偏光画像20ctおよび40ptは、偏光画像40pに現れた複数の輝点の像Bvの位置に基づく平行移動の結果として得られる画像である。図5B中、これらの画像の図の上の星印Ctrは、平行移動前の画像領域の中央を示している。なお、平行移動の結果、これらの偏光画像の端部には、被写体200の画像のデータが存在しないブランク領域BKが生じている。被写体200に関する最終的な画像の形成においては、ブランク領域BKにある画素の画素値は、利用せずに破棄すればよい。

0069

このように、本開示の典型的な実施形態では、被写体200上に積極的に輝点BPを発生させて、平行ニコル画像中に現れる、輝点BPの像の位置を利用して複数の偏光画像間の視差の影響をキャンセルする。偏光画像の取得後に視差の影響をキャンセルできるので、単一の視点から平行ニコル画像および直交ニコル画像を取得した場合と同等の結果が得られる。なお、被写体200に照射する直線偏光の切り替えおよび各直線偏光での照射時の撮像を高速に行えば、異なる偏光状態にある照明光の照射のもとで取得される複数の偏光画像間の同時性担保し得る。つまり、単一の視点から、偏光状態が異なる照明光のもとで2つの平行ニコル画像および2つの直交ニコル画像を同時に取得した場合と同等の結果を得ることが可能である。

0070

画像処理部164b(図1参照)は、平行移動後の偏光画像10pt、20ct、30ctおよび40ptに基づき、被写体200の画像データを生成する。以下、画像処理部164bによる処理の例を説明する。

0071

図6は、画像処理部164bによる典型的な処理の概略を示す図である。視差補正部164aから、平行移動後の偏光画像10pt、20ct、30ctおよび40ptに関する画像データを受け取った画像処理部164bは、まず、視差補正が施された2つの平行ニコル画像から平均化平行ニコル画像を生成し、視差補正が施された2つの直交ニコル画像から平均化直交ニコル画像を生成する(図3のステップS7)。図6において模式的に示されるように、画像処理部164bは、視差補正が施された偏光画像10ptおよび偏光画像40ptから、平均化平行ニコル画像50taを生成する。平均化平行ニコル画像50taの各画素の画素値は、偏光画像10ptおよび偏光画像40ptの対応する画素同士の画素値の算術平均として算出される。また、画像処理部164bは、偏光画像20ctおよび偏光画像30ctの対応する画素同士の画素値の算術平均を各画素の画素値とする平均化直交ニコル画像60taを生成する。

0072

次に、画像処理部164bは、平均化平行ニコル画像50taおよび平均化直交ニコル画像60taの差分を算出し、偏光差分画像70を生成する(図3のステップS8)。この差分処理により、被写体200の画像が、偏光差分画像70として得られる。偏光差分画像70は、例えば角膜上の異物、傷などの検出に有利に用いることができる。なお、典型的には、偏光差分画像70には、輝点BPの像が残るものの、輝点BPの像の存在が角膜の観察の大きな妨げになることはほとんどない。図4A図4Bおよび図6では、説明の便宜のために輝点BPの像が誇張して大きく描かれているに過ぎない。

0073

ここで、紙面の左右方向を0°とし、偏光面の角度がαの照明光の照射のもとで、紙面の左右方向に対する透過軸の角度がβである検光子を通過した光に基づく画像をLαCβと表記すれば、偏光差分画像70を、{L0C0+L90C90}/2−{L0C90+L90C0}/2のように表現でき、この式を変形すれば、{L0C0−L0C90}/2+{L90C90−L90C0}/2が得られる。したがって、一見すると、上述の手順によらずに、第1の直線偏光の照射のもとで得られる平行ニコル画像および直交ニコル画像の差分と、第2の直線偏光の照射のもとで得られる平行ニコル画像および直交ニコル画像の差分とをまず算出してから、これらの差分を平均化しても、偏光差分画像70と同様の結果が得られるようにみえる。しかしながら、このような処理の順序を採用した場合、平行ニコル画像と直交ニコル画像との間で取得時の視点が異なることに起因する光路の違いなどの影響が最終的な画像に残存してしまう。これに対し、図6に模式的に示されるように、まず平均化平行ニコル画像および平均化直交ニコル画像を算出する処理によれば、撮像時の偏光および視点の異なる2つの画像が平均化された結果を用いて差分処理が実行されるので、撮像時の偏光および視点の不一致に起因する画質差異を低減することができる。

0074

撮像素子142は撮像素子142が含む複数の第1画素が撮像面の領域Raに入射する第1偏光光を検出し、撮像素子142は複数の第1画素における複数の第1画素値を含む第1画像、すなわち、偏光画像10pたる第1の平行ニコル画像を出力し、撮像素子142は撮像素子142が含む複数の第2画素が撮像面の領域Rbに入射する第2偏光光を検出し、撮像素子142は複数の第4画素における複数の第4画素値を含む第2画像、すなわち、偏光画像20cたる第1の直交ニコル画像を出力し、撮像素子142は撮像素子142が含む複数の第1画素が撮像面の領域Raに入射する第3偏光光を検出し、撮像素子142は複数の第1画素における複数の第5画素値を含む第3画像、すなわち、偏光画像30cたる第2の直交ニコル画像を出力し、撮像素子142は撮像素子142が含む複数の第2画素が撮像面の領域Rbに入射する第4偏光光を検出し、撮像素子142は複数の第4画素における複数の第6画素値を含む第4画像、すなわち、偏光画像40pたる第2の平行ニコル画像を出力してもよい。撮像素子142は複数の第2画素と複数の第3画素を含む複数の第1画素を含む第1領域と、複数の第5画素と複数の第6画素を含む複数の第4画素を含む第2領域を含んでもよい。

0075

この場合、第1領域、第2領域を、x-y直交座標を用いて表現してもよい。画像形成回路164は、複数の第2画素の座標の幾何学的重心を示す第1座標値(Xa,Ya)、複数の第5画素の座標の幾何学的重心を示す第2座標値(Xb,Yb)を求めてもよい。画像形成回路164は、第1画像に含まれる画素値で、複数の第1画素に含まれる座標(x,y)における画素の画素値をI1とした場合、x’=x−Xa−p、y’=y−Ya−qを求め、座標(x’,y’)の画素値をI1としてもよい。画像形成回路164は、第2画像に含まれる画素値で、複数の第4画素に含まれる座標(x,y)における画素の画素値をI2とした場合、x’=x−Xb−p、y’=y−Yb−qを求め、座標(x’,y’)の画素値をI2としてもよい。画像形成回路164は、第3画像に含まれる画素値で、複数の第1画素に含まれる座標(x,y)における画素の画素値をI3とした場合、x’=x−Xa−p、y’=y−Ya−qを求め、座標(x’,y’)の画素値をI3としてもよい。画像形成回路164は、第4画像に含まれる画素値で、複数の第4画素に含まれる座標(x,y)における画素の画素値をI4とした場合、x’=x−Xb−p、y’=y−Yb−qを求め、座標(x’,y’)の画素値をI4としてもよい。p,qはそれぞれ任意の実数であってもよい。画像形成回路164は、座標(xi,yi)における画素値Iiを{I1(x’ =xi,y’ =yi)+I4(x’ =xi,y’ =yi)}/2−{I2(x’ =xi,y’ =yi)+I3(x’ =xi,y’ =yi)}/2として求めてもよい。iは自然数であってもよい。

0076

図6を参照して説明した処理(以下、簡単のために「平均化偏光差分処理」と呼ぶことがある。)によれば、偏光差分画像70の形で、被写体200の表面の微細な凹凸に起因するコントラストが強調された画像データを得ることができる。したがって、偏光差分画像70に基づいて、被写体200上の傷、異物などに関する有用な情報を得ることが可能である。なお、平均化偏光差分処理は、人の眼球のように球体状かつ透明な表面を有する被写体の観察に特に有効である。以下、この点を説明する。

0077

図7は、被写体200の表面と、光出射部122から発せられた光の虚像との間の位置関係を模式的に示す。ここでは、人の眼球を鏡面反射性球体とみなして被写体200を半径がRの凸面鏡近似する。被写体200の表面と照明装置120Aとの間の距離をaとし、照明装置120Aの光出射部122から被写体200に向けて光を照射した場合を想定する。このとき、光出射部122から発せられた光の虚像Vは、被写体200の中心210および光出射部122を結ぶ線分と、被写体200の表面で鏡面反射した光線を表す矢印SPの延長線との交点の位置に形成される。図7からわかるように、虚像Vは、被写体200の表面よりも内側に位置する。被写体200を凸面鏡で近似したときの焦点距離をfとし、凸面鏡の表面からの像Vまでの距離をbとすれば、下記式(1)によって表される関係式が成り立つ。

0078

例えば、a=200mm、R=7.4mmとすれば、b=3.63mmとなる。つまり、光出射部122から発せられた光の虚像Vは、被写体200の表面には位置せず、正確には照明装置120Aから203.63mmの点に位置する。本発明者らは、輝点BP(図1参照)が被写体200の表面に位置することを前提とした補正では、視差の影響を十分にキャンセルできない場合があることを見出した。

0079

図8を参照して、被写体200の表面からの虚像Vまでの距離と、撮像素子142の撮像面における結像位置のずれの大きさとの間の関係を説明する。図8に示す模式的な配置において、被写体200から撮像装置140Aまでの距離が、被写体200の表面と照明装置120Aとの間の距離aに等しいとする。対物レンズ148hおよび148vの焦点距離をf、像Vおよび対物レンズ148hの中心を結ぶ線分と、像Vおよび対物レンズ148vの中心を結ぶ線分とのなす角をΔθ、撮像素子142の撮像セル配置ピッチをPとする。距離aが対物レンズ148hおよび148vの中心間の距離Dよりも十分に大きいとすれば、結像位置のずれの大きさdは、下記の式(2)によって表される。

0080

式(2)において、D=1.2mm、f=1.5mm、P=2.2umとし、a=200mmとおけば、d=4.09となる。これは、虚像Vが被写体200の表面に位置すると仮定したとき、2つの視点の間で、撮像セルの4.09個分の大きさの結像位置の差異が生じることを意味している。換言すれば、虚像Vが被写体200の表面に位置すると仮定したとき、平行ニコル画像と直交ニコル画像との間の視差の大きさは、画素数換算して4.09画素に相当する。一方、式(2)において、虚像Vの実際の位置に対応するa=203.63mmを用いると、d=4.00となる。すなわち、虚像Vが被写体200の表面に位置すると仮定した場合と、虚像Vの位置として、幾何光学に基づいて算出される位置を採用した場合との間で、0.09画素に相当する差異が生じる。

0081

この差異の大きさは、1画素未満であり、十分小さいものの、例えば単純に平行ニコル画像および直交ニコル画像の差分を算出する処理では、表面観察における精度を低下させる要因となってしまう。より精密な表面観察を行う観点からは、この差異の影響を低減できると有益である。

0082

上述の動作例では、平均化平行ニコル画像50taおよび平均化直交ニコル画像60taを算出し、これらの差分から偏光差分画像70を得ている。既に説明したように、平均化平行ニコル画像50taは、互いに異なる視点のもとで取得される2つの平行ニコル画像10pおよび40pを平行移動させた画像を平均することによって得られる。したがって、平均化平行ニコル画像50taの算出の過程において、虚像Vの本来の位置からのずれに起因する、2つの平行ニコル画像間の例えば0.09画素相当のずれは、空間的に平均される。同様に、平行移動後の2つの直交ニコル画像20ctおよび30ctの間の0.09画素相当のずれも平均化直交ニコル画像60taの算出の過程において空間的に平均される。すなわち、平均化偏光差分処理により、被写体200の画像として得られる画像において、虚像Vの本来の位置からのずれに起因する視差の影響を目立たなくすることができる。

0083

このように、本開示の典型的な実施形態によれば、平行ニコル画像中に現れる輝点の像に基づいて、平行ニコル画像および直交ニコル画像の取得時の視点が異なることに起因する大局的な視差をキャンセルすることができる。本開示の典型的な実施形態によれば、複数の偏光画像間の大局的な視差のキャンセルによって、取得時の視点が異なることに起因して偏光画像の間に生じる視差を、画素の数に換算して1画素未満の大きさに低減し得る。したがって、複数の偏光画像に対して平均化偏光差分処理の効果を有効に発揮させることが可能である。大局的な視差のキャンセル後に平均化偏光差分処理を適用することによって、照明光の虚像の本来の位置からのずれに起因する視差の影響を低減することが可能である。すなわち、本開示の典型的な実施形態によれば、被写体が例えば球体状であるような場合に、より精密な表面観察を行い得る。

0084

上述した、照明制御回路162および画像形成回路164の機能は、汎用の処理回路とソフトウェアとの組み合わせによって実現されてもよいし、このような処理に特化したハードウェアによって実現されてもよい。なお、図3を参照して説明した動作において、偏光面が互いに異なる照明光の照射の順序は問わないし、照明光の偏光面を変えての撮像(ステップS1〜S4)を繰り返してもよい。

0085

図1では、ある偏光状態の光に基づく画像信号と、他のある偏光状態の光に基づく画像信号とを1つの撮像素子142によって取得する構成を例示している。しかしながら、撮像装置140A中の撮像素子142の数は、1つに限定されず、2以上であってもよい。図9に例示するように、複数の視点に対応させて複数の撮像素子を設けても構わない。図9に示す画像形成装置100Bは、開口APhに配置された検光子146hを透過した光を受ける第1の撮像素子142aと、開口APvに配置された検光子146vを透過した光を受ける第2の撮像素子142bとを有する。このような構成においては、撮像素子142aの撮像面および撮像素子142bの撮像面の全体が、画像形成装置100Bの撮像装置140Bの撮像面を形成する。撮像素子142aの撮像面が、検光子146hを通過した光を受ける領域Raであり、撮像素子142bの撮像面が、検光子146vを通過した光が入射する領域Rbである。

0086

このような構成によれば、検光子146hを通過した光に基づく画像信号と、検光子146vを通過した光に基づく画像信号とをそれぞれ撮像素子142aおよび撮像素子142bによって個別に取得することができる。上述の平均化偏光差分処理は、このような構成においても有利に利用でき、平均化の過程で、照明光の虚像の本来の位置からのずれに起因する、2つの平行ニコル画像間のずれと、2つの直交ニコル画像間のずれとがそれぞれ空間的に平均される。さらに、平均化偏光差分処理の適用により、撮像素子142aおよび撮像素子142bの間の特性の差異の影響(例えば画質の差異)も平均化することができる。

0087

上述の実施形態では、異なる時刻に取得された偏光画像中に現れる、輝点BPの像Bhのパターンと像Bvのパターンとに基づき、像Bhの重心の座標と像Bvの重心の座標とを算出し、これらの座標値を利用して複数の偏光画像の間でのX座標を合致させている。しかしながら、本開示の画像形成装置における処理は、上述した処理に限定されない。例えば、複数の偏光画像の間でのX座標およびY座標を合致させるような処理を実行してもよい。必要に応じ、偏光画像中に現れる、輝点BPの像Bhのパターンと像Bvのパターンとに基づき、平行移動に代えて、あるいは、平行移動に加えて、平行移動以外の処理(例えば回転移動)を実行してもよい。また、以下に説明するように、画像形成装置の照明装置および撮像装置についても多様な改変が可能である。

0088

(変形例1)
図10は、複数の光出射部122hおよび複数の光出射部122vの配置の他の例を示す。図10に示す照明装置120Cは、円状に配置された3つの光出射部122hおよび3つの光出射部122vを含む。図10に示す例では、光出射部122hおよび122vは、破線で示す仮想的な円Cの円周上において60°ずつ回転した位置に交互に配置されている。換言すれば、この例では、光出射部122hおよび122vは、正六角形の頂点に対応する位置に配置されている。この例においても、図2を参照して説明した例と同様に、複数の光出射部122hのそれぞれの位置を結ぶ図形(ここでは正三角形)の重心と、複数の光出射部122vのそれぞれの位置を結ぶ図形(ここでは正三角形)の重心とは、一致している。この例では、複数の光出射部122hのそれぞれの位置を通る円の重心(ここでは中心)と、複数の光出射部122vのそれぞれの位置を通る円の重心(ここでは中心)とが一致している。

0089

制御回路160(図1参照)は、あるタイミングにおいて3つの光出射部122hの光源124を選択的に点灯させ、第1の直線偏光の照射のもとで撮像装置140Aによって第1の平行ニコル画像および第1の直交ニコル画像を取得する。制御回路160は、さらに、他のあるタイミングにおいて3つの光出射部122vの光源124を選択的に点灯させ、第2の直線偏光の照射のもとで撮像装置140Aによって第2の平行ニコル画像および第2の直交ニコル画像を取得する。

0090

図11Aは、時刻tにおける照明装置120Cの動作状態と、時刻tにおいて取得される偏光画像11pおよび21cとをあわせて示す。光出射部122hの光源124を選択的に点灯させた状態で撮像を実行すると、図11Aの右側に模式的に示されるように、3つの光出射部122hに対応して、第1の平行ニコル画像である偏光画像11p中に3つの輝点の像Bhが現れる。したがって、像Bhの各々の中心の位置を頂点とする三角形または像Bhの各々の中心の位置を通る円を推定することができ、偏光画像11p中のこれらの像Bhの位置から三角形または円の重心の座標を算出することができる。図11A中の太い十字は、輝点BPの像Bhの位置によって規定される図形(ここでは三角形または円)の重心Maの位置を示している。

0091

図11Bは、時刻(t+1)における照明装置120Cの動作状態と、時刻(t+1)において取得される偏光画像31cおよび41pとをあわせて示す。光出射部122vの光源124を選択的に点灯させた状態で撮像を実行すると、図11Bの右側に模式的に示されるように、3つの光出射部122vに対応して、第2の平行ニコル画像である偏光画像41p中に3つの輝点の像Bvが現れる。図11B中の太い十字は、輝点BPの像Bvの位置によって規定される図形(ここでは三角形または円)の重心Mbの位置を示している。

0092

この例では、円C上において120°ずつ回転した位置に配置された3つの光出射部122hの各々の中心、および、光出射部122hから60°ずれた位置から120°ずつ回転した位置に配置された3つの光出射部122vの各々の中心は、いずれも正三角形の頂点に位置している。さらに、これらの正三角形の重心は、一致している。したがって、被写体200の表面に対して垂直に近い方向から被写体200を照明した場合、視差がなければ、偏光画像11p中の像Bhの位置によって規定される図形の重心Maおよび偏光画像41p中の像Bvの位置によって規定される図形の重心Mbは、一致するといってよい。したがって、図5Aおよび図5Bを参照して説明したように、重心Maの座標および重心Mbの座標が適当な目標(例えば画像領域の中心)の座標に一致するように、偏光画像11pおよび偏光画像41pをそれぞれ平行移動させることにより、これらの偏光画像の間の視差をキャンセルすることが可能である。さらに、偏光画像31cに偏光画像11pと同様の平行移動を施し、偏光画像21cに偏光画像41pと同様の平行移動を施せば、4つの偏光画像の間で視差をキャンセルすることができる。このときの平行移動操作は、X方向に沿った移動に限定されず、X方向に沿った移動およびY方向に沿った移動の組み合わせであり得る。平行移動がなされた4つの偏光画像に、上述の平均化偏光差分処理を適用してもよい。

0093

このように、同時に照明光を出射するように制御される光出射部の数を増加させることにより、平行ニコル画像中に現れる輝点の像の数を増加させることができる。平行ニコル画像中に現れる輝点の像の数を増加させることにより、偏光画像の平行移動に用いる座標(例えば輝点の像の位置によって規定される図形の重心の座標)の算出に利用可能な情報量をより増加させることが可能であるので、視差補正の精度向上の効果が期待できる。図11Aおよび図11Bに示されるように、平行ニコル画像に現れる輝点の像の数が3つである場合、輝点の像の位置を頂点とする三角形の重心に代えて、内心または外心などの座標を偏光画像の平行移動に利用してもよい。あるいは、3つの輝点の像の位置から、これらの像の位置を通る円の中心を算出して偏光画像の平行移動に利用してもよい。

0094

(変形例2)
図12は、複数の光出射部122hおよび複数の光出射部122vの配置のさらに他の例を示す。図12に示す照明装置120Dは、円状に配置された5つの光出射部122hおよび5つの光出射部122vを含む。この例では、光出射部122hおよび122vは、破線で示す仮想的な円C上において36°ずつ回転した位置に交互に配置されている。照明制御回路162による照明装置120Dの制御は、これまでに説明した例と同様であり得る。

0095

図13Aは、時刻tにおける照明装置120Dの動作状態と、時刻tにおいて取得される偏光画像12pおよび22cとをあわせて示す。光出射部122hによる照明のもとで取得される偏光画像12pには、5つの輝点の像Bhが現れる。図13A中の太い十字は、輝点BPの像Bhの位置を結んだ図形(ここでは楕円)の重心Maの位置を示している。図13Bは、時刻(t+1)における照明装置120Dの動作状態と、時刻(t+1)において取得される偏光画像32cおよび42pとをあわせて示す。光出射部122vによる照明のもとで取得される偏光画像42pにも、5つの輝点の像Bvが現れる。図13B中の太い十字は、輝点BPの像Bvの位置を結んだ図形(ここでは楕円)の重心Mbの位置を示している。

0096

平行ニコル画像中の輝点の像の数が5つである場合には、これら5つの像の位置に基づいて、例えば1つの楕円を決定することができる。第1および第2の平行ニコル画像についてそれぞれ1つの楕円を決定できれば、これらの楕円の例えば中心の座標を利用して、4つの偏光画像に平行移動を適用することができる。換言すれば、これらの楕円の例えば中心の座標を利用した視差のキャンセルが可能である。この例のように、平行ニコル画像中の輝点の像の数が5つである場合には、例えば1つの楕円を決定することができ、例えば、中心の座標以外にも、傾き角短径および長径の間の比(楕円率とも呼ばれる)などに関する情報も視差のキャンセルに利用することが可能である。情報量がより増加することにより、より高精度な視差補正処理を実行し得る。

0097

光出射部122の数および配置が上述した例に限定されないことは言うまでもない。例えば、8つの光出射部122を円状に45°ずつ角度をずらして配置した構成を採用してもよい。この場合、第1の直線偏光を出射する光出射部と、第2の直線偏光を出射する光出射部とを円周に沿って交互に配置すればよい。なお、第1の直線偏光を出射する光出射部および第2の直線偏光を出射する光出射部の数がそれぞれ3以上である場合において、第1の直線偏光を出射する光出射部の中心の位置を結んだ図形および第2の直線偏光を出射する光出射部の中心の位置を結んだ図形が正多角形であることは必須ではない。第1の直線偏光を出射する光出射部の配置を結んだ図形の重心と、第2の直線偏光を出射する光出射部の配置を結んだ図形の重心とが一致していればよい。第1の直線偏光を出射する光出射部および第2の直線偏光を出射する光出射部がそれぞれ2つである場合には、第1の直線偏光を出射する光出射部の中間点と、第2の直線偏光を出射する光出射部の中間点とが一致していればよい。

0098

(変形例3)
図14に例示するように、複数の光出射部122hおよび複数の光出射部122vを同心円状に配置してもよい。図14に示す照明装置120Eでは、複数の光出射部122hが、互いに近接して円C1の円周上に密に配置され、複数の光出射部122vが、互いに近接して、円C1よりも大きな半径を有する円C2の円周上に密に配置されている。この例では、光出射部122hは、円C1の円周上において36°ずつ回転した位置に配置され、光出射部122vは、円C2の円周上において18°ずつ回転した位置に配置されている。複数の光出射部122hは、共通の平面内に位置し、複数の光出射部122vも、共通の平面内に位置する。典型的には、複数の光出射部122hが配置された平面と、複数の光出射部122vが配置された平面とは、互いに平行である。照明制御回路162による照明装置120Eの制御は、これまでに説明した例と同様であり得る。

0099

図15Aは、時刻tにおける照明装置120Eの動作状態と、時刻tにおいて取得される偏光画像13pおよび23cとをあわせて示す。光出射部122hによる照明のもとで取得される偏光画像13pには、周囲よりも明るいリング状の像Br1が現れる。図15A中の太い十字は、像Br1によって規定される図形(ここでは円または楕円)の重心Maの位置を示している。図15Bは、時刻(t+1)における照明装置120Eの動作状態と、時刻(t+1)において取得される偏光画像33cおよび43pとをあわせて示す。光出射部122vによる照明のもとで取得される偏光画像43pにも、周囲よりも明るいリング状の像Br2が現れる。図15B中の太い十字は、像Br2によって規定される図形(ここでは円または楕円)の重心Mbの位置を示している。

0100

光出射部が密に配置される構成を採用すれば、例えば、連続する明るい領域によって規定される図形の重心などの座標を利用して、4つの偏光画像に平行移動を適用し、視差をキャンセルすることが可能である。この例のように、撮像時に点灯されていた光出射部の配置を反映する像によって規定される図形が円または楕円である場合には、例えば、その円または楕円の中心の座標を利用して視差のキャンセルを実行し得る。楕円の傾き角、膨らみ角などに関する情報を視差のキャンセルに利用してもよい。上述の変形例2と同様に、情報量がより増加することにより、より高精度な視差補正処理を実行し得る。

0101

言うまでもないが、複数の光出射部122hの配置によって規定される円C1、および、複数の光出射部122vの配置によって規定される円C2のいずれが他方の外側に配置されてもよい。複数の光出射部122hの配置によって、ある円を規定でき、かつ、複数の光出射部122vの配置によって、他のある円を規定できる場合には、これらの円の中心が一致していれば、上述した各種の画像処理が適用可能である。図14に例示される構成であれば、複数の光出射部122hのそれぞれの位置を結ぶ円C1の中心と、複数の光出射部122vのそれぞれの位置を結ぶ円C2の中心とが一致していればよい。

0102

(変形例4)
本開示で示された装置は、撮像装置への種々の改変が可能である。図16は、照明装置120Aとともに用いられる撮像装置の他の構成例を示す。図1を参照して説明した画像形成装置100Aと、図16に示す画像形成装置100Fとの間の相違点は、図16の画像形成装置100Fが、撮像装置140Aに代えて撮像装置140Fを有している点である。ここでは、撮像装置140Fに照明装置120Aが組み合わせられているが、照明装置120Aに代えて、上述の照明装置120B〜120Eのいずれも適用可能であることは言うまでもない。

0103

撮像装置140Fは、検光子146hが配置された開口APhおよび検光子146vが配置された開口APvと、撮像素子142との間に、対物レンズ148sを有する。撮像装置140Fは、さらに、対物レンズ148sと撮像素子142との間に配置されたマイクロレンズアレイ144を有する。マイクロレンズアレイ144は、各々が撮像素子142の対応する撮像セルに対向する複数のマイクロレンズを含む。

0104

この例では、検光子146hを通過した光および検光子146vを通過した光の両方が対物レンズ148sを通過する。ただし、撮像素子142の撮像面の前面にマイクロレンズアレイ144が配置されているので、検光子146hを通過した光および検光子146vを通過した光は、撮像面の異なる領域に到達する。撮像装置140Fの光学系は、例えば、検光子146hを通過した光および検光子146vを通過した光が交互に異なる撮像セル上に結像するように設計され得る。つまり、この場合、被写体200からの戻り光は、電場ベクトルの振動方向に応じて撮像面上の互いに異なる領域に到達し、撮像装置140Fからは、視差を有する2つの偏光画像がインターリーブされた画像の信号が出力される。

0105

出力信号後段の画像処理によって2つの偏光画像の信号に分離することにより、検光子146hおよび146vの透過軸の方向にそれぞれ応じた、視差を有する2つの偏光画像(典型的には平行ニコル画像および直交ニコル画像)を得ることができる。照明装置120Aからの照明光を第1および第2の直線偏光の間で切り替えてそれぞれの照明光の照射のもとで撮像を実行することにより、図1を参照して説明した画像形成装置100Aと同様に、4つの偏光画像を得ることができる。その後の視差のキャンセルなどの処理は、画像形成装置100Aと同様であり得る。なお、対物レンズ148sは、検光子146hおよび146vの前面側および背面側のいずれに配置されていてもよい。

0106

(第2の実施形態)
図17は、本開示の第2の実施形態による画像形成装置の例示的な構成を示す。図17は、被写体200側から見た、第2の実施形態による画像形成装置100Gが有する照明装置および撮像装置を模式的に示す。画像形成装置100Gは、図10を参照して説明した照明装置120Cと、撮像装置140Gとを含む。照明装置120Cに代えて、上述の照明装置120A、120B、120Dおよび120Eのいずれも適用可能である。なお、図17では、制御回路160の図示が省略されている。

0107

撮像装置140Gは、4つの開口APh1、APh2、APv1およびAPv2を有する。この例では、開口APh1、APh2、APv1およびAPv2は、2行2列のマトリクス状の配置を有する。開口APh1、APh2、APv1およびAPv2は、典型的には、マトリクス状の配置の行方向および列方向において互いに隣接する2つの開口の中心間距離が全て同じとなるように配置されている。この例では、4つの開口APh1、APh2、APv1およびAPv2は、共通の平面内に位置する。また、光出射部122hおよび光出射部122vも、共通の平面内に位置する。典型的には、4つの開口APh1、APh2、APv1およびAPv2が配置された平面と、光出射部122hおよび光出射部122vが配置された平面とは、互いに平行である。

0108

図18は、撮像装置140Gの4つの開口と、各開口に配置される検光子の透過軸の方向との関係を示す。図18中の「×」は、マトリクス状の配置の行方向および列方向において隣接する2つの開口の中心を結ぶ線分の中間点を示している。

0109

開口APh1、APh2、APv1およびAPv2には、検光子が配置される。開口APv1およびAPv2には、開口APh1およびAPh2に配置される検光子の透過軸の方向とは異なる方向の透過軸を有する検光子が配置される。図18に示す例では、開口APh1およびAPh2には、透過軸の方向が第1方向(ここでは紙面の左右方向)に平行な検光子146hおよび147hがそれぞれ配置されている。開口APv1およびAPv2には、透過軸の方向が第2方向(ここでは紙面の上下方向)に平行な検光子146vおよび147vがそれぞれ配置されている。検光子(ここでは検光子146hおよび検光子146v)は、典型的には、マトリクス状の配置の行方向および列方向において互いに隣接する2つの開口の間で透過軸の方向が互いに異なるように、4つの開口に配置される。

0110

検光子146hを通過した光、検光子147hを通過した光、検光子146vを通過した光および検光子147vを通過した光は、撮像面の互いに異なる位置に結像する。したがって、撮像装置140Gを用いた場合、電場ベクトルの振動方向が例えば紙面の左右方向に平行である直線偏光の照明のもとで撮像を実行すると、互いに視点の異なる、2つの平行ニコル画像および2つの直交ニコル画像を一度に取得することが可能である。なお、撮像装置140Gが4つの開口APh1、APh2、APv1およびAPv2を有することに対応して、撮像装置140Gに開口APh1、APh2、APv1およびAPv2のそれぞれに対応する4つの撮像素子を設けてもよい。

0111

第1の実施形態では、照明光の偏光状態を固定した状態において、視差を有する平行ニコル画像および直交ニコル画像の組が1組取得される。これに対し、ここで説明する実施形態では、照明光の偏光状態を固定した状態において、視差を有する平行ニコル画像および直交ニコル画像の複数の対が取得される。このような構成によれば、以下に説明するような利点が得られる。

0112

第1に、多眼カメラと同様の効果を得ることが可能である。図5A図5Bおよび図6を参照して既に説明したように、被写体200の画像としての偏光差分画像70は、視差を有する平行ニコル画像および直交ニコル画像の組から生成される平均化平行ニコル画像50taおよび平均化直交ニコル画像60taの差分に基づいて生成される。そのため、偏光差分画像70は、基本的に、開口APhおよび開口Apvの概ね中間の位置を視点とする画像に相当するといってよい。換言すれば、開口APhおよび開口Apvの数が1つずつであるような構成においては、被写体200の画像として得られる画像は、単一の視点からの1つの画像である。

0113

ここでは、取得される偏光画像を平行移動させることによって、複数の偏光画像間の視差をキャンセルしている。そのため、図5Bを参照して説明したように、視差のキャンセルの過程において、典型的には、被写体200の画像のデータが存在しないブランク領域BKが生じ得る。換言すれば、観測視野が狭くなってしまう。

0114

他方、図17および図18に例示される構成においては、互いに透過軸の方向が異なる検光子が配置された開口の組を、マトリクス状の配置の行方向および列方向において2つずつ形成することができる。したがって、第1の実施形態と比較して撮像の回数を増加させることなしに、互いに透過軸の方向が異なる検光子が配置された開口の中間点M66、M67、M76およびM77の位置を視点とする4つの偏光差分画像70を構築することができる。互いに異なる視点から見たときの被写体200の画像に相当する4つの偏光差分画像70を利用して、例えば、視差のキャンセルによって生じたブランク領域BKの画像データを補って、より広い範囲の被写体200の画像を構築することができる。例えば、瞳孔のように小さな被写体を狙った撮像をより容易に実行し得る。

0115

第2に、輝点の像自体の座標を利用することが可能である。透過軸の方向が共通する検光子が配置された複数の開口を有する構成によれば、透過軸の方向が共通する検光子(検光子146hおよび147h、または、検光子146vおよび147v)を通過した光に基づく複数の平行ニコル画像が得られる。これらの平行ニコル画像の間には、視差が存在する。しかしながら、これらの平行ニコル画像中に現れる輝点の像のパターンは、これらの画像間で一致している。したがって、平行ニコル画像中の輝点の像の配置によって規定される重心の座標に代えて、輝点の像自体の座標を画像処理に利用することが可能である。

0116

(変形例4)
図19は、本開示の第2の実施形態による画像形成装置の変形例を示す。図19に示す画像形成装置100Hの撮像装置140Hは、マトリクス状に配置された9つの開口を有している。図19において模式的に示されるように、この例では、マトリクス状の配置の行方向および列方向において開口APhおよびAPvが交互に並ぶように、5つの開口APhと、4つの開口APvとが配置されている。

0117

図20は、図19に示す撮像装置140Hを拡大して示す。図20中の「×」は、マトリクス状の配置の行方向および列方向において隣接する2つの開口の中心を結ぶ線分の中間点を示している。

0118

図17および図18を参照して説明した例と同様に、この例においても、検光子(ここでは検光子146hおよび検光子146v)は、マトリクス状の配置の行方向および列方向において互いに隣接する2つの開口の間で透過軸の方向が互いに異なるように配置されている。このような構成によれば、互いに透過軸の方向が異なる検光子が配置された開口の組を、マトリクス状の配置の行方向および列方向において合計12個形成することができる。つまり、この例では、互いに透過軸の方向が異なる検光子が配置された開口の中間点Mhvの位置を視点とする合計12枚の偏光差分画像70を構築することができ、例えば、より視野を拡大することが可能である。このように、互いに透過軸の方向が異なる検光子が配置された開口の数をさらに増加させてもよい。

0119

以上に説明したように、本開示の典型的な実施形態では、照明光の偏光状態を変えて撮像を実行し、各照明光の照射のもとで異なる視点から平行ニコル画像および直交ニコル画像を取得する。さらに、偏光状態が異なる照明光の照射のもとで取得された2つの平行ニコル画像中の輝点の像の位置に基づいて、取得された画像の視差をキャンセルする。例えば、視差のキャンセルされた2つの平行ニコル画像および2つの直交ニコル画像から、偏光差分画像を生成することができる。偏光差分画像は、透明な物体に付着した異物および透明な物体の表面の状態の検出に有利に利用することができる。

0120

本開示の実施形態によれば、偏光撮像において視差の影響を抑制することが可能である。本開示の画像形成装置は、透明な物体に付着した異物および透明な物体の表面の状態(凹凸、傷など)の検出に利用可能である。特に、人または動物の眼球、錠剤の透明パッケージなど、透明または半透明かつ滑らかな表面を有し、輝度に基づく通常の撮像によっては表面の状態の観察が困難な被写体の観察に有利に用いることができる。本開示の画像形成装置は、製品外観検査などのほか、目のセンシングによる、人、動物(家畜ペット)などの健康状態の把握、角膜の異常の検出などに適用し得る。

0121

100A、100B画像形成装置
100F〜100H 画像形成装置
120A〜120E照明装置
122、122h、122v光出射部
124光源
126偏光子
140A、140B撮像装置
140F〜140H 撮像装置
142、142a、142b撮像素子
146h、146v検光子
147h、147v 検光子
148h、148v対物レンズ
160制御回路
162照明制御回路
164画像形成回路
164a視差補正部
164b画像処理部
APh、APh1、APh2 開口
APv、APv1、APv2 開口
Ma、Mb輝点の像の重心
Ra撮像面の第1領域
Rb 撮像面の第2領域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ