図面 (/)

技術 全焦点撮像装置

出願人 株式会社デンソー
発明者 光本直樹金子卓川原伸章
出願日 1999年10月22日 (21年0ヶ月経過) 出願番号 1999-300467
公開日 2000年11月14日 (20年0ヶ月経過) 公開番号 2000-316120
状態 特許登録済
技術分野 スタジオ装置 スタジオ装置 顕微鏡、コンデンサー
主要キーワード 専用LSI 付属メモリ 範囲判定処理 等高面 境目付近 光学マーカ 同一区画 光学撮像装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2000年11月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

観察対象のほぼ完全な合焦点画像(全ての部分に焦点が合っている画像)を準リアルタイムで提供すること。

解決手段

本発明の全焦点撮像装置は、高速で焦点位置Fが変更可能な可変焦点レンズ装置1と、CCD素子31と、画像メモリ41、画像処理手段42および制御手段43をもつマイクロコンピュータ4と、液晶ディスプレイ5とから主に構成されている。可変焦点レンズ装置1とCCD素子31とにより、焦点位置Fが少しずつ異なった多数枚の画像が撮像され、画像メモリ41に記憶される。これらの画像の各画素のうちから合焦点画素が画像処理手段42によって選択され、合焦点画素だけからなる観察対象の合焦点画像が生成されて、液晶ディスプレイ5に表示される。それゆえ、観察対象のほぼ完全な合焦点画像を準リアルタイムで提供することができる。

概要

背景

従来の技術としては、特開平9−230252号公報に、大まかに分けて次の二つの撮像技術が開示されている。

第一の撮像技術は、観察対象に対する焦点位置(レンズから合焦点面までの距離)を高速往復させつつ画像をリアルタイムで表示し、焦点のあった輪郭が鮮明な部分だけが網膜残像として視認されることを利用している。同技術は、生理的な残像現象を巧妙に利用して、観察対象の全体に渡って焦点が合った画像をリアルタイムで観察者に視認させることができるので、観察対象に動きがある場合などにも好適な撮像技術である。

しかしながら、同技術には、焦点が合っていないぼやけた画像も網膜に結像し、焦点が合っている瞬間よりも焦点が合っていない時間の方が長いのが普通であるので、ややぼやけた感じ視覚から受けるという不都合があった。すなわち、同技術によっては、観察対象の全ての部分について焦点が合った完全な合焦点画像は得られず、視覚上でもややぼやけた感じがするうえに、目が疲れやすいという不都合もあった。また、合焦点画像は視認されるだけで、合焦点画像を写真撮影したりプリントしたりすることはできないという不都合もあった。

第二の撮像技術は、前述の第一の撮像技術を応用し、二つの撮像装置視差をもって観察対象に向けて撮像した画像をそれぞれ左右の目に表示し、観察対象を両眼視するものである。同技術によれば、立体感のある画像をリアルタイムで視認することができるという効果がある。

しかしながら、同技術にも、前述の第一の撮像技術と同様の不都合があり、完全な合焦点画像を提供することはできない。また、いずれの撮像技術によっても、観察対象の立体数値モデルを生成することができないので、断面形状を示す端面図提示したり多方向からの俯瞰画像を連続的に合成して表示したりすることはできない。

概要

観察対象のほぼ完全な合焦点画像(全ての部分に焦点が合っている画像)を準リアルタイムで提供すること。

本発明の全焦点撮像装置は、高速で焦点位置Fが変更可能な可変焦点レンズ装置1と、CCD素子31と、画像メモリ41、画像処理手段42および制御手段43をもつマイクロコンピュータ4と、液晶ディスプレイ5とから主に構成されている。可変焦点レンズ装置1とCCD素子31とにより、焦点位置Fが少しずつ異なった多数枚の画像が撮像され、画像メモリ41に記憶される。これらの画像の各画素のうちから合焦点画素が画像処理手段42によって選択され、合焦点画素だけからなる観察対象の合焦点画像が生成されて、液晶ディスプレイ5に表示される。それゆえ、観察対象のほぼ完全な合焦点画像を準リアルタイムで提供することができる。

目的

以上のような現況に鑑み、本発明は、観察対象の各部に焦点があった合焦点画像を準リアルタイムで生成することを第一の課題とし、観察対象の立体形状を示す立体数値モデルを生成して多様な表示形態を可能とすることを第二の課題とする。本発明では、これら第一の課題および第二の課題のうちいずれかが解決されていればよいものとする。

効果

実績

技術文献被引用数
10件
牽制数
20件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

観察対象に対する焦点位置が可変である可変焦点レンズと、この可変焦点レンズのこの焦点位置を変更するアクチュエータと、このアクチュエータを駆動する駆動手段と、この可変焦点レンズを通して結像した実像画素毎の画像信号として出力する撮像手段と、この画像信号をこの焦点位置の変更に伴って得られる複数枚分に渡って格納可能な画像メモリと、これら複数枚分の画像信号のうち最も焦点が合っているものを画素毎に判定して抽出し、この観察対象の各部に焦点があった一枚の合焦点画像と、この観察対象の立体形状を示す一つの立体数値モデルとのうち、少なくとも一方を生成する画像処理手段と、この駆動手段、この撮像手段、この画像メモリおよびこの画像処理手段のうち少なくとも前三者を同期して制御する制御手段と、を有することを特徴とする全焦点撮像装置

請求項2

前記画像処理手段による合焦点画素の判定は、各前記画素がもつ輝度の前記焦点位置に関する差分値正負反転によって行われる、請求項1記載の全焦点撮像装置。

請求項3

前記差分値の正負反転箇所が複数ある場合には、該正負反転箇所のうち極大値および極小値を取る箇所のうち一方を選択することによって前記判定が行われ、さらに該一方が複数ある場合には、最も突出した値の箇所が選定されることによって前記判定が行われる、請求項2記載の全焦点撮像装置。

請求項4

前記画像処理手段による合焦点画素の判定は、各前記画素がもつ輝度の前記焦点位置に関する差分値の絶対値が最大値を取ることを判定基準として行われる、請求項1記載の全焦点撮像装置。

請求項5

前記画像処理手段による合焦点画素の判定は、各前記画素およびその周辺画素の形成する区画がもつ空間周波数の前記焦点位置に関するピーク判定によって行われる、請求項1記載の全焦点撮像装置。

請求項6

前記画像処理手段による合焦点画素の判定は、各前記画素およびその周辺画素の形成する区画がもつエントロピーの前記焦点位置に関する最小判定によって行われる、請求項1記載の全焦点撮像装置。

請求項7

前記画像処理手段による合焦点画素の判定は、各前記画素およびその周辺画素の形成する区画における各画素の輝度の最大値と最小値との差である輝度振幅の最大判定によって行われる、請求項1記載の全焦点撮像装置。

請求項8

前記画像処理手段による合焦点画素の判定は、各前記画素およびその周辺画素の形成する区画における離散コサイン変換係数の最大判定によって行われる、請求項1記載の全焦点撮像装置。

請求項9

前記画像処理手段による合焦点画素の判定は、複数の画素からなる区画毎に行われ、該区画における空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれかを判定基準にして行われる、請求項1記載の全焦点撮像装置。

請求項10

前記画像処理手段による合焦点画素の判定は、各前記画素と複数の画素からなる区画とのうち一方に、複数の互いに異なる判定法を適用して行われる、請求項1記載の全焦点撮像装置。

請求項11

前記画像処理手段による合焦点画素の判定は、単数または複数の画素からなる区画とその周辺の複数の区画とにそれぞれ合焦点判定を行う第一段階と、当該区画とその周辺の該区画とからなる大区画に関して合焦点判定を行い当該区画の合焦点判定を改める第二段階とを経て行われる、請求項1記載の全焦点撮像装置。

請求項12

前記可変焦点レンズは、表裏差圧によって曲率が可変な透明弾性膜とこの透明弾性膜によって形成される内部空間に封入された透明液体とをもつ液封レンズであり、前記アクチュエータは、圧電素子からなる圧電アクチュエータであって、この液封レンズとこの圧電アクチュエータとは、互いに一体に組み付けられて可変焦点レンズ装置を形成しており、前記駆動手段は、この圧電アクチュエータに駆動電圧印加する可変焦点レンズ駆動回路であり、前記撮像手段は、固体撮像素子である、請求項1記載の全焦点撮像装置。

請求項13

前記画像処理手段は、リアルタイムで合焦点画素の判定を行い、前記制御手段は、これらの合焦点画素を逐次更新することにより前記合焦点画像を生成する、請求項12記載の全焦点撮像装置。

請求項14

前記駆動手段から前記圧電アクチュエータに印加される電圧計測する電圧センサをさらに有し、前記画像処理手段は、前記電圧センサから得られる測定値に基づいて前記焦点位置を算出する焦点位置検出機能をもつ、請求項12記載の全焦点撮像装置。

請求項15

前記圧電アクチュエータに注入および放電される電荷量を計測する電荷量センサをさらに有し、前記画像処理手段は、前記電荷量センサから得られる測定値に基づいて前記焦点位置を算出する焦点位置検出機能をもつ、請求項12記載の全焦点撮像装置。

請求項16

前記圧電アクチュエータの変位に関して計測する変位センサをさらに有し、前記画像処理手段は、前記変位センサから得られる測定値に基づいて前記焦点位置を算出する焦点位置検出機能をもつ、請求項12記載の全焦点撮像装置。

請求項17

前記画像処理手段は、前記制御手段が前記駆動手段に与える信号に基づいて前記焦点位置を算出する焦点位置検出機能をもつ、請求項1記載の全焦点撮像装置。

請求項18

前記画像メモリは、前記画像信号を一列の前記画素からなるライン状の区画に分割して格納するラインメモリである、請求項1記載の全焦点撮像装置。

請求項19

前記画像メモリは、前記画像信号を二次元広がりがあるフレーム状の区画ごと格納するフレームメモリである、請求項1記載の全焦点撮像装置。

請求項20

前記画像処理手段は、前記合焦点画像および前記立体数値モデルのうち少なくとも後者を生成するデジタル演算手段であり、該立体数値モデルの生成にあたって空間的な高周波ノイズを除去するノイズ除去フィルタをもつ、請求項1記載の全焦点撮像装置。

請求項21

前記ノイズ除去フィルタは、前記立体数値モデルをいったん空間周波数成分に変換する正変換と、該空間周波数成分から高周波成分を除去するフィルタリングと、該高周波成分が除去された空間周波数成分を再び立体数値モデルに戻す逆変換とを行うデジタルフィルタである、請求項20記載の全焦点撮像装置。

請求項22

前記正変換の方法は、離散コサイン変換法、離散サイン変換法フーリエ変換法および高速フーリエ変換法のうちいずれかである、請求項21記載の全焦点撮像装置。

請求項23

前記ノイズ除去フィルタは、前記立体数値モデルに対して移動平均および全平均のうち一方を取ることにより、前記高周波ノイズを除去するデジタルフィルタである、請求項20記載の全焦点撮像装置。

請求項24

前記ノイズ除去フィルタは、前記画像信号を複数の前記画素からなる区画毎にまとめ、各該区画内で最も発生頻度が高い輝度値および輝度値の平均値のうち一方で、該区画内の各該画素の各該画像信号を統一するデジタルフィルタである、請求項20記載の全焦点撮像装置。

請求項25

前記制御手段は、前記駆動手段を制御して前記焦点位置を連続的に移動させ、前記撮像手段を制御して該焦点位置の移動中に連続撮影させる、請求項1記載の全焦点撮像装置。

請求項26

前記制御手段は、前記駆動手段を制御して前記焦点位置を階段状に時間変化させ、前記撮像手段を制御して該焦点位置の各停止時に撮像させる、請求項1記載の全焦点撮像装置。

請求項27

前記制御手段は、前記焦点位置を連続的に移動させつつ連続撮像するプレビュー動作と、該プレビュー動作の間に前記観察対象が存在する該焦点位置の範囲を判定する範囲判定処理と、該範囲において該焦点位置を階段状に移動させつつ該焦点位置の各停止時に撮像する本撮像動作とを行うよう各前記手段を制御する、請求項1記載の全焦点撮像装置。

請求項28

前記制御手段は、前記駆動手段を制御し、前記可変焦点レンズの被写界深度に応じて前記焦点位置の移動速度を調整する、請求項1記載の全焦点撮像装置。

請求項29

少なくとも前記焦点位置に結像する光学マーカを前記観察対象に投影するマーカ投影手段をさらに有する、請求項1記載の全焦点撮像装置。

請求項30

前記マーカ投影手段は、前記光学マーカを点滅させることができ、前記制御手段は、該光学マーカの点滅に同期して前記撮像手段および前記画像処理手段を制御して、該光学マーカの投影中に合焦点判定を行い、該光学マーカの消灯中に前記画像メモリへの前記画像信号の取り込みを行う、請求項29記載の全焦点撮像装置。

請求項31

前記マーカ投影手段は、前記撮像手段の撮像波長帯域を外れ波長帯で前記光学マーカを投影する手段であり、該光学マーカの該波長帯に感度を有するマーカ撮像手段をさらに有し、前記画像処理手段は、該マーカ撮像手段から得られた画像信号に基づいて合焦点判定を行う、請求項29記載の全焦点撮像装置。

技術分野

0001

本発明は、光学顕微鏡電子顕微鏡光学望遠鏡電子カメラなどの撮像装置の技術分野に属し、特に合焦点技術の技術分野に属する。

背景技術

0002

従来の技術としては、特開平9−230252号公報に、大まかに分けて次の二つの撮像技術が開示されている。

0003

第一の撮像技術は、観察対象に対する焦点位置(レンズから合焦点面までの距離)を高速往復させつつ画像をリアルタイムで表示し、焦点のあった輪郭が鮮明な部分だけが網膜残像として視認されることを利用している。同技術は、生理的な残像現象を巧妙に利用して、観察対象の全体に渡って焦点が合った画像をリアルタイムで観察者に視認させることができるので、観察対象に動きがある場合などにも好適な撮像技術である。

0004

しかしながら、同技術には、焦点が合っていないぼやけた画像も網膜に結像し、焦点が合っている瞬間よりも焦点が合っていない時間の方が長いのが普通であるので、ややぼやけた感じ視覚から受けるという不都合があった。すなわち、同技術によっては、観察対象の全ての部分について焦点が合った完全な合焦点画像は得られず、視覚上でもややぼやけた感じがするうえに、目が疲れやすいという不都合もあった。また、合焦点画像は視認されるだけで、合焦点画像を写真撮影したりプリントしたりすることはできないという不都合もあった。

0005

第二の撮像技術は、前述の第一の撮像技術を応用し、二つの撮像装置を視差をもって観察対象に向けて撮像した画像をそれぞれ左右の目に表示し、観察対象を両眼視するものである。同技術によれば、立体感のある画像をリアルタイムで視認することができるという効果がある。

0006

しかしながら、同技術にも、前述の第一の撮像技術と同様の不都合があり、完全な合焦点画像を提供することはできない。また、いずれの撮像技術によっても、観察対象の立体数値モデルを生成することができないので、断面形状を示す端面図提示したり多方向からの俯瞰画像を連続的に合成して表示したりすることはできない。

発明が解決しようとする課題

0007

以上のような現況に鑑み、本発明は、観察対象の各部に焦点があった合焦点画像を準リアルタイムで生成することを第一の課題とし、観察対象の立体形状を示す立体数値モデルを生成して多様な表示形態を可能とすることを第二の課題とする。本発明では、これら第一の課題および第二の課題のうちいずれかが解決されていればよいものとする。

課題を解決するための手段

0008

上記課題を解決するために、発明者らは以下の手段を発明した。

0009

(第1手段)本発明の第1手段は、請求項1記載の全焦点撮像装置である。

0010

ここで、可変焦点レンズアクチュエータおよび駆動手段には、光学撮像装置や電子顕微鏡などに採用されている公知技術のうちいずれを採用することもでき、さらに新たに開発される可変焦点レンズ系を採用することもできる。公知の可変焦点レンズのうちでは、前述の公報にも開示されていたように、圧電アクチュエータ液封レンズの焦点距離を変化させる可変焦点レンズ装置を採用することが、作動速度の面からいって好ましい。

0011

一方、撮像手段としては、光学撮像手段であればCCD素子CMOSイメージャ等の固体撮像素子を用いることが小型化の点からは望ましいが、撮像管の出力をデジタル処理してもよく、使用目的に応じて多様な撮像手段から選択することができる。なお、画素の配列は正方形格子状の配列が最も一般的であるが、その他の配列であっても構わず、たとえば、長方形の格子状の配列であったり、ハニカム状の配列などであってもよい。

0012

また、画像メモリには、各種の記憶装置を採用することができるが、なるべく大容量の画像情報を高速で書き込み読み出しができるメモリが望ましいので、半導体RAMなどのソリッドステートメモリの採用が望ましい。画像処理手段は、現況ではVLSIなどの半導体MPUが最も有力であるが、将来的には光演算素子バイオ演算素子などの新演算素子を採用することもあり得る。画像処理手段が合焦点画素を判定する方法には様々な手法の適用が考えられるが、代表的なものを後述の第2手段ないし第11手段において説明する。画像処理手段によって選定された合焦点画素からなる合焦点画像や、選定された合焦点画像の焦点位置情報に基づいて生成される立体数値モデルは、前述の画像メモリの所定の記憶領域や表示装置付属メモリなどの所定のメモリに記録される。

0013

さらに、制御手段には、前述の画像処理手段と同様に各種の演算素子を採用することができるばかりではなく、制御手段のハードウェアは、画像処理手段と兼用であっても良い。

0014

なお、本手段は、画像処理手段で生成された合焦点画像または立体数値モデルの映像を提供する表示装置をも有することが望ましい。表示装置があれば、合焦点画像または立体数値モデルの映像をすぐに観察者に見せることができるから、使用態様としては表示装置があった方がよいのだが、表示装置なしで製造販売する場合もあるので、表示装置は必須構成要素から外されている。表示装置としては、準リアルタイム性の要求から、CRT液晶ディスプレイおよびプラズマディスプレイなどを採用することができるが、準リアルタイム性の要求がなければ、その他にもプリンターなどの印画手段を採用しても良い。

0015

すなわち、以上の各構成要素には、ありとあらゆる採用可能な各種手段のうちから、使用目的や各種条件に合致した最適な構成要素の組み合わせを選定することができる。

0016

本手段は、以上のように構成されているので、以下のような作用効果を発揮することができる。

0017

本手段では、撮像手段から出力された焦点位置の異なる複数の画像が画像メモリに格納され、画像処理手段によって各画素について合焦点の判定がなされ、これらの画像のうちから合焦点画素が抽出される。

0018

合焦点画像が必要な場合には、画像処理手段は、これらの合焦点画素で画像を埋め尽くすことにより、観察対象の各部に焦点が合っている合焦点画像を、何らかのメモリ上に合成して提供することができる。ここで、ディスプレイ等の表示装置が本手段に接続されていれば、合焦点画像を表示装置に提示することができる。

0019

また、立体数値モデルが必要な場合には、画像処理手段は、各合焦点画素がもつ焦点位置情報を当該画素の高さ方向の位置として、各画素の縦横高さの三次元位置を特定することにより、立体数値モデルを生成して所定のメモリに格納することができる。観察対象の立体数値モデルがあれば、画像処理手段等に画像合成機能をもたせておき、等高線地図状の等高面図や、断面形状を示す端面図や、方向を変えながら連続的に俯瞰図を表示する動画などの立体形状を示す多様な表示データの生成が可能である。そして、ディスプレイ等の表示装置が本手段に接続されていれば、このような多様な表示データを画像として観察者に見せることが可能になる。

0020

なお、光学系の可変焦点レンズ装置については、液封レンズの焦点距離を圧電アクチュエータで変化させることにより、数百Hz程度の応答速度を持つものがすでに開発されており、大抵のリアルタイム性の要求に対しては対応可能である。また、撮像手段としてCCD素子を採用すれば、やはり大抵のリアルタイム性の要求に対しては対応可能である。なぜならば、毎秒30画像のビデオレートカラー撮像するCCD素子が普及しており、試作品ベルであれば、十分な輝度の観察対象に対しては毎秒数百画像のレートで撮像し、画素毎の画像信号として出力することが可能だからである。

0021

一方、画像処理手段の処理速度については、解像度画素数)にもよるが、合焦点画素判定アルゴリズム演算負荷と画像処理手段の演算処理能力とのトレードオフで決まる。それゆえ、単一のMPUで画像処理を行う場合には、当面はMPUの演算処理速度がリアルタイム性に関するボトルネックとなるものと考えられる。しかし、近い将来には、MPUの演算処理速度の向上とアルゴリズムの改良とにより、かなりの程度までは画像処理手段の処理速度のリアルタイム性が得られるようになろう。ただし、出願時点においても、リアルタイム性の要求が重要であれば、多数のMPUによる並列処理を行うことにより処理速度のリアルタイム性を向上させることができる。なお、画像メモリに関しても、必要に応じて複数のメモリを使用することにより、高速大容量の要求を満たすことができる。それゆえ、画像処理手段等に関しても、かなりの程度までのリアルタイム性の要求に応じることができる。

0022

したがって本手段によれば、観察対象の各部に焦点が合った合焦点画像を準リアルタイムで提供可能にすることと、観察対象の立体形状を示す立体数値モデルを生成して多様な表示形態を可能とすることのうち、少なくとも一方を実現することができるという効果がある。すなわち、要求仕様に応じて、前述の第一の課題と第二の課題とのうち、いずれか一方または両方を解決可能な全焦点撮像装置を提供することができる。

0023

なお、使用形態としては、ディスプレイ等の表示装置が本手段に接続されていて、すぐに観察者に画像を見せることができることが望ましい。ここで、ディスプレイを含んだ全焦点撮像システム全体をもって、本手段の全焦点撮像装置であるとしてもよい。

0024

(第2手段)本発明の第2手段は、請求項2記載の全焦点撮像装置である。

0025

本手段では、各画素の輝度は合焦点時に極大値または極小値を取るとの知見に基づき、画像処理手段による合焦点画素の判定は、各画素がもつ輝度の焦点位置に関する差分値正負反転によって行われる。

0026

すなわち、判定される画素の輝度が周囲の輝度よりも高い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも高いので、当該画素の前後を調べれば輝度の極大値が得られる。それゆえ、当該画素の前後では輝度の差分値が正から負へと反転しているので、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。

0027

逆に、判定される画素の輝度が周囲の輝度よりも低い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも低いので、当該画素の前後を調べれば輝度の極小値が得られる。それゆえ、当該画素の前後では輝度の差分値が負から正へと反転しているので、やはり、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。

0028

以上のように本手段では、それぞれの画素について、その周囲の画素との相関関係を省みることなく、当該画素単独で輝度の変化を観測することにより、当該画素の輝度の差分値の正負反転をもって合焦点の判定がなされる。それゆえ、画像処理手段において、合焦点画素の判定に要する演算負荷が極めて小さいので、リアルタイム性を向上させることができ、安価な画像処理手段を採用することが可能になる。

0029

したがって本手段によれば、前述の第1手段の効果に加えて、画像処理のリアルタイム性の向上と、画像処理手段のコストダウンとのうち少なくとも一方が得られるという効果がある。

0030

なお、当該画素の輝度が周囲と同等である場合には、画像信号が単色であれば周囲と同程度の輝度なのであるから、当該画素で焦点が合っている必要はなくなり、適当な画像の中から選んで合焦点画素に代えることができる。逆に、画像信号が光の三原色(RGB)等に分かれた複数の輝度信号をもっている場合には、そのうち適当な色の輝度信号をもって同様の合焦点判定を行い、輝度は周囲と同じでも色合いが異なる画素の合焦点判定を行うことができる。

0031

(第3手段)本発明の第3手段は、請求項3記載の全焦点撮像装置である。本手段は、実験を重ねた結果、各画素の輝度は合焦点時以外にも極大値または極小値を取ることがあり得るとの知見に基づいて発明された。

0032

本手段では、前述の第2手段において、差分値の正負反転箇所が複数ある場合には、正負反転箇所のうち極大値および極小値を取る箇所のうち一方を選択することによって合焦点判定が画素毎に行われる。そしてさらに、その一方が複数ある場合には、最も突出した値の箇所が選定されることによって、画素毎に合焦点判定が行われる。

0033

すなわち、多数の実験の結果、焦点位置が合っている場合だけではなく、その近傍において正負反転が逆の極大値または極小値が現れることがあることが分かった。そこで、合焦点判定のロジックを簡素にするために、極大値と極小値とが両方現れた場合には、その一方だけを選定してその位置を合焦点位置とするようにした。

0034

すると、厳密には誤判定も起こりうるが、経験上、極大値と極小値とが両方現れた場合には両者の焦点位置は互いに近傍にあるので、誤判定された場合でも、焦点位置は完全に合焦点位置にはなくともその近傍にある。それゆえ、極めて簡素な判定ロジックでありながら、仮に誤判定した場合でもほぼ焦点の合った画素が選定されるので、おおむね大過ない合焦点画像が得られる。

0035

さらに、選定される極大値と極小値との一方が複数の焦点位置で得られる場合には、最も合焦点位置が選定される確率が高くなるように、最も突出した値で合焦点判定がなされるようにした。その結果、合焦点判定の精度が簡素な判定ロジックによっても向上する。なお、選定するようにこれらの焦点位置が互いに近傍にあるとは限らないが、このようなロジックによっても誤判定が起こるくらいであれば、当該画素の近傍ではコントラストが小さいと考えられるので、やはりおおむね大過ない合焦点画像が得られる。

0036

したがって本手段によれば、前述の第2手段の効果に加えて、輝度の差分値の正負反転箇所が複数検出された場合にも、合焦点判定のロジックが比較的簡素に構成されており、演算負荷を小さくして高速処理ができながら、おおむね大過ない合焦点画像が得られるという効果がある。

0037

(第4手段)本発明の第4手段は、請求項4記載の全焦点撮像装置である。本手段は、発明者らが実験を重ねた結果、コントラストが大きな明部と暗部との境界線上では、合焦点位置を中心に輝度の傾きが大きくなるという知見に基づいて発明されたものである。

0038

本手段では、前述の第1手段において、画像処理手段による合焦点画素の判定は、各画素がもつ輝度の焦点位置に関する差分値の絶対値が最大値を取ることを判定基準として行われる。すなわち、焦点位置の移動に関して当該画素の輝度の変化が最も著しかった焦点位置をもって合焦点位置と判定される。その結果、コントラストが大きな明部と暗部との境界線上で正確な合焦点判定がなされるようになる。

0039

したがって本手段によれば、前述の第1手段の効果に加えて、コントラストが大きな明部と暗部との境界線上で正確な合焦点判定がなされるようになるという効果がある。

0040

(第5手段)本発明の第5手段は、請求項5記載の全焦点撮像装置である。

0041

本手段では、前述の第1手段において、焦点があった画像では空間周波数が極大値を取るとの知見に基づき、画像処理手段による合焦点画素の判定は、各画素およびその周辺画素の形成する区画がもつ空間周波数の焦点位置に関するピーク判定によって行われる。すなわち、当該画素とその周辺画素に焦点が合った場合には、輝度または各色の輝度の分布がもつ空間周波数が極大値になる。その結果、合焦点判定が行われる画素の周囲の画素に関する輝度情報も使用されて当該画素の合焦点判定が行われるので、より精密な合焦点判定が行われるようになる。

0042

したがって本手段によれば、当該画素だけでなく周囲の画素をも含んだ区画で合焦点判定が行われるので、より精密な合焦点判定が行われるようになるという効果がある。

0043

なお、空間周波数は、厳密に演算される必要は必ずしもなく、簡易化した演算アルゴリズムをもって近似的に算出されても良い。また、空間周波数を算出するに当たっては、仮に画素が正方格子状に配列されているのであれば、当該画素を中心とする3×3の9個の画素を取って演算する方法が、演算量の増大防止と精密な合焦点判定とに有用である。しかし、5×5,7×7,・・・というように、より広い領域に渡って空間周波数を算出するようにしても良い。逆に、当該画素の全周囲の画素を含んだ空間周波数を算出する代わりに、縦方向の空間周波数と横方向の空間周波数との和だけを取って演算量を低減してもよい。同様に、X字状に斜め二方向の空間周波数の和だけを取って演算量を低減してもよい。

0044

(第6手段)本発明の第6手段は、請求項6記載の全焦点撮像装置である。

0045

本手段では、前述の第1手段において、画像処理手段による合焦点画素の判定は、焦点があった画像ではエントロピーが極小値を取るとの発明者らの知見に基づき、各画素およびその周辺画素の形成する区画がもつエントロピーの焦点位置に関する最小判定によって行われる。すなわち、当該画素とその周辺画素の形成する区画に焦点が合った場合には、輝度または各色の輝度の分布がもつエントロピーが極小値を取る。その結果、合焦点判定が行われる画素の周囲の画素に関する輝度情報も使用されて当該画素の合焦点判定が行われるので、より精密な合焦点判定が行われるようになる。

0046

したがって本手段によれば、当該画素だけでなく周囲の画素をも含んだ区画で合焦点判定が行われるので、より精密な合焦点判定が行われるようになるという効果がある。

0047

なお、エントロピーの算出方法にはいくつかあるが、エントロピーは厳密に演算される必要は必ずしもなく、簡易化した演算アルゴリズムをもって近似的に算出されても良い。

0048

また、エントロピーの極小値を求めるにあたっては、全ての焦点位置の同一区画について求める必要はなく、極小値を求める公知の数値計算方法を採用して、焦点位置に関してとびとびにエントロピーを算出してもよい。こうすれば、演算負荷を減らすことができるので、合焦点判定に要する演算処理時間が短縮されて有利である。

0049

(第7手段)本発明の第7手段は、請求項7記載の全焦点撮像装置である。本発明は、合焦点判定を行うべき当該画素を含む小さな区画では、合焦点時には最も明るい画素と最も暗い画素とのコントラストが最大になるとの知見が得られたので、この知見に基づいて発明された。

0050

本手段では、前述の第1手段において、画像処理手段による合焦点画素の判定は、各画素およびその周辺画素の形成する区画における各画素の輝度の最大値と最小値との差である輝度振幅の最大判定によって行われる。輝度振幅は、最も明るい画素と最も暗い画素とのコントラストであるので、輝度振幅が最大になった焦点位置をもって、その区画は合焦点位置にあり、その区画のおそらく中央にある当該画素も合焦点位置にあると判定される。

0051

本手段での合焦点判定アルゴリズムの特徴は、区画中の各画素の輝度の間で複雑な計算をする必要が全くなく、単に各画素の輝度のうちでの最大値と最小値とを探し出し、その差を取ることであるから、極めて簡素な処理であることである。それゆえ、同アルゴリズムの開発が容易であるばかりではなく、同アルゴリズムを処理するデジタル演算手段の演算負荷は極めて低くなり、安価な演算手段を使っても高速処理が可能になる。それでいながら、かなり高い信頼性で合焦点判定が行われる。

0052

したがって本手段によれば、前述の第1手段の効果に加えて、安価な演算手段を使っても高速処理が可能になるうえに、かなり高い信頼性で合焦点判定が行われるという効果がある。

0053

(第8手段)本発明の第8手段は、請求項8記載の全焦点撮像装置である。本発明は、合焦点判定を行うべき当該画素の周辺では、焦点位置が合うとシャープな画像が得られるので、離散コサイン変換係数の値が最大になるとの知見に基づいてなされている。

0054

本手段では、前述の第1手段において、画像処理手段による合焦点画素の判定は、各画素およびその周辺画素の形成する区画における離散コサイン変換係数の最大判定によって行われる。ここで、離散コサイン変換処理を行うLSIは、MPEGの画像処理用にすでに開発されて市場に出回っており、費用をかけて新たに専用LSIを開発することなく、MPEG処理用LSIの既製品を安く購入して使用することができる。しかも、既製品にはテレビ画像用ものが多いので、毎秒30回などの高いビデオレートでの処理が安価な既製品よって可能である。それゆえ、このような画像処理手段をもつ本手段の全焦点撮像装置は、高速処理が可能であるうえに比較的廉価に製造することができる。

0055

したがって本手段によれば、前述の第1手段の効果に加えて、合焦点判定を高速で行うことができながら、製品を比較的安価に提供することができるという効果がある。

0056

なお、離散コサイン変換係数の極大値を求めるにあたっては、全ての焦点位置の同一区画について求める必要はなく、極大値を求める公知の数値計算方法を採用して、焦点位置に関してとびとびに離散コサイン変換係数を算出してもよい。こうすれば、演算負荷を減らすことができるので、合焦点判定に要する演算処理時間が短縮されて有利である。

0057

(第9手段)本発明の第9手段は、請求項9記載の全焦点撮像装置である。

0058

本手段では、前述の第1手段において、画像処理手段による合焦点画素の判定は、複数の画素からなる区画毎に行われ、その区画における空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれかを判定基準にして行われる。すなわち、前述の第5手段ないし第8手段においては、たとえ周囲の区画をも検討対象としても合焦点判定は画素毎に行われるのに対し、本手段では、複数の画素からなる区画毎に合焦点判定が行われる。

0059

それゆえ、画素毎に合焦点判定がなされた精緻な合焦点画像は得られないが、小さな区画毎に焦点があった比較的鮮明な画像が得られる。しかも、合焦点判定に要する演算処理負荷は、区画を形成する画素の数が増えるほど、劇的に低下する。たとえば、2×2の画素からなる区画では演算負荷が1/4に減り、3×3の区画では演算負荷が1/9と約一桁も低減される。その結果、合焦点判定に関して高速処理が可能になる。

0060

したがって本手段によれば、前述の第1手段の効果に加えて、前述の第5手段ないし第8手段に比べて合焦点判定に要する演算負荷が大幅に低下し、高速処理が可能なるという効果がある。

0061

なお、空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれを合焦点判定の指標にするかによって、発揮される特徴は異なる。それぞれの特徴は、前述の第5手段ないし第8手段の説明ですでに明らかにされているので、ここでは説明を省く。

0062

(第10手段)本発明の第10手段は、請求項10記載の全焦点撮像装置である。

0063

本手段では、前述の第1手段において、画像処理手段による合焦点画素の判定は、各画素と複数の画素からなる区画とのうち一方に、複数の互いに異なる判定法を適用して行われる。ここで、各画素に対する合焦点判定の各種方法については、前述の第2手段ないし第8手段に説明されており、区画毎の合焦点判定の各種方法については、前述の第9手段に説明されている。

0064

本手段では、合焦点判定を、単一の判定法でなく複数の判定法を組み合わせて行い、複数の合焦点判定を複合的に利用して、より信頼性の高い合焦点判定を行うことができる。複数の合焦点判定を複合的に利用する方法としては、平均値を採る方法、多数決で決める方法、集団から外れた値を棄却して標準偏差を減らし残りの固まった値の中で平均を取る方法などがある。複数の合焦点判定方法を組み合わせて用いることにより、それぞれの方法に固有の合焦点判定の偏り是正し、合焦点位置の判定精度を向上させることができる。

0065

したがって本手段によれば、前述の第1手段の効果に加えて、第2手段ないし第9手段よりも合焦点判定の信頼性が向上し、合焦点判定に誤判定が少なくなるので、より鮮明な合焦点画像やより正確な立体数値モデルが得られるようになるという効果がある。

0066

(第11手段)本発明の第11手段は、請求項11記載の全焦点撮像装置である。

0067

本手段では、前述の第1手段において、画像処理手段による合焦点画素の判定は、二段階の合焦点判定を行って画素または区画の合焦点位置の精度を向上させることが目的である。ここで、第一段階は、単数または複数の画素からなる区画とその周辺の複数の区画とにそれぞれ合焦点判定を行う段階である。次の第二段階は、当該区画とその周辺の区画とからなる大区画に関して合焦点判定を行い当該区画の合焦点判定を改める段階である。この際、第一段階と第二段階とでは、同一の合焦点判定方法を用いてもよいし、互いに異なる合焦点判定方法を用いてもよい。

0068

すなわち、第一段階では、合焦点判定を行うべき区画とその周囲の区画とについて、それぞれいったん合焦点判定が行われる。すると、当該区画だけではなくその周囲の区画についてもおおむね正しい合焦点判定が行われているので、第二段階では、そのうえで周囲の区画も含めて改めて当該区画の合焦点判定が行われる。その結果、周囲の区画でもおおむね正確な合焦点位置が得られているので、当該区画の合焦点判定はより精密になり、よりいっそう正確な合焦点位置が得られるようになる。

0069

したがって本手段によれば、前述の第1手段の効果に加えて、画素または区画の合焦点位置の精度がよりいっそう向上し、極めて鮮明な合焦点画像や極めて正確な立体数値モデルが得られるという効果がある。

0070

(第12手段)本発明の第12手段は、請求項12記載の全焦点撮像装置である。本手段は、前述の第1手段の構成のうちから、複数枚分の画像をできるだけ短時間で撮像することを追求した構成をしている。

0071

本手段では、液封レンズおよび圧電アクチュエータの組み合わせからなる可変焦点レンズ装置と、駆動手段としての可変焦点レンズ駆動回路と、撮像手段としての固体撮像素子とが装備されている。これらの構成要素は、前述のように数百Hz程度での作動が可能であるから、かなりの程度まで短時間で複数枚の画像の撮像が可能になる。

0072

その結果、動きがある観察対象に対しても、ほとんど瞬間的に複数枚分の画像を撮像することが可能になり、写真でいうところの長時間露光によるぶれ最低限に抑制することができる。たとえば、ピラミッド状の観察対象が回転している場合には、撮像に長時間がかかってしまうと、合焦点画像では観察対象の稜線螺旋状にねじれて写ってしまう。しかし、本手段のようにごく短時間で多数枚分の撮像を行うことができれば、合焦点画像でも観察対象の稜線はほとんどねじれることがない。

0073

したがって本手段によれば、前述の第1手段の効果に加えて、ごく短時間で多数枚分の撮像ができるので、時間的に変化する観察対象に対しても合焦点画像のぶれを抑制することができるという効果がある。

0074

(第13手段)本発明の第6手段は、請求項6記載の全焦点撮像装置である。本手段は、前述の第1手段の構成のうちからリアルタイム性が高い構成を選定したものであり、合焦点画像をリアルタイムで表示することを追求している。

0075

本手段では、前述の第12手段と同様に、液封レンズおよび圧電アクチュエータの組み合わせからなる可変焦点レンズ装置と、駆動手段としての可変焦点レンズ駆動回路と、撮像手段としての固体撮像素子とが装備されている。これらの構成要素は、前述のように数百Hz程度での作動が可能であるから、かなりの程度までのリアルタイム性の要求に応えることができる。

0076

一方、画像処理手段は、新しい画像が取り込まれる度に、リアルタイムで合焦点画素の判定を行い、制御手段は、これらの合焦点画素を逐次更新することにより表示装置に合焦点画像を表示する。すなわち、画像処理手段により合焦点画素が抽出されると、即座に制御装置によって表示装置に表示中の合焦点画像のうち当該画素が更新される。それゆえ、表示装置に表示中の合焦点画像は、全て最新の合焦点画素から構成されており、ほとんどリアルタイムでの合焦点画像の表示が可能になる。

0077

したがって本手段によれば、前述の第12手段の効果に加えて、時間的に変化する観察対象に対しても、ほとんどリアルタイムで合焦点画像を提供することできるという効果がある。

0078

(第14手段)本発明の第14手段は、請求項14記載の全焦点撮像装置である。

0079

本手段では、前述の第12手段において、圧電アクチュエータに印加される電圧測定値に基づいて、可変焦点レンズ装置の焦点位置が算出される。すなわち、可変焦点レンズ装置の焦点位置は液封レンズのレンズ形状で決まり、このレンズ形状は圧電アクチュエータの変位で決まり、この変位は印加電圧で決まる。それゆえ、圧電アクチュエータへの印加電圧の測定値に基づいて、可変焦点レンズ装置の焦点位置を算出することができる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置を付与することが可能になる。

0080

したがって本手段によれば、前述の第12手段の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。

0081

(第15手段)本発明の第15手段は、請求項15記載の全焦点撮像装置である。

0082

本手段では、前述の第12手段において、圧電アクチュエータに注入および放電される電荷量の測定値に基づいて、可変焦点レンズ装置の焦点位置が算出される。すなわち、可変焦点レンズ装置の焦点位置は液封レンズのレンズ形状で決まり、同レンズ形状は圧電アクチュエータの変位で決まり、同変位は圧電アクチュエータに注入されている電荷量で決まる。それゆえ、圧電アクチュエータに印加されている電荷量の測定値に基づいて、可変焦点レンズ装置の焦点位置を算出することができる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置を付与することが可能になる。

0083

したがって本手段によれば、前述の第12手段の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。

0084

(第16手段)本発明の第16手段は、請求項16記載の全焦点撮像装置である。

0085

本手段では、前述の第12手段において、圧電アクチュエータの変位の測定値に基づいて、可変焦点レンズ装置の焦点位置が算出される。すなわち、可変焦点レンズ装置の焦点位置は液封レンズのレンズ形状で決まり、同レンズ形状は圧電アクチュエータの変位で決まる。それゆえ、圧電アクチュエータの変位の測定値に基づいて、可変焦点レンズ装置の焦点位置を算出することができる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置を付与することが可能になる。

0086

したがって本手段によれば、前述の第12手段の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。

0087

(第17手段)本発明の第17手段は、請求項17記載の全焦点撮像装置である。

0088

本手段では、前述の第1手段において、可変焦点レンズ装置の焦点位置は、制御手段が駆動手段に与える信号に基づいて算出算出されるので、何らセンサ等を付加することなく、焦点位置の算出が可能である。

0089

したがって本手段によれば、前述の第1手段の効果に加えて、可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。また、前述の第14手段ないし第16手段と異なり、何らセンサを付加する必要がないので、これらの手段よりも安価になるという効果もある。

0090

(第18手段)本発明の第18手段は、請求項18記載の全焦点撮像装置である。

0091

本手段では、前述の第1手段において、画像メモリは、画像信号を一列の画素からなるライン状の区画に分割して格納するラインメモリである。ラインメモリは、回路規模が小さく安価なうえに、素子サイズ消費電力も小さいので、その分だけ全焦点撮像装置を小型かつ安価にしその消費電力を低減することができる。それゆえ、内視鏡マイクロマシンなどの小型軽量化要求の高い用途に対しても、その要求に応えやすくなる。

0092

したがって本手段によれば、前述の第1手段の効果に加えて、コストダウンと小型軽量化と消費電力低減とが可能になるという効果がある。

0093

(第19手段)本発明の第19手段は、請求項19記載の全焦点撮像装置である。

0094

本手段では、前述の第1手段において、画像メモリは、画像信号を二次元広がりがあるフレーム状の区画ごと格納するフレームメモリである。フレームメモリは、ある程度大きな二次元の広がりをもった区画ごと、画像信号を一度に格納してしまい、一度に読み出すことができるので、高速処理が可能になる。なお、フレームメモリとしては、一画面または複数画面をそっくりそのまま格納できるだけの容量をもったものを採用することが処理速度の点から望ましい。

0095

したがって本手段によれば、前述の第1手段の効果に加えて、高速処理が可能になるという効果がある。

0096

(第20手段)本発明の第20手段は、請求項20記載の全焦点撮像装置である。すなわち、本手段の全焦点撮像装置において、画像処理手段は、合焦点画像および立体数値モデルのうち少なくとも後者を生成するデジタル演算手段である。そしてこの画像処理手段は、立体数値モデルの生成にあたって空間的な高周波ノイズを除去するノイズ除去フィルタをもつことを特徴とする。

0097

すなわち、ノイズ除去フィルタなしで画像処理が行われると、観察対象のエッジ部分段差部分など、合焦点位置が位置によって急変している部分では、合焦点判定に誤差が生じやすく、このような誤差は空間的な高周波成分として現れる。その結果、立体数値モデルのエッジ部分や段差部分などがささくれ立ってしまい、立体数値モデルのデータに観察対象にはない乱れが形成されてしまうことが多い。

0098

そこで本手段では、ノイズ除去フィルタによって空間的な高周波成分を取り除き、立体数値モデルから高周波ノイズを除去することにより、観察対象の立体数値モデルをより滑らかで正確なものにすることが可能になる。

0099

したがって本手段によれば、前述の第1手段の効果に加えて、段差やエッジのある観察対象に対しても、その立体数値モデルをより滑らかで正確なものにすることが可能になるという効果がある。

0100

(第21手段)本発明の第21手段は、請求項21記載の全焦点撮像装置である。本手段は、前述の第20手段をより具体的に特定したものであり、立体数値モデルを空間周波数領域に変換してフィルタリングをかけるところに特徴がある。

0101

本手段では、前述の第20手段において、ノイズ除去フィルタは、立体数値モデルをいったん空間周波数成分に変換する正変換と、空間周波数成分から高周波成分を除去するフィルタリングと、高周波成分が除去された空間周波数成分を再び立体数値モデルに戻す逆変換とを行うデジタルフィルタである。空間周波数成分にフィルタリングをかけるので、空間周波数のうちノイズが多い高周波成分だけを除去することが可能になるともに、フィルタリングに様々な手法を適用することが可能になり有効な選択肢が増える。

0102

したがって本手段によれば、前述の第20手段の効果に加えて、空間周波数のうちノイズが多い高周波成分だけを除去することが可能になるともに、フィルタリングに様々な手法を適用することが可能になり有効な選択肢が増えるという効果がある。

0103

(第22手段)本発明の第22手段は、請求項22記載の全焦点撮像装置である。本手段は、前述の第21手段の変換方法を選択的に特定するものである。

0104

本手段では、前述の第21手段において、正変換の方法は、離散コサイン変換法、離散サイン変換法フーリエ変換法および高速フーリエ変換法のうちいずれかであり、当然逆変換の方法は、正変換の方法に対応する方法である。これらの方法のうち、離散コサイン変換法を採用した場合には、正変換および逆変換に、既製品のMPEGの圧縮処理LSIおよび解凍処理LSIを用いることができるので、開発期間が短縮されるうえに安価である。また、高速フーリエ変換法を使用した場合にも、市販の専用チップを採用できるので、安価にすますことができる。

0105

したがって本手段によれば、前述の第21手段の効果に加えて、前述のような特定の変換方法を選択することにより、製品をより安価に提供できるようになるという効果がある。

0106

(第23手段)本発明の第23手段は、請求項23記載の全焦点撮像装置である。本手段は、前述の第20手段をより具体的に特定したものである。

0107

本手段では、前述の第20手段において、ノイズ除去フィルタは、立体数値モデルに対して移動平均および全平均のうち一方を取ることにより高周波ノイズを除去するデジタルフィルタである。すなわち、本手段では前述の第21手段ないし第22手段と異なり、立体数値モデルを空間周波数成分に正変換することも、フィルタリングされた空間周波数成分を立体数値モデルに逆変換することもない。それゆえ、正変換および逆変換の演算処理を行う必要がないので、演算負荷が大幅に低減され、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になる。

0108

したがって本手段によれば、前述の第20手段の効果に加えて、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になるという効果がある。

0109

(第24手段)本発明の第24手段は、請求項24記載の全焦点撮像装置である。本手段も、前述の第20手段をより具体的に特定したものである。

0110

本手段では、前述の第20手段において、ノイズ除去フィルタは、画像信号を複数の画素からなる区画毎にまとめ、各区画内で最も発生頻度が高い輝度値および輝度値の平均値のうち一方で、区画内の各画素の各画像信号を統一するデジタルフィルタである。すなわち前述の第23と同様に、立体数値モデルを空間周波数成分に正変換することも、フィルタリングされた空間周波数成分を立体数値モデルに逆変換することもない。そればかりではなく、所定の区画内の輝度を、最も発生頻度が高い輝度値および輝度値の平均値のうち一方で統一してしまうだけであるので、やはり演算負荷が小さくなる。その結果、演算負荷が大幅に低減され、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になる。

0111

したがって本手段によっても、前述の第23手段と同様に、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になるという効果がある。

0112

(第25手段)本発明の第25手段は、請求項25記載の全焦点撮像装置である。

0113

本手段では、前述の第1手段において、制御手段は、駆動手段を制御して焦点位置を連続的に移動させ、撮像手段を制御して焦点位置の移動中に連続撮影させる。ここで、必要とされる焦点位置の移動速度は、一枚の画像の撮影に必要な撮像手段の露光時間と、必要な画像の枚数と、被写界深度などとによって異なる。焦点位置の移動速度への要求がかなり高くても、前述の第12手段で説明したような可変焦点レンズ装置を使用すると、焦点位置の移動速度の要求にはたいてい応えることができるようになる。すると、ごく短時間のうちに焦点位置の異なる多数の画像を撮像することができ、動きの激しい観察対象やごく短いシャッターチャンスしかない観察対象に対しても、全焦点画像や立体数値モデルの生成が可能になる。

0114

したがって本手段によれば、前述の第1手段の効果に加えて、動きの激しい観察対象やごく短いシャッターチャンスしかない観察対象に対しても、全焦点画像や立体数値モデルの生成が可能になるという効果がある。

0115

なお、焦点位置の移動パターンとしては、正弦波状、三角波状およびノコギリ波状など、多様なパターンがあり得るので、可変焦点レンズ等の種類と使用目的とに合わせて最も適した移動パターンを選ぶとよい。

0116

(第26手段)本発明の第26手段は、請求項26記載の全焦点撮像装置である。

0117

本手段では、前述の第1手段において、制御手段は、駆動手段を制御して焦点位置を階段状に時間変化させ、撮像手段を制御して焦点位置の各停止時に撮像させる。すると、撮像手段が撮像している間は焦点位置を固定しておくことができるので、前述の第25手段ほど短時間での全焦点撮像はできないが、撮像される多数の画像の一枚一枚において焦点ぶれがなくなる。その結果、より鮮明な合焦点画像やより正確な立体数値モデルが生成されるようになる。

0118

したがって本手段によれば、前述の第1手段の効果に加えて、撮像される多数の画像の一枚一枚から焦点ぶれがなくなって、より鮮明な合焦点画像やより正確な立体数値モデルが生成されるという効果がある。

0119

(第27手段)本発明の第27手段は、請求項27記載の全焦点撮像装置である。本手段は、前述の第25手段の長所と第26手段の長所とを組み合わせ、短い撮像時間でより鮮明な合焦点画像やより正確な立体数値モデルが生成されるようにしたものである。

0120

本手段では、前述の第1手段において、制御手段は、焦点位置を連続的に移動させつつ連続撮像するプレビュー動作と、このプレビュー動作の間に観察対象が存在する焦点位置の範囲を判定する範囲判定処理と、この範囲において焦点位置を階段状に移動させつつ焦点位置の各停止時に撮像する本撮像動作とを行うよう制御を行う。

0121

先ず、プレビュー動作では、前述の第25手段で説明したように、焦点位置は高速で連続的に移動させられ、その間に撮像手段は複数枚の焦点位置が異なる画像をごく短時間のうちに連続撮像する。そして、範囲判定処理では、これらの画像で合焦点判定を行うことにより、プレビュー動作での焦点位置の移動範囲のうち、どの範囲に観察対象が存在するのかが判定される。ここで、範囲判定処理は、プレビュー動作が済んでから行われてもよいが、撮像時間の短縮要求が高い場合にはプレビュー動作と並行してリアルタイムまたは準リアルタイムで行われることが望ましい。範囲判定処理によって観察対象の存在範囲が明らかになったら、次に本撮像動作が行われる。すなわち、焦点位置の移動可能範囲のうち観察対象が存在する範囲にわたって焦点位置が階段状に移動し、その際、焦点位置の各停止時に撮像が行われる。

0122

このようにプレビュー動作と本撮像動作との二段階に分けて撮像することにより、プレビュー動作で得た画像に基づいて撮像すべき焦点位置の範囲が限定されるので、本撮像動作が短時間で済む。その結果、プレビュー動作も本撮像動作も短時間で済むので、全体の撮像時間も短くて済みながら、本撮像動作で焦点位置を固定した焦点ぶれのない画像が撮像されるので、より鮮明な合焦点画像やより正確な立体数値モデルが得られる。

0123

あるいは、本撮像動作の撮像時間はあまり短くならないが、本撮像動作での焦点位置の移動ステップを小刻みにし、より多数枚の画像を撮像してよりいっそう鮮明な合焦点画像やよりいっそう正確な立体数値モデルが得られるようにしてもよい。

0124

したがって本手段によれば、前述の第1手段の効果に加えて、短い撮像時間のうちに、より鮮明な合焦点画像やより正確な立体数値モデルが得られるという効果がある。

0125

(第28手段)本発明の第28手段は、請求項28記載の全焦点撮像装置である。

0126

本手段では、前述の第1手段において、制御手段は、駆動手段を制御し、可変焦点レンズの被写界深度に応じて焦点位置の移動速度を調整する。すなわち、一枚の画像を撮像する間に、被写界深度の範囲内でしか焦点位置が移動していなければ、その画像ではほとんど焦点ぶれが生じず、焦点位置を連続的に移動させていても焦点位置を階段状に移動させて静止時に撮像した場合に準ずる鮮明な画像が撮像される。それゆえ、焦点位置を連続的に移動させて短時間で連続撮像されていても、比較的長時間をかけて焦点位置を階段状に移動させて静止時に撮像した場合に準ずる鮮明な画像が得られる。その結果、短時間のうちに鮮明な合焦点画像や正確な立体数値モデルが生成される。

0127

したがって本手段によれば、前述の第1手段の効果に加えて、被写界深度の範囲内で各画像が撮像されるよう焦点位置の移動速度が適正に調整されていれば、短時間のうちに鮮明な合焦点画像や正確な立体数値モデルを生成することができるという効果がある。

0128

(第29手段)本発明の第29手段は、請求項29記載の全焦点撮像装置である。

0129

本発明のように、合焦点画像を選択して観察対象の全体に焦点の合った合焦点画像を作成したり合焦点位置に基づいて立体数値モデルを生成しようとすると、各画素または各区画について合焦点判定ができることが必須である。ところが、光学軸方向の位置が異なっていても(つまり高低差があっても)、周囲との輝度や色彩のコントラストがないと、合焦点判定が正確にできなくなるので、合焦点位置を正確に検出することができなくなる。

0130

すると、合焦点画像の生成においては、多少のピンぼけがあっても周囲とコントラストがなければ、合焦点画像とほぼ同様の画像が得られるので、問題は少ない。しかし、立体数値モデルの生成にあたっては、合焦点判定が正確にできないと合焦点位置の検出に誤差を生じるので、立体数値モデルの表す形状が実際の観察対象とは異なってしまい、不都合である。

0131

本手段は、このような不都合をなくすために、観察対象においてコントラストがなくても正確な合焦点判定ができ、精密な立体数値モデルを生成することを目的に、発明者らが工夫を凝らしたものである。

0132

本手段では、前述の第1手段において、少なくとも焦点位置に結像する光学マーカを観察対象に投影するマーカ投影手段をさらに有する。マーカ投影手段が、焦点位置に結像する光学マーカを観察対象に投影すると、観察対象のうち撮像時の焦点位置にある部分にだけ光学マーカが鮮明に投影される。それゆえ、通常の照明下においてはコントラストがない観察対象の表面にも、焦点位置においてだけ鮮明なコントラストが生じるようになり、正確な合焦点判定ができるようになる。その結果、観察対象の表面に投影された光学マーカを観察することにより、精密な立体数値モデルを生成することが可能になる。

0133

したがって本手段によれば、前述の第1手段の効果に加えて、観察対象自体にコントラストがなくても正確な合焦点判定ができ、精密な立体数値モデルを生成することができるという効果がある。

0134

なお、マーカ投影手段は、焦点位置にだけ鮮明に結像する光学マーカを投影するものであってもよい。あるいは、平行光線を生じて焦点位置だけでなく無限遠にまで鮮明に結像する光学マーカや、スリット等を通した光学マーカを投影するものであってもよい。

0135

ところで、合焦点判定をできるようにするために光学マーカを用いると、立体数値モデルの生成にはよいが、合焦点画像には光学マーカまでもが撮像されて邪魔になるという不都合が起こりうる。そこで発明者らは、合焦点画像を撮像する際に光学マーカの像が邪魔になることを避ける目的で、以下の第30手段および第31手段を発明した。

0136

(第30手段)本発明の第30手段は、請求項30記載の全焦点撮像装置である。

0137

本手段では、前述の第29手段において、マーカ投影手段は、光学マーカを点滅させることができ、制御手段は、光学マーカの点滅に同期して撮像手段および画像処理手段を制御して、光学マーカの投影中に合焦点判定を行い、光学マーカの消灯中に画像メモリへの画像信号の取り込みを行う。すなわち、光学マーカの点灯中に合焦点判定が行われ、光学マーカの消灯中に合焦点画像のうち合焦点部分の画像信号の取り込みが行われる。その結果、観察対象自体にコントラストがなくても正確な合焦点判定ができ、精密な立体数値モデルを生成することができるだけではなく、光学マーカが写っていない合焦点画像を生成することもできるようになる。

0138

したがって本手段によれば、前述の第29手段の効果が得られながら、光学マーカが写っていない合焦点画像を生成することができるようになるという効果がある。

0139

(第31手段)本発明の第31手段は、請求項31記載の全焦点撮像装置である。すなわち、本手段は、前述の第29手段において、光学マーカの波長帯感度を有するマーカ撮像手段をさらに有する全焦点撮像装置である。そしてさらに、本手段には、マーカ投影手段は、撮像手段の撮像波長帯域を外れた波長帯で光学マーカを投影し、画像処理手段は、マーカ撮像手段から得られた画像信号に基づいて合焦点判定を行うという特徴がある。

0140

本手段では、マーカ投影手段は、撮像手段の撮像波長帯域を外れた波長帯で光学マーカを投影するので、撮像手段には光学マーカ感知されず合焦点画像には光学マーカが写らない。一方、本手段には光学マーカの波長帯に感度を有するマーカ撮像手段が装備されているので、マーカ撮像手段によって撮像される光学マーカのぼやけ具合を検討することによって、合焦点判定をすることが可能になっている。

0141

しかも本手段では、前述の第30手段と異なって、光学マーカを点灯したまま合焦点画像の撮像を行っても合焦点画像に光学マーカが写らないので、光学マーカを点滅させる必要がなくなる。それゆえ、第30手段よりも短時間で合焦点判定および撮像が可能になり、その結果、合焦点画像の撮像に要する時間が第30手段よりも短縮される。

0142

したがって本手段によれば、前述の第30手段と同様の効果が得られるばかりではなく、第30手段よりも合焦点画像の撮像に要する時間が短縮されるという効果がある。

発明を実施するための最良の形態

0143

本発明の全焦点撮像装置の実施の形態については、当業者に実施可能な理解が得られるよう、以下の実施例で明確かつ十分に説明する。

0144

[実施例1]
(実施例1の構成)本発明の実施例1としての全焦点撮像装置は、図1に示すように、可変焦点レンズ装置1と、その焦点位置を変更する可変焦点レンズ駆動回路2と、撮像手段3と、マイクロコンピュータ4と、液晶ディスプレイ5とを有する。

0145

可変焦点レンズ装置1は、観察対象に対する焦点位置が可変である可変焦点レンズ11と、可変焦点レンズ11の焦点位置(合焦点面Fの位置)を変更する複数のアクチュエータ12と、固定レンズ13とから主に構成されている。ここで、可変焦点レンズ11は、表裏差圧によって曲率が可変な一対の透明弾性膜とこれらの透明弾性膜によって形成される内部空間に封入された透明液体とをもつ液封レンズ11である。また、複数のアクチュエータ12は、それぞれ複数の圧電素子圧電バイモルフ)が積層されてなる圧電アクチュエータ12である。そして、液封レンズ11と圧電アクチュエータ12と固定レンズ13とは、互いに一体に組み付けられて可変焦点レンズ装置1を形成している。可変焦点レンズ装置1は、観察対象を拡大して撮像手段3に結像する機能をもつ顕微鏡である。なお、可変焦点レンズ装置1の構成は、前述の特開平9−230252号公報に開示されている可変焦点レンズ部と同様であるので、可変焦点レンズ装置1の詳しい構成を知りたい場合には、同公報を参照されたい。

0146

可変焦点レンズ駆動回路2は、これらの圧電アクチュエータ12に適正な電圧を印加し、全ての圧電アクチュエータ12を同期して駆動する駆動手段である。また、撮像手段3は、可変焦点レンズ11を通して結像した画像を画素毎の画像信号として出力する機能をもち、固体撮像素子としてのCCD素子31とCCD駆動回路32とから構成されている。そして、CCD素子31の撮像面は、液封レンズ11および固定レンズ13を通して観察対象が結像する位置に、可変焦点レンズ装置1に対して固定されている。

0147

マイクロコンピュータ4は、撮像手段3からの画像信号を複数枚分に渡って格納可能な画像メモリ41と、これら複数枚分の画像信号のうち最も焦点が合っているものを画素毎に判定して抽出し一枚の合焦点画像を生成する画像処理手段42と、全焦点撮像装置全体を制御する制御手段43とを有する。ここで、画像処理手段42による合焦点画素の判定は、各画素およびその周辺画素がもつ空間周波数の焦点位置に関するピーク判定によって行われる。また、画像メモリ41はフレームメモリであって、画像信号を一枚分ずつまとめて高速で入出力することができる。

0148

液晶ディスプレイ5は、前記合焦点画像を提供する表示装置であり、マイクロコンピュータ4の制御手段43によって提供される画像を表示する。すなわち、マイクロコンピュータ4の制御手段43は、前述の可変焦点レンズ駆動回路2、固体撮像素子3、画像メモリ41、画像処理手段42、および液晶ディスプレイ5を適正に同期して制御する機能をもつ。

0149

(実施例1の作用効果)本実施例の全焦点撮像装置は、以上のように構成されているので、以下のような作用効果を発揮する。

0150

先ず、観察対象の一例として、図2に示すように、大中小円筒体が重ねられ、互いに高さが異なる上面、中間面および低面がある物体を定め、同物体の直上から可変焦点レンズ装置1で観察するものとする。

0151

次に、可変焦点レンズ装置1の焦点位置は、図3に示すように、所定の時間をおいて段階的に所定のピッチで階段状に変更される。このような焦点位置の変更は、再び図1に示すように、マイクロコンピュータ4の制御手段43によって制御される可変焦点レンズ駆動回路2によって、可変焦点レンズ装置1の圧電アクチュエータ12が駆動され、液封レンズ11の度数が変更されて行われる。ここで、非常に小型の圧電アクチュエータ12で液封レンズ11の度数を変える応答速度は非常に速く、全ストローク往復運動を数百Hzの振動数で行うことができるので、焦点位置のわずかな変更は数十マイクロ秒程度で可能である。

0152

この際、CCD素子31の撮影レートも数百Hz程度まで上げることができ、しかも制御手段43によって可変焦点レンズ装置1の焦点位置の変動に同期して撮像するように制御されている。すなわち、再び図3に示すように、可変焦点レンズ装置1の焦点位置が一定に保たれている間に、CCD素子31による撮像が行われる。

0153

それゆえ、図4に示すように、焦点位置が少しずつ異なる多数枚分の画像が撮像され、順次、マイクロコンピュータ4の制御手段43を経て画像メモリ41に記録される(図1参照)。ここで、可変焦点レンズ装置1によって変更される焦点位置のストロークの範囲に、観察対象の全体が入っているように可変焦点レンズ装置1は調製されているものとする。すると、これらの多数枚分の画像のうちには、観察対象の上面に焦点位置が合っている(合焦点している)ものと、観察対象の中間面に合焦点しているものと、観察対象の低面に合焦点しているものとが含まれているはずである。

0154

以上のようにして所定の焦点位置のストロークの範囲で多数枚分の画像の撮像が行われると、観察対象の全ての部分に合焦点した(ピントがあった)合焦点画像を得るためには、どの画像のどの画素が合焦点画素であるかを判定しなくてはならない。この合焦点判定には、マイクロコンピュータ4の画像処理手段42が当たる。

0155

すなわち、画像処理手段42による合焦点画素の判定は、焦点位置が少しずつ異なる多数枚分の画像のうち、各画素およびその周辺画素がもつ空間周波数の焦点位置に関するピーク判定によって行われる。

0156

たとえば、図5に示すように、合焦点判定が行われるべき画素の座標が(i,j)であるとし、当該画素を中心にして5画素×5画素の区画を想定する。すると、同区画内の任意の画素は、座標(p,q)で特定されるので、次の数1に従い、k=2と置いて同区画内の輝度の擬似的な空間周波数V(i,j)を算出することができる。

0157

0158

ただし、Y(p,q)は各画素のもつ輝度である。

0159

ある画像において、座標(i,j)の画素を中心とする区画に焦点が合った場合には、輝度Y(p,q)の分布がもつ空間周波数V(i,j)は、極大値を取る。その結果、合焦点判定が行われる画素の周囲の画素に関する輝度情報も使用されて、当該画素の合焦点判定が行われるので、より精密な合焦点判定が行われる。なお、この合焦点判定の際、全ての画像について空間周波数V(i,j)を求める必要はなく、数値計算の常套手段としての極大値を求めるアルゴリズムを使用して、演算負荷を低減することができる。

0160

ここで、空間周波数V(i,j)を求める区画を5×5としたが、発明者らの知見として、CCD素子31の解像度と同等程度に非常にきめの細かい画像に対しては、3×3の区画を採用し、k=1として前記数1を算出すると良い。一方、CCD素子31の解像度に比較してずっと濃淡のきめが粗い画像に対しては、7×7,9×9,・・・のように、空間周波数V(i,j)を算出する区画を広く取っておく方が、適正な合焦点判定をすることが可能になる。なお、同区画は、必ずしも正方形であることを要しない。

0161

以上のようにして合焦点判定されて選別された画素は、制御手段43によって画像メモリ41のうち他のアドレス画素配置に従って記録される。すなわち、図6に示すように上面に焦点があった画像と、図7に示すように中間面に焦点が合った画像と、図8に示すように低面に焦点があった画像とのうちから、合焦点部分の画素だけが選択的に抽出される。そして、画像メモリ41に画素配置に従って記録されるので、図9に示すように、観察対象の全ての部分に焦点があった合焦点画像が画像メモリ41の中に生成される。

0162

すなわち、全ての画素について合焦点判定が完了すると、画像メモリ41には新たに一枚の合焦点画像(観察対象の全ての部分に焦点があった画像)が生成される。この合焦点画像は、生成され次第、制御手段43により液晶ディスプレイ5に映し出されるので、ほとんど時間遅れなしに、合焦点画像による観察対象の観察を行うことが可能になる。なお、画像処理手段42を並列処理プロセッサで形成すれば、この時間遅れをよりいっそう短縮することができる。

0163

また、図3を参照して説明した前述の多画像撮像シーケンスは、焦点位置を往復させながら繰り返し行うことができ、その度に新たな合焦点画像が生成されて液晶ディスプレイ5に表示される。それゆえ、液晶ディスプレイ5には準リアルタイムで合焦点画像が提供されるので、観察対象に動きがある場合にも、準リアルタイムでの観察対象の動作なり形状なりを合焦点画像で観察することが可能になる。

0164

さらに、画像処理手段42には、何枚目の画像から取り出した画素であるかを判別して等高線地図のようにグラデーションを付けて当該画素に着色し、色分けした等高面図を画像メモリ41に記録する機能も付与されている。その結果、準リアルタイムで観察対象の合焦点画像を観察することができるばかりではなく、観察対象の高さ方向の位置情報が色分けで盛り込まれた等高面図をも準リアルタイムで液晶ディスプレイ5に表示させることができる。それゆえ、観察者は観察対象の高さ方向の形状や動きについても、準リアルタイムで情報を得て立体的に観察対象の動きなり形状なりを認識することができるようになる。

0165

したがって、本実施例の全焦点撮像装置によれば、観察対象の合焦点画像を準リアルタイムの動画で表示することができるので、合焦点画像による準リアルタイムでの観察対象の観察が可能になるという効果がある。

0166

そればかりではなく、観察対象の高さ方向の位置情報が色分けで盛り込まれた等高面図をも準リアルタイムで液晶ディスプレイ5に表示させることができる。それゆえ、観察者は観察対象の各部の高さ方向の位置についても、準リアルタイムで情報を得て立体的に観察対象の動きや形状を認識することができるようになるという効果がある。

0167

(実施例1の変形態様1)本実施例の変形態様1として、図10に示すように、正方形の区画ではなく、合焦点判定を行う画素を中心とする十字状の区画について、次の数2に従って擬似的な空間周波数V(i,j)を算出する全焦点撮像装置の実施も可能である。

0168

0169

本変形態様によれば、演算負荷を減らすことができるので、より高速の処理が可能になり、観察のリアルタイム性が向上するという効果がある。

0170

なお、このように十字状に区画を取る代わりに、X字状に区画を取って空間周波数V(i,j)を算出することもでき、本変形態様とほぼ同等の効果を挙げることができる。

0171

(実施例1の変形態様2)本実施例の変形態様2として、画像処理手段42による合焦点画素の判定は、各画素がもつ輝度の焦点位置に関する差分値の正負反転によって行われる全焦点撮像装置の実施が可能である。

0172

すなわち、図11の上半部に示すように、判定される画素の輝度が周囲の輝度よりも高い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも高いので、当該画素の前後を調べれば輝度の極大値が得られる。それゆえ、当該画素の前後では輝度の差分値が正から負へと反転しているので、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。

0173

逆に、図11の下半部に示すように、判定される画素の輝度が周囲の輝度よりも低い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも低いので、当該画素の前後を調べれば輝度の極小値が得られる。それゆえ、当該画素の前後では輝度の差分値が負から正へと反転しているので、やはり、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。

0174

もちろん、輝度の極大値または極小値を探索する上で、通常の数値計算で使われる探索アルゴリズムを採用することにより、全ての画像について輝度を調べる必要がなくなるので、演算負荷を低減することができる。

0175

以上のように、本変形態様の全焦点撮像装置では、それぞれの画素について、その周囲の画素との相関関係を省みることなく、当該画素単独で輝度の変化を観測することにより、当該画素の輝度の差分値の正負反転をもって合焦点の判定がなされる。それゆえ、画像処理手段42において、合焦点画素の判定に要する演算負荷が極めて小さいので、リアルタイム性を向上させることができ、安価な画像処理手段42を採用することが可能になる。

0176

したがって、本変形態様の全焦点撮像装置によれば、実施例1の効果に加えて、画像処理のリアルタイム性が向上し、画像処理手段42をコストダウンすることができるという効果がある。

0177

そこでさらに、撮像手段3の露光時間と画像処理手段42の演算処理時間とを十分に短縮することができるのであれば、焦点位置を階段状に変更する代わりに連続的に変更させて、リアルタイム性をよりいっそう向上させることも可能になる。

0178

(実施例1の変形態様3)本実施例の変形態様3として、画像処理手段42による合焦点画素の判定は、各前記画素およびその周辺画素がもつエントロピーの焦点位置に関する最小判定によって行われる全焦点撮像装置の実施が可能である。

0179

すなわち、当該画素とその周辺画素に焦点が合った場合には、輝度または各色の輝度の分布がもつエントロピーが極小値を取る。その結果、合焦点判定が行われる画素の周囲の画素に関する輝度情報も使用されて当該画素の合焦点判定が行われるので、より精密な合焦点判定が行われるようになる。

0180

より詳しく説明すると、合焦点時には、図12に示すように鮮明な画像が得られ、当該区画において各画素が互いに同じ輝度をもつ確率が大きくなり、エントロピーは最小になって極小値を取る。逆に、焦点位置が合焦点位置から大きく外れていると、図13に示すようにぼうっとしてコントラストが少なくなり、当該区画において各画素が互いに同じ輝度をもつ確率が大きくなってエントロピーは大きくなる。すなわち、合焦点位置から焦点位置が離れるにつれてエントロピーは増大する。

0181

本変形態様においてエントロピーを算出する演算式としては、次の数3を採用している。

0182

0183

ここで、Piはデータiの発生確率であって、たとえば、輝度が0〜255の256階調で当該区画中に輝度iの画素がn個あるとすれば、Pi=n/256である。

0184

そればかりではなく、たとえば2×2なり3×3のように、小さな区画毎にエントロピーを算出し、画素毎ではなく区画毎に合焦点判定を行うようにすれば、区画毎の合焦点判定が可能になる。その結果、画素毎の合焦点判定が不要になり、区画毎に合焦点判定の演算処理が行われるので、画像処理手段42の演算負荷が低減されて画像処理のリアルタイム性が向上するうえに、画像処理手段42をコストダウンすることができるという効果がある。

0185

なお、エントロピーの算出方法にはいくつかあるが、エントロピーは厳密に演算される必要は必ずしもなく、簡易化した演算アルゴリズムをもって近似的に算出されても良い。

0186

(実施例1の変形態様4)本実施例の変形態様4として、画像処理手段42による合焦点画素の判定は、各画素およびその周辺画素の形成する区画における各画素の輝度の最大値と最小値との差である輝度振幅の最大判定によって行われる全焦点撮像装置の実施が可能である。本変形態様は、合焦点判定を行うべき当該画素を含む小さな区画では、合焦点時には最も明るい画素と最も暗い画素とのコントラストが最大になるとの知見に基づいている。

0187

ここで、図14に示すように、たとえば5×5の画素からなる正方形の区画内で輝度振幅を測るものとしよう。すると、図15に示すように、輝度振幅Δは、最も明るい画素の輝度(最大輝度)fmax と最も暗い画素の輝度(最小輝度)fmin との差Δ=Fmax−Fminである。それゆえ、輝度振幅Δが最大になった焦点位置をもって、その区画は合焦点位置にあり、その区画の中央にある画素は、合焦点位置にあるものと判定される。

0188

本変形態様での合焦点判定アルゴリズムの特徴は、区画中の各画素の輝度の間で複雑な計算をする必要が全くなく、単に各画素の輝度のうちでの最大値fmaxと最小値fmin とを探し出し、その差Δ=Fmax−Fminを取ることであるから、極めて簡素な処理であることである。それゆえ、同アルゴリズムの開発が容易であるばかりではなく、同アルゴリズムを処理するデジタル演算手段の演算負荷は極めて低くなり、安価な演算手段を使っても高速処理が可能になる。それでいながら、かなり高い信頼性で合焦点判定が行われる。

0189

したがって、本変形態様によれば、前述の実施例1の効果に加えて、安価な演算手段を使っても高速処理が可能になるうえに、かなり高い信頼性で合焦点判定が行われるという効果がある。

0190

(実施例1の変形態様5)本実施例の変形態様5として、画像処理手段42による合焦点画素の判定は、各画素およびその周辺画素の形成する区画における離散コサイン変換係数の最大判定によって行われる。本変形態様は、合焦点判定を行うべき当該画素の周辺では、焦点位置が合うとシャープな画像が得られるので、離散コサイン変換係数の値が最大になるとの知見に基づいている。

0191

本変形態様では、図16に示すように、合焦点判定をする区画において、いったん輝度値マトリクスを離散コサイン変換により空間周波数マトリクスに変換した後、次の数4に従って離散コサイン変換係数Dが算出される。

0192

0193

そして、焦点位置が合って鮮明な画像が得られ、合焦点判定をする区画においてコントラストが最大になると、離散コサイン変換係数Dは最大になることが知られている。逆に、焦点位置が外れて画像がぼやけてくるに従って、コントラストは小さくなり、離散コサイン変換係数Dが低下してくることも知られている。それゆえ、離散コサイン変換係数Dの最大値が得られた焦点位置をもって、合焦点位置と判定される。

0194

ここで、離散コサイン変換処理を行うLSIは、MPEGの画像処理用にすでに開発されて市場に出回っており、費用をかけて新たに専用LSIを開発することなく、MPEG処理用LSIの既製品を安く購入して使用することができる。しかも、既製品にはテレビ画像用ものが多いので、毎秒30回などの高いビデオレートでの処理が安価な既製品よって可能である。それゆえ、このような画像処理手段をもつ本変形態様の全焦点撮像装置は、高速処理が可能であるうえに比較的廉価に製造することができる。

0195

したがって、本変形態様の全焦点撮像装置によれば、合焦点判定を比較的高速で正確に行うことができながら、製品を比較的安価に提供することができるという効果がある。

0196

なお、離散コサイン変換係数Dの極大値を求めるにあたっては、全ての焦点位置の同一区画について求める必要はなく、極大値を求める公知の数値計算方法を採用して、焦点位置に関してとびとびに離散コサイン変換係数Dを算出してもよい。こうすれば、演算負荷を減らすことができるので、合焦点判定に要する演算処理時間が短縮されていっそう有利である。

0197

(実施例1の変形態様6)本実施例の変形態様6として、画像処理手段42による合焦点画素の判定は、複数の画素からなる区画毎に行われる全焦点撮像装置の実施が可能である。本変形態様では、たとえば、その区画における空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれかを判定基準にして行われる。すなわち、実施例1およびその変形態様1,3〜5においては、たとえ周囲の区画をも検討対象としても合焦点判定は画素毎に行われるのに対し、本手段では、複数の画素からなる区画毎に合焦点判定が行われる。

0198

それゆえ、画素毎に合焦点判定がなされた精緻な合焦点画像は得られないが、小さな区画毎に焦点があった比較的鮮明な画像が得られる。しかも、合焦点判定に要する演算処理負荷は、区画を形成する画素の数が増えるほど、劇的に低下する。たとえば、2×2の画素からなる区画では演算負荷が1/4に減り、3×3の区画では演算負荷が1/9と約一桁も低減される。その結果、合焦点判定に関して高速処理が可能になる。

0199

したがって、本変形態様の全焦点撮像装置によれば、たとえば前述の変形態様3や変形態様5よりも合焦点判定に要する演算負荷が大幅に低下し、高速処理が可能なるという効果がある。

0200

なお、空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれを合焦点判定の指標にするかによって、発揮される特徴は異なる。それぞれの特徴は、前述の各変形態様の説明ですでに明らかにされているので、ここでは説明を省く。

0201

(実施例1の変形態様7)本実施例の変形態様7として、画像処理手段42による合焦点画素の判定は、各画素と複数の画素からなる区画とのうち一方に、複数の互いに異なる判定法を適用して行われる全焦点撮像装置の実施が可能である。ここで、各画素に対する合焦点判定の各種方法については、前述の実施例1およびその変形態様1〜5に説明されており、区画毎の合焦点判定の各種方法については、前述の変形態様6に説明されている。

0202

本変形態様では、合焦点判定を単一の判定法でなく複数の判定法を組み合わせて行うことにより、複数の合焦点判定を複合的に利用して、より信頼性の高い合焦点判定を行うことができる。複数の合焦点判定を複合的に利用する方法としては、平均値を採る方法、多数決で決める方法、集団から外れた値を棄却して標準偏差を減らし残りの固まった値の中で平均を取る方法などがある。複数の合焦点判定方法を組み合わせて用いることにより、それぞれの方法に固有の合焦点判定の偏りを是正し、合焦点位置の判定精度を向上させることができる。

0203

したがって、本変形態様の全焦点撮像装置によれば、前述の実施例1およびその変形態様1〜6よりも合焦点判定の信頼性が向上し、合焦点判定に誤判定が少なくなる。その結果、より鮮明な合焦点画像やより正確な立体数値モデルが得られるようになるという効果が得られる。

0204

(実施例1の変形態様8)本実施例の変形態様8として、画像処理手段42による合焦点画素の判定は、二段階の合焦点判定を行って、画素または区画の合焦点位置の精度を向上させる全焦点撮像装置の実施が可能である。ここで、二段階のうち最初の第一段階は、単数または複数の画素からなる区画とその周辺の複数の区画とに、それぞれ合焦点判定を行う段階である。次の第二段階は、当該区画とその周辺の区画とからなる大区画に関して合焦点判定を行い、当該区画の合焦点判定を改める段階である。この際、第一段階と第二段階とでは、同一の合焦点判定方法を用いてもよいし、互いに異なる合焦点判定方法を用いてもよい。

0205

すなわち、第一段階では、図17に示すように、合焦点判定を行うべき区画とその周囲の区画とについて、それぞれいったん合焦点判定が行われる。この合焦点判定は、一枚の画像のうち全ての区画に対して均等に行われる。すると、当該区画(領域1)だけではなく、その周囲の区画(領域2〜9)についてもおおむね正しい合焦点判定が行われている。

0206

そして第二段階では、図18に示すように、第一段階の合焦点判定データが得られたうえで周囲の区画も含めた区画(領域1〜9)からなる大区画について、改めて当該区画(領域1)の合焦点判定が行われる。それゆえ、領域1の合焦点位置は、領域2〜9の合焦点位置にも基づいて改められる。すなわち、当該区画(領域1)の合焦点判定にあたっては、隅の方から順に合焦点判定が行われ、すでに第二段階の合焦点判定が終わった領域では、第一段階の合焦点位置から第二段階の合焦点位置にアップデートされる。その結果、周囲の領域2〜9でもおおむね正確な合焦点位置が得られているので、当該区画(領域1)の合焦点判定はより精密になり、よりいっそう正確な合焦点位置が得られるようになる。

0207

したがって、本変形態様の全焦点撮像装置によれば、画素または区画の合焦点位置の精度がよりいっそう向上し、極めて鮮明な合焦点画像や極めて正確な立体数値モデルが得られるという効果がある。

0208

(実施例1の変形態様9)本実施例の変形態様9として、制御手段43(図1参照)は、駆動手段としての可変焦点レンズ駆動回路2を制御して焦点位置を連続的に移動させ、撮像手段3を制御して焦点位置としての合焦点面Fの移動中に連続撮影させる全焦点撮像装置の実施が可能である。ここで、焦点位置の移動パターンとしては、図19に示すように、ノコギリ波状のパターンが採用され、一定の速度で焦点位置が移動するようになっている。

0209

この際、必要とされる焦点位置の移動速度は、一枚の画像の撮影に必要な撮像手段の露光時間と、必要な画像の枚数と、被写界深度などとによって異なる。焦点位置の移動速度への要求がかなり高くても、前述の実施例1で説明したような可変焦点レンズ装置1を使用すると、焦点位置の移動速度に関するたいていの要求には応えることができるようになる。すると、ごく短時間のうちに焦点位置の異なる多数の画像を撮像することができ、動きの激しい観察対象やごく短いシャッターチャンスしかない観察対象に対しても、全焦点画像や立体数値モデルの生成が可能になる。

0210

そのうえで、本変形態様では鮮明な合焦点画像が得られるように、制御手段43は、駆動手段2を制御し、可変焦点レンズとしての液封レンズ11の被写界深度に応じて焦点位置の移動速度を調整するようになっている。すなわち、本変形態様のように、一枚の画像を撮像する間に、被写界深度の範囲内でしか焦点位置が移動していなければ、その画像ではほとんど焦点ぶれが生じず、焦点位置を連続的に移動させていても焦点位置を階段状に移動させて静止時に撮像した場合に準ずる鮮明な画像が撮像される。それゆえ、焦点位置を連続的に移動させて短時間で連続撮像されていても、比較的長時間をかけて焦点位置を階段状に移動させて静止時に撮像した場合に準ずる鮮明な画像が得られる。その結果、短時間のうちに鮮明な合焦点画像や比較的正確な立体数値モデルが生成される。

0211

したがって、本変形態様の全焦点撮像装置によれば、動きの激しい観察対象やごく短いシャッターチャンスしかない観察対象に対しても、短時間のうちに鮮明な全焦点画像や比較的精密な立体数値モデルの生成が可能になるという効果がある。

0212

(実施例1の変形態様10)本実施例の変形態様10として、制御手段43は、駆動手段2を適正に制御することにより、図20に示すように焦点位置Fを階段状に時間変化させ、撮像手段を制御して焦点位置の各停止時に撮像させる全焦点撮像装置の実施が可能である。

0213

すると、撮像手段が撮像している間は焦点位置を固定しておくことができるので、前述の変形態様9ほど短時間での全焦点撮像はできないが、撮像される多数の画像の一枚一枚において焦点ぶれがなくなる。その結果、より鮮明な合焦点画像やより正確な立体数値モデルが生成されるようになる。

0214

したがって、本変形態様の全焦点撮像装置によれば、撮像される多数の画像の一枚一枚から焦点ぶれがなくなって、より鮮明な合焦点画像やより正確な立体数値モデルが生成されるという効果がある。

0215

(実施例1の変形態様11)本実施例の変形態様11は、前述の変形態様9の長所と変形態様10の長所とを組み合わせ、短い撮像時間でより鮮明な合焦点画像やより正確な立体数値モデルが生成されるようにした全焦点撮像装置である。すなわち、本変形態様の全焦点撮像装置の特徴は、プレビュー動作と範囲判定処理と本撮像動作とが行われることである。

0216

つまり、制御手段43は、再び図19の一過程に示すように、焦点位置Fを素早く連続的に移動させつつ連続撮像するプレビュー動作と、このプレビュー動作の間に観察対象が存在する焦点位置Fの範囲を判定する範囲判定処理と、再び図20の一過程に示すように、この範囲において焦点位置を階段状に移動させつつ焦点位置の各停止時に撮像する本撮像動作とを行うよう制御を行う。

0217

先ず、プレビュー動作では、前述の変形態様9で説明したように、焦点位置Fは高速で連続的に移動させられ、その間に撮像手段3は複数枚の焦点位置が異なる画像をごく短時間のうちに連続撮像する。この際、焦点位置Fの移動速度は、被写界深度の範囲を大きく超えていてもかまわない。プレビュー動作の目的は、観察対象の存在する焦点位置の範囲を調べることにあるからである。

0218

そして、範囲判定処理では、これらの画像で合焦点判定を行うことにより、プレビュー動作での焦点位置Fの移動範囲のうち、どの範囲に観察対象が存在するのかが判定される。ここで、範囲判定処理は、プレビュー動作が済んでから行われてもよいが、撮像時間の短縮要求が高い場合にはプレビュー動作と並行してリアルタイムまたは準リアルタイムで行われることが望ましい。範囲判定処理によって観察対象の存在範囲が明らかになったら、次に本撮像動作が行われる。すなわち、焦点位置の移動可能範囲のうち観察対象が存在する範囲にわたって焦点位置が階段状に移動し、その際、焦点位置の各停止時に撮像が行われる。

0219

このようにプレビュー動作と本撮像動作との二段階に分けて撮像することにより、プレビュー動作で得た画像に基づいて撮像すべき焦点位置の範囲が限定されるので、本撮像動作が短時間で済む。その結果、プレビュー動作も本撮像動作も短時間で済むので、全体の撮像時間も短くて済みながら、本撮像動作で焦点位置を固定した焦点ぶれのない画像が撮像されるので、より鮮明な合焦点画像やより正確な立体数値モデルが得られる。

0220

あるいは、本撮像動作の撮像時間はあまり短くならないが、本撮像動作での焦点位置の移動ステップを小刻みにし、より多数枚の画像を撮像してよりいっそう鮮明な合焦点画像やよりいっそう正確な立体数値モデルが得られるようにしてもよい。

0221

したがって、本変形態様の全焦点撮像装置によれば、短い撮像時間のうちに、より鮮明な合焦点画像やより正確な立体数値モデルが得られるようになるという効果がある。

0222

(実施例1の変形態様12)本実施例の変形態様12として、CCD素子31をモノクロ画像ではなくカラー画像を出力するものとした全焦点撮像装置の実施が可能である。すなわち、前述の実施例1の記載では、各画素の輝度だけに注目していたので、暗黙のうちにCCD素子31はモノクロであることを前提にしていたが、本変形態様のようにカラーのCCD素子31で実施例1を構成することも可能である。あるいは、前述の実施例1の各変形態様に対しても、カラー撮像として本変形態様を適用することができる。

0223

本変形態様によれば、観察対象を自然色画像で準リアルタイム観察することが可能になるので、色彩をもつ観察対象や色彩に変化がある観察対象を観察するのに都合が良いという効果がある。そればかりではなく、RGB三色の合成輝度によっては合焦点判定ができない画素についても、RGB三色のうちいずれかの輝度で合焦点判定を行うことにより、輝度が同等でも色彩が異なる部分の合焦点判定ができるようになるという効果もある。

0224

なお、本変形態様は、前述の実施例1だけにではなく、前述の各変形態様にも全て適用可能である。

0225

[実施例2]
(実施例2の構成)本発明の実施例2としての全焦点撮像装置は、液晶ディスプレイ5への合焦点画像の動画の表示のリアルタイム性(高速性ないし即時性)を追求したものである。本実施例の全焦点撮像装置の構成は、再び図1に示すように、画像処理手段42および制御手段43のソフトウェアの違いを除き、前述の実施例1の変形態様2とほとんど同一である。

0226

本実施例の全焦点撮像装置の特徴は、画像処理手段42がリアルタイムで合焦点画素の判定を行い、制御手段43がこれらの合焦点画素を逐次更新することにより液晶ディスプレイ5に合焦点画像を表示することである。

0227

(実施例2の作用効果)本実施例の全焦点撮像装置では、CCD素子31からの画像が取り込まれる毎に、画像処理手段42は、各画素の輝度の差分値の正負反転をもって当該画素の合焦点判定を行う。そして、一枚の画像のうち合焦点画素が検出されると、その合焦点画素をもって、画像メモリ41の当該画素の領域がアップデートされる。画像メモリ41の合焦点画像に相当する記憶領域には、こうしてリアルタイムの合焦点画素による最新の合焦点画像が形成され、この最新の合焦点画像は、合焦点画素のアップデートの度に液晶ディスプレイ5に表示される。それゆえ、焦点位置が少しずつ異なる多数枚分の画像からなるワンセットの画像データの撮像を終えるのを待たずに、一枚の画像の撮像の度にほぼリアルタイムで観察対象の全ての部分に焦点があった動画が提供される。

0228

また、本実施例はリアルタイム性を重視した構成であるから、焦点位置のスキャンとその間での多数枚分の画像の撮影とは、最短時間で行えるようにする必要がある。それゆえ、可変焦点レンズ装置1の焦点位置は、階段状ではなく連続的に移動しつつ、CCD素子31の撮像は同素子の露光性能許す限り高速で連続撮像するように運用される。

0229

したがって、本実施例の全焦点撮像装置によれば、最短時間で画像が撮像される度に、最新の合焦点画素をもって構成された合焦点画像が準リアルタイムで液晶ディスプレイ5に提供され、リアルタイム性が格段に向上するという効果がある。

0230

なお、本実施例の全焦点撮像装置は、ハードウェアの構成が実施例1と同様であるから、観察者の操作等により、画像処理手段42および制御手段43のソフトウェアを実施例1と同様のソフトウェアに切替えることができる。それゆえ、本実施例の全焦点撮像装置は、本実施例に特有のリアルタイム性が高い運用が可能であるばかりではなく、実施例1と同様の運用も可能である。したがって、本実施例の全焦点撮像装置は、実施例1に新たなソフトウェアが付加されている分のコストアップだけで、実施例1とほぼ同等の価格でありながら実施例1よりも多機能であるという効果をも有する。

0231

(実施例2の変形態様1)本実施例の変形態様1として、画像メモリ41が一枚の画像分だけしか容量のない記憶容量が小さなRAMで構成された全焦点撮像装置の実施が可能である。すなわち、前述の本実施例の全焦点撮像装置では、画像メモリ41の容量が多数枚分の画像を格納するほど大きい必要がなく、合焦点画像一枚分の記憶容量があれば機能するので、画像メモリ41を記憶容量が小さく安価なRAM(ラインメモリ)で賄うことができる。それゆえ、本変形態様の構成によれば、画像メモリ41を安価にすることができるので、実施例1と同様の運用はできなくなるが、実施例1よりも安価に全焦点撮像装置を構成することができるというコストダウン効果がある。また、メモリボードが小型化されるので、実施例1より小型軽量化することができるという効果もある。

0232

なお、本変形態様においては、画像メモリ41は液晶ディスプレイ5に付属の専用画像RAMとする構成も可能である。

0233

(実施例2のその他の変形態様)本実施例の全焦点撮像装置に対しても、実施例1の変形態様2に対する実施例1およびその変形態様1,9〜12に相当する変形態様の実施が可能であり、それぞれに特有の作用効果が得られる。

0234

[実施例3]
(実施例3の構成および作用効果)本発明の実施例3としての全焦点撮像装置も、再び図1に示すように、前述の実施例1とほぼ同様の構成をしている。

0235

ただし、本実施例の全焦点撮像装置では、再び図3に示すような撮像過程を一回だけ行い、再び図4に示すような焦点位置が少しずつ異なる多数枚分の画像のそれぞれに、焦点位置を示す情報が付加されて画像メモリ41に記録される。すなわち、そのように制御手段43のソフトウェアが構成されている。焦点位置を示す情報は、制御手段43から可変焦点レンズ駆動回路2に送られる印加電圧を指定する信号をもとに生成され、合焦点面F(図1参照)の可変焦点レンズ装置1からの距離を示す値である。

0236

そればかりではなく、制御手段43のソフトウェアには、各合焦点画素の縦横のもつ座標および焦点位置情報に基づいて、観察対象の三次元立体数値モデルを生成する機能が付与されている。すなわち、画像処理手段42は、制御手段43が駆動手段としての可変焦点レンズ駆動回路2に与える信号に基づいて、可変焦点レンズ装置1の焦点位置に関する情報を算出する焦点位置検出機能をもつ。そして、画像処理手段42は、各焦点位置での画像のうち合焦点画素はどれであるかを判定し、制御手段43は、合焦点画素と判定された画素に前述の焦点位置情報を付与して、同画素の平面内での位置とその高さとの情報を合成する。すると、各合焦点画素に関する縦、横、高さの位置情報が揃い、観察対象の立体形状を示す立体数値モデルが合成されるので、制御手段43は、画像メモリ41の他の領域に、この立体数値モデルを格納する。

0237

その結果、観察対象の立体数値モデルをもとに、様々な表示形式で観察対象の立体図を液晶ディスプレイ5に表示することが可能になる。たとえば、全焦点撮像装置の操作装置に付属のマウスなどで合焦点画像を横切る線分を設定すれば、この線分に沿って垂直に切断された切断端面図を、図21に示すように、液晶ディスプレイ5に表示することができる。あるいは、適当な俯角を決めておいて、図22に示すように、観察対象の俯瞰図を連続的に全周囲から眺めるように液晶ディスプレイ5に動画を表示することも可能である。また、同様の手法で、俯角や方位角などが連続的に変化する動画を液晶ディスプレイ5に表示することもできる。

0238

したがって、本実施例の全焦点撮像装置によれば、観察対象の立体数値モデルを生成することができるので、各種の立体表示を行って観察対象の形状の把握を容易にすることができるという効果がある。

0239

なお、本実施例の全焦点撮像装置も、ソフトウェアの構成は別として、ハードウェアの構成は実施例1とおおむね同様であるから、スイッチの切替等により、実施例1と同様の運用をすることも可能である。すると、実施例1と同様に、合焦点画像も得られるようになる。

0240

(実施例3の変形態様1)本実施例の全焦点撮像装置では、立体数値モデルを生成する機能をもつことが要点であるから、焦点位置(合焦点面Fの位置)をより正確に計測して各画像に付与し、観察対象の高さ方向の形状をより精密に計測したいとの要求が生じうる。それゆえ、本実施例の変形態様1として、液封レンズ11(図1参照)の内部の透明液体の圧力を計測する圧力センサ(図略)を装備し、もって液封レンズ11の度数をより精密に計測する構成の全焦点撮像装置の実施が可能である。

0241

本変形態様によれば、焦点位置Fをより正確に計測して各画像に付与し、観察対象の各合焦点画素の高さがより精密な立体数値モデルが生成されるという効果がある。

0242

なお、圧力センサに温度補償機能を付与して、さらに焦点位置Fの計測精度を高めても良い。あるいは、液封レンズ11を構成する透明弾性膜の歪みなり曲率なりを直接計測する計測手段を備えた構成とし、さらなる高精度を追求することも可能である。

0243

(実施例3の変形態様2)本実施例の変形態様2として、可変焦点レンズ装置1の焦点位置を、制御手段43から可変焦点レンズ駆動回路2に与える信号から算出する代わりに、電圧センサの測定値に基づいて算出する全焦点撮像装置の実施が可能である。すなわち本変形態様は、可変焦点レンズ駆動回路2から圧電アクチュエータ12に印加される電圧を計測する電圧センサ(図略)をさらに有し、画像処理手段42は、この電圧センサから得られる測定値に基づいて、可変焦点レンズ装置1の焦点位置を算出する焦点位置検出機能をもつ。

0244

それゆえ本変形態様では、圧電アクチュエータ12に印加される電圧の測定値に基づいて、可変焦点レンズ装置1の焦点位置が算出される。すなわち、可変焦点レンズ装置1の焦点位置は液封レンズ11のレンズ形状で決まり、同レンズ形状は圧電アクチュエータ12の変位で決まり、同変位は印加電圧で決まる。それゆえ、圧電アクチュエータ12への印加電圧の測定値に基づいて、可変焦点レンズ装置1の焦点位置を算出することができるようになる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置の情報を付与することが可能になる。

0245

したがって本変形態様によれば、前述の実施例3の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。

0246

(実施例3の変形態様3)本実施例の変形態様3として、可変焦点レンズ装置1の焦点位置を、制御手段43から可変焦点レンズ駆動回路2に与える信号から算出する代わりに、電荷量センサの測定値に基づいて算出する全焦点撮像装置の実施が可能である。すなわち本変形態様は、圧電アクチュエータ12に注入および放電される電荷量を計測する電荷量センサ(図略)をさらに有し、画像処理手段42は、この電荷量センサから得られる測定値に基づいて、可変焦点レンズ装置1の焦点位置を算出する焦点位置検出機能をもつ。

0247

本変形態様では、圧電アクチュエータ12に注入および放電される電荷量の測定値に基づいて、可変焦点レンズ装置1の焦点位置が算出される。すなわち、可変焦点レンズ装置1の焦点位置は液封レンズ11のレンズ形状で決まり、同レンズ形状は圧電アクチュエータ12の変位で決まり、同変位は圧電アクチュエータ12に注入されている電荷量で決まる。それゆえ、圧電アクチュエータ12に印加されている電荷量の測定値に基づいて、可変焦点レンズ装置1の焦点位置を算出することができるようになる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置の情報を付与することが可能になる。

0248

したがって本変形態様によれば、前述の実施例3の効果に加えて、測定値に基づいて可変焦点レンズ装置1の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。

0249

(実施例3の変形態様4)本実施例の変形態様4として、可変焦点レンズ装置1の焦点位置を、制御手段43から可変焦点レンズ駆動回路2に与える信号から算出する代わりに、変位センサの測定値に基づいて算出する全焦点撮像装置の実施が可能である。すなわち本変形態様は、圧電アクチュエータ12の変位に関して計測する変位センサ(図略)をさらに有し、画像処理手段42は、この変位センサから得られる測定値に基づいて焦点位置を算出する焦点位置検出機能をもつ。

0250

ここで、圧電アクチュエータ12の変位センサとしては、圧電アクチュエータ12を構成する圧電バイモルフまたは圧電ユニモルフの表面に一体的に形成された歪ゲージを採用することが、小型化の要求から好ましい。このような歪ゲージについては、特願平10−246198号に詳しく記載されているので、参考にされたい。

0251

本変形態様では、圧電アクチュエータ12に注入および放電される電荷量の測定値に基づいて、可変焦点レンズ装置1の焦点位置が算出される。すなわち、可変焦点レンズ装置1の焦点位置は液封レンズ11のレンズ形状で決まり、同レンズ形状は圧電アクチュエータ12の変位で決まる。それゆえ、圧電アクチュエータ12の変位の測定値に基づいて、可変焦点レンズ装置1の焦点位置を算出することができる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置を付与することが可能になる。

0252

したがって本変形態様によれば、前述の実施例3の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。

0253

(実施例3の変形態様5)本実施例の変形態様3として、画像処理手段42は、合焦点画像および立体数値モデルを生成するデジタル演算手段であって、立体数値モデルの生成にあたって空間的な高周波ノイズを除去するノイズ除去フィルタをもつ全焦点撮像装置の実施が可能である。

0254

本変形態様の全焦点撮像装置の全体構成を、図23に示す。図23は、図1に示した前述の実施例1とは異なる印象を与えるが、実際には実施例1の構成を異なった表現ブロック図で表したに過ぎない(構成についての詳細な説明は、後述の実施例4の項に譲る)。ただし、本変形態様では、画像処理手段42に特徴がある。

0255

すなわち、画像処理手段42は、全焦点演算ロジック421、ノイズ除去フィルタ422、三次元マップ生成ロジック423および画像データ再構築ロジック424をもつ。画像処理手段42が、合焦点判定を行う全焦点演算ロジック421と、信頼すべき立体数値モデルを生成する三次元マップ生成ロジック423との間に、立体数値モデルの高周波ノイズを除去するノイズ除去フィルタ422をもつ点で、本変形態様は実施例1と構成が異なっている。

0256

もしも、実施例1のようにノイズ除去フィルタなしで画像処理が行われると、図24に示すように、観察対象のエッジ部分や段差部分など、合焦点位置が位置によって急変している部分では、合焦点判定に誤差が生じやすく、このような誤差は空間的な高周波成分として現れる。その結果、全焦点演算ロジック421では、立体数値モデルのエッジ部分や段差部分などが高周波ノイズのためにささくれ立ってしまい、立体数値モデルのデータに観察対象にはない乱れが形成されてしまうことが多い。

0257

そこで本変形態様では、同じく図24に示すように、ノイズ除去フィルタ422によって空間的な高周波成分を取り除くことによって、立体数値モデルから高周波ノイズを除去することができる。その結果、三次元マップ生成ロジック423に図示されているように、観察対象の立体数値モデルをより滑らかで正確なものにすることができるようになる。

0258

ここで、ノイズ除去フィルタ422は、立体数値モデルを離散コサイン変換により空間周波数領域に変換したうえで、ローパスフィルタをかけ、逆変換して、高周波ノイズによるささくれが取れた立体数値モデルを再構築する。すなわち、ノイズ除去フィルタ422は、立体数値モデルをいったん空間周波数成分に変換する正変換と、空間周波数成分から高周波成分を除去するフィルタリングと、高周波成分が除去された空間周波数成分を再び立体数値モデルに戻す逆変換とを行うデジタルフィルタである。空間周波数成分にフィルタリングをかけるので、空間周波数のうちノイズが多い高周波成分だけを除去することが可能になるともに、フィルタリングに様々な手法を適用することが可能になり有効な選択肢が増える。

0259

また、ノイズ除去フィルタ422は、正変換および逆変換に、離散コサイン変換法を採用している。それゆえ、ノイズ除去フィルタ422には、既製品のMPEGの圧縮処理LSIおよび解凍処理LSIを用いることができるので、開発期間が短縮されるうえにコストダウンが可能になる。

0260

したがって、本変形態様の全焦点撮像装置によれば、前述の実施例3の効果に加えて、段差やエッジのある観察対象に対しても、その立体数値モデルをより滑らかで正確なものにすることが可能になるという効果がある。

0261

(実施例3の変形態様6)本実施例の変形態様6として、前述の変形態様5に対してノイズ除去フィルタ422(図23参照)の構成を簡素化した全焦点撮像装置の実施が可能である。本変形態様では、ノイズ除去フィルタ422は、立体数値モデルに対して移動平均を取ることにより高周波ノイズを除去するデジタルフィルタである。

0262

すなわち、本変形態様では、前述の変形態様5と異なって、立体数値モデルを空間周波数成分に正変換することも、フィルタリングされた空間周波数成分を立体数値モデルに逆変換することもない。それゆえ、正変換および逆変換の演算処理を行う必要がないので、演算負荷が大幅に低減され、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になる。

0263

したがって、本変形態様の全焦点撮像装置によれば、前述の変形態様5の効果に加えて、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になるという効果がある。

0264

(実施例3の変形態様7)本実施例の変形態様7として、前述の変形態様6と同様に、前述の変形態様5に対してノイズ除去フィルタ422の構成を簡素化した全焦点撮像装置の実施が可能である。ただし本変形態様では、ノイズ除去フィルタ422(図23参照)は、画像信号を複数の画素からなる区画毎にまとめ、各区画内で最も発生頻度が高い輝度値で区画内の各画素の各画像信号を統一するデジタルフィルタである。すなわち、本変形態様では、前述の変形態様6と同様に、立体数値モデルを空間周波数成分に正変換することも、フィルタリングされた空間周波数成分を立体数値モデルに逆変換することもない。そればかりではなく、所定の区画内の輝度を、最も発生頻度が高い輝度値で統一してしまうだけであるので、やはり画像処理手段42の演算負荷が小さくなる。その結果、演算負荷が大幅に低減され、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になる。

0265

したがって、本変形態様の全焦点撮像装置によっても、前述の変形態様6とおおむね同様に、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になるという効果がある。

0266

(実施例3のその他の変形態様)本実施例の全焦点撮像装置に対しても、前述の実施例1に対するその各種変形態様や、実施例1に対する実施例2と同様の変形態様の実施が可能であり、それぞれに特有の作用効果が得られる。

0267

[実施例4]
(実施例4の構成)本発明の実施例4としての全焦点撮像装置は、図25に示すように、可変焦点レンズ(図中では高速焦点調節機構)1と、可変焦点レンズ駆動回路(図中では焦点調節駆動回路)2と、撮像手段(図中では固体撮像素子)3とを有する。本実施例の全焦点撮像装置はさらに、マイクロコンピュータ(図中では全焦点ビジョンロジック部)4と、三次元マップ表示回路51および全焦点画像表示回路52(図1では省略)と、液晶ディスプレイ5とを有する。

0268

マイクロコンピュータ4は、画像データ取り込みロジック40と画像メモリ41と画像処理手段42とをもち、画像処理手段42は、全焦点演算ロジック421、三次元マップ生成ロジック423および画像データ再構築ロジック424をもつ。

0269

(実施例4の作用効果)本実施例の全焦点撮像装置は、実施例1と比較して全焦点演算ロジック421に特徴があるので、全焦点演算ロジック421の作用効果について説明を集中することにする。

0270

全焦点演算ロジック421は、合焦点判定を行うロジックである。すなわち、各画素の輝度は合焦点時に極大値または極小値を取るとの知見に基づき、画像処理手段による合焦点画素の判定は、全焦点演算ロジック421によって、各画素がもつ輝度の焦点位置に関する差分値の正負反転が検出されることにより行われる。

0271

すなわち、判定される画素の輝度が周囲の輝度よりも高い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも高いので、当該画素の前後を調べれば輝度の極大値が得られる。たとえば、白色の部分(明部)と黒色の部分(暗部)との境目付近の明部では、図26に示すように、焦点位置が合焦点位置にあるときに輝度値はピークを形成する。それゆえ、合焦点位置の前後では、手前から奥に行くに従って輝度の差分値が正から負へと反転しているので、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。

0272

逆に、判定される画素の輝度が周囲の輝度よりも低い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも低いので、当該画素の前後を調べれば輝度の極小値が得られる。たとえば、明部と暗部との境目付近の暗部では、図27に示すように、焦点位置が合焦点位置にあるときに輝度値は負のピークを形成する。それゆえ、合焦点位置の前後では、焦点位置が手前から奥に移動するに従って輝度の差分値が負から正へと反転しているので、やはり、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。

0273

ただし、暗部と明部との境界線の真上に合焦点判定をすべき画素がくる場合には、焦点位置が合焦点位置にある場合には輝度は極大値や極小値を形成せず、輝度の傾きが最大になる。そこで、本来ならば合焦点判定すべき画素が暗部と明部との境界線上にかかっているか否かを判定したうえで、境界線上の場合には輝度値の差分値最大をもって合焦点判定を行うべきである。しかし、それでは演算処理の負荷が増えてしまうので、本実施例では以下のような簡易化した合焦点判定ロジックを採用している。

0274

すなわち、本実施例の画像処理手段42は、図29フローチャートに示すようにごく簡素な合焦点判定ロジックに従って合焦点位置の判定を行っている。先ず、処理ステップS1で、画像メモリ41に格納された焦点位置が互いに異なる複数枚の画像から、同一座標にある画素の輝度値がサンプリングされる。次に、処理ステップS2で最大値(Max)と最小値(Min)とが抽出された後、判断ステップS3では、最大値の焦点位置と最小値の焦点位置とで、輝度値の差分値の符号が反転しているか否かが判定される。

0275

そして、最大値と最小値とのうち一方だけで輝度値の差分値が正負反転している場合には、正のピークか負のピークかのうち一方だけが形成されているわけである。それゆえ、A判定がなされ、処理ステップS4で、輝度値のピークが形成されている焦点位置をもって合焦点位置とする。

0276

逆に、最大値と最小値との両方で輝度値の差分値が正負反転している場合には、正のピークと負のピークとが両方とも形成されているわけである。それゆえ、B判定がなされ、処理ステップS5で、負のピークは除外され、輝度値が正のピークを形成している焦点位置をもって合焦点位置とする。なお、処理ステップS5では、本実施例とは逆に正のピークを除外してもよく、要するに正負両ピークのうち一方に合焦点位置があると判定するわけである。

0277

このように簡易な判定をすると、図30に示すように、正負の両ピークがある旨のB判定された場合には、合焦点判定に誤判定する場合(図中でNGと表記)もありうる。しかしながら、発明者らが実験を重ねて得た見地によれば、合焦点判定に誤判定が出た場合でも、多くの場合には、合焦点位置はその近くにあり、大きな誤差は生じない。

0278

また、合焦点判定に誤判定が起こるのは主に明部と暗部との境界線上であるから、合焦点画像ではその画素が黒く出ても白く出ても、画素が十分に細かければほとんど見た目では違いがないので、合焦点画像に不都合はほとんどでない。一方、立体数値モデルでは、明部と暗部との境界線上に誤差が出ることになるが、これは空間的な高周波ノイズを生じるので、前述のノイズ除去フィルタ422を導入することにより不都合を排除することができる。

0279

以上のように、本実施例の全焦点撮像装置では、それぞれの画素について、その周囲の画素との相関関係を省みることなく、当該画素単独の輝度値の変化に基づいてごく簡素な判定ロジックで合焦点判定がなされる。すなわち、合焦点判定がなされるべき画素の輝度値の変化を観測することにより、当該画素の輝度の差分値の正負反転をもって合焦点の判定がなされる。それゆえ、本実施例では、画像処理手段42において、合焦点画素の判定に要する演算負荷が極めて小さいので、リアルタイム性を向上させることができ、安価な画像処理手段を採用することが可能になる。

0280

したがって、本実施例の全焦点撮像装置によれば、前述の実施例1とほぼ同様に、高い画像処理のリアルタイム性と画像処理手段42のコストダウンとが得られるという効果がある。

0281

(実施例4の各種変形態様)本実施例の全焦点撮像装置に対しても、実施例1に対するその各変形態様に相当する変形態様の実施が可能である。そればかりではなく、実施例1に対する実施例2および実施例3ならびにそれぞれの各変形態様に相当する変形態様の実施も可能である。

0282

[実施例5]
(実施例5の必要性)本発明のように、合焦点画像を選択して観察対象の全体に焦点の合った合焦点画像を作成したり合焦点位置に基づいて立体数値モデルを生成しようとすると、各画素または各区画について合焦点判定ができることが必須である。ところが、光学軸方向の位置が異なっていても(つまり高低差があっても)、周囲との輝度や色彩のコントラストがないと、合焦点判定が正確にできなくなるので、合焦点位置を正確に検出することができなくなる。

0283

すると、合焦点画像の生成においては、多少のピンぼけがあっても周囲とコントラストがなければ、合焦点画像とほぼ同様の画像が得られるので、問題は少ない。しかし、立体数値モデルの生成にあたっては、合焦点判定が正確にできないと合焦点位置の検出に誤差を生じるので、立体数値モデルの表す形状が実際の観察対象とは異なってしまい、不都合である。

0284

そこで、実施例5の全焦点撮像装置は、このような不都合をなくすために、観察対象においてコントラストがなくても正確な合焦点判定がなされ、精密な立体数値モデルが生成されることを解決すべき課題としている。

0285

(実施例5の構成)本発明の実施例5としての全焦点撮像装置は、要部としての光学系を図31に示すように、実施例1の構成に加え、焦点位置Fに結像する光学マーカを観察対象に投影するマーカ投影手段6をさらに有する。

0286

マーカ投影手段6は、点光源であるマーカ光源61と、同光源からの光を収束させる投影レンズ62と、鮮明な明暗のある光学マーカを形成するスリットが切られたマスク63と、マーカ光源61からの光を可変焦点レンズ装置1の光軸に合致させるハーフミラー64とをもつ。すなわち、マーカ投影手段6は、可変焦点レンズ装置1の光軸上の焦点位置に、マスク63のスリット形状に合致したマーカ投影像Mを結像する光学投影手段である。

0287

また、マーカ投影手段6は、マーカ光源61の点滅によって光学マーカを点滅させることができる。そして、制御手段43は、光学マーカの点滅に同期して撮像手段3および画像処理手段42を制御して、光学マーカの投影中に合焦点判定を行い、光学マーカの消灯中に画像メモリへの画像信号の取り込みを行う。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ