技術 撮像装置、撮像システム及び撮像方法

0001

本発明は、パノラマ動画像を得る撮像装置及び撮像方法に関し、特にデジタル処理された動画像信号を遠隔で利用する通信処理システムに適用して好適である。

0002

近時では、複雑且つダイナミックに変動する外界の動画像を得る好適な自動制御装置として、いわゆるマシンビジョンが期待されている。そして、このマシンビジョンの応用の一環として、広角の映像を得るための中心窩視覚システムが研究されてきた。

0003

このような中心窩視覚システムの具体例としては、電子技術総合研究所の国吉らによる「Active Stereo Vision System with Foveated Wide Lenses 」があり、ここで中心窩広角レンズが開示されている。しかしながら、このレンズは視野が１２０°と比較的狭く、１０群１１枚構成の比較的複雑なものであって高価であるという欠点がある。

0004

また、他の具体例としては、Spiegel らによる「A foveated retina-like sensor using CCD technology」があり、ここで、同心円状となるように中心部位では高密度に、周辺部位では低密度になるように受光体を配した網膜様センサ（ retina-like sensor ）が開示されている。しかしながら、このセンサは上記のように多数の受光体を特殊な配列に設けてなるために高価となって大量生産に不適であり、最新の種々のセンサ製造技術を使用できないという欠点がある。

0005

また、更に他の具体例としては、Greguss による米国特許４５６６７６３号があり、ここで視野の広い映像を得ることができる画像形成体（image forming block ）が開示されている。しかしながら、この画像形成体は解像度に関する考慮がなされておらず、画像の中心部位を高精細に撮影することはできない。このことは、反射動画像を得るためのミラーとして、その表面形状が円錐状のものや、球面状、双曲面状、放物面状のものを用いても同様であり、高精細な中心画像を得ることは困難である。

0006

上記のように、これら従来の技術では、
（１）光学系の視野が狭い。
（２）中央部位が高密度な動画像を撮影することができない。
（３）光学系の形状・構造が複雑となって高価である。
という深刻な欠点があった。

0007

そこで本発明は、画像の中央部位で高解像度となる超広角の動画像を得ることを可能とする廉価な撮像装置、撮像システム及び撮像方法を提供することを目的とし、更には従来行われてこなかった、かかる動画像の周辺部位の歪み除去と動画像のパノラマ化を行なうことを目的とする。

0008

本発明の撮像装置は、凸面鏡と、前記凸面鏡からの反射動画像を撮像するセンサ部とを備えた撮像装置であって、前記凸面鏡は、その表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面である。

0009

本発明の撮像装置の一態様において、前記凸面鏡の表面は、その中心軸をＹ軸として、
Ｙ＝ａＸ4 （ａ：定数）
で表される曲線をＹ軸の廻りに回転させてなる曲面である。

0010

本発明の撮像装置の一態様において、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。

0011

本発明の撮像装置の一態様は、前記センサ部により処理された前記凸面鏡からの反射動画像の動画像信号を修正し、動画像の周辺部位の歪みを除去してパノラマ動画像を形成する画像処理手段を備える。

0012

本発明の撮像方法は、凸面鏡からの反射動画像をセンサ部により撮像する手法であって、表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面でとされた前記凸面鏡により、中央部位が高解像度で周辺部位が低解像度となる反射画像を得た後、前記センサ部で前記反射動画像を信号処理して動画像信号を生成し、前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去してパノラマ動画像を形成する。

0013

本発明の撮像方法の一態様において、前記凸面鏡の表面は、その中心軸をＹ軸として、
Ｙ＝ａＸ4 （ａ：定数）
で表される曲線をＹ軸の廻りに回転させてなる曲面である。

0014

本発明の撮像方法の一態様において、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。

0015

本発明の撮像システムは、表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面である凸面鏡と、前記凸面鏡からの反射動画像を撮像するセンサ部とを有する第１の装置と、前記第１の装置とネットワーク接続され、前記第１のカメラ部の撮影状態を遠隔制御可能な第２の装置とを備え、前記第１の装置により撮影された動画像を前記第２の装置に伝送し、前記第２の装置に前記動画像を表示するように構成される。

0016

本発明の撮像システムの一態様において、前記凸面鏡の表面は、その中心軸をＹ軸として、
Ｙ＝ａＸ4 （ａ：定数）
で表される曲線をＹ軸の廻りに回転させてなる曲面である。

0017

本発明の撮像システムの一態様において、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。

0018

本発明の撮像システムの一態様は、前記センサ部により処理された前記凸面鏡からの反射動画像の動画像信号を修正し、動画像の周辺部位の歪みを除去してパノラマ動画像を形成する画像処理手段を備える。

0019

本発明においては、凸面鏡の表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面とされているため、この凸面鏡の形状に対応して、中央部位が解像度が高く、周辺部位が解像度が低い動画像が得られることになる。そして、この動画像の周辺部位を修正することで、人間の視覚にとって違和感のない超広角のパノラマ映像を得ることが可能となる。

0020

以下、本発明を適用した好適な実施形態について図面を参照しながら詳細に説明する。

0021

図１は、本実施形態による中心窩視覚撮像装置を含む撮像システムを示す模式図である。本図において、２は金属蒸着されてなる中心窩曲面を有する凸面鏡（以下、中心窩ミラーと称する。）であり、１はガラスまたは透明な樹脂からなり中心窩ミラー２が設けられたブロック（以下、中心窩ミラーブロックと称する。）、３は光の透過面、４は結像のための凸レンズ等の光学部材、５は光学部材４を介した中心窩ミラー２からの反射動画像を撮像するセンサ部である。これら中心窩ミラー２、中心窩ミラーブロック１、光学部材４及びセンサ部５を少なくとも備えて中心窩視覚撮像装置の光学系が構成される。

0022

更に、６はＣＰＵやＲＡＭ等のメモリ、プログラムを保持しておくためのＲＯＭ等からなる歪み除去画像処理部、７は画像処理部６とネットワークを介して接続され、遠隔に置かれた第２の装置（に表示された画像）である。この第２の装置７に対して、前記１〜６を有して構成されるのが中心窩視覚撮像装置（第１の装置）である。そして、８は第２の装置７の画像内で中央部位に相当する高解像度部分を示している。第１の装置及び第２の装置を備えて、本システムが構成される。

0023

第２の装置７については詳述しないが、ネットワークに接続し、ハイパーテキストデータを表示するなどの機能を持つ既存のパーソナルコンピュータ（ＰＣ）やネットワークＰＣ、ワークステーションなどで構成されている。

0024

中心窩ミラー２は、その表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面に形成されている。具体例としては、中心窩ミラー２の表面は、その中心軸をＹ軸として、
Ｙ＝ａＸ4 （ａ：定数）
で表される曲線をＹ軸の廻りに回転させてなる曲面とすることが好ましい。

0025

中心窩ミラー２は、その中心軸がセンサ部５の設置位置で規定される光の中心軸からずれる位置に設置される。

0026

以下、中心窩視覚撮像装置の動作について説明する。先ず、図２にしたがって中心窩ミラー２に入射し反射する光路について説明する。本図は中心窩視覚撮像装置の光学系の水平方向に沿った断面図であり、便宜上、中心窩ミラー２の中心軸とセンサ部５の設置位置で規定される光の中心軸とが一致するように描かれている。

0027

図２において、１１は中心軸Ｌから１２０°離れた周辺部位からの入射光を示しており、１２は中心軸Ｌから２０°離れた中央部位からの入射光、１３は入射光１１が中心窩ミラー２で反射された反射光、１４は入射光１２が中心窩ミラー２で反射された反射光をそれぞれ示している。

0028

入射光１１は中心窩ミラー２で反射されて反射光１３となる。反射光１３は光学部材４を通り、センサ部５に入射する。また、入射光１２は中心窩ミラー２で反射されて反射光１４となる。反射光１４は光学部材４を通り、センサ部５に入射する。

0029

図３は、中心窩視覚撮像装置の光学系の構成要素である中心窩ミラー２と光学部材４の特性を示した図である。図３において、４１はセンサ部５の有効な領域を、４２は画像中央部位の解像度の高い部分を示しており、例えばＨ０，Ｈ１０，Ｈ−１０は中心軸からの水平方向の角度が各々０°，１０°，−１０°の方向の入射光について、センサ部５上の軌跡を、例えばＶ０，Ｖ１０，Ｖ−１０は中心軸からの垂直方向の角度が各々０°，１０°，−１０°の方向の入射光について、センサ部５上の軌跡をそれぞれ示している。従って、光学部材４を通過した反射光１３は、図３の軌跡Ｈ１２０上に入射し、反射光１４は軌跡Ｈ２０上に入射することになる。

0030

このようにして、センサ部５で撮像された動画像（原画像）の例を図４（ａ）に示す。中心窩ミラー２の表面形状に対応して、センサ部５の中央部位には歪みの少ない画像が結像し、周辺部位には歪みの多い画像が結像する。図示の如く、４人の人物がテーブルに着いている画像であり、中央部位に位置する人物は高解像度で歪まずに撮影されている一方、他の３人は歪んで撮影されており、歪みは周辺に行くほど大きい。

0031

そして、画像処理部６により図４（ａ）のような動画像の画像信号に以下に示すパノラマ画像化処理により修正が加えられ、図４（ｂ）の如く全体的に歪みのない動画像が得られる。

0032

以下、パノラマ画像化処理について詳細に説明する。パノラマ化された復元画像（図４（ｂ））を得るには、パノラマ画像上の画素が原画像（図４（ａ））ではどの画素に相当するのかを計算し、２画像の対応画素位置変換処理をする。具体的には、図３に示すように、変換テーブルが１０°毎に規定されている場合、１０°毎にメッシュが描かれた球面の中心に当該光学系を設置して球面を撮像することによって測定する。

0033

例えば、Ｖ２０とＨ−３０の交点がセンサ部５の中心から上に１１９画素、左に１６５画素の点であるとすると、その画素アドレス値を変換テーブルに保存する。１０°毎の場合には、２６×１３＝３２５個の画素アドレス・ペアを当該変換テーブルに保存することになる。

0034

ここで、前記２画像の位置を（ｗ，ｖ）とすると、
（ｗ，ｖ）＝Ｔ（ｘ／１０，ｙ／１０）
ｘ：水平方向の角度；−１２０≦ｘ≦１２０
ｙ：垂直方向の角度；−６０≦ｙ≦６０
で規定される。本実施形態では、パノラマ化された復元画像（図４（ｂ））の全画素について、原画像（図４（ａ））で対応する画素を計算し、復元画像の画素値を以下のように計算する。

0035

（ｗ１，ｖ１）＝Ｔ（ｘ／１０，ｙ／１０）
（ｗ２，ｖ２）＝Ｔ（（ｘ／１０）＋１，ｙ／１０）
（ｗ３，ｖ３）＝Ｔ（（ｘ／１０）＋１，（ｙ／１０）＋１）
（ｗ４，ｖ４）＝Ｔ（ｘ／１０，（ｙ／１０）＋１）
ｍ＝modulo（ｘ，１０），ｎ＝modulo（ｙ，１０）として、
ｗ＝〔｛ｗ１＊（１０−ｍ）＋ｗ２＊ｍ｝＊（１０−ｎ）＋｛ｗ４＊（１０−ｍ）＋ｗ３＊ｍ｝＊ｎ〕／１００
ｖ＝〔｛ｖ１＊（１０−ｎ）＋ｖ４＊ｎ｝＊（１０−ｍ）＋｛ｖ２＊（１０−ｎ）＋ｖ３＊ｎ｝＊ｍ〕／１００

0036

このように、２画像の対応する画素のアドレスが求められ、画像全体について歪みのない超広角のパノラマ動画像が得られる。なお、画素値については補間をせず最近傍画素値を取れば、画素値をＤ（ｘ，ｙ）として、
Ｄ（ｘ，ｙ）＝Ｄ（ｗ，ｖ）
として求められる。また、１０°毎の変換テーブルを用いずに更に細かい角度毎に規定した場合には、上記式群中の１０，１００を当該角度に応じて変更すれば良い。

0037

以上説明したように、本実施形態の中心窩視覚撮像装置によれば、中心窩ミラー２の表面が、中央部位が低曲率面で周辺部位が高曲率面とされているため、この中心窩ミラー２の形状に対応して、中央部位が解像度が高く、周辺部位が解像度が低い動画像が得られることになる。そして、この動画像の周辺部位を修正することで、人間の視覚にとって違和感のない超広角のパノラマ映像を得ることが可能となる。

0038

本発明によれば、中央部位の曲率が低く、周辺部位の曲率が高い凸の曲面ミラーに反射させた映像を撮影するという手法により、従来より広角で且つ安価な、中央部位の解像度が高く、周辺部位の解像度が低い中心窩視覚の特性を持つ撮像装置（撮像方法）を構成することが可能となる。

0039

図１本実施形態による中心窩視覚撮像装置を示す模式図である。
図２中心窩視覚撮像装置の光学系の水平方向に沿った断面図である。
図３中心窩ミラーと光学部材の特性を示す特性図である。
図４本発明で得られる原画像（ａ）と復元画像（ｂ）を示す模式図である。

0040

１中心窩ミラーブロック
２ 中心窩ミラー
３透過面
４光学部材
５センサ部
６歪み除去画像処理部