図面 (/)

技術 撮像装置、撮像システム及び撮像方法

出願人 キヤノン株式会社
発明者 佐藤衛
出願日 1999年5月28日 (21年8ヶ月経過) 出願番号 1999-150609
公開日 2000年12月8日 (20年2ヶ月経過) 公開番号 2000-341568
状態 特許登録済
技術分野 スタジオ装置 カメラ一般 閉回路テレビジョンシステム カメラ構造、機構 スタジオ装置 写真撮影方法及び装置 レンズ系
主要キーワード 双曲面状 曲率面 中心画像 歪み除去 マシンビジョン 対応画素位置 最近傍画素 通信処理システム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2000年12月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

画像の中央部位高解像度となる超広角動画像を得ることを可能とする廉価な撮像装置撮像ステム及び撮像方法を提供することを目的とし、更にはかかる動画像の周辺部位歪み除去と動画像のパノラマ化を行なう。

解決手段

中心窩ミラー2は、その表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面に形成されている。具体例としては、中心窩ミラー2の表面は、その中心軸をY軸として、

Y=aX4 (a:定数

で表される曲線をY軸の廻りに回転させてなる曲面とする。

概要

背景

近時では、複雑且つダイナミックに変動する外界動画像を得る好適な自動制御装置として、いわゆるマシンビジョンが期待されている。そして、このマシンビジョンの応用の一環として、広角映像を得るための中心窩視覚システムが研究されてきた。

このような中心窩視覚システムの具体例としては、電子技術総合研究所の国吉らによる「Active Stereo Vision System with Foveated Wide Lenses 」があり、ここで中心窩広角レンズが開示されている。しかしながら、このレンズ視野が120°と比較的狭く、10群11枚構成の比較的複雑なものであって高価であるという欠点がある。

また、他の具体例としては、Spiegel らによる「A foveated retina-like sensor using CCD technology」があり、ここで、同心円状となるように中心部位では高密度に、周辺部位では低密度になるように受光体を配した網膜センサ( retina-like sensor )が開示されている。しかしながら、このセンサは上記のように多数の受光体を特殊な配列に設けてなるために高価となって大量生産に不適であり、最新の種々のセンサ製造技術を使用できないという欠点がある。

また、更に他の具体例としては、Greguss による米国特許4566763号があり、ここで視野の広い映像を得ることができる画像形成体(image forming block )が開示されている。しかしながら、この画像形成体は解像度に関する考慮がなされておらず、画像の中心部位を高精細撮影することはできない。このことは、反射動画像を得るためのミラーとして、その表面形状が円錐状のものや、球面状双曲面状、放物面状のものを用いても同様であり、高精細な中心画像を得ることは困難である。

概要

画像の中央部位高解像度となる超広角の動画像を得ることを可能とする廉価な撮像装置撮像ステム及び撮像方法を提供することを目的とし、更にはかかる動画像の周辺部位の歪み除去と動画像のパノラマ化を行なう。

中心窩ミラー2は、その表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面に形成されている。具体例としては、中心窩ミラー2の表面は、その中心軸をY軸として、

Y=aX4 (a:定数

で表される曲線をY軸の廻りに回転させてなる曲面とする。

目的

そこで本発明は、画像の中央部位で高解像度となる超広角の動画像を得ることを可能とする廉価な撮像装置、撮像システム及び撮像方法を提供することを目的とし、更には従来行われてこなかった、かかる動画像の周辺部位の歪み除去と動画像のパノラマ化を行なうことを目的とする。

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

凸面鏡と、前記凸面鏡からの反射動画像撮像するセンサ部とを備えた撮像装置であって、前記凸面鏡は、その表面が中心窩様形状とされており、中央部位が低曲率面周辺部位が高曲率面であることを特徴とする撮像装置。

請求項2

前記凸面鏡の表面は、その中心軸をY軸として、Y=aX4 (a:定数)で表される曲線をY軸の廻りに回転させてなる曲面であることを特徴とする請求項1に記載の撮像装置。

請求項3

前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置されることを特徴とする請求項1又は2に記載の撮像装置。

請求項4

前記センサ部により処理された前記凸面鏡からの反射動画像の動画像信号修正し、動画像の周辺部位の歪みを除去して超広角パノラマ動画像を形成する画像処理手段を備えることを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。

請求項5

凸面鏡からの反射動画像をセンサ部により撮像する撮像方法であって、表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面でとされた前記凸面鏡により、中央部位が高解像度で周辺部位が低解像度となる反射画像を得た後、前記センサ部で前記反射動画像を信号処理して動画像信号を生成し、前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去して超広角のパノラマ動画像を形成することを特徴とする撮像方法。

請求項6

前記凸面鏡の表面は、その中心軸をY軸として、Y=aX4 (a:定数)で表される曲線をY軸の廻りに回転させてなる曲面であることを特徴とする請求項5に記載の撮像方法。

請求項7

前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置されることを特徴とする請求項5又は6に記載の撮像方法。

請求項8

表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面である凸面鏡と、前記凸面鏡からの反射動画像を撮像するセンサ部とを有する第1の装置と、前記第1の装置とネットワーク接続され、前記第1のカメラ部の撮影状態遠隔制御可能な第2の装置とを備え、前記第1の装置により撮影された動画像を前記第2の装置に伝送し、前記第2の装置に前記動画像を表示するようにしたことを特徴とする撮像システム

請求項9

前記凸面鏡の表面は、その中心軸をY軸として、Y=aX4 (a:定数)で表される曲線をY軸の廻りに回転させてなる曲面であることを特徴とする請求項8に記載の撮像システム。

請求項10

前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置されることを特徴とする請求項8又は9に記載の撮像システム。

請求項11

前記センサ部により処理された前記凸面鏡からの反射動画像の動画像信号を修正し、動画像の周辺部位の歪みを除去してパノラマ動画像を形成する画像処理手段を備えることを特徴とする請求項8〜10のいずれか1項に記載の撮像システム。

技術分野

0001

本発明は、パノラマ動画像を得る撮像装置及び撮像方法に関し、特にデジタル処理された動画像信号遠隔で利用する通信処理システムに適用して好適である。

背景技術

0002

近時では、複雑且つダイナミックに変動する外界動画像を得る好適な自動制御装置として、いわゆるマシンビジョンが期待されている。そして、このマシンビジョンの応用の一環として、広角映像を得るための中心窩視覚システムが研究されてきた。

0003

このような中心窩視覚システムの具体例としては、電子技術総合研究所の国吉らによる「Active Stereo Vision System with Foveated Wide Lenses 」があり、ここで中心窩広角レンズが開示されている。しかしながら、このレンズ視野が120°と比較的狭く、10群11枚構成の比較的複雑なものであって高価であるという欠点がある。

0004

また、他の具体例としては、Spiegel らによる「A foveated retina-like sensor using CCD technology」があり、ここで、同心円状となるように中心部位では高密度に、周辺部位では低密度になるように受光体を配した網膜センサ( retina-like sensor )が開示されている。しかしながら、このセンサは上記のように多数の受光体を特殊な配列に設けてなるために高価となって大量生産に不適であり、最新の種々のセンサ製造技術を使用できないという欠点がある。

0005

また、更に他の具体例としては、Greguss による米国特許4566763号があり、ここで視野の広い映像を得ることができる画像形成体(image forming block )が開示されている。しかしながら、この画像形成体は解像度に関する考慮がなされておらず、画像の中心部位を高精細撮影することはできない。このことは、反射動画像を得るためのミラーとして、その表面形状が円錐状のものや、球面状双曲面状、放物面状のものを用いても同様であり、高精細な中心画像を得ることは困難である。

発明が解決しようとする課題

0006

上記のように、これら従来の技術では、
(1)光学系の視野が狭い。
(2)中央部位が高密度な動画像を撮影することができない。
(3)光学系の形状・構造が複雑となって高価である。
という深刻な欠点があった。

0007

そこで本発明は、画像の中央部位で高解像度となる超広角の動画像を得ることを可能とする廉価な撮像装置、撮像ステム及び撮像方法を提供することを目的とし、更には従来行われてこなかった、かかる動画像の周辺部位の歪み除去と動画像のパノラマ化を行なうことを目的とする。

課題を解決するための手段

0008

本発明の撮像装置は、凸面鏡と、前記凸面鏡からの反射動画像を撮像するセンサ部とを備えた撮像装置であって、前記凸面鏡は、その表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面である。

0009

本発明の撮像装置の一態様において、前記凸面鏡の表面は、その中心軸をY軸として、
Y=aX4 (a:定数
で表される曲線をY軸の廻りに回転させてなる曲面である。

0010

本発明の撮像装置の一態様において、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。

0011

本発明の撮像装置の一態様は、前記センサ部により処理された前記凸面鏡からの反射動画像の動画像信号を修正し、動画像の周辺部位の歪みを除去してパノラマ動画像を形成する画像処理手段を備える。

0012

本発明の撮像方法は、凸面鏡からの反射動画像をセンサ部により撮像する手法であって、表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面でとされた前記凸面鏡により、中央部位が高解像度で周辺部位が低解像度となる反射画像を得た後、前記センサ部で前記反射動画像を信号処理して動画像信号を生成し、前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去してパノラマ動画像を形成する。

0013

本発明の撮像方法の一態様において、前記凸面鏡の表面は、その中心軸をY軸として、
Y=aX4 (a:定数)
で表される曲線をY軸の廻りに回転させてなる曲面である。

0014

本発明の撮像方法の一態様において、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。

0015

本発明の撮像システムは、表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面である凸面鏡と、前記凸面鏡からの反射動画像を撮像するセンサ部とを有する第1の装置と、前記第1の装置とネットワーク接続され、前記第1のカメラ部の撮影状態遠隔制御可能な第2の装置とを備え、前記第1の装置により撮影された動画像を前記第2の装置に伝送し、前記第2の装置に前記動画像を表示するように構成される。

0016

本発明の撮像システムの一態様において、前記凸面鏡の表面は、その中心軸をY軸として、
Y=aX4 (a:定数)
で表される曲線をY軸の廻りに回転させてなる曲面である。

0017

本発明の撮像システムの一態様において、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。

0018

本発明の撮像システムの一態様は、前記センサ部により処理された前記凸面鏡からの反射動画像の動画像信号を修正し、動画像の周辺部位の歪みを除去してパノラマ動画像を形成する画像処理手段を備える。

0019

本発明においては、凸面鏡の表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面とされているため、この凸面鏡の形状に対応して、中央部位が解像度が高く、周辺部位が解像度が低い動画像が得られることになる。そして、この動画像の周辺部位を修正することで、人間の視覚にとって違和感のない超広角のパノラマ映像を得ることが可能となる。

発明を実施するための最良の形態

0020

以下、本発明を適用した好適な実施形態について図面を参照しながら詳細に説明する。

0021

図1は、本実施形態による中心窩視覚撮像装置を含む撮像システムを示す模式図である。本図において、2は金属蒸着されてなる中心窩曲面を有する凸面鏡(以下、中心窩ミラーと称する。)であり、1はガラスまたは透明な樹脂からなり中心窩ミラー2が設けられたブロック(以下、中心窩ミラーブロックと称する。)、3は光の透過面、4は結像のための凸レンズ等の光学部材、5は光学部材4を介した中心窩ミラー2からの反射動画像を撮像するセンサ部である。これら中心窩ミラー2、中心窩ミラーブロック1、光学部材4及びセンサ部5を少なくとも備えて中心窩視覚撮像装置の光学系が構成される。

0022

更に、6はCPUやRAM等のメモリプログラムを保持しておくためのROM等からなる歪み除去画像処理部、7は画像処理部6とネットワークを介して接続され、遠隔に置かれた第2の装置(に表示された画像)である。この第2の装置7に対して、前記1〜6を有して構成されるのが中心窩視覚撮像装置(第1の装置)である。そして、8は第2の装置7の画像内で中央部位に相当する高解像度部分を示している。第1の装置及び第2の装置を備えて、本システムが構成される。

0023

第2の装置7については詳述しないが、ネットワークに接続し、ハイパーテキストデータを表示するなどの機能を持つ既存のパーソナルコンピュータ(PC)やネットワークPC、ワークステーションなどで構成されている。

0024

中心窩ミラー2は、その表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面に形成されている。具体例としては、中心窩ミラー2の表面は、その中心軸をY軸として、
Y=aX4 (a:定数)
で表される曲線をY軸の廻りに回転させてなる曲面とすることが好ましい。

0025

中心窩ミラー2は、その中心軸がセンサ部5の設置位置で規定される光の中心軸からずれる位置に設置される。

0026

以下、中心窩視覚撮像装置の動作について説明する。先ず、図2にしたがって中心窩ミラー2に入射し反射する光路について説明する。本図は中心窩視覚撮像装置の光学系の水平方向に沿った断面図であり、便宜上、中心窩ミラー2の中心軸とセンサ部5の設置位置で規定される光の中心軸とが一致するように描かれている。

0027

図2において、11は中心軸Lから120°離れた周辺部位からの入射光を示しており、12は中心軸Lから20°離れた中央部位からの入射光、13は入射光11が中心窩ミラー2で反射された反射光、14は入射光12が中心窩ミラー2で反射された反射光をそれぞれ示している。

0028

入射光11は中心窩ミラー2で反射されて反射光13となる。反射光13は光学部材4を通り、センサ部5に入射する。また、入射光12は中心窩ミラー2で反射されて反射光14となる。反射光14は光学部材4を通り、センサ部5に入射する。

0029

図3は、中心窩視覚撮像装置の光学系の構成要素である中心窩ミラー2と光学部材4の特性を示した図である。図3において、41はセンサ部5の有効な領域を、42は画像中央部位の解像度の高い部分を示しており、例えばH0,H10,H−10は中心軸からの水平方向の角度が各々0°,10°,−10°の方向の入射光について、センサ部5上の軌跡を、例えばV0,V10,V−10は中心軸からの垂直方向の角度が各々0°,10°,−10°の方向の入射光について、センサ部5上の軌跡をそれぞれ示している。従って、光学部材4を通過した反射光13は、図3の軌跡H120上に入射し、反射光14は軌跡H20上に入射することになる。

0030

このようにして、センサ部5で撮像された動画像(原画像)の例を図4(a)に示す。中心窩ミラー2の表面形状に対応して、センサ部5の中央部位には歪みの少ない画像が結像し、周辺部位には歪みの多い画像が結像する。図示の如く、4人の人物がテーブルに着いている画像であり、中央部位に位置する人物は高解像度で歪まずに撮影されている一方、他の3人は歪んで撮影されており、歪みは周辺に行くほど大きい。

0031

そして、画像処理部6により図4(a)のような動画像の画像信号に以下に示すパノラマ画像化処理により修正が加えられ、図4(b)の如く全体的に歪みのない動画像が得られる。

0032

以下、パノラマ画像化処理について詳細に説明する。パノラマ化された復元画像図4(b))を得るには、パノラマ画像上の画素が原画像(図4(a))ではどの画素に相当するのかを計算し、2画像の対応画素位置変換処理をする。具体的には、図3に示すように、変換テーブルが10°毎に規定されている場合、10°毎にメッシュが描かれた球面の中心に当該光学系を設置して球面を撮像することによって測定する。

0033

例えば、V20とH−30の交点がセンサ部5の中心から上に119画素、左に165画素の点であるとすると、その画素アドレス値を変換テーブルに保存する。10°毎の場合には、26×13=325個の画素アドレス・ペアを当該変換テーブルに保存することになる。

0034

ここで、前記2画像の位置を(w,v)とすると、
(w,v)=T(x/10,y/10)
x:水平方向の角度;−120≦x≦120
y:垂直方向の角度;−60≦y≦60
で規定される。本実施形態では、パノラマ化された復元画像(図4(b))の全画素について、原画像(図4(a))で対応する画素を計算し、復元画像の画素値を以下のように計算する。

0035

(w1,v1)=T(x/10,y/10)
(w2,v2)=T((x/10)+1,y/10)
(w3,v3)=T((x/10)+1,(y/10)+1)
(w4,v4)=T(x/10,(y/10)+1)
m=modulo(x,10),n=modulo(y,10)として、
w=〔{w1*(10−m)+w2*m}*(10−n)+{w4*(10−m)+w3*m}*n〕/100
v=〔{v1*(10−n)+v4*n}*(10−m)+{v2*(10−n)+v3*n}*m〕/100

0036

このように、2画像の対応する画素のアドレスが求められ、画像全体について歪みのない超広角のパノラマ動画像が得られる。なお、画素値については補間をせず最近傍画素値を取れば、画素値をD(x,y)として、
D(x,y)=D(w,v)
として求められる。また、10°毎の変換テーブルを用いずに更に細かい角度毎に規定した場合には、上記式群中の10,100を当該角度に応じて変更すれば良い。

0037

以上説明したように、本実施形態の中心窩視覚撮像装置によれば、中心窩ミラー2の表面が、中央部位が低曲率面で周辺部位が高曲率面とされているため、この中心窩ミラー2の形状に対応して、中央部位が解像度が高く、周辺部位が解像度が低い動画像が得られることになる。そして、この動画像の周辺部位を修正することで、人間の視覚にとって違和感のない超広角のパノラマ映像を得ることが可能となる。

発明の効果

0038

本発明によれば、中央部位の曲率が低く、周辺部位の曲率が高い凸の曲面ミラーに反射させた映像を撮影するという手法により、従来より広角で且つ安価な、中央部位の解像度が高く、周辺部位の解像度が低い中心窩視覚の特性を持つ撮像装置(撮像方法)を構成することが可能となる。

図面の簡単な説明

0039

図1本実施形態による中心窩視覚撮像装置を示す模式図である。
図2中心窩視覚撮像装置の光学系の水平方向に沿った断面図である。
図3中心窩ミラーと光学部材の特性を示す特性図である。
図4本発明で得られる原画像(a)と復元画像(b)を示す模式図である。

--

0040

1中心窩ミラーブロック
2 中心窩ミラー
3透過面
4光学部材
5センサ部
6歪み除去画像処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ