図面 (/)

技術 画像処理システム

出願人 コーニンクレッカフィリップスエヌヴェ
発明者 ラウルフロランピエールレロン
出願日 1994年10月18日 (25年4ヶ月経過) 出願番号 1994-252270
公開日 1995年7月28日 (24年7ヶ月経過) 公開番号 1995-193746
状態 特許登録済
技術分野 イメージ入力 画像処理 スタジオ回路
主要キーワード 表示曲線 直線境界 試行値 対応法 対応関数 光遮蔽物 可動機械 表面面積比
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1995年7月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

目的

仮想カメラで与える画像の中の境界線を除去できる画像処理システムを提供する。

構成

個々の視野を繋いでパノラマシーンを記録する固定の実際のカメラ(C1,..,Cn)システムと、パノラマシーンを走査して実際のカメラの隣接する原画像(I1,..,In)から構成されるディジタル対象画像(Iv)に関し任意のサブ画像を与える可動の仮想カメラ(Cv)と見做される画像構成システム(GVVB)と、補正モジュール(LutA,LutB) を含む輝度等化システムとを具える。この補正モジュールは、2つの隣接するディジタル原画像(Ii,Ij) から構成されるディジタル対象画像(Iv)の部分(Ivi,Ivj) の対応する輝度レベルの組(R及びF(R)) にそれぞれ補正法則(Gi,Gj) を適用し、Gi(R)=Gj[F(R)]に基づいてこれらの対応するレベルを等しくする。

概要

背景

画像処理装置は特許出願WO92-14341から既知である。この公報にはテレビジョン画像処理システムが記載されている。このシステムは、互いの視野繋ぎ合わせて1つの広角視野を形成することかできるように隣接して配置された複数の固定カメラを含む送信部を具えている。このシステムは更に、広角視野に対応する全体画像合成ビデオ信号を発生する手段及びこの合成画像からサブ画像を選択する手段を含む処理部を具えている。このシステムは更にこのサブ画像を表示するモニタのような手段を具えている。このサブ画像は合成画像より小さい角度の視野に対応し、広角視野のサブセクションに属している。

この画像処理システムは、専ら走査ビームによりライン毎に画像が形成される普通のテレビジョンシステムに適している。処理部は、ユーザーが広角視野のサブセクションを選択することを可能にしている。対応するサブ画像は個々のカメラが供給する画像と同じ大きさを持っている。ユーザーは、広角視野に対応する合成画像に関する走査開始点を変えることによりこのサブ画像を選択する。広角視野はビデオ走査に平行な軸を有し、サブ画像のビデオ走査の開始点が任意に且つ連続的にこの軸に平行に変位するようにできる。

サブ画像に対応する視野角が実際のカメラの視野角より小さいことがあり得る。しかしながら、サブ画像の偏りは走査に垂直な変位を含むことはない。その偏りはこの走査に平行な変位を含むだけである。サブ画像の形成は、合成画像に関するズーム効果即ち画像ピックアップカメラの焦点距離に関するサブ画像の焦点の変化を含まない。このように、画像処理部は選択されたビデオサブ画像をライン毎に構成する手段を具える。これらの手段は、本質的に、異なるカメラからのビデオ信号の同期を制御する回路を含む。

概要

仮想カメラで与える画像の中の境界線を除去できる画像処理システムを提供する。

個々の視野を繋いでパノラマシーンを記録する固定の実際のカメラ(C1,..,Cn)システムと、パノラマシーンを走査して実際のカメラの隣接する原画像(I1,..,In)から構成されるディジタル対象画像(Iv)に関し任意のサブ画像を与える可動の仮想カメラ(Cv)と見做される画像構成システム(GVVB)と、補正モジュール(LutA,LutB) を含む輝度等化システムとを具える。この補正モジュールは、2つの隣接するディジタル原画像(Ii,Ij) から構成されるディジタル対象画像(Iv)の部分(Ivi,Ivj) の対応する輝度レベルの組(R及びF(R)) にそれぞれ補正法則(Gi,Gj) を適用し、Gi(R)=Gj[F(R)]に基づいてこれらの対応するレベルを等しくする。

目的

本発明の目的は、構成されるサブ画像又は対象画像ディジタル画像であり、構成されるサブ画像又は対象画像が実際のピックアップカメラにより供給される各隣接ディジタル原画像の少なくとも2つの部分から計算される場合に遭遇する問題を解決することにある。この場合、カメラは固定され、それらのうちの2つのカメラはそれらの視野が繋がるように配置される。この場合、対象画像の中に、2つの異なる原画像から計算された2つの隣接した対象画像の部分の間に境界線が現れる。これは、2つの実際のカメラの各1つが、全体として互いに他の原画像の輝度と僅かに異なる輝度を持つ原画像を供給すること、及びその結果としての対象画像部分もまた僅かに異なる輝度を持つことが原因である。

更に、個々のカメラが全く均一な輝度を持つ表面を記録するとしても、これから形成される画像は均一ではなく、縁のぼけを生じる。これは、一般に中心から縁部に向かって画像の明るさが減少するように変化することである。形成された対象画像における境界線の両側に位置する2つの隣接するピクセルは、それぞれの元の原画像で中心から同一の距離に位置する領域に由来するものとは限らない。このため、これらの隣接するピクセルにおける縁がぼける効果が同一ではなくなる。

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

個々の視野繋ぎ合わせてパノラマシーンを記録するための1つの広角視野を形成するように配置されたn個の固定した実際のカメラ(C1,..,Ci,Cj,.., Cn )と、連続的にパノラマシーンを走査し、広角視野の任意の1つのセクションに対応しn個の実際のカメラによって作られる隣接する原画像(I1,.., Ii,Ij,..,In )から構成される1つの対象サブ画像(Iv )を供給するための可動仮想カメラ(Cv )と見做すことができる画像構成ステム(GVVB)とを具える画像処理システムにおいて、該システムはディジタルシステムであり、更に、2つの隣接するディジタル原画像(Ii 、Ij )から構成されるディジタル対象画像(Iv )の第1及び第2の部分(Ivi、Ivj)の対応する輝度レベルの第1及び第2の組(R、S)にそれぞれ第1及び第2の補正法則(Gi 、Gj )を適用し、Gi(R) =Gj(S) の関係に基づいてこれらの対応する輝度レベルを可能な限り最良の程度に等しくする第1及び第2の輝度補正モジュール(LutA、LutB)を具える輝度等化システムを具備することを特徴とする画像処理システム。

請求項2

輝度等化システムが更に計算モジュール(Lutcalcul)を具え、該計算モジュールが、対象画像の第1の部分(Ivi)の輝度レベルの第1の組(R)のレベルと対象画像の第2の部分(Ivj)の輝度レベルの第2の組(S)のレベルとの間の対応を確立する法則Fを計算してS=F(R)とし、且つその後、Gi(R) =Gj [F(R)]の関係に基づいて対応する輝度レベルを可能な限り最良の程度に等しくするために第1及び第2の輝度補正モジュール(LutA、LutB)に適用されるべき第1及び第2の補正法則(Gi 、Gj )を計算するように構成されることを特徴とする請求項1に記載の画像処理システム。

請求項3

輝度等化システムが更に、輝度レベルの第1のサブの組(r)からなる対象画像の第1の部分(Ivi)のピクセルの第1のサブの組(Ai )を選択し且つ格納する第1のメモリーモジュール(MemA)と、輝度レベルの第2のサブの組(s)からなる対象画像の第2の部分(Ivj)のピクセルの第2のサブの組(Aj )を選択し且つ格納する第2のメモリーモジュール(MemB)とを具え、且つ、計算モジュール(Lutcalcul)が、可能な限り最良の程度に式s=F(r)を実現するために選択された対象画像部分の2つのサブの組(Ai 、Aj )の輝度レベル[(r)と(s)と]の間の対応を確立することによってS=F(R)の対応の法則Fを計算するように構成されることを特徴とする請求項2に記載の画像処理システム。

請求項4

第1及び第2のメモリーモジュール(MemA、MemB)において、対象画像(Iv )の中で、2つの隣接する原画像(Ii 及びIj )から構成される対象画像の2つの部分(Ivi、Ivj)の境界の一致に対応する直線境界線Lの位置を求めることにより、且つ、ピクセルの第1及び第2のサブの組(Ai 、Aj )として、それぞれ対象画像の第1及び第2の部分(Ivi、Ivj)の中で、該直線境界線のいずれかの側で、該直線境界線に平行で該直線境界線に関して対称に且つ行及び列に並んだピクセルを選択することにより、対象画像の第1及び第2の部分(Ivi、Ivj)が第1及び第2のサブの組(Ai 、Aj )を供給し、更に、対応の法則Fのための計算モジュール(Lutcalcul)において、第1及び第2のサブの組(Ai 、Aj )のピクセルが、対象画像(Iv )の座標系において、それらの座標として、直線境界線に平行な軸上の同じ座標を持ち、且つこの直線境界線に直角の軸上の直線境界線に関して対称な座標を持つ場合にそれぞれが対応するとされ、このピクセル対によって変換され分類されることを特徴とする請求項3に記載の画像処理システム。

請求項5

第1及び第2のメモリーモジュール(MemA、MemB)において、対象画像(Iv )における2つの対象画像部分(Ivi、Ivj)の相互のオーバーラップについて、オーバーラップする帯の部分が一方の端部(Li )とこれに平行な他の端部(Lj )によって定まり、この帯が原画像(Ii 及びIj )を供給しそれから2つの対象画像部分(Ivi、Ivj)が構成される2つの隣接する実際のカメラ(Ci、Cj )の視野がオーバーラップする範囲から構成される、相互のオーバーラップに対応するオーバーラップ帯(Li Lj )を求めることにより、且つ、ピクセルの第1及び第2のサブの組(Ai 、Aj )として、それぞれ対象画像の第1及び第2の部分(Ivi、Ivj)内に位置するオーバーラップ帯のピクセルを選択することにより、対象画像の第1及び第2の部分(Ivi、Ivj)が選択され、更に、対応の法則Fのための計算モジュール(Lutcalcul)において、第1及び第2のサブの組(Ai 、Aj )のピクセルが、対象画像(Iv )の座標系において同じ座標を持つ場合にそれぞれが対応するとされ、このピクセル対によって変換され分類されることを特徴とする請求項3に記載の画像処理システム。

請求項6

計算モジュール(Lutcalcul)が、第1のサブの組(Ai)における各対の第1ピクセルの輝度レベルの組(r)が、可能な限り最良の程度に、第2のサブの組(Aj )の各対の第2のピクセルの対応する輝度レベルの組(s)に対応するようになる対応関係S=F(R)の法則Fを可能な限り最良の程度に式s=F(r)を実現するために定めることを特徴とする請求項4又は5に記載の画像処理システム。

請求項7

計算モジュール(Lutcalcul)が、第1ステップで、近似的にピクセルの対応する対の輝度レベル(r、s)により構成される点N1 のクラスターを通る関数s=F(r)を計算することにより反復間引き法によって法則Fを計算し、次に次のステップで、関数s=F(r)を表す曲線からの距離により、表示曲線から最も遠い点に対応する重みを最も小さくするように点(r、s)に重み付けを行って第2のクラスターN2 を形成し、この第2のクラスターN2 の重み付けされた点について関数s=F(r)を再計算し、各ステップで繰り返し、関数s=F(r)を表す曲線が可能な限り最良の程度に最も大きい重みが割当てられるべき残りの点を通るまで、関数s=F(r)を表す曲線から最も遠い点の重みを減らすことを特徴とする請求項6に記載の画像処理システム。

請求項8

計算モジュール(Lutcalcul)が、第1ステップで、近似的にピクセルの対応する対の輝度レベル(r、s)により構成される点N1 のクラスターを通る関数s=F(r)を計算することによって反復間引き法によって法則Fを計算し、次に次のステップで、近似的関数s=F(r)を表す曲線から所定の許容限界の値より大きい距離に位置する点(r、s)を除去して点の第2のクラスターN2 を保存し、この間引きされたクラスターN2 の残りの点(r、s)を用いて関数s=F(r)を再計算し、次に、それぞれの引き続くステップで、関数s=F(r)を表す曲線が可能な限り最良の程度に残りの点(r、s)を通るまで、点(r、s)と関数s=F(r)を表す曲線との間の所定の許容限界の値を減らし、所定の許容限界の値より大きい距離に位置する点(r、s)を除去し、残りの点(r、s)を用いて関数s=F(r)を再計算することを特徴とする請求項6に記載の画像処理システム。

請求項9

対応関数FがF(r)=a+brC の形で与えられ、ここでa、b及びcは反復法で定められる定数であり、これにより計算モジュール(Lutcalcul)が二重反復法で法則Fを定め、この二重反復法では、各ステップが2つのフェーズからなり、第1のフェーズではパラメーターa、b及びcを定めるための各ステージ遂行され、第1のステージはべき指数cの最初の値が固定され、次のステージの点(r、s)の第1のクラスターN1 のためのパラメーターa及びbが計算され、次のステージではべき指数cの第2、第3等の値が固定され、パラメーターa及びbが点(r、s)の同じクラスターN1 のために計算され、次いで、点(r、s)の第1のクラスターN1 を可能な限り最良の程度に通る最良の関数F(r)=a+brC を供給するようにパラメーターa、b、cの群の値が選択され、他方、続いて、第2の間引きステージが遂行され、この第2の間引きステージでは第1のクラスターN1 の第1のフェーズで定められた関数F(r)から最も遠い点が除去され、間引きされた点の第2のクラスターN2が保存され、次のステップでは第1のフェーズが遂行され、パラメーターcの試行値を前のステップで定められた値及びこの値に近い値として固定し、パラメーターa、b、cを選択して関数F(r)=a+brC が確実に可能な限り最良の程度に間引きされた点(r、s)の第2のクラスターN2 を通るようにし、関数F(r)=a+brC が可能な限り最良の程度に、関数s=F(r)を表す曲線との距離が所定の許容限界の値より小さい残りの点(r、s)を通るようになるまでこの二重反復法を繰り返すことを特徴とする請求項6乃至8のいずれか1項に記載の画像処理システム。

請求項10

計算モジュール(Lutcalcul)が、対応の法則F(R)の線形関数として、第1の輝度補正法則(Gi )及び第2の法則(Gj )を計算することを特徴とする請求項2乃至9のいずれか1項に記載の画像処理システム。

請求項11

kを画像全体における対象画像の部分(Ivi、Ivj)の1つの表面の割合を考慮するための定数として、第1の補正法則がGi (R)=kF(R)+(1−k)Rの形を持つように選択され、第2の補正法則がGj (R)=kR+(1−k)F-1(R)の形を持つように選択されることを特徴とする請求項10に記載の画像処理システム。

請求項12

画像構成システム(GVVB)における対象画像(Iv )を構成するために、更に、制御モジュール(Control)が、次の3つのパラメーター、即ち、1)全ての固定された実際のカメラ及び可動仮想カメラに共通の固定された視点を通る光軸の水平面に平行な方位における変化に対応して、パノラマの光軸の方位(PAN)即ち方位角を変えるパラメーター、2)垂直面において常に固定された視点を通る光軸の方位(TILT)即ち視野角を変えるパラメーター、3)多少拡大された対象画像を供給することができる仮想カメラの焦点距離を変えるパラメーターを用いて可動仮想カメラを制御することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理システム。

請求項13

更に、第1及び第2の対象画像部分(Ivi、Ivj)の処理されたデータを格納するモジュール(PartA、PartB)及び表示又は記録モジュール(D)を具えることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理システム。

請求項14

更に、全ての実際のカメラ(C1,..,Ci,Cj,.., Cn )から、対象画像(Iv )を構成するために用いられる対象画像の部分(Ivi、Ivj)のデータを供給するために必要な原画像(Ii 、Ij )に対応する2つのカメラ(Ci,Cj )を選択するための多重化モジュールと、2つの選択された実際のカメラ(Ci,Cj )によって供給されるそれぞれのアナログデータをディジタルデータに変換し、対応する2つのディジタル原画像(Ii 、Ij )を形成するための2つのアナログ−ディジタル変換モジュールとを具えることを特徴とする請求項1乃至13のいずれか1項に記載の画像処理システム。

技術分野

0001

本発明は、個々の視野繋ぎ合わせてパノラマシーンを記録するための1つの広角視野を形成するように配置されたn個の固定された実際のカメラと、連続的にパノラマシーンを走査し、広角視野の任意の1つのセクションに対応しn個の実際のカメラによって作られる隣接する原画像から構成される1つの対象サブ画像を供給するための可動仮想カメラと見做すことができる画像構成ステムとを具える画像処理システムに関するものである。このシステムは、可動機械に対するモニタ装置及びパノラマ視野装置に用いられる。

背景技術

0002

画像処理装置は特許出願WO92-14341から既知である。この公報にはテレビジョンの画像処理システムが記載されている。このシステムは、互いの視野を繋ぎ合わせて1つの広角視野を形成することかできるように隣接して配置された複数の固定カメラを含む送信部を具えている。このシステムは更に、広角視野に対応する全体画像合成ビデオ信号を発生する手段及びこの合成画像からサブ画像を選択する手段を含む処理部を具えている。このシステムは更にこのサブ画像を表示するモニタのような手段を具えている。このサブ画像は合成画像より小さい角度の視野に対応し、広角視野のサブセクションに属している。

0003

この画像処理システムは、専ら走査ビームによりライン毎に画像が形成される普通のテレビジョンシステムに適している。処理部は、ユーザーが広角視野のサブセクションを選択することを可能にしている。対応するサブ画像は個々のカメラが供給する画像と同じ大きさを持っている。ユーザーは、広角視野に対応する合成画像に関する走査の開始点を変えることによりこのサブ画像を選択する。広角視野はビデオ走査に平行な軸を有し、サブ画像のビデオ走査の開始点が任意に且つ連続的にこの軸に平行に変位するようにできる。

0004

サブ画像に対応する視野角が実際のカメラの視野角より小さいことがあり得る。しかしながら、サブ画像の偏りは走査に垂直な変位を含むことはない。その偏りはこの走査に平行な変位を含むだけである。サブ画像の形成は、合成画像に関するズーム効果即ち画像ピックアップカメラの焦点距離に関するサブ画像の焦点の変化を含まない。このように、画像処理部は選択されたビデオサブ画像をライン毎に構成する手段を具える。これらの手段は、本質的に、異なるカメラからのビデオ信号の同期を制御する回路を含む。

発明が解決しようとする課題

0005

本発明の目的は、構成されるサブ画像又は対象画像ディジタル画像であり、構成されるサブ画像又は対象画像が実際のピックアップカメラにより供給される各隣接ディジタル原画像の少なくとも2つの部分から計算される場合に遭遇する問題を解決することにある。この場合、カメラは固定され、それらのうちの2つのカメラはそれらの視野が繋がるように配置される。この場合、対象画像の中に、2つの異なる原画像から計算された2つの隣接した対象画像の部分の間に境界線が現れる。これは、2つの実際のカメラの各1つが、全体として互いに他の原画像の輝度と僅かに異なる輝度を持つ原画像を供給すること、及びその結果としての対象画像部分もまた僅かに異なる輝度を持つことが原因である。

0006

2つの隣接するカメラによって供給される原画像から計算される2つの対象画像部分の間の輝度の差異が、再構成された対象画像が完全ではないものになる理由である。この境界線は、第1の固定カメラの原画像の画素から計算される画素と第2の固定カメラの原画像の画素から計算される画素との間に位置している。対象画像が2つ以上のカメラの画素から構成される場合は、2つの隣接するカメラの群の数に相当する数の境界線ができることになる。

0007

本発明はその目的として、視野が繋がるべき2つの実際のカメラにより供給されるディジタル原画像部分から形成される、対象画像の2つの隣接するディジタル画像部分間の全体の輝度を等化する手段を具える。

0008

2つの隣接するディジタル画像部分間の輝度の差異は幾つかの原因を持つ。その第1は、実際のカメラが同じように受光した光束に対して同じようには応答しないことである。これはカメラの構造上のばらつきによる。更に、記録されるべきシーンの光源に対して全く同一に配置されてはいないために同一の光束を受けないことである。各ピックアップカメラは、通常、受光した光束の関数として応答するようにするシステムと共に構成されている。受光する光束は個々のカメラによって異なるので、これらの応答の結果も異なる。

0009

更に、個々のカメラが全く均一な輝度を持つ表面を記録するとしても、これから形成される画像は均一ではなく、縁のぼけを生じる。これは、一般に中心から縁部に向かって画像の明るさが減少するように変化することである。形成された対象画像における境界線の両側に位置する2つの隣接するピクセルは、それぞれの元の原画像で中心から同一の距離に位置する領域に由来するものとは限らない。このため、これらの隣接するピクセルにおける縁がぼける効果が同一ではなくなる。

0010

更に、ピックアップカメラの1つが他のカメラより多くの迷光、例えば不意に起きた反射等を受光することがある。この場合はこのカメラによって受光される光束が局部的に増加し、2つのカメラ間の応答に局部的な差異を生じる。

0011

このような、2つの実際のディジタルカメラにより供給される2つの原画像間に輝度の差異を生じ、これにより、形成されるディジタル画像の中の境界線の両側で輝度に差異が生じる原因においては、前記の2つの最初の原因が支配的であり、形成される対象画像の境界線の問題は、基本的に、2つの隣接する実際のカメラの各々が全体で他のカメラと同量の光束を受光しないこと、及び/又は2つのうちの1つのカメラが全体として同一の光束に対して異なる応答を行うことに原因がある。

0012

他の原因は無視してもよく、或いは予防措置を講じることもできる。例えば反射迷光はカメラに光遮蔽物を取り付けることによって防ぐことができる。輝度に差異を生じる2つの主要な原因のそれぞれは、全体に対する影響即ち各実際のカメラからの原画像、従ってこれから形成される対象画像の対応する部分に対して均一に及ぶ影響を生じることは明らかである。輝度に差異を生じる他の原因の1つが、縁のぼけ、迷光の部分等の局部的な影響を生じる場合は、それらの影響は最終的に再構成された画像の小さい部分のみに現れる。

0013

従って、本発明の1つの目的は、再構成された対象画像から、視野が繋がっている2つの実際のカメラにより供給される原画像画素から計算される2つの隣接する画像部分間に現れる境界線を消すための手段を具えることにある。

課題を解決するための手段

0014

本発明によれば、前記のような画像処理システムにおいて、このシステムがディジタルシステムであり、更に、2つの隣接するディジタル原画像(Ii 、Ij)から構成されるディジタル対象画像(Iv )の第1及び第2の部分(Ivi、Ivj)の対応する輝度レベルの第1及び第2の組(R、S)にそれぞれ第1及び第2の補正法則(Gi 、Gj )を適用し、Gi(R) =Gj(S) の関係に基づいてこれらの対応する輝度レベルを可能な限り最良の程度に等しくする第1及び第2の輝度補正モジュール(LutA、LutB)を具える輝度等化システムを具備することによって、前記の目的が達成される。

0015

従って、本発明によれば、全体にわたる輝度レベルの変換の2つの法則を用いて、一方で再構成された対象画像の2つの部分の1つの異なる輝度レベルの全体にわたる範囲について変換が行われ、他方で再構成された対象画像の2つの部分の他の1つの異なる輝度レベルの全体にわたる範囲について変換が行われ、再構成された対象画像において対応するピクセルの輝度レベルが等しくなる。

0016

対応するピクセルとは、境界線の両側に位置し、それにも拘わらず画像が1つの実際のカメラによって形成されるならば同一の輝度レベルを持つ筈である広角視野の2つの部分に対応するピクセルを意味するものとする。

0017

再構成された画像の第1及び第2の部分におけるピクセルのそれぞれの輝度レベルに適用される第1及び第2の法則に基づく全体の処理の最後に、境界線の両側で、例えば、画像の第1の部分が全体として低い輝度レベル(暗い画像)であり、画像の第2の部分が全体として高い輝度レベル(明るい画像)である場合には、第1の部分の輝度を全体として高め、第2の部分の輝度を全体として低くし、その時点以降は境界線の両側の対応するピクセルが同一の輝度レベルを持つようにして目的が達成される。

0018

これにより境界線が消える。このような補正法則が、専らそれらの輝度レベルに応じて且つ各画像部分における位置に無関係にピクセルに適用される。それにも拘わらず、適用されるべきこの法則は、境界線の両側の対応する輝度レベルを等しくするべきその画像部分ごとに異なっている筈である。

0019

焦点距離が固定され、視野が繋がるように位置が固定された実際のカメラにより供給される2つの原画像の画素から対象画像を形成ための画像再構成における固有の更に他の問題は、ユーザーが、対象画像を計算するデバイス即ち以下では仮想カメラと呼ぶデバイスのパラメーターを変えることがあり得るということである。この仮想カメラは実際に可動カメラのように機能し、監視システムにも使用できる。

0020

本発明による画像処理手段は、可動で次の3つのパラメーターにより制御される仮想カメラによって形成される画像に用いるのに適している。3つのパラメーターは、
1)固定された実際のカメラ及び可動仮想カメラの両者にに共通の固定された視点を通る光軸の水平面に平行な方位における変化に対応して、パノラマの光軸の方位(PAN)即ち方位角を変えるパラメーター:パノラマにおけるこの変化は、見る者にとって可動カメラを右又は左に向けることができるように見える。
2)垂直面において常に固定された視点を通る光軸の方位(TILT)即ち視野角を変えるパラメーター:この変化は、見る者にとってカメラを上又は下に向けるために使える制御手段のように見える。
3)多少拡大された対象画像を供給することができる仮想カメラの焦点距離を変えるパラメーター:この変化は、見る者にとってズーム効果として見える。

0021

前記で引用した公報から既知の装置は、方位角を変える変数以外の変数を得る手段は具えておらず、可動カメラの再構成画像における境界線の両側で輝度を等しくする手段も具えていない。

0022

前記の3つの制御パラメーターを有する可動の仮想カメラを具えようとすれば、仮想カメラのこの3つの制御パラメーターの1つ又は複数をユーザーが変える度に、再構成される対象画像の境界線の両側での画像の各部分に対する輝度補正リアルタイムで計算されなければならない。

0023

実際に、再構成画像を形成するための実際のカメラのそれぞれの画像の異なる寄与が3つのパラメーターのそれぞれの変化に対応し、従って、例えば対象画像の異なる部分の比較的な重要性を考慮するために、補正法則はそれらの再構成毎に再計算されなければならないことに注意する必要がある。再構成された画像が固定画像である場合、又はディジタル処理以外の方法によって形成された画像である場合は、同一の問題は起きない。

0024

これらの問題を解決するために、本発明による画像処理システムは、更に、輝度等化システムが更に計算モジュール(Lutcalcul)を具え、この計算モジュールが、対象画像の第1の部分(Ivi)の輝度レベルの第1の組(R)のレベルと対象画像の第2の部分(Ivj)の輝度レベルの第2の組(S)のレベルとの間の対応を確立する法則Fを計算してS=F(R)とし、且つその後、Gi(R) =Gj [F(R)]の関係に基づいて対応する輝度レベルを可能な限り最良の程度に等しくするために第1及び第2の輝度補正モジュール(LutA、LutB)に適用されるべき第1及び第2の補正法則(Gi 、Gj )を計算するように構成される。

0025

従って、この画像処理システムは、再構成対象画像の境界線の両側にある画像の第1及び第2の部分の特性に基づいて第1及び第2の全体としての輝度の補正法則を計算する手段、及び第1の法則を画像の第1の部分の各輝度レベルの全てのピクセルに適用し、第2の法則を画像の第2の部分の各輝度レベルの全てのピクセルに適用する手段を具える。

0026

結果として、全体としての補正法則が計算され且つ可動カメラのパラメーターのどのような変化に対しても適用される。この補正法則は、常にユーザーによって選択された新しいパラメーターが現れる対象画像の修正に依存している。

0027

これらの計算をリアルタイムで遂行する目的により、計算時間を短縮するため、本発明の画像処理システムは、これに加えて、輝度等化システムが更に、輝度レベルの第1のサブの組(r)からなる対象画像の第1の部分(Ivi)のピクセルの第1のサブの組(Ai )を選択し且つ格納する第1のメモリーモジュール(MemA)と、輝度レベルの第2のサブの組(s)からなる対象画像の第2の部分(Ivj)のピクセルの第2のサブの組(Aj )を選択し且つ格納する第2のメモリーモジュール(MemB)とを具え、且つ、計算モジュール(Lutcalcul)が、可能な限り最良の程度に式s=F(r)を実現するために選択された対象画像部分の2つのサブの組(Ai 、Aj )の輝度レベル[(r)と(s)と]の間の対応を確立することによってS=F(R)の対応の法則Fを計算するように構成される。

0028

次に図面を用いて本発明の実施例を詳細に説明する。図1Aでは、画像ピックアップ装置が既知の固定焦点の複数n個の実際のカメラからなり、これらが互いに隣接し、個々の視野が繋がって広角の視野をカバーするように配置される。n個の隣接する固定カメラはn個の隣接する固定画像を供給し、この画像ピックアップ装置はパノラマシーンをモニターすることができる。このカメラは、パノラマシーンの細部の全てがいずれかのカメラによって記録され、監視対象物が監視から漏れることのないような光学視野を持つ。

0029

このような結果を得るために、これらのn個の隣接する固定カメラは更に、視点になるべきこれらの光学中心Pが一致するように配置される。カメラの視点は、光源から射出されるそれぞれの光線が、例外なくこの点を通りカメラの光学系を横切るような点である。

0030

n個のカメラの視点が物理的に一致する必要はない。しかしながら、以後、これらの視点のそれぞれの隔離距離フィルムに収められたパノラマシーンの相互間の距離に対して小さい場合には、一致の条件が充分に満たされていると仮定している。例えば、カメラの視点のそれぞれの隔離距離が5cmで、パノラマシーンの相互間の距離が5mのような場合である。一致の条件は従って、これらの距離の比が50のオーダーか或いはそれより大きい場合に満たされているものと判断する。本発明によれば、コストの関係から、視点の厳密な一致を達成するために調整することが困難な光学ミラーシステムを使う必要はない。

0031

n個のカメラはC1,..,Ci,Cj,.., Cn と番号が付与され、それぞれ、ディジタル原画像I1,.., Ii,Ij,.., In を供給する。例えば2つの隣接する固定された実際のカメラCi 及びCj によって形成された原画像Ii 及びIj について、以後考察を行う。これらの固定された実際のカメラCi 及びCj は、それぞれ隣接する原画像面Ii 及びIj のパノラマシーンの画像を形成する。図1Aでは、原画像Ii 及びIj のそれぞれの幾何学的中心Oi 及びOj を通る軸PZi 及びPZj が固定された実際のカメラCi 及びCj の光軸を表す。

0032

図1Bでは、直角の軸Px 、Py 、Pz の組が、地面に関してPx とPz が水平にPy が垂直に位置するように定められており、以後これを「ランドマーク」という。画像Ii 及びIj のような原画像は番号が付与され、これらの画像の各ピクセルmが画像面の座標によってマークされる。図1Cに示すように、直角座標(Oi Xi ,Oi Yi )及び(Oj Xj ,Oj Yj )のマークが各画像面に定められる。この画像面では、軸Oi Xi 又はOj Xj は水平、即ちランドマークPx ,Pz の面内にある。(Oi Xi ,Oi Yi )及び(Oj Xj ,Oj Yj )によって定められる画像面は光軸PZi 及びPZj に垂直であり、それぞれ幾何学的中心Oi 及びOj を持つ。

0033

カメラの各画像面に関する個々のマークを一度確立すると、これらの固定された実際の画像面は、
方位角(即ちパン角)Θi ,Θj 、及び
視野角(即ちチルト角)φi ,φj
によってランドマークに対して関係付けられる。

0034

方位角Θi 又はΘj は、光軸PZi 又はPZj を含む垂直面とランドマークの水平軸Pz とが作る角である。従って、これは垂直軸Py の回りの回転の水平角度である。視野角φi 又はφj は、光軸PZi 又はPZj と水平面(Px ,Pz )とが作る角である。従って、これは各画像面の水平軸、軸Oi Xi 又はOj Xj の回りの回転の垂直角度である。

0035

簡潔にするため、以後、図1Aに関する例と同様に、固定カメラCi,Cj によって供給される実際の画像面Ii ,Ij は垂直、即ちそれらの視野角φi ,φj がであると仮定する。同様に簡潔にするため、以後、図1Aと同一の例が、原画像及び対象画像の両者の平面の軌跡及び軸、及び、対応する平面及び軸を表すものとする。

0036

図1Aは形成された画像の平面図であり、従って水平面Px ,Pz のセグメントによって表示される固定された実際の画像面の軌跡Ii 及びIj のみを示す。本発明は、ユーザーによって選択される調整手段により、n個の固定カメラによって記録されたパノラマシーンの部分即ちサブ画像のディジタル画像を供給することができる可動カメラと見做せるディジタル画像再構成システムを具えることが目的である。

0037

図2Aは例えば2つの隣接する固定カメラCi及びCj によって供給されるパノラマシーンの隣接する画像Ii 及びIj を示す。図2Aにおいては、両画像Ii 及びIj が、簡潔にするために同一平面上に投射されている。実際には、これらの画像は、それらの間に固定カメラの光軸のなす角度に等しい或る角度を構成している。これらの画像においては、ユーザーは、固定カメラと同一の倍率又は大きいか或いは小さい倍率で線Io を左右或いは上下に動かし、この線で囲まれた任意のサブ画像を選んで見ることができる。

0038

可動カメラと見做されるカメラは、図2Aの線Io で囲まれた原画像Si 及びSj の部分から対象画像Iv を構成することができる。このカメラは実際には存在しないカメラであることから仮想カメラという。

0039

この仮想カメラは、固定の実際のカメラと同様に、方位角Θv 、視野角φv 、及び、Ov を対象画像Iv の幾何学的中心としたとき、その視点Pが固定の実際のカメラの視点Pと共通であるとの条件の下で、その焦点距離POv によって定まるその倍率(ズーム効果)によって定義される。仮想カメラの視点は実際のカメラについて前記のように定められた近似的な視点と共通である。

0040

図1Aは水平面における仮想カメラの画像面のIv で表記された軌跡を示す。この可動仮想カメラCo の定義の中で、方位角Θv は光軸PZv を含む垂直面とランドマークの水平軸PZとの角度である。視野角φv は光軸PZv とランドマークの水平面Px ,Pz との角度である。また、焦点距離POv は原画像の倍率に対応して対象画像の倍率を変えることができるようにするために可変になっている(ズーム効果)。

0041

方位角Θv 及び視野角φv 更に焦点距離POv を変えることによって、仮想カメラが異なる固定の実際のカメラC1 乃至Cn の視野を繋ぎ合わせて形成される広角視野を走査する可動カメラと全く同じになる。仮想カメラが、広角視野のIo によって区切られた小さい部分(即ちサブセクション)を、例えば、可変焦点距離POv を変えることにより、各実際のカメラC1,...,Cn によって供給される画像I1,...,In の最終的な大きさと同じ大きさに拡大した画像Iv として表示しこれを見ることができることに注目すべきである。

0042

更に、可動カメラの視野の変位は連続的であり且つ任意であり、Io に対応するこの視野は、2つの隣接するカメラCi及びCj によって供給され、Lo で隣接している画像Ii 及びIj の2つの部分(Si ,Sj )の両側(Si ,Sj )にあってもよいことに注目すべきである。

0043

この場合、仮想カメラによって構成された画像Iv は2つの異なる画像部分を含む。1つはディジタル画像Ii における情報に基づいて構成されている部分Iviであり、他の1つはディジタル画像Ij における情報に基づいて構成されている部分Ivjである。図1Aにおいては、Ivi及びIvjは水平面中の対象画像Ivi及びIvjの軌跡を表している。

0044

前記において、実際のカメラによって供給される画像Ii 及びIj の全輝度が異なるという技術的な問題があることを指摘した。このために、画像部分Ivi及びIvjの全体としての輝度も異なることになり、これは図3aに例示したようにディジタル画像に現れる。本発明はこの欠点を除去し、表面全体で均一な輝度を有するディジタル画像を再構成する手段を提供する。

0045

図3bは、輝度の誤差を含む図3aのシーンを本発明の手段によって補正したディジタル画像をを示す。図1Dに示したように、直角座標(Ov Xv ,Ov Yv )が最初にディジタル対象画像Iv の平面で定義されている。ここでは、軸Ov Xv が水平方向即ちランドマークの水平面Px ,Pz に伸びている。ピクセルOv は対象画像Iv の幾何学的中心であり、仮想カメラの光軸PZv 上に位置している。仮想カメラは以後Cv と表記する。従って、対象画像面Iv の各ピクセルm’は直角座標(OvXv ,Ov Yv )系の座標によってマークされる。

0046

本発明の第1の目的は、第1の原画像Ii の画素に基づいて形成される第1の対象画像部分Iviを構成するピクセルの輝度を全体として補正するための第1の法則Gi 、及び、第2の原画像Ij の画素に基づいて形成される第2の対象画像部分Ivjを構成するピクセルの輝度を全体として補正するための第2の法則Gjを供給することにある。

0047

構成された各対象画像においては、ピクセルは、画像の中で軸(Ov Xv ,Ov Yv )の組の座標によって定まるそれらの位置及び例えば1から256の階調を有する輝度レベルスケール即ちグレイレベルによって特徴付けられている。この輝度レベルは、最高は最も明るいピクセルに対応し、最低は明るさが最も低いピクセルに対応する。輝度レベルの表記はグレイレベルと等価である。以後は輝度レベルの表記を用いる。全体としての補正とは、ここでは、その法則を、画像の中のピクセルの位置に無関係に所定の輝度レベルの全てのピクセルに適用することを意味するものとする。

0048

〔第1ステージ:対象画像部分の選択〕本発明の計算装置によって実行される第1ステージにおいては、第1の法則Gi 及び第2の法則Gj をリアルタイムで計算し、続いてこの法則を各画像部分Ivi及びIvjにリアルタイムで適用できるようにするため、ピクセル間対応関係がある2つの群をディジタル対象画像Iv から選択する。

0049

対応するピクセルのこれらの2つの群はそれぞれAi 及びAj と表記し、それぞれ、ディジタル画像Ivi及びIvjの対応するピクセルの群として選択することができる。この選択の方法としては、本発明の目的を達成する上では等価な2つの異なる方法によることができる。両方法共、対象画像の第1の部分Iviは第1のサブの組Ai を供給するために選択され、対象画像の第2の部分Ijiは第2のサブの組Aj を供給するために選択される。

0050

a)第1の方法
第1の方法は第2の方法と区別するためBORDER法と称するが、この方法では、ディジタル対象画像Iv が単にディジタル対象画像部分Ivi及びIvjをオーバーラップなしに端と端を並置することによって形成されると仮定する。従って対象画像Iv は画像部分IviとIvjとの間に1つの直線の境界線Lを示す。この直線の境界線は、2つの線の間即ちディジタル対象画像Iv の2つのピクセルの列の間に位置する。

0051

図4Aは、直線の境界線Lが垂直であり、対象画像Iv の2つのピクセルの列の間にあるときのBORDER法の実行の様子を説明する図である。BORDER法においては、画像部分Iviの中の直線の境界線Lに隣接する帯を形成するピクセル列Ki に位置するピクセルが群Ai として選択される。そして、直線の境界線Lに関して対称に位置し、第2の画像部分Ivjの中の直線の境界線Lに隣接する帯を形成するピクセル列Kj に位置するピクセルが第2の群Aj として選択される。

0052

直線の境界線が水平に伸びている場合も、この境界線の両側に位置する線の2つの群Ai 及びAj が選択される。直線の境界線が任意の境界線である場合は、この直線の境界線に対称なピクセルが対応するピクセルとして選択される。直線の境界線の場合には位置が異なる場合にも容易に一般化できるので、例として、以下には境界線が垂直である場合についての本発明を説明する。

0053

この場合、対応する群Ai 及びAj の対応するピクセルは、ディジタル対象画像Iv の同じ水平線に位置する、直線の境界線Lの両側にある2つの隣接する垂直の列Ki ,Kj の中の対である。対応するピクセルの各対は例えばm'i,m'jであり、これらは対象画像Iv の特別な直角表示領域に、軸Yv 上で同一の座標、軸Xv 上で1ピクセルだけ異なる横座標、及び本発明のデバイスが等化しようとする異なった輝度レベルを持つ。

0054

b)第2の方法
第2の方法はOVELAP法と称し、この方法では、ディジタル対象画像が第1の対象画像部分Iviに第2の対象画像部分Ivjの、或いはその逆の、数ピクセル(10ピクセル以下)の幅の狭い帯状のオーバーラップが存在するように形成されると仮定する。第2の対象画像部分はその端部Lj を持ち、第1の対象画像部分はその端部Li を持ち、オーバーラップ帯は幅Li Lj を持って端部Li,Lj に平行に伸びている。

0055

図4bは、OVERLAP法の実行を説明する図である。この場合帯Li Ljである境界が垂直に伸びている。この方法を境界が水平に伸びている場合に適用することは容易である。境界が垂直の場合、第1の対象画像部分Iviに属するオーバーラップ帯の部分に位置するピクセルによって形成される対応関係にある群は、ここではAi とする。第2の対象画像部分Ivjに属するオーバーラップ帯の部分に位置するピクセルによって形成される対応関係にある群は、ここではAj とする。

0056

この場合、群Ai 及びAj の対応するピクセルは例えばピクセル対m'i,m'jであり、それらは、対象画像Iv の直角表示領域Ov Xv ,Ov Yv の中で横軸及び縦軸共に同一の座標を有する。しかし、BORDER法と同様に同一の輝度レベルを持ってはいない。

0057

本発明の場合、画像はディジタルであり、2つの対象画像部分Ivi及びIvjの間のオーバーラップの存在は、帯Li Lj が画像部分Ivi及び画像部分Ivjの両者の輝度と異なる全体としての輝度を持つことを意味しない。仮想カメラに輝度等化手段がないとしても、仮想カメラは少なくとも部分Ivi及びIvjの並置により対象画像部分Iv を形成する可能性を持つ。従ってOVERLAP法では、第1の対象画像部分、オーバーラップ帯、第2の対象画像部分の3つの領域の輝度を等しくするための努力は行わない。しかし、BORDER法と同様に、第1の対象画像部分Ivi及び第2の対象画像部分Ivjの2つの部分のみ輝度の等化を行う。

0058

〔第2ステージ:対応関係Fの法則の計算〕本発明のシステムにおける第2ステージでは法則Fを計算し、第2の対象画像部分Ivjの輝度レベルSの組を第1の対象画像部分Iviの対応する輝度レベルRの組に対応させ、S=F(R)とする。この2つの組S及びRについての式は、可能な限り最良の程度にRの各輝度レベルが対応するSの各輝度レベルと結合する法則Fを計算するべきことを表している。

0059

対応する輝度レベルとは、第1及び第2の対象画像部分Ivi及びIvjが1つのカメラによって形成されるとした場合と同一であるようなレベルを意味するものとする。

0060

両方法共、法則Fは、対応関係Ai ,Aj を持って群に含まれるピクセルを対象として計算される。BORDER法では少ない数のピクセルを対象とし、計算に含まれるピクセルの数はいずれかの列のピクセルの2倍を限度とする。OVERLAP法では、計算に含まれるピクセルの数は同様に数個の列のピクセルの2倍を限度とする。数個の列とは例えば1乃至10列を意味する。通常のディジタル画像は、各列500(又は1000)ピクセル以上の500列(又は1000列)より僅かに多くのピクセルを含むことがあると考えると、BORDER法及びOVERLAP法は計算時間を著しく節約することができることが分かる。

0061

以後では、rは、Ai に対応する第1の群にある異なった輝度レベルの組、sは、Aj に対応する第2の群にある異なった輝度レベルの組との定義を用いる。各群Ai ,Aj は同一数のピクセルを有し、組rの各輝度レベルは組sに対応する輝度レベルを持つ。

0062

可能な限り最良の程度に、サブの組Ai のピクセルの輝度レベルrをサブの組Aj の対応するピクセルの輝度レベルsに結合する法則Fを計算する。組rにおける各輝度レベルは、対応の法則Fによって組sの輝度レベルに結合する。即ち式s=F(r)が可能な限り最良の程度に実現される。

0063

一旦法則FがAi ,Aj に対応する選択された群によって計算されると、この法則Fは、対象画像部分Iviの輝度レベルの組Rと対象画像部分Ivjの輝度レベルの組Sとの対応に適用することができる。即ち可能な限り最良の程度にS=F(R)となる。

0064

これは、図5に示すようにプロットできる。水平軸r上にはAi に対応する第1の群に含まれる対応するピクセルの対の全ての第1のピクセルm'iの輝度レベルが目盛ってあり、垂直軸r上にはAj に対応する第2の群に含まれる対応するピクセルの対の全ての第2のピクセルm'jの輝度レベルが目盛ってある。各対の輝度レベルをこのグラフに図上で対応させることにより、理論的にAi及びAj の輝度レベルの対応関係Fの法則に現れるべき座標の点(r,s)を見出すことができる。

0065

このグラフでここでの検討の対象である群Ai ,Aj の対応するピクセルの対(m'i,m'j)のうち、いくつかの対は計算しようとする対応の法則に合っていない。これは、BORDER法は、極めて限られた数のピクセルについて考慮するようになっており、これらの対の中のいくつかは輝度の対応には関与しておらず、元のパノラマシーンの輝度の実際の非連続性に関与しているに過ぎないことによる。

0066

或いは、これは本発明に含まれないためにこれまで記述していないが、対象画像Iv のピクセル(即ちそれらの座標及びそれらの輝度レベル)の供給のためには不可欠な対象画像計算システムが、(例えば、対象画像の再構成の際に充分な補正が行われない原画像に含まれる球面からの逸脱により)元の原画像に基づく完全な幾何学的再構成を与えておらず、従っていくつかの対では、2つの対応するピクセルが実際にパノラマシーンの同一の範囲に由来せず、従って最後の対象画像で同一の輝度を持つとは限らないことによる。

0067

この結果として、図においては、ピクセル対の輝度レベルに対応した座標(r,s)の点を捜す場合、法則Fによって位置が決められる点を捜しても所定のピクセル対(m'i,m'j)が得られない。このような点は逸脱していると呼ぶ。このような欠点のため、全てが厳密に法則Fを表す曲線に沿って位置せずに、座標(r,s)に対応する点が実際にはこの曲線から多少離れた点にクラスターを形成するように見える。

0068

本発明によれば、法則Fは組sの輝度レベル間の差異のエネルギーを最小にする法則であると定義することができる。この問題を解くことができる数学的な方法はいくつもあり、それらが輝度レベルr及びsの間の対応にどのような影響を与えるかもはっきりしている。

0069

しかしながら、本発明は、逸脱しているピクセル対の存在の下にこの問題を解き、リアルタイムでこの問題を解き、これらの手段を1つのデバイスで実現するための手段を提供することを目的とするものである。

0070

例として、Ai に対応する第1の群においては、輝度レベル
r(1,2,3,4,...)
からなる組rが存在し、Aj に対応する第2の群においては、輝度レベル
s(1,3,5,...)
からなる組sが存在すると仮定する。これは次のことを意味する。
・組rの輝度レベル1は組sの輝度レベル1に対応し、グラフ上に対応する点α(1,1)が得られる。
・組rの輝度レベル2は組sの輝度レベル3に対応し、グラフ上に対応する点β(2,3)が得られる。
・組rの輝度レベル3は組sの輝度レベル5に対応し、グラフ上に対応する点γ(3,5)が得られる等... 。

0071

法則Fは可能な限り最良の程度に対応する点α,β,γを通る法則である。実際には、単に対応点を結んでグラフを書いても、対応関係の曲線Fを与えない。なぜならば、これらの対応点はN個の点のクラスターを形成するからである。この場合、法則Fは可能な限り最良の程度に最大数の対応点を通るように探究されなければならない。Ai の組rとAj の組sの輝度レベルを結合する関数Fを計算する方法を次に述べる。

0072

この法則を定めるに当たって遭遇する難問の1つは、Ai の組r従って対応するAj の組sが、対象画像部分Ii 及びIj に存在する輝度レベルの全てのサンプルを必ずしも含んでいないことである。しかしながら、一般的に、実験により、Ai 及びAj の中に、先に定めたように、輝度レベルの充分なサンプルが見出せることが分かる。Fについての条件は、法則は、一様であり、単調であり、且つ凹形凸形いずれでもとり得るように定められなければならない。

0073

実際には、(r,s)における輝度レベルの数は(R,S)における数よりも少ないという事実により、Ivi,IvjからIv を構成するために(R,S)に適用すると、或る法則はAi ,Aj の(r,s)における輝度レベルの正しい対応を与えることができるが、全体としては正しい結果を与えない。

0074

実験から、
F(r)=ar+b
又は F(r)=ar2 +br+c
の型の法則は、可能性のある全てのケースについてAj の輝度レベルに一致するAi の輝度レベルを設定するという問題を解決することはできないことが分かった。

0075

従って、本発明においては、
F(r)=a+brC
で表される「ガンマ法則」と、係数a,b,cを決める手段とを提案する。この手段によりこの法則を用いてリアルタイムでFを計算することができ、更に、この手段は1つのデバイスで実現できる。この法則は、状態の数が大きい場合に適用すると、従来試みられてきた法則に比較して最良の結果が得られる。

0076

係数a,b,cを決める場合、前に述べたようにAi ,Aj の中に逸脱した対が存在することによるエラーに対する対策をとるため、本発明においては反復計算手段を具える。この反復計算手段は、これらの係数の粗い値から始まり、反復ステップによって精緻な値に到達する。各反復ステップでは、点(r,s)とこの反復ステップで計算された法則Fを表すグラフの曲線上に位置する点との距離を求め、この距離が所定の距離より大きい点(r,s)を除去し、次のステップでは所定の距離をもっと小さい値に定め、新しく定めた所定の距離より大きい位置の点(r,s)を除去するようにし、これを繰り返す。

0077

もっと一般的な方法としては、各座標点(r,s)に重み付けを行うことができる。この重み付けは、前の反復ステップで定められた法則Fの曲線により近い(幾何学的な距離が小さい)点により大きい重みを付ける。各反復ステップでは、曲線により近い点をより優先的に大きい重みに修正する。そして曲線を再計算する。

0078

しかしながら、係数cがべき指数であるガンマ法則の形は計算の速度を低下させる。通常は、最良のガンマ法則を決定するためには、反復法は各反復ステップで数個の値の係数cについて試算しその後で係数a及びbを計算する。この欠点を除き計算の速度を上げるため、本発明における法則Fを決定する方法は、各ステップが2つのフェーズを持つ二重反復法によって実行される。

0079

第1のフェーズにおいてはパラメーターa,b,cを求める。第1段では、べき指数cの初期値を定め、対象となる全ての座標点(r,s)の最初のクラスターN1 についてパラメーターa及びbを計算する。次の段では、べき指数cの第2次の値を続いて第3次の値を定め、点(r,s)の最初のクラスターについてパラメーターa及びbを計算する。この段の終わりには、点(r,s)の最初のクラスターを通る可能な限り最良の程度に最善の関数F(r)=a+brC が得られるパラメーターa,b,cの値の組が決まる。

0080

次に第2の間引きフェーズを遂行する。このフェーズにおいては、最初のクラスターN1 の点の中で第1フェーズで定められた関数F(r)から最も離れている点を除去し、間引きされた点の第2のクラスターN2 を作る。二重反復法の次のステップでは、第1フェーズにおいて、パラメーターcについて前のステップで定められた値に近い実験値を定め、関数F(r)=a+brC が間引きされた第2のクラスターを通る可能な限り最良の程度の関数になるようにパラメーターa,b,cを定める。

0081

この二重反復法は、関数F(r)=a+brC が、この関数F(r)を表す曲線との距離が許容できる距離以下である残っている点(r,s)を可能な限り最良の程度に通るまで続けられる。s=F(r)の計算によって定められた法則Fは、従って、
S=F(R)
の関係に基づく対象画像部分Ivi及びIvjに関する組R及びSにおいて対応する輝度レベルに適用される。

0082

〔第3ステージ:輝度の補正法則Gi ,Gj の計算〕本発明のシステムにおける第3ステージでは、次に組Rのレベル及び組Sのレベルそれぞれに作用し、個々に対応するレベルの等化を行う2つの補正Gi ,Gj を計算する。組R及びSの対応する輝度レベルについて予定された等化が可能な限り最良の程度に実現されると、第1及び第2の対象画像部分Ivi及びIvjの輝度の全体としての等化が達成され、
Gi (R)=Gj (S)
となる。

0083

第2ステージで本発明のデバイスによって法則Fに基づいてS=F(R)が計算されたので、組R及びSの輝度レベルは対応付けられており、この結果、法則Gi ,Gj が
Gi (R)=Gj 〔F(R)〕
の関係に基づいて対応する輝度レベルの全体としての等化を実現する。この等化は可能な限り最良の程度に実現され、この場合、再構成された対象画像から直線の境界線が消える。

0084

再度第2ステージを説明するために記述された例を参照すると、組Rの中で輝度レベル1,2,3,...が見出され、組Sの中で対応する輝度レベル1,3,5,...が見出された場合は、法則Gi が組Rの異なる輝度レベル1,2,3,...に作用し、これらのレベルをこれらの実際の値と組Sの対応するレベルの値との間の値に変える。同様に、法則Gj が組Sの異なる輝度レベル1,3,5,...に作用し、これらのレベルをこれらの実際の値と組Rの対応するレベルの値との間の値に変える。従って、
Gi (1)=Gj (1)
Gi (2)=Gj (3)
Gi (3)=Gj (5)等....
になり、一般的に、可能な限り最良の程度に
Gi (R)=Gj (S)
となる。

0085

多くの場合、Gi 又はGj を全く同一に選び、輝度等化法則によりグレイレベルの組の1つを同一にしておき、グレイレベルの他の組を等化が得られるように上下するようにしてもよい。例えば、法則F又はF-1を単に1つの組の輝度レベルに適用する。

0086

このようにすると、得られた対象画像は実際に最も明確に全体として等化された輝度を示す。しかし、この最終的な対象画像は正しい画像部分とかなり低い品質の画像部分を含む。実際には、実際のカメラの各々は最良の画像を供給するように特別に具えられた制御ユニットを持つことを考慮しなければならない。2つの対象画像部分が輝度の差異を示す場合、これは対象画像部分の1つになる原画像に各々の実際のカメラが最適化処理を行うことによる。この最適化処理はカメラ毎に異なるのである。

0087

従って、対象画像部分の品質を殆ど落とさずにその輝度レベルに作用することは不可能である。本発明は、画像部分の品質の低下を最小に止めて輝度を全体として等化する解を提案する。このため、2つの等化法則
Gi (R)=kF(R)+(1−k)R
Gi (R)=kR+(1−k)F-1(R)
を提案する。ここでkは定数であり、
0≦k≦1
でいわゆる混合係数であり、Rは対象画像部分Iviの第1の部分に存在する異なった輝度レベルである。

0088

この定数kは次のように作用する。k=1ならば、組Rの輝度レベルは組Sの輝度レベルに等しくなる。k=0ならば、この逆になる。好ましくは、kは、全体の対象画像Iv の中の第2の対象画像部分Ivjの表面面積比率に等しくする。

0089

このように、全体の画像Iv の中で画像表面Ivjが小さく、kが0に近ければ、そして大きい表面を持つ第1の対象画像部分Iviの輝度レベルが殆ど変わらないならば、対照的に小さい表面の第2の対象画像部分Ivjの輝度レベルを変えて全体としての輝度を等しくするのが最も効果的であることが分かる。

0090

従って、仮想カメラとしての装置においてユーザーがパラメーターΘ、φ或いは焦点距離を変えると定数kが変わり、新しい法則Fが計算され、その後は新しい法則Gi ,Gj が組R及びSに適用される。前記の関数Gi ,Gj の計算を遂行するデバイスについて次に述べる。

0091

〔輝度等化法のこのステージを遂行するためのデバイス〕図6信号処理装置機能ブロック図である。この装置は次の部分を具えている。
a)個々の視野が繋ぎ合わされてパノラマシーンを記録するための1つの広角視野を形成するように固定して配置されたn個のピックアップカメラC1,...,Ci,Cj,...,Cn 。これらは、これらの視点Pが前記の精度で実質的に共通であり、それらの焦点距離が固定で既知である。
b)制御システム(Control)。ユーザーがこのシステムを用いて視野角及び方位角並びに焦点距離を変えることができる。その際には、画像構成システムとこのシステムが結合して、仮想可動カメラCv をシミュレートする。

0092

c)対象画像構成システムGVVB(Geometrical Virtual View Builder)。このシステムは、ユーザーにより制御装置上に表示されたパラメーターに対応し、カメラから供給される原画像I1,...,Ii,Ij,...,In の特性、即ちピクセルの座標及び輝度から対象画像Iv を形成する。対象画像構成システムは、次の4つの群のデータを供給する。
i) 第1の画像部分Iviの残りの部分のピクセルA'i即ち選択された部分Aiに含まれないピクセルに関するデータ。A'iのピクセルは対象画像Iv における位置及びIviの組Rにおける輝度レベルによっても特徴付けられる。

0093

ii) 第1の画像部分Iviの選択された部分Ai のピクセルに関するデータ。即ち、Ai の各ピクセルの座標及び輝度レベル。
iii)第2の画像部分Ivjの選択された部分Aj のピクセルに関するデータ。即ち、Aj の各ピクセルの座標及び輝度レベル。
iv) 第2の画像部分Ivjの残りの部分のピクセルA'j即ち選択された部分Ajに含まれないピクセルに関するデータ。A'jのピクセルは対象画像Iv における位置及びIvjの組Sにおける輝度レベルによっても特徴付けられる。

0094

d)2つのメモリーMemA及びMemB。第1のメモリーMemAは選択された部分Ai のピクセルに関するデータを受信し、第2のメモリーMemBは選択された部分Aj のピクセルに関するデータを受信する。
e)計算モジュールLutcalcul。このモジュールは、MemA及びMemBで利用できる選択された部分Ai ,Aj のピクセルに関するデータに基づいて、第1にs=F(r)の関係により、本発明の方法の第2ステージで説明した二重反復法を用いて法則Fを計算する。

0095

このモジュールは、次に、補正法則Gi 及びGj を計算する。このモジュールは、前に計算された法則Fを、GVVBの出力で利用できる相補的な部分A'iに関するデータに適用する。次に、このモジュールは、Iviの組Rの各輝度レベルについて法則Gi (R)=kF(R)+(1−k)Rを計算する。このモジュールは、更に、法則Fを、MemBで利用できる選択された部分Aj に関するデータ及びGVVBの出力で利用できる相補的な部分A'jに関するデータに適用する。次に、このモジュールは、Ivjの各輝度レベルF(R)=Sについて法則Gi(R)=kR+(1−k)F-1(R)を計算する。更に、kを、対象画像Iv の全表面に対する第2の画像部分Ivjの表面に関する比率に等しく選ぶことも可能である。

0096

f)2つのモジュールLutA及びLutBは、組R及びSの輝度レベルに合わせて、法則Gi 及びGj をそれぞれ第1及び第2の対象画像部分Ivi及びIvjの各ピクセルに適用し、対応するレベルを完全に等しくする。
g)2つのモジュールPartA及びPartBは、それぞれLutA及びLutBによって供給される第1及び第2の対象画像部分Ivi及びIvjを構成するためのデータを格納する。
h)表示又は記録モジュールD。

0097

計算モジュールLutcalculは独立して前記の計算を遂行するマイクロプロセッサである。他のモジュールは例えばルックアップテーブル等に接続されたモジュールであってもよい。ここに記述されている輝度等化装置は、隣接するカメラによって形成された画像の輝度を補正することに限定されるものではない。これは、画像が連続している場合には一時的な重なりに対しても適用することができる。

0098

本発明の実施例の他の変形においては、カメラC1,...,Cn が各々既にルックアップテーブルを含む画像獲得テーブルを用いるようにしてもよい。これは、各カメラモジュールC1,...,Cn の中にLut1,...,Lutn のようなモジュールLutが既に存在することを意味する。この場合、図6からLutA及びLutBを削除することができる。計算モジュールLutcalculによる計算の結果は、カメラCi, Cj に対応するテーブルLuti ,Lutj に含まれるデータを変えるために転送される。

0099

続いてカメラLut1,...,Luti ,Lutj,...,Lutn の異なるテーブルの出力が画像構成システムGVVBに入力される。しかしながら、これはGVVB型の2つの画像構成システムを具えることを必要とする。その第1のシステムは、計算モジュールLutcalculのためにデータをMemA及びMemBに与え、第2のシステムは補正された最終画像を構成する。

0100

他方、実際のカメラはアナログデータを供給してもよいことに注意すべきである。この場合、ディジタル原画像を形成するためにアナログ−ディジタル変換モジュールが用いられる。しかしながら、本発明により対象画像を構成するためには2つ或いは3つを超えない原画像を必要とするだけであり、従ってそれぞれ必要とするのは単に2つ或いは3つの変換器である。

0101

実際のカメラC1,...,Cn の数が使用されている原画像の数を超えている場合は、カメラのアナログ出力と変換器の入力との間に、可動仮想カメラの特性例えば方位角に基づいて動作中の実際のカメラを選択するための多重化モジュールを置いてもよい。

0102

例えば、6個の実際のカメラがあり、原画像の必要な数が2を超えない場合は、ただ2つのアナログ−ディジタル変換器を使用し、マルチプレクサによって6つのカメラから動作中の実際のカメラCi, Cj を選択して2つのディジタル原画像を対応する変換器の入力に供給する。その後変換器の出力は画像構成システムGVVBの入力に供給される。

図面の簡単な説明

0103

図1図1Aは、実際のカメラがランドマークの水平面に垂直な画像面を持つ場合にランドマークの水平面に異なる画像面の軌跡を示す平面図であり、図1Bは、ランドマークPx,Py,Pz を水平面に投影した図であり、図1Cは、特別の座標系における実際の画像面の立面図であり、図1Dは、特別の座標系における対象画像面の立面図である。
図2図2Aは、パノラマシーンのサブ画像を構成するためユーザーが選択した仮想カメラのパラメーターにより2つの隣接する実際のカメラの広角視野のセクションを区切る効果を説明する図であり、図2Bは、これらのパラメーターによって定められた仮想カメラにより構成された対象画像で、第1の実際のカメラによる原画像に基づく第1の画像部分と第2の実際のカメラによる原画像に基づく第2の画像部分との2つの部分が密接している場合の対象画像を示す図であり、図2Cは、これらのパラメーターによって定められた仮想カメラにより構成された対象画像で、第1の実際のカメラによる原画像に基づく第1の画像部分と第2の実際のカメラによる原画像に基づく第2の画像部分との2つの部分の一部がオーバーラップしている場合の対象画像を示す図である。
図3図3aは、図2B又は2Cのいずれかの方法で再構成されたディジタル対象画像において、第1の原画像に基づく第1の対象画像部分と第2の原画像に基づく第2の対象画像部分との2つの部分の間での全体としての輝度の差異を示す図であり、図3bは、図3aのディジタル対象画像に対して全体として輝度等化装置による処理を行った後の状態を示す図である。
図4図4Aは、BORDER法により対象画像部分を選択する方法を説明する図であり、図4Bは、OVERLAP法により対象画像部分を選択する方法を説明する図である。
図5図5は、法則Fを計算するため輝度レベル(r,s)の対応する点を説明する図である。
図6図6は、画像処理システムの機能ブロック図である。

--

0104

Aピクセルの群
Co仮想カメラ
C1,...,Cn 実際のカメラ
対応法
G輝度補正法則
I1,...,In原画像
Iv対象画像
K ピクセルの列
直線境界
Li,Ljオーバーラップ部分の端部
m,m' ピクセル
N 点のクラスター
R,S輝度レベルの組
r,s 輝度レベルのサブの組
Control 制御システム
GVVB 対象画像構成システム
MemA,MemBメモリー
Lutcalcul計算モジュール
LutA及びLutB輝度補正モジュール
PartA,PartBデータ記憶モジュール
D 表示又は記録モジュール

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ