図面 (/)

技術 画像生成装置、画像生成方法、及びプログラム

出願人 日本電信電話株式会社
発明者 新垣仁國田豊磯貝愛木全英明
出願日 2010年3月30日 (9年11ヶ月経過) 出願番号 2010-078194
公開日 2011年10月20日 (8年4ヶ月経過) 公開番号 2011-211556
状態 特許登録済
技術分野 スタジオ回路 スタジオ装置
主要キーワード 全方位型 コスト画像 ディスプレイ端子 自動除去 グラフ生成ステップ 各重複領域 隣接方向 画像モザイク
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年10月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

画像のチラつきや、広範囲な画像のゆれを抑制したモザイク画像を生成する。

解決手段

被写体撮影手段101は、複数台カメラで構成され、多視点画像撮影する。基準投影面への変換手段103aは、各カメラで撮影した画像を射影変換する。コスト画像生成手段103bは、射影変換された画像の重複領域について、フレームF枚分の画像についてコスト画像を生成する。時・空間方向グラフ生成手段103cは、重複領域について、Fフレーム分の画像からグラフを作成する。時・空間方向のグラフ分割手段103dは、重複領域をラベル毎の領域に分割する。画像合成手段103eは、フレーム毎に重複領域の画像と重複していない領域の画像とを連結する。

概要

背景

複数の視点から撮影された多視点画像を合成し、広範囲シーンを撮影したパノラマ画像や、高解像度な画像などを生成することをモザイキングという。複数台カメラから撮影した動画像によるパノラマ画像を、以下、モザイク画像と呼ぶ。

撮影シーンの中に動いている被写体(移動物体)がある場合、複数のカメラで重複して撮影している領域内に存在する移動物体を合成画像上で自然に表現することは困難である。移動物体の映り込みに対処する方法として、各カメラにおける画像の投影中心がほぼ一致するように、つまり、カメラ間視差が無視できるようにカメラ配置を行うことで動画像の合成を実現する方法(例えば、非特許文献1参照)、あるいは、移動物体の影響を受けないようにして画像を合成する方法がある(例えば、非特許文献2、3参照)。

しかしながら、前者には、視差を完全に解消するようにカメラを配置しなければならないという制約がある。また、後者の手法は静止画像を対象としたものであり、この手法を移動物体が映る動画像に適用した場合、違和感のないような動画像を合成することは難しい。例えば、合成画像(静止画)合成のための領域分割結果を、そのまま動画の各フレームに対して適用して複数枚の静止画像を合成し、合成した結果を動画として見ると、移動物体が突然画面の中から消える、あるいは突然現れるといった不自然動きとなる。

以下、本件が前提とする要素技術である、複数の視点から撮影された視差の無視できない画像から、モザイク画像を合成する従来法の詳細について述べる。

従来のモザイキングでは、複数の視点から撮影された画像の位置合わせを、画像間の対応点の関係や、既知カメラパラメータから求めた射影変換行列を用いて、所定のモザイク面上に投影することで行う。これは、画像に映る被写体(風景や、車、人物等)は、3次元空間において同一の2次元平面上に存在するという仮定の下に行われる。

例えば、風景などカメラから十分離れた被写体について考えると、カメラからの距離dに対して被写体自身の奥行きΔdは小さい場合が多く、カメラからシーン中の被写体が同じ距離に存在していると近似できる。これにより、被写体は、同一の2次元平面上に存在すると考えられ、射影変換行列を用いてモザイク面上に投影することで、位置合わせが可能となる。

しかしながら、カメラと被写体との距離が十分離れておらず、被写体の奥行きが無視できない場合には、合成した画像には、視差によるブレ(2重の像)が生じる。カメラのシーンの多くには、奥行きが無視できないような被写体があることが多く、モザイキングにおいては、このブレが生じないようにする処理が重要となる。また、仮にシーンにおける大多数の被写体が2次元平面上にあるとしても、ノイズ等の影響による射影変換行列の推定誤差により、合成画像にぶれが生じることがある。

そこで、2重の像を防止するために、位置合わせ後の重複部分の領域を分割し、分割後のそれぞれの領域には、多視点画像のうち1枚のみを使用することが一般的である。以下に、従来技術による領域分割方法について流れを示す。

1)複数枚の画像の1つを基準画像とし、残りの画像を射影変換行列により、基準画像の存在するモザイク面上に投影して位置合わせを行う。

2)位置合わせ後の画像の重複部分について領域分割を行う。例として、モザイク面上にある基準画像Aと残りのモザイク面上に投影した画像Bi(i=1,2,..,M)との重複部分の領域分割について図6に示す。ここで、Mは合成する画像の視点の数を表す。重複部分について、ブレが目立つような部分(人が注目する部分)を分割しないように境界を定めて、領域Aと領域Biとを作る。ブレが目立つような領域とは、テクスチャが細かく存在する被写体(エッジの多い建築物)や、人が注目しやすい被写体(人物や、顔)が存在するところである。逆に、ブレが目立たない領域とは、テクスチャが少ない空や、草原や、壁など、低周波成分を多く含む被写体が映っている画像部分である。

具体的には、画像をsobelフィルタや、laplacianフィルタによりエッジ画像輝度勾配情報)に変換してから、エッジ画像の差分値を注目する部分であると評価したり、人物や顔などを前処理として検出し、検出された領域は注目する部分であると評価する。また、カメラ間の特性の違いを考慮して、色合いの違いも評価する場合には、重複している画像間の画素値の差分値も評価する。この評価を基にして、従来法では、重複部分において注目される領域を避けるように境界を決めている。グラフの説明と、そのグラフを利用した重複領域における領域分割の従来法(非特許文献2、3)については後述する。

3)重複した部分について領域分割した後に、射影変換後の画像を境界に合せてトリミングを行い、トリミング後の画像をモザイク面上で張り合わせて、図7に示すように画像を生成する。

(重複領域の分割)
以下に、グラフを用いた領域分割の例を示す。まず、重複領域において人が注目するような領域を調べる。図8では、重複領域における図6の画像Aと画像Biとを重ね合わせた画像を表示している。実線は、画像A、破線は、画像Biを表す。この図のように、重複領域にある画像を全て表示させると、人物などの奥行きのある被写体では、2重の像ができる。そこで、人が注目する被写体上で境界を設定してしまうと、切断された被写体が合成後の画像に表示されてしまうので、人が注目するような領域のコストを高く設定し、このコストの累計がなるべく少なくなるような経路を求めて画像の分割を行う。具体的な評価は、上記2)で示した方法で画素毎に評価を行う。この結果を、今後は、コスト画像と呼ぶ。

次に、このコスト画像の画素からグラフを作成する。グラフは、ノード(節)とエッジ(辺)とで構成される。図9に示す例では、グラフのノードをコスト画像の画素に対応させ、画素の隣接方向である4連結方向をエッジとして定義した。エッジ上の数字は、エッジのコストとする。このエッジコストは、隣接する画素の評価値の合計などで求める。

最後に、グラフのエッジコスト(辺のコスト)が最小になるようなグラフの分割を求める。図10は、重複領域についてコスト画像から生成した2次元上のグラフの分割する一例を示す概念図である。このグラフの分割結果が、重複領域の分割に対応している。具体的な手法としては、最短経路を求めるダイクストラ法(例えば、非特許文献4)や、グラフカット法(例えば、非特許文献5)などが利用される。これにより、コスト画像の画素値が大きい画素(ノード)付近のエッジでは、分割が行われず、画素値の小さい画素周辺のエッジで分割が行われる。

概要

画像のチラつきや、広範囲な画像のゆれを抑制したモザイク画像を生成する。被写体撮影手段101は、複数台のカメラで構成され、多視点画像を撮影する。基準投影面への変換手段103aは、各カメラで撮影した画像を射影変換する。コスト画像生成手段103bは、射影変換された画像の重複領域について、フレームF枚分の画像についてコスト画像を生成する。時・空間方向のグラフ生成手段103cは、重複領域について、Fフレーム分の画像からグラフを作成する。時・空間方向のグラフ分割手段103dは、重複領域をラベル毎の領域に分割する。画像合成手段103eは、フレーム毎に重複領域の画像と重複していない領域の画像とを連結する。

目的

本発明は、このような事情を考慮してなされたものであり、その目的は、動画像内に映りこんでいる移動物体を切断しないで、かつ、合成に伴う“チラつき”や、“揺れる”現象を低減しつつ、視差がある様な複数台のカメラで撮影された動画像を合成することができる画像生成装置画像生成方法、及びプログラムを提供する

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の撮影手段により動画像を対象として撮影される多視点画像について、領域の一部が重複する複数の画像を合成してモザイク画像を生成する画像生成装置であって、予め複数の画像間の特徴点対応関係から推定した前記各撮影手段の撮影パラメータを用いて、2つ以上の視点で、同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した投影多視点画像を作成し、該投影多視点画像について複数の重複領域を求める変換手段と、前記変換手段により求められた各重複領域に対して、被写体の像が注目される度合いを評価する関数を用いてコスト値画素毎に算出するコスト画像生成手段と、前記変換手段により求められた各重複領域に対して、各画素をノード(節)、ノード間を連結したものをエッジ(辺)とする空間方向グラフを作成し、その際に、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように、空間方向のエッジコストを算出し、前記着目ノードと、予め定めた枚数フレームの中で、空間方向において前記着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように時間方向のエッジコストを算出する時・空間方向グラフ生成手段と、前記時・空間方向グラフ生成手段により算出された空間方向のエッジコストと時間方向のエッジコストとに基づいて、前記変換手段により求められた重複領域のノード毎に、前記着目ノードに対して、予め設定した撮像手段と同一の撮像手段を割り振らなかった場合にコストを付加するコスト関数と、時空間方向で隣接するノード同士に異なる撮像手段の画像を割り当てる場合にエッジコストが発生するようなコスト関数との総コストを算出する評価関数を基準として、該評価関数によるコストの合計値が最小となるような最適化問題解くことにより、各重複領域の各ノードに対して割り当てる画像を決定することで、時・空間方向の重複領域を分割する時・空間方向重複領域分割手段と、前記時・空間方向重複領域分割手段により分割された各重複領域の各画素に対して、割り当てられた撮像手段で特定される画像の画素値を割り当て、画像を合成する画像合成手段とを備えることを特徴とする画像生成装置。

請求項2

前記コスト画像生成手段は、被写体の像が注目される度合いを評価する関数として、前記変換手段により求められた各重複領域に対する画像特性の変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いることを特徴とする請求項1に記載の画像生成装置。

請求項3

前記コスト画像生成手段は、予め定めた枚数の連続するフレームの間での輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の輝度変化が予め定めた閾値以上の画素のコストとが高い値となるような評価関数を用いることを特徴とする請求項2に記載の画像生成装置。

請求項4

前記コスト画像生成手段は、前記評価関数として、前記各重複領域において投影多視点画像の輝度値の差が大きければ大きいほど、コスト値が大きくなるような評価関数を用いることを特徴とする請求項3に記載の画像生成装置。

請求項5

前記画像合成手段は、さらに、前記重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施することを特徴とする請求項1から4のいずれかに記載の画像生成装置。

請求項6

複数の撮影手段により動画像を対象として撮影される多視点画像について、領域の一部が重複する複数の画像を合成してモザイク画像を生成する画像生成方法であって、予め複数の画像間の特徴点の対応関係から推定した前記各撮影手段の撮影パラメータを用いて、2つ以上の視点で、同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した投影多視点画像を作成し、該投影多視点画像について複数の重複領域を求める変換ステップと、前記各重複領域に対して、被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出するコスト画像生成ステップと、前記各重複領域に対して、各画素をノード(節)、ノード間を連結したものをエッジ(辺)とする空間方向のグラフを作成し、その際に、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように、空間方向のエッジコストを算出し、前記着目ノードと、予め定めた枚数のフレームの中で、空間方向において前記着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように時間方向のエッジコストを算出する時・空間方向グラフ生成ステップと、前記空間方向のエッジコストと前記時間方向のエッジコストとに基づいて、前記重複領域のノード毎に、前記着目ノードに対して、予め設定した撮像手段と同一の撮像手段を割り振らなかった場合にコストを付加するコスト関数と、時空間方向で隣接するノード同士に異なる撮像手段の画像を割り当てる場合にエッジコストが発生するようなコスト関数との総コストを算出する評価関数を基準として、該評価関数によるコストの合計値が最小となるような最適化問題を解くことにより、各重複領域の各ノードに対して割り当てる画像を決定することで、時・空間方向の重複領域を分割する時・空間方向重複領域分割ステップと、前記分割された各重複領域の各画素に対して、割り当てられた撮像手段で特定される画像の画素値を割り当て、画像を合成する画像合成ステップとを含むことを特徴とする画像生成方法。

請求項7

前記コスト画像生成ステップは、被写体の像が注目される度合いを評価する関数として、前記変換手段により求められた各重複領域に対する画像特性の変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いることを特徴とする請求項6に記載の画像生成方法。

請求項8

前記コスト画像生成ステップは、予め定めた枚数の連続するフレームの間での輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の輝度変化が予め定めた閾値以上の画素のコストとが高い値となるような評価関数を用いることを特徴とする請求項7に記載の画像生成方法。

請求項9

前記コスト画像生成ステップは、前記評価関数として、前記各重複領域において投影多視点画像の輝度値の差が大きければ大きいほど、コスト値が大きくなるような評価関数を用いることを特徴とする請求項8に記載の画像生成方法。

請求項10

前記画像合成ステップは、さらに、前記重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施することを特徴とする請求項6から9のいずれかに記載の画像生成方法。

請求項11

請求項6から請求項10までのいずれかに記載の画像生成方法をコンピュータに実行させるプログラム

技術分野

0001

本発明は、複数の視点から撮影された多視点映像を合成する技術に係り、複数のカメラで撮影した画像を連結して広視野の画像(パノラマ画像等のモザイク画像)を生成する画像生成装置画像生成方法、及びプログラムに関する。

背景技術

0002

複数の視点から撮影された多視点画像を合成し、広範囲シーンを撮影したパノラマ画像や、高解像度な画像などを生成することをモザイキングという。複数台のカメラから撮影した動画像によるパノラマ画像を、以下、モザイク画像と呼ぶ。

0003

撮影シーンの中に動いている被写体(移動物体)がある場合、複数のカメラで重複して撮影している領域内に存在する移動物体を合成画像上で自然に表現することは困難である。移動物体の映り込みに対処する方法として、各カメラにおける画像の投影中心がほぼ一致するように、つまり、カメラ間視差が無視できるようにカメラ配置を行うことで動画像の合成を実現する方法(例えば、非特許文献1参照)、あるいは、移動物体の影響を受けないようにして画像を合成する方法がある(例えば、非特許文献2、3参照)。

0004

しかしながら、前者には、視差を完全に解消するようにカメラを配置しなければならないという制約がある。また、後者の手法は静止画像を対象としたものであり、この手法を移動物体が映る動画像に適用した場合、違和感のないような動画像を合成することは難しい。例えば、合成画像(静止画)合成のための領域分割結果を、そのまま動画の各フレームに対して適用して複数枚の静止画像を合成し、合成した結果を動画として見ると、移動物体が突然画面の中から消える、あるいは突然現れるといった不自然動きとなる。

0005

以下、本件が前提とする要素技術である、複数の視点から撮影された視差の無視できない画像から、モザイク画像を合成する従来法の詳細について述べる。

0006

従来のモザイキングでは、複数の視点から撮影された画像の位置合わせを、画像間の対応点の関係や、既知カメラパラメータから求めた射影変換行列を用いて、所定のモザイク面上に投影することで行う。これは、画像に映る被写体(風景や、車、人物等)は、3次元空間において同一の2次元平面上に存在するという仮定の下に行われる。

0007

例えば、風景などカメラから十分離れた被写体について考えると、カメラからの距離dに対して被写体自身の奥行きΔdは小さい場合が多く、カメラからシーン中の被写体が同じ距離に存在していると近似できる。これにより、被写体は、同一の2次元平面上に存在すると考えられ、射影変換行列を用いてモザイク面上に投影することで、位置合わせが可能となる。

0008

しかしながら、カメラと被写体との距離が十分離れておらず、被写体の奥行きが無視できない場合には、合成した画像には、視差によるブレ(2重の像)が生じる。カメラのシーンの多くには、奥行きが無視できないような被写体があることが多く、モザイキングにおいては、このブレが生じないようにする処理が重要となる。また、仮にシーンにおける大多数の被写体が2次元平面上にあるとしても、ノイズ等の影響による射影変換行列の推定誤差により、合成画像にぶれが生じることがある。

0009

そこで、2重の像を防止するために、位置合わせ後の重複部分の領域を分割し、分割後のそれぞれの領域には、多視点画像のうち1枚のみを使用することが一般的である。以下に、従来技術による領域分割方法について流れを示す。

0010

1)複数枚の画像の1つを基準画像とし、残りの画像を射影変換行列により、基準画像の存在するモザイク面上に投影して位置合わせを行う。

0011

2)位置合わせ後の画像の重複部分について領域分割を行う。例として、モザイク面上にある基準画像Aと残りのモザイク面上に投影した画像Bi(i=1,2,..,M)との重複部分の領域分割について図6に示す。ここで、Mは合成する画像の視点の数を表す。重複部分について、ブレが目立つような部分(人が注目する部分)を分割しないように境界を定めて、領域Aと領域Biとを作る。ブレが目立つような領域とは、テクスチャが細かく存在する被写体(エッジの多い建築物)や、人が注目しやすい被写体(人物や、顔)が存在するところである。逆に、ブレが目立たない領域とは、テクスチャが少ない空や、草原や、壁など、低周波成分を多く含む被写体が映っている画像部分である。

0012

具体的には、画像をsobelフィルタや、laplacianフィルタによりエッジ画像輝度勾配情報)に変換してから、エッジ画像の差分値を注目する部分であると評価したり、人物や顔などを前処理として検出し、検出された領域は注目する部分であると評価する。また、カメラ間の特性の違いを考慮して、色合いの違いも評価する場合には、重複している画像間の画素値の差分値も評価する。この評価を基にして、従来法では、重複部分において注目される領域を避けるように境界を決めている。グラフの説明と、そのグラフを利用した重複領域における領域分割の従来法(非特許文献2、3)については後述する。

0013

3)重複した部分について領域分割した後に、射影変換後の画像を境界に合せてトリミングを行い、トリミング後の画像をモザイク面上で張り合わせて、図7に示すように画像を生成する。

0014

(重複領域の分割)
以下に、グラフを用いた領域分割の例を示す。まず、重複領域において人が注目するような領域を調べる。図8では、重複領域における図6の画像Aと画像Biとを重ね合わせた画像を表示している。実線は、画像A、破線は、画像Biを表す。この図のように、重複領域にある画像を全て表示させると、人物などの奥行きのある被写体では、2重の像ができる。そこで、人が注目する被写体上で境界を設定してしまうと、切断された被写体が合成後の画像に表示されてしまうので、人が注目するような領域のコストを高く設定し、このコストの累計がなるべく少なくなるような経路を求めて画像の分割を行う。具体的な評価は、上記2)で示した方法で画素毎に評価を行う。この結果を、今後は、コスト画像と呼ぶ。

0015

次に、このコスト画像の画素からグラフを作成する。グラフは、ノード(節)とエッジ(辺)とで構成される。図9に示す例では、グラフのノードをコスト画像の画素に対応させ、画素の隣接方向である4連結方向をエッジとして定義した。エッジ上の数字は、エッジのコストとする。このエッジコストは、隣接する画素の評価値の合計などで求める。

0016

最後に、グラフのエッジコスト(辺のコスト)が最小になるようなグラフの分割を求める。図10は、重複領域についてコスト画像から生成した2次元上のグラフの分割する一例を示す概念図である。このグラフの分割結果が、重複領域の分割に対応している。具体的な手法としては、最短経路を求めるダイクストラ法(例えば、非特許文献4)や、グラフカット法(例えば、非特許文献5)などが利用される。これにより、コスト画像の画素値が大きい画素(ノード)付近のエッジでは、分割が行われず、画素値の小さい画素周辺のエッジで分割が行われる。

先行技術

0017

池田 聖,佐智和,横矢直和,“全方位型マルチカメラシステムキャリブレーションによる高解像度な全天球パノラマ動画像の生成,” 画像ラボ, 2005.2,pp.5-9,2005
J. Davis, “Mosaics of scenes with moving objects,” Proc. Computer Vision and Pattern Recognition Conference, pp.354-360, 1998.
飯吉 建彰,三橋 渉, “画像モザイク生成のための部分的な前景自動除去,” Vol.J92-D No.8 pp.1403-1413,2009
Dijkstra, E. W, “A note on two problems in connexion with graphs, ” Numerische Mathematik 1, 269-271, 1959
石川 博,“グラフカット,”情報処理学会研究報告,2007-CVIM-158-(26),No.31,pp.193-204,2007

発明が解決しようとする課題

0018

従来技術による、複数の視点から撮影された複数枚の静止画像を合成する方法を、そのまま動画像に適用した場合、以下で説明する“チラつき”や、“揺れ”が生じるという問題がある。以下、“チラつき”や、“揺れ”について、説明する。

0019

図11は、従来技術による領域分割方法での揺れやブレが生じる一例を示す概念図である。従来技術を動画に適用した場合には、合成後の画像を動画としてみると、画像の広範囲の領域が揺れるような現象や、静止物が動くようなチラつきが発生する。図11に示す例でいえば、フレームfとフレームf+1とで重複境界の位置が異なるので、フレームfとフレームf+1の被写体は、異なるカメラからの画像により表示される。

0020

一般的に異なるカメラのモザイク面上の投影画像の像は、ずれているので、動画としてみると、このときにチラつきや揺れが生じる。つまり、従来技術では、時間軸方向による境界線の独立した生成が課題の原因となっている。

0021

つまり、従来技術では、画像の合成をフレーム毎に独立して行うため、生成されたモザイク画像を動画としてみると、本来静止している被写体が動いているように見える“チラつき”や、まるでカメラが手振れして撮影したように広範囲の領域が“揺れる”というような現象が生じるので、画像の品質低下が生じる。

0022

また、従来技術では、テクスチャの多い背景を分割の境界にしないようにするので、動く人物などを通るように領域分割してしまうことがあるため、合成後の画像に違和感を生じてしまう。人物等の動く被写体については、トラッキングや、前後のフレームを利用した差分画像から検出を行い、その被写体付近のエッジコストを大きくすることにより、動く被写体を分割することを防ぐことができる。

0023

しかしながら、従来技術では、フレーム間での領域分割の関連性を考慮していないため、上記のような画像の“チラつき”や、“揺れ”を抑制することは難しい。

0024

本発明は、このような事情を考慮してなされたものであり、その目的は、動画像内に映りこんでいる移動物体を切断しないで、かつ、合成に伴う“チラつき”や、“揺れる”現象を低減しつつ、視差がある様な複数台のカメラで撮影された動画像を合成することができる画像生成装置、画像生成方法、及びプログラムを提供することにある。

課題を解決するための手段

0025

上述した課題を解決するために、本発明は、複数の撮影手段により動画像を対象として撮影される多視点画像について、領域の一部が重複する複数の画像を合成してモザイク画像を生成する画像生成装置であって、予め複数の画像間の特徴点対応関係から推定した前記各撮影手段の撮影パラメータを用いて、2つ以上の視点で、同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した投影多視点画像を作成し、該投影多視点画像について複数の重複領域を求める変換手段と、前記変換手段により求められた各重複領域に対して、被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出するコスト画像生成手段と、前記変換手段により求められた各重複領域に対して、各画素をノード(節)、ノード間を連結したものをエッジ(辺)とする空間方向のグラフを作成し、その際に、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように、空間方向のエッジコストを算出し、前記着目ノードと、予め定めた枚数のフレームの中で、空間方向において前記着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように時間方向のエッジコストを算出する時・空間方向グラフ生成手段と、前記時・空間方向グラフ生成手段により算出された空間方向のエッジコストと時間方向のエッジコストとに基づいて、前記変換手段により求められた重複領域のノード毎に、前記着目ノードに対して、予め設定した撮像手段と同一の撮像手段を割り振らなかった場合にコストを付加するコスト関数と、時空間方向で隣接するノード同士に異なる撮像手段の画像を割り当てる場合にエッジコストが発生するようなコスト関数との総コストを算出する評価関数を基準として、該評価関数によるコストの合計値が最小となるような最適化問題解くことにより、各重複領域の各ノードに対して割り当てる画像を決定することで、時・空間方向の重複領域を分割する時・空間方向重複領域分割手段と、前記時・空間方向重複領域分割手段により分割された各重複領域の各画素に対して、割り当てられた撮像手段で特定される画像の画素値を割り当て、画像を合成する画像合成手段とを備えることを特徴とする画像生成装置である。

0026

本発明は、上記の発明において、前記コスト画像生成手段は、被写体の像が注目される度合いを評価する関数として、前記変換手段により求められた各重複領域に対する画像特性の変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いることを特徴とする。

0027

本発明は、上記の発明において、前記コスト画像生成手段は、予め定めた枚数の連続するフレームの間での輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の輝度変化が予め定めた閾値以上の画素のコストとが高い値となるような評価関数を用いることを特徴とする。

0028

本発明は、上記の発明において、前記コスト画像生成手段は、前記評価関数として、前記各重複領域において投影多視点画像の輝度値の差が大きければ大きいほど、コスト値が大きくなるような評価関数を用いることを特徴とする。

0029

本発明は、上記の発明において、前記画像合成手段は、さらに、前記重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施することを特徴とする。

0030

また、上述した課題を解決するために、本発明は、複数の撮影手段により動画像を対象として撮影される多視点画像について、領域の一部が重複する複数の画像を合成してモザイク画像を生成する画像生成方法であって、予め複数の画像間の特徴点の対応関係から推定した前記各撮影手段の撮影パラメータを用いて、2つ以上の視点で、同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した投影多視点画像を作成し、該投影多視点画像について複数の重複領域を求める変換ステップと、前記各重複領域に対して、被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出するコスト画像生成ステップと、前記各重複領域に対して、各画素をノード(節)、ノード間を連結したものをエッジ(辺)とする空間方向のグラフを作成し、その際に、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように、空間方向のエッジコストを算出し、前記着目ノードと、予め定めた枚数のフレームの中で、空間方向において前記着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように時間方向のエッジコストを算出する時・空間方向グラフ生成ステップと、前記空間方向のエッジコストと前記時間方向のエッジコストとに基づいて、前記重複領域のノード毎に、前記着目ノードに対して、予め設定した撮像手段と同一の撮像手段を割り振らなかった場合にコストを付加するコスト関数と、時空間方向で隣接するノード同士に異なる撮像手段の画像を割り当てる場合にエッジコストが発生するようなコスト関数との総コストを算出する評価関数を基準として、該評価関数によるコストの合計値が最小となるような最適化問題を解くことにより、各重複領域の各ノードに対して割り当てる画像を決定することで、時・空間方向の重複領域を分割する時・空間方向重複領域分割ステップと、前記分割された各重複領域の各画素に対して、割り当てられた撮像手段で特定される画像の画素値を割り当て、画像を合成する画像合成ステップとを含むことを特徴とする画像生成方法である。

0031

本発明は、上記の発明において、前記コスト画像生成ステップは、被写体の像が注目される度合いを評価する関数として、前記変換手段により求められた各重複領域に対する画像特性の変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いることを特徴とする。

0032

本発明は、上記の発明において、前記コスト画像生成ステップは、予め定めた枚数の連続するフレームの間での輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の輝度変化が予め定めた閾値以上の画素のコストとが高い値となるような評価関数を用いることを特徴とする。

0033

本発明は、上記の発明において、前記コスト画像生成ステップは、前記評価関数として、前記各重複領域において投影多視点画像の輝度値の差が大きければ大きいほど、コスト値が大きくなるような評価関数を用いることを特徴とする。

0034

本発明は、上記の発明において、前記画像合成ステップは、さらに、前記重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施することを特徴とする。

0035

また、本発明は、上述の画像生成方法をコンピュータに実行させるプログラムである。

発明の効果

0036

この発明によれば、画像のチラつきや、広範囲な画像のゆれを抑制したモザイク画像を生成することができる。

図面の簡単な説明

0037

本発明の実施形態によるモザイク画像生成装置の構成を示すブロック図である。
本実施形態によるモザイキング処理を説明するためのフローチャートである。
従来技術による“揺れ”や、“チラつき”が生じる原因の説明するための概念図である。
本実施形態における時間と空間方向のグラフ構造の一例を示す概念図である。
本実施形態による“揺れ”や、“チラつき”が抑制できる理由を示す概念図である。
従来技術による領域分割方法で2枚の画像を例としたモザイキングを示す概念図である。
従来技術による領域分割方法で2枚の画像を例としたモザイキングを示す概念図である。
従来技術による領域分割方法での重複領域におけるブレを拡大表示した例を示す概念図である。
従来技術による領域分割方法での重複領域におけるコスト画像の生成法の一例を示す概念図である。
従来技術による領域分割方法での重複領域についてコスト画像から生成した2次元上のグラフの分割する一例を示す概念図である。
従来技術による領域分割方法での揺れやブレが生じる一例を示す概念図である。

実施例

0038

以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、広範囲なシーンを撮影した動画像のモザイク画像を生成し、従来技術の課題を解決することを目的としている。例えば、コンサート会場や、サッカー等の競技場に設置した複数台のカメラで取得した広範囲なシーンの動画像からモザイク画像を生成することを目的としている。

0039

前述した従来技術によるモザイク画像生成手法では、合成画像において重複領域に視差によるブレ(2重の像)が生じることを防止するために、重複領域を分割して各領域に1つの画像のみを表示しているが、この方法をそのまま動画像(映像)に用いると、フレーム毎に分割領域の境界位置が変化するため、本来静止している被写体が動いているように見える“チラつき”や、カメラが手振れして撮影したような“広範囲な揺れ”が生じる。

0040

本発明は、この課題を低減することを目的とし、重複領域の分割をフレーム毎に行うのではなく、時間方向においても連続した分割手法をモザイク生成手法取り入れたものであり、複数のフレームの時間軸方向の連続性を考慮した領域分割を行う。具体的な方法としては、領域に対して人が注目している度合い(コスト)を複数フレーム分まとめて算出し、人が注目している領域については、時間的、空間的に分断しないように領域分割を行うことを特徴としている。

0041

図1は、本発明の実施形態によるモザイク画像生成装置の構成を示すブロック図である。図1において、被写体撮影手段101は、複数台のカメラで構成される多視点画像取得システムであり、例えば、サッカー場での試合コンサートホール舞台演奏を複数台のカメラで撮影するようなシステムである。該被写体撮影手段101は、撮影した映像信号S1をカメラ画像得手段102に供給する。

0042

モザイク画像生成装置100は、カメラ画像取得手段102、モザイク画像生成手段103、画像記憶手段106、及び生成画像出力手段104からなる。カメラ画像取得手段102は、被写体撮影手段101からの映像信号S1を取得し、画像データD1として画像記憶手段106に供給する。

0043

画像記憶手段106は、カメラ画像記憶手段106a、及び合成画像記憶手段106bからなる。カメラ画像記憶手段106aは、カメラ画像取得手段102からの画像データD1を記憶する。合成画像記憶手段106bは、後述するモザイク画像生成手段103から出力される合成画像データD6を記憶する。

0044

該画像記憶手段106は、カメラ画像記憶手段106aと合成画像記憶手段106bにより構成されるが、同一の記憶媒体であってもよい。例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶装置である。被写体撮影手段101のカメラによる被写体撮影で予め撮影したシーンの画像を、画像記憶手段106に記憶しておくことで、モザイク画像生成手段103の画像合成手段103eによる処理を、オフラインで実行することが可能となる。

0045

モザイク画像生成手段103は、カメラ画像記憶手段106aに記憶されている画像データD1を取り出し、最終的に、合成画像(モザイク画像)データD6を生成する。該モザイク画像生成手段103は、基準投影面(モザイク面)への変換手段103a、コスト画像生成手段103b、時・空間方向のグラフ生成手段103c、時・空間方向のグラフ分割手段103d、及び画像合成手段103eからなる。

0046

基準投影面への変換手段103aは、各カメラで撮影した画像を射影変換する。より詳細には、予め複数の画像間の特徴点の対応関係から推定した各撮影カメラのカメラパラメータを用いて、2つ以上の視点で撮影された同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した画像(投影多視点)を作成する。この投影多視点画像について重複領域(N個)を求める。

0047

コスト画像生成手段100bは、射影変換された画像の重複領域について、フレームF枚分の画像についてコスト画像を生成する。より詳細には、各重複領域に対して、輪郭等のエッジが多い領域や、テクスチャが細かい領域など高周波成分を多く含む領域や、動いている被写体や、人の顔等、画像における被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出する。各重複領域の各画素にこのコスト値を割り当てたものがコスト画像である。より具体的には、コスト画像生成手段100bは、予め定めた枚数の連続するフレームの間での画像特性の変化、例えば、輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の画像特性の変化、例えば、輝度変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いる。該評価関数は、各重複領域において投影多視点画像の画像特性を表すデータの差、例えば、輝度値の差が大きければ大きいほど、コスト値が大きくなる様な評価関数としてもよい。

0048

時・空間方向のグラフ生成手段103cは、重複領域について、Fフレーム分の画像からグラフを作成する。より詳細には、各重複領域に対して、各画素をノード(節)、ノード間を連結したものをエッジ(辺)とする空間方向のグラフを作成する。その際に、エッジコストと、時間方向のエッジコストを算出する。空間方向のエッジコストは、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、着目ノードと隣接ノードとのコスト値が高ければエッジコストが高くなるように算出する。また、時間方向のエッジコストは、着目ノードと、予め定めた枚数のフレームの中で、空間方向において着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、着目ノードと隣接ノードとのコスト値が高ければエッジコストが高くなるように算出する。

0049

時・空間方向のグラフ分割手段103dは、重複領域をラベル毎の領域に分割する。より詳細には、重複領域のノード毎にどのカメラ番号(ラベル)の画像を割り振るか決める数学的問題に帰着させて解くことで、時空間方向の重複領域の分割をする。すなわち、着目するノードに対して、予め設定したラベルと同一のラベルを割り振らなかったときに、コストを付加するコスト関数と時空間方向で隣接するノード同士に異なるカメラの画像を割り当てる場合にエッジコストが発生するようなコスト関数の総コストを算出する評価関数を基準として、その評価関数の値(つまり、コストの合計値)が最小となる様な最適化問題を解き、各重複領域の各ノードに対して割り当てるカメラ画像を決定する。

0050

画像合成手段103eは、フレーム毎に重複領域の画像と重複していない領域の画像とを連結する。より詳細には、各重複領域の各画素に対して、割り当てられたカメラ番号で特定される画像の画素値を割り当て、画像を合成する。このとき、重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施してもよい。

0051

生成画像出力手段104は、合成画像記憶手段106bに記憶された合成画像データD6を、出力用画像データとして読み出しディスプレイ表示用の映像信号S2として生成画像表示手段105に出力する。

0052

生成画像表示手段105は、例えば、ディスプレイ端子等の生成画像出力手段104に接続されたCRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)等の表示装置である。生成画像表示手段105は、生成画像出力手段104からの映像信号S2に従って合成画像を表示する。なお、生成画像表示手段105は、例えば、2次元平面状の装置でもよいし、装置利用者を取り囲むような曲面状の表示装置であってもよい。

0053

次に、本実施形態のモザイク画像生成装置100によるモザイク画像生成方法ついて説明する。図2は、本実施形態のモザイク画像生成装置100によるモザイク画像生成方法を説明するためのフローチャートである。なお、被写体撮影手段(以下、カメラともいう)101の配置の仕方は自由であるが、本実施形態では、ある程度の共通視野(重複領域)を確保するために、格子状、もしくは一直線上に、複数台のカメラを並行、もしくは特定の被写体を注視点とするような放射線状に配置していることを想定している。

0054

まず、前処理として各カメラから基準となるカメラへの射影変換行列を求める(ステップS1)。このとき、カメラ番号をm(=1,2,…,M)、画像のフレーム番号をf(=1,2,…,F)とする。次に、基準投影面への変換手段103aで、各カメラで撮影した画像を射影変換する(ステップS2)。変換する画像は、基準となるカメラの画像以外の全てである。以後のステップでは、求めた射影変換後の画像Im,fを使用する。ここで、mは、ステップS1のカメラ番号、fは、ステップS1のフレーム番号を示している。次に、射影変換後の画像Im,fについて、重複した領域をRi(i=1,2,…,N)とする(ステップS3)。なお、図11のように、カメラの台数が2台の場合には、重複領域の数は、1(N=1)である。以下のステップでは、i=1からNまで同様の処理を行う。

0055

次に、重複領域Riについて、フレームF枚分の画像についてコスト画像を生成する(ステップS4)。コスト画像は、人が注目する度合いの評価結果であり、例えば、動いている車や、静止しているが、輪郭のエッジ強度が強くてテクスチャの細かい建物等のコストが大きくなるような評価値となる。コスト画像の評価方法の例として以下に示す。

0056

動いている被写体については、フレーム間差分により検出した。静止物については、ラプラシアンフィルタをかけてエッジ強度の大きい画素を調べ、エッジ強度が数フレームの間である閾値以上続く画素上に静止物があるとした。フレームfにおける重複領域RiにおいてK枚の画像Ik,fが重複しているとすると、コスト画像ImgC1(Ri)は、次式(1)のように設定できる。

0057

0058

但し、αとβは、実験的に決める調整用定数であり、xとyは、画像上の横方向と縦方向座標軸を設定したときの座標を示す変数である。

0059

また、M(Ri)とS(Ri)は、画素毎に処理する関数である。Moveは画像Ik,fに動く被写体の像が存在するなら1を、それ以外なら0を、画素毎に出力する関数であり、M(Ri)は、MoveによるK枚の画像の結果を画素毎に足し合わせた値を出力する関数である。Stayは、画像Ik,fに静止物があるなら1を、それ以外なら0を、画素毎に評価し、S(Ri)は、StayによるK枚の画像の結果を画素毎に足し合わせた値を出力する関数である。

0060

また、カメラ間の特性の違いや、視差による影響を考慮する為に、例えば、次式(2)で表すコスト画像ImgC2を設定することもできる。

0061

0062

但し、uとvは、K枚の画像の組み合わせであり、Zは、K枚から2枚の画像の組み合わせの集合である。D(Ri)は、画像Iu,fとIv,fについて、画素毎にR,G,B成分毎の差分をとったベクトルwについて2−ノルムを出力する関数である。

0063

次に、重複領域Riについて、Fフレーム分の画像からグラフを作成する(ステップS5)。ここで、図3は、従来技術による“揺れ”や、“ブレ”が生じる原因の説明するための概念図である。図3に示すように、従来技術の方法では、フレームf−1、f、f+1毎に領域を分割してしまうので、動く被写体(図示の例では車両B)などの影響により、境界がフレームf−1、f、f+1毎に異なる。そこで、本発明では、時間方向の関連性も考慮した分割法を行う。

0064

ここで、図4は、本実施形態における時間と空間方向のグラフ構造の一例を示す概念図である。まず、コスト画像の画素をノードとして、時間軸方向にも空間方向と同様にしてエッジ(辺)を作成して3次元のグラフを作成する(図4参照)。グラフのエッジコストは、コスト画像を基にして決める。例えば、空間方向については、コスト画像の画素値の和や、積の値とすればよい((1)参照)。時間方向については、コスト画像ImgC1における画素値の和や、積の値に定数項γを掛けたものを時間方向のエッジコストとする((2)参照)。但し、画像が大きい場合などは、隣接する画素毎にエッジを作成するのではなく、コスト画像を縮小したものを利用したグラフを利用して計算コストを削減することは可能である。

0065

図5(a)〜(c)は、本実施形態による“揺れ”や、“ブレ”が抑制できる理由を示す概念図である。図5には、時間方向のエッジを生成する効果を示す。図5において、人が注目する被写体とは、車両Bと標識Cとであると仮定している。コスト画像の注目画素(ノード)をフレーム間で繋いだものを図5(a)に示す。図5(b)に示すように、従来技術のようなフレーム毎に最適な領域分割を行うと、フレームfとf+1のところで各フレームの分割境界を繋いで作成される面により、静止物である標識Cのエッジ(破線)が交わる可能性があることが分かる。

0066

図5(c)では、断面:A−Aにおいて、動く被写体(車両B)があるノード間のエッジを破線で示し、静止している被写体(標識C)のあるノードのエッジを一点破線で示し、それ以外のノード間のエッジを実線で示している。この図からも分かるように、時間方向についても、エッジコストが大きいエッジを切らないような分割を行えば、動画にしたときの2重画像を防ぐことができる。つまり、複数枚のフレームにより作成した3次元のグラフについて、エッジコストが最小になるような分割を求めれば、注目する被写体を時間方向で横切るような領域分割をすることが防げる。

0067

パラメータについて述べると、α、βの値を大きくすることによって、空間方向について被写体を境界が横切ることを防ぐことができる。時間方向については、γの値を大きくすることにより、被写体を時間方向に横切ることを抑制することができるので、上記の課題である揺れや、チラつきを抑える効果がある。

0068

しかしながら、γが大きすぎると、空間方向に被写体を分割するように境界を設定する可能性もある。図5(a)、(b)に示す例でいうと、例えば、動いている車両Bが重複領域の中央でしばらく止まったときなど、他の動いている被写体の影響などにより、車両Bの上に境界が設定されることや、標識Cの一部が静止物として検出されなかった場合などに、標識Cの一部の上に境界が設定され続ける可能性もある。そのため、これらのパラメータは、実験的に調整して決定する。

0069

次に、評価関数Eを最小にする最適化問題を解くことで、重複領域をラベル毎の領域に分割する(ステップS6)。ある重複領域のコスト画像の画素(ノード)をpとしたとき、ノード毎に定義されるラベルをL={1,2,…,M}とする。但し、ラベル番号は、カメラ番号と一致し、その画素にどのカメラ画像を表示するかを示すものとする。このとき、3次元のグラフについて、次式(3)で表されるコスト関数Eを定義する。

0070

0071

ここで、qは、pとの空間方向と時間方向の隣接画素とし、L(x)は、ノードxの位置のラベルとする。Cdは、特定のノード対を対象としたコスト関数、Ciは、全てのノードについて対象として、ノードの隣接関係に対するコスト関数とする。

0072

CdとCiの具体的な計算方法は、様々であるが、上記数式(3)にその一例を示している。Cdは、あるノードpの画素が予め設定してあるラベルと同じであれば、コストは0であり、それ以外では、コストKbを出力する関数とし、Kbは、実験的にユーザが設定するものとする。

0073

そのため、事前にあるノードについて静止物体であるということが分かっているならば、ユーザにより、そのノードに特定のカメラ番号のラベルとそのラベルに対して、エッジコストに比べて非常に大きな値をコストとして設定することで、その画素のラベルをユーザの指定したものにできる。本実施形態では、重複領域でない領域と接している重複領域のノードについて、Cdを重複領域でない領域の画像のカメラ番号に設定する。それ以外のノードについては、Cd=0とする。

0074

Ciは、pと隣接画素qとのラベルが同じであれば、コスト0を、それ以外は、エッジコストを出力する関数とする。

0075

以上のようにコスト関数を設計すれば、このコスト関数を最小にするようなラベルの組み合わせ最適化問題として解ける。計算する具体的アルゴリズムの例としては、最大流最小切断定理によるグラフカット法(非特許文献5)や、信頼度伝播法などがある。

0076

ここで、実用上の問題として対象とする動画のフレーム数が数万〜数十万である場合、計算機メモリ限界により、一括して処理を行うことができない可能性がある。仮に1時間の動画を扱うとすると、フレーム数は、30(fps)*60(秒)*60(分)=108000フレームとなる。これを対処する一例を挙げると、動画を幾つかのフレームに分割して処理をする方法がある。

0077

例えば、1000フレームの動画を2分割する場合、1−500フレームを上記方法で一括処理した後、501−1000フレームを上記方法で一括処理する。但し、単純に分割して処理すると、2つの動画の間に時間の連続性が保たれないので、画像の揺れや、ちらつきが生じてしまう。そこで、501フレーム目のノードに対して500フレーム目の領域分割結果のラベルを初期値として与える。つまり、上記Cdのラベル指定の部分に、直前で処理した結果を入力することで、時間的に連続した処理を行うことが可能となる。

0078

次に、各フレームfについて、画素pのラベルL(f,p)に対応したカメラ画像Im,fを貼り付け、重複領域Riの画像合成を行う(ステップS7)。ここで、貼り付けた画像間の境界が目立たなくなるように、ブレンディング処理を行うことも可能である。簡単な例としては、境界線付近の数ピクセル以内の画素については、境界線に接しているカメラ画像の画素値を混合する。カメラmとカメラm+1の画像が隣り合う場合には、境界線から数ピクセルの画素は、カメラmとカメラm+1の画像の画素値の中間の色(R,G,B成分毎に足して2で割った値)を表示することとなる。

0079

次に、全ての重複領域Ri(i=1,…,N)について終了したか否かを判定し(ステップS8)、全ての重複領域Ri(i=1,…,N)が終了するまで、上述したステップS4〜ステップS7を繰り返し行う。

0080

そして、全ての重複領域Ri(i=1,…,N)について終了すると、フレーム毎に重複領域の画像と重複していない領域の画像とを連結し(ステップS9)、全重複領域について処理が終われば終了する。

0081

本実施形態によれば、複数枚のフレームの連続性を考慮しており、動画としても大域的最適解を得られる。これに対して、従来技術では、フレーム毎に画像の合成領域を求める方法を用いていたので、動画として考えると、局所的な最適解を得ているにすぎなかった。

0082

また、本実施形態では、動く物体や、静止する物体など、それぞれに適した方法により検出する方法を、枠組みの中に組み込んでいることにより、画像の品質低下をもたらす画像のチラつきや、揺れという現象を効率的に抑制することを実現できる。従来技術では、フレーム毎に領域を求めていたので、境界は、2次元のグラフを分割する線でしかなかったのに対して、本実施形態では、3次元のグラフを分割する2次元の面を求めている違いがある。

0083

以上、本発明によってなされた発明を、実施形態に基づき具体的に説明したが、本発明は、実施形態に限定されるものではなく、その要旨を逸脱しない範囲においての変更可能であることは勿論である。

0084

100モザイク画像生成装置
101被写体撮影手段
102カメラ画像取得手段
103モザイク画像生成手段
103a基準投影面への変換手段
103bコスト画像生成手段
103c 時・空間方向のグラフ生成手段
103d 時・空間方向のグラフ分割手段
103e画像合成手段
104生成画像出力手段
105 生成画像表示手段
106画像記憶手段
106a カメラ画像記憶手段
106b合成画像記憶手段

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ