図面 (/)

技術 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法

出願人 トムソンライセンシング
発明者 チャンドン-チンイザトイザト
出願日 2007年11月9日 (13年0ヶ月経過) 出願番号 2010-533050
公開日 2011年2月3日 (9年9ヶ月経過) 公開番号 2011-504262
状態 特許登録済
技術分野 光学的手段による測長装置 画像処理 イメージ分析
主要キーワード カメラ調節 伝搬関数 デジタルイメージファイル グローバル最適化 平均シフト 最適化関数 セグメント化モジュール フィルムプリント
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年2月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題・解決手段

アーティファクトを低減するために、領域ベースフィルタリングを用いて少なくとも2つのイメージから奥行情報を抽出するシステムおよび方法を提供する。本開示は、走査線動的プログラミングDP)または他の同様の方法によって生成されるアーティファクトを低減するために、事後処理アルゴリズムまたは機能を提供する。該システムおよび方法は、あるシーンから第1のイメージおよび第2のイメージを取得すること(202)と、第1のイメージ内の少なくとも1つの点と第2のイメージ内の対応する少なくとも1つの点との視差推定して、視差マップを生成すること(204)と、第1のイメージと第2のイメージの少なくとも一方を少なくとも1つの領域にセグメント化すること(208)と、該セグメント化された領域に基づいて視差マップをフィルタリングすること(210)を提供する。さらに、水平方向よりも垂直方向に大きな平滑化効果を有する異方性フィルタを用いることにより、奥行境界を実質的に不鮮明にすることなく状アーティファクトを低減する。

概要

背景

立体画像化は、僅かに異なるビューポイントから得られる、あるシーンの少なくとも2つのイメージ視覚的に結合して3次元の奥行の錯覚を作り出す処理である。この技術は、人間の目がいくらか距離間隔があいており、したがって実際には正確には同じシーンを見ていないという事実に依拠している。それぞれの目に異なる視点からのイメージを提供することによって、見る者の目には、奥行を感知するような錯覚が与えられる。典型的には、2つの別個の視点が提供され、その要素イメージは、「左」イメージおよび「右」イメージと称され、それぞれ基準イメージ(reference image)および相補イメージ(complementary image)としても知られる。しかし、2つまたはそれ以上のビューポイントを結合して立体イメージを形成することもできることが当業者には認識されよう。

3Dの事後編集(post-production)、すなわち視覚効果(VFX)ワークフローおよび3次元(3D)表示アプリケーションにおいて、重要なプロセスは、左目ビュー右目のビューのイメージで構成される立体イメージから奥行情報、例えば奥行マップ(depth map)、すなわち対象の物体(object)からカメラまでの距離を、推測または抽出することである。奥行マップの抽出を様々なフィルム使途において、例えばフィルムの事後編集のためのシーンのジオメトリ(geometry)の取得、奥行のキーイング(depth keying)、3D圧縮および3D表示のためのコンテンツ生成に使用することができる。例えば、最近商品化されたオートステレオスコピック(auto-stereoscopic)3Dディスプレイは、イメージプラス奥行マップ(image-plus-depth-map)の入力フォーマット(2D+Z)を必要とするので、該ディスプレイは、複数の視角サポートする異なる3Dビューを生成することができる。

ステレオマッチングは、異なる位置のカメラによって撮られた2つのイメージから奥行マップを推定する奥行マップ抽出に幅広く使用されるアプローチである。ステレオマッチングは、あるシーンのイメージを、該シーンにおいて異なる位置に異なる方向に配置された2つまたはそれ以上のカメラから取得する。これらのデジタルイメージは、各カメラからほぼ同じ時間に取得され、そして該イメージの各々における点を、空間内の対応する3Dの点に合致させる。一般に、異なるイメージからの点は、該イメージの一部を検索し、そして制約(例えば、エピポーラ制約(epipolar constaint))を使用して或るイメージ内の点を別のイメージ内の点と関連付けることによって合致させることができる。奥行値は、シーン内の同一の点に対応する上記異なるイメージ内の2つのピクセル間の相対な距離から推側される。

概要

アーティファクトを低減するために、領域ベースフィルタリングを用いて少なくとも2つのイメージから奥行情報を抽出するシステムおよび方法を提供する。本開示は、走査線動的プログラミングDP)または他の同様の方法によって生成されるアーティファクトを低減するために、事後処理アルゴリズムまたは機能を提供する。該システムおよび方法は、あるシーンから第1のイメージおよび第2のイメージを取得すること(202)と、第1のイメージ内の少なくとも1つの点と第2のイメージ内の対応する少なくとも1つの点との視差を推定して、視差マップを生成すること(204)と、第1のイメージと第2のイメージの少なくとも一方を少なくとも1つの領域にセグメント化すること(208)と、該セグメント化された領域に基づいて視差マップをフィルタリングすること(210)を提供する。さらに、水平方向よりも垂直方向に大きな平滑化効果を有する異方性フィルタを用いることにより、奥行境界を実質的に不鮮明にすることなく状アーティファクトを低減する。

目的

3Dの事後編集(post-production)、すなわち視覚効果(VFX)ワークフローおよび3次元(3D)表示アプリケーションにおいて、重要なプロセスは、左目のビューと右目のビューのイメージで構成される立体イメージから奥行情報、例えば奥行マップ(depth map)、すなわち対象の物体(object)からカメラまでの距離を、推測または抽出することである

効果

実績

技術文献被引用数
2件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

少なくとも2つのイメージから奥行情報を抽出する方法であって、シーンから第1のイメージおよび第2のイメージを取得するステップ(202)と、前記第1のイメージ内の少なくとも1つの点と前記第2のイメージ内の対応する少なくとも1つの点との視差推定して、視差マップを生成するステップ(204)と、前記第1のイメージと前記第2のイメージの少なくとも1つを、少なくとも1つの領域にセグメント化するステップ(208)と、前記セグメント化された領域に基づいて前記視差マップをフィルタリングするステップ(210)とを含む方法。

請求項2

前記視差マップの前記少なくとも1つの点の各々に対して前記推定された視差を逆数にすることによって、前記フィルタリングされた視差マップを奥行マップに変換するステップ(212)をさらに含む請求項1に記載の方法。

請求項3

前記第1のイメージおよび前記第2のイメージは、立体なペア左目ビューおよび右目ビューを含む請求項1に記載の方法。

請求項4

前記視差を推定することは、ピクセルマッチングコスト関数を計算することを含む請求項1に記載の方法。

請求項5

前記視差を推定することは、平滑性コスト関数を計算することを含む請求項1に記載の方法。

請求項6

前記視差を推定することは、走査線最適化関数によって実行される請求項1に記載の方法。

請求項7

前記フィルタリングするステップは、前記視差マップの少なくとも1つのピクセルを水平方向にフィルタリングするステップと、前記視差マップの前記少なくとも1つのピクセルを垂直方向にフィルタリングするステップとを含む請求項1に記載の方法。

請求項8

前記垂直方向にフィルタリングするステップは、前記水平方向へのフィルタリングより大きい平滑化効果を有するように構成される請求項7に記載の方法。

請求項9

前記水平方向にフィルタリングするステップは、第1の分散を有するガウス関数によって実行され、前記垂直方向にフィルタリングするステップは、前記第1の分散より大きい第2の分散を有するガウス関数によって実行される請求項7に記載の方法。

請求項10

前記フィルタリングするステップは、フィルタサイズを選択するステップ(402)と、前記フィルタサイズに基づいて、前記少なくとも1つのセグメント化された領域の外側のピクセルをマスクするマスクブロックサブイメージを作成するステップ(404)と、前記少なくとも1つのセグメント化された領域内の少なくとも1つのピクセルに対してフィルタリングするステップ(408)とを含む請求項1に記載の方法。

請求項11

少なくとも2つのイメージから奥行情報を抽出するシステム(100)であって、シーンから第1のイメージおよび第2のイメージを取得するための手段と、前記第1のイメージ内の少なくとも1つの点と前記第2のイメージ内の対応する少なくとも1つの点との視差を推定して、視差マップを生成するように構成された視差推定器(116)と、前記第1のイメージと前記第2のイメージのうちの少なくとも1つを、少なくとも1つの領域にセグメント化するように構成されたセグメント化モジュール(118)と、前記セグメント化された領域に基づいて前記視差マップをフィルタリングするように構成されたフィルタ(120)とを備えたシステム(100)。

請求項12

前記視差マップの前記少なくとも1つの点の各々に対して前記推定された視差を逆数にすることによって、前記フィルタリングされた視差マップを奥行マップに変換するように構成された奥行マップ生成器(122)をさらに備えた請求項11に記載のシステム(100)。

請求項13

前記第1のイメージおよび前記第2のイメージは、立体的ペアの左目ビューおよび右目ビューを含む請求項11に記載のシステム(100)。

請求項14

前記視差推定器(116)は、ピクセルマッチングコスト関数(132)を含む請求項11に記載のシステム(100)。

請求項15

前記視差推定器(116)は、平滑性コスト関数(134)を含む請求項11に記載のシステム(100)。

請求項16

前記視差推定器(116)は、走査線最適化関数(136、138)を含む請求項11に記載のシステム(100)。

請求項17

前記フィルタ(120)は、前記視差マップの少なくとも1つのピクセルを水平方向にフィルタリングするように構成された水平フィルタと、前記視差マップの前記少なくとも1つのピクセルを垂直方向にフィルタリングするように構成された垂直フィルタを含む請求項11に記載のシステム(100)。

請求項18

前記垂直フィルタは、前記水平フィルタより大きい平滑化効果を有するように構成される請求項17に記載のシステム(100)。

請求項19

前記水平フィルタは、第1の分散を有するガウス関数よって生成され、前記垂直フィルタは、前記第1の分散より大きい第2の分散を有するガウス関数よって生成される請求項17に記載のシステム(100)。

請求項20

前記フィルタ(120)は、所定のフィルタサイズ(308)に基づいてマスクブロックサブイメージ(304)を作成して、前記少なくとも1つのセグメント化された領域の外部のピクセルをマスクし、前記少なくとも1つのセグメント化された領域の内部の少なくとも1つのピクセルをフィルタリングするようにさらに構成される請求項11に記載のシステム(100)。

請求項21

少なくとも2つのイメージから奥行情報を抽出するための方法を実行するマシンによって実行可能な命令からなるプログラム具現化し、前記マシンによって読取可能なプログラム記憶装置であって、前記方法は、シーンから第1のイメージおよび第2のイメージを取得するステップ(202)と、前記第1のイメージ内の少なくとも1つの点と前記第2のイメージ内の対応する少なくとも1つの点との視差を推定して、視差マップを生成するステップ(204)と、前記第1のイメージと前記第2のイメージのうちの少なくとも1つを、少なくとも1つの領域にセグメント化するステップ(208)と、前記セグメント化された領域に基づいて前記視差マップをフィルタリングするステップ(210)とを含む、プログラム記憶装置。

技術分野

0001

本発明は、一般にコンピュータグラフィックス処理および表示システムに関し、より具体的には、アーティファクト(artifact)を低減するために、領域ベースフィルタリングを使用して少なくとも2つのイメージから奥行情報を抽出するためのシステムおよび方法に関する。

背景技術

0002

立体画像化は、僅かに異なるビューポイントから得られる、あるシーンの少なくとも2つのイメージを視覚的に結合して3次元の奥行の錯覚を作り出す処理である。この技術は、人間の目がいくらか距離間隔があいており、したがって実際には正確には同じシーンを見ていないという事実に依拠している。それぞれの目に異なる視点からのイメージを提供することによって、見る者の目には、奥行を感知するような錯覚が与えられる。典型的には、2つの別個の視点が提供され、その要素イメージは、「左」イメージおよび「右」イメージと称され、それぞれ基準イメージ(reference image)および相補イメージ(complementary image)としても知られる。しかし、2つまたはそれ以上のビューポイントを結合して立体イメージを形成することもできることが当業者には認識されよう。

0003

3Dの事後編集(post-production)、すなわち視覚効果(VFX)ワークフローおよび3次元(3D)表示アプリケーションにおいて、重要なプロセスは、左目ビュー右目のビューのイメージで構成される立体イメージから奥行情報、例えば奥行マップ(depth map)、すなわち対象の物体(object)からカメラまでの距離を、推測または抽出することである。奥行マップの抽出を様々なフィルム使途において、例えばフィルムの事後編集のためのシーンのジオメトリ(geometry)の取得、奥行のキーイング(depth keying)、3D圧縮および3D表示のためのコンテンツ生成に使用することができる。例えば、最近商品化されたオートステレオスコピック(auto-stereoscopic)3Dディスプレイは、イメージプラス奥行マップ(image-plus-depth-map)の入力フォーマット(2D+Z)を必要とするので、該ディスプレイは、複数の視角サポートする異なる3Dビューを生成することができる。

0004

ステレオマッチングは、異なる位置のカメラによって撮られた2つのイメージから奥行マップを推定する奥行マップ抽出に幅広く使用されるアプローチである。ステレオマッチングは、あるシーンのイメージを、該シーンにおいて異なる位置に異なる方向に配置された2つまたはそれ以上のカメラから取得する。これらのデジタルイメージは、各カメラからほぼ同じ時間に取得され、そして該イメージの各々における点を、空間内の対応する3Dの点に合致させる。一般に、異なるイメージからの点は、該イメージの一部を検索し、そして制約(例えば、エピポーラ制約(epipolar constaint))を使用して或るイメージ内の点を別のイメージ内の点と関連付けることによって合致させることができる。奥行値は、シーン内の同一の点に対応する上記異なるイメージ内の2つのピクセル間の相対な距離から推側される。

発明が解決しようとする課題

0005

正確な奥行推定のための様々な方法、例えば、動的プログラミング信念伝搬(belief propagation)、単純ブロックマッチングなどが開発されている。より正確な方法は通常計算コストがより高い。この方法の一部は遅すぎて実際の利用には役に立たない。走査線アルゴリズム(例えば、走査線動的プログラミングまたは走査線信念伝搬)は、(非常に不正確な)単純ピクセル/ブロックマッチングおよび(非常に遅い)2次元(2D)信念伝搬と比べてかなり正確な結果を与えることができる、比較的効率的なアルゴリズムまたは機能(function)であることがわかっている。したがって、走査線アルゴリズムまたは機能は、奥行推定の問題に対する実際的な解決策になり得るものである。しかし、走査線アルゴリズムまたは機能の主な欠点は、該走査線アルゴリズムまたは機能が、しばしば横縞のアーティファクト(状アーティファクトを丸で囲んでいる図5Bを参照されたい)を生じることである。これは、信念伝搬など他のコストの高いアルゴリズムとは異なり、走査線アルゴリズムは、1度に1つの走査線の最適化を実行するのみであり、したがって垂直方向に沿った平滑性制約(smoothness constraint)が課されないからである。

0006

したがって、不連続性または縞状アーティファクトを最小化する高速かつ効率的な奥行情報抽出方法のための技術が必要とされる。

課題を解決するための手段

0007

アーティファクトを低減するために領域ベースのフィルタリングを使用して少なくとも2つのイメージから奥行情報を抽出するためのシステムおよび方法を提供する。本開示は、走査線の動的プログラミング(DP:Dynamic Programming)または他の同様の方法よって生成されるアーティファクトを低減するための後処理のアルゴリズムまたは機能を提供する。当該システムおよび方法は、2つのイメージのうちの少なくとも1つを、領域セグメント化アルゴリズムまたは機能によってセグメント化し、該セグメント化された領域境界を越えることなくフィルタリングを実行する。さらに、水平方向よりも垂直方向により強いフィルタ強度を有する異方性フィルタを使用するため、奥行境界を著しく不鮮明にすることなく縞状アーティファクトを低減する。

0008

本開示の一態様によると、少なくとも2つのイメージから奥行情報を抽出する方法が提供される。当該方法は、あるシーンから第1のイメージおよび第2のイメージを取得することと、該第1のイメージ内の少なくとも1つの点と該第2のイメージ内の対応する少なくとも1つの点との視差(disparity)を推定して視差マップ(disparity map)を生成することと、上記第1および第2のイメージのうちの少なくとも一方を少なくとも1つの領域にセグメント化することと、該セグメント化された領域に基づいて上記視差マップをフィルタリングすることを含む。一態様において、上記第1のイメージおよび上記第2のイメージは、立体的ペア(stereoscopic pair)の左目ビューおよび右目ビューを含む。

0009

別の態様において、上記方法は、上記視差マップの上記少なくとも1つの点のそれぞれに対して、推定された視差を逆数にすることによって、フィルタリングされた視差マップを奥行マップに変換することを含む。

0010

さらなる態様において、視差を推定することは、走査線最適化関数(scanline optimization function)によって実行される。

0011

別の態様において、上記フィルタリングするステップは、視差マップの少なくとも1つのピクセルを水平方向にフィルタリングするステップと、視差マップの該少なくとも1つのピクセルを垂直方向にフィルタリングするステップとを含み、該垂直方向にフィルタリングするステップは、上記水平方向にフィルタリングするステップよりも大きい平滑化効果を有するように構成される。

0012

さらなる態様において、上記フィルタリングするステップは、フィルタサイズを選択するステップと、該フィルタサイズに基づいてマスクブロックサブイメージを作成して、上記少なくとも1つのセグメント化された領域の外側のピクセルをマスクするステップと、上記少なくとも1つのセグメント化された領域の内側の少なくとも1つのピクセルをフィルタリングするステップを含む。

0013

本開示の別の態様にかかる少なくとも2つのイメージから奥行情報を抽出するためのシステムは、あるシーンから第1のイメージおよび第2のイメージを取得するための手段と、該第1のイメージ内の少なくとも1つの点と該第2のイメージ内の対応する少なくとも1つの点との視差を推定して、視差マップを生成するように構成された視差推定器と、上記第1のイメージと上記第2のイメージの少なくとも一方を少なくとも1つの領域にセグメント化するように構成されたセグメント化モジュールと、該セグメント化された領域に基づいて視差マップをフィルタリングするように構成されたフィルタを含む。

0014

本開示の他の態様によると、少なくとも2つのイメージから奥行情報を抽出する方法を実行するためのマシンによって実行可能な命令からなるプログラム具現化している、マシン読取可能なプログラム記憶装置が提供され、上記方法は、あるシーンから第1のイメージおよび第2のイメージを取得するステップと、該第1のイメージ内の少なくとも1つの点と該第2のイメージ内の対応する少なくとも1つの点との視差を推定して、視差マップを生成するステップと、上記第1のイメージと上記第2のイメージの少なくとも一方を少なくとも1つの領域にセグメント化するステップと、該セグメント化された領域に基づいて視差マップをフィルタリングするステップを含む。

0015

本開示のこれらおよび他の態様、特徴および利点は、好適な実施形態に関する以下の詳細な説明に説明され、添付の図面と併せて読むことにより明らかになる。

0016

図面において、同じ参照符号は図を通して同様の要素を示す。

図面の簡単な説明

0017

本発明の一態様にかかる、少なくとも2つのイメージから奥行情報を抽出するシステムを示す例示的なブロック図である。
本発明の一態様にかかる、少なくとも2つのイメージから奥行情報を抽出する例示的な方法を示すフローチャートである。
本発明の一態様にかかる、視差マップの各ピクセルにおける領域ベースの平滑化またはフィルタリングを示す図である。
本発明の一態様にかかる、視差マップの領域をフィルタリングする例示的な方法を示すフローチャートである。
本発明のシステムおよび方法にしたがって処理された結果イメージを示し、2次元(2D)の入力イメージを示す図である。
従来の走査線動的プログラミングによって処理された結果の縞状アーティファクトを示している奥行マップを示す図である。
図5Aで示されるイメージの結果である領域セグメント化イメージを示す図である。
本発明のシステムおよび方法にしたがって処理された平滑化された奥行マップを示す図である。

実施例

0018

図面は、本開示の概念を説明するためのものであり、必ずしも本開示を説明するために可能な構成のみを示すものではないことを理解されたい。

0019

図面に示されている要素を、ハードウェアソフトウェアまたはそれらの組合せの様々な形で実装することができることを理解されたい。好ましくは、これら要素は、プロセッサメモリおよび入出力インタフェースを含む1つまたは複数の適切にプログラムされた汎用装置における、ハードウェアおよびソフトウェアの組合せで実装される。

0020

本記載は本開示の原理を例示するものである。本明細書において明示的には記載または示されていないが、本開示の原理を具現化しその思想および範囲に含まれる多様な構成を当業者が考案し得ることが認識されよう。

0021

本明細書に記載される全ての例および条件的な語は、当技術分野発展に本発明者が寄与する本発明の原理および概念を読み手が理解するのを助ける教育的目的のために意図されたものであり、そのように具体的に記載された例および条件に限定されるものではないと解釈されるべきである。

0022

さらに、本開示の原理、態様および実施形態、ならびにそれらの特定の例を記載する本明細書内の全ての記述は、それらの構造的および機能的な均等物を含むことが意図されている。加えて、かかる均等物は、現在知られている均等物と、将来開発される均等物との両方、すなわち構造に関わらず同一の機能を実行する開発された全ての要素を含むことが意図される。

0023

したがって、例えば、本明細書で提示されるブロック図は、本開示の原理を具現化する例示的な回路の概念的な図を表すものであることが当業者には認識されよう。同様に、全てのフローチャート、フロー図、状態遷移図、疑似コードなどは、実質的にコンピュータ読取可能媒体で表され、コンピュータまたはプロセッサが明示的に示されているか否かに関わらずコンピュータまたはプロセッサによって実行される、様々な処理を表すことが認識されよう。

0024

図面に示される様々な要素の機能を、専用のハードウェア、ならびに適切なソフトウェアに関連するソフトウェアを実行することが可能なハードウェアの使用を通じて提供することができる。プロセッサよって提供されるとき、該機能を、単一の専用のプロセッサよって、単一の共有プロセッサよって、またはその一部が共有され得る複数の個別のプロセッサよって提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することが可能なハードウェアのみを指していると解釈されるべきでなく、これらには限られないがデジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを格納するためのリードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、および不揮発性ストレージ暗示的に含んでいる。

0025

他のハードウェア、従来および/またはカスタムされたものなども含まれうる。同様に、図面に示される全てのスイッチは単に概念的なものである。そのスイッチの機能を、プログラムロジックオペレーションを介して、プログラム制御と専用ロジックインタラクションを介して、あるいは手動でも実行することができ、特定の技法を、状況からより具体的に理解されるように実装者が選択することができる。

0026

特許請求の範囲の記載において、特定の機能を実行するための手段として表現される任意の要素は、例えば、a)その機能を実行する回路要素の組合せ、またはb)その機能を実行するソフトウェアを実行するための適切な回路と組み合わされたファームウェアマイクロコードなどを含め、その機能を実行する任意の手段を含むことが意図される。特許請求の範囲によって定義される本発明は、記載される様々な手段よって提供される機能性が、該特許請求の範囲において要求される形で組み合わせて結合されることにある。それら機能性を提供することができる他の手段も本明細書内に示されるものと均等であると見なされる。

0027

ステレオマッチングは、複数の立体イメージ、例えば左目ビューイメージと右目ビューイメージから奥行マップを推側する標準的な方式である。従来のオートステレオスコピックディスプレイにおける3D再生は、奥行マップの平滑性が、結果の3D再生の見た目に顕著に影響を及ぼすことを示している。非平滑的な奥行マップはしばしば、3D再生にジグザク状エッジを生じさせ、これは、精度の低い奥行値を有する平滑な奥行マップの再生よりも視覚的に悪い。したがって、3D表示および再生アプリケーションにとって、奥行マップの平滑性は奥行の精度よりも重要である。さらに、グローバル最適化ベースのアプローチが、3D表示アプリケーションにおける奥行推定には必要である。

0028

立体イメージからの奥行推定には、計算コストと奥行マップの精度とのバランスをとることも重要である。本発明は、走査線最適化アルゴリズムまたは機能(例えば、走査線動的プログラミングまたは走査線信念伝搬)の実行後に、領域ベースのフィルタリング事後処理ステップを用いることでこの問題に対処しており、そして、両方法は低コストのアルゴリズムまたは機能である。

0029

本開示のシステムおよび方法は、領域ベースのフィルタリングを走査線アルゴリズムまたは機能の後に適用する。走査線アルゴリズムは、1度に1つの走査線について2つのイメージ間の奥行値を推定する。典型的に平滑性制約は、水平方向に沿って課されるだけである。走査線アルゴリズムまたは機能が実行された後、奥行マップは、垂直方向に沿った平滑性制約の欠如に起因して縞状アーティファクトを生じる(図5Bを参照されたい)。本開示のシステムおよび方法は、領域ベースの平滑化アルゴリズムまたは機能を適用して、領域境界を概ね保ちつつも縞状のアーティファクトを低減する。

0030

本システムおよび方法はさらに、第1のイメージ内の少なくとも1つの点と第2のイメージ内の対応する少なくとも1つの点のそれぞれに対して、推定された視差から視差マップを生成し、該視差マップの視差値の逆数をとることよって視差マップを奥行マップに変換する。奥行マップまたは視差マップを、次いで3D再生のための立体イメージのペアを用いて利用することができる。

0031

次に図面を参照すると、図1には、本開示の一実施形態にかかる例示的なシステムコンポーネントが示されている。例えばカメラの元のフィルムのネガ(negative)などのフィルムプリント104をスキャンして、例えばシネオンCineon)フォーマットまたは映画テレビ技術者協会(SMPTE:Society of Motion Picture and Television Engineers)のDPX(Digital Picture Exchange)ファイルなどのデジタルフォーマットにするためのスキャン装置103が提供されている。スキャン装置103は、例えばビデオ出力を有するArri LocPro(商標登録)などの、フィルムからビデオ出力を生成するテレシネ(telecine)または任意の装置を備えることができる。代替的には、撮影後のプロセス(post production process)からのフィルムまたはデジタルシネマ106(例えば、既にコンピュータ読取可能な形式となっているファイル)を直接使用することもできる。コンピュータ読取可能なファイルの潜在的なソースは、AVIエディタ(商標登録)、DPXファイル、D5テープなどである。

0032

スキャンされたフィルムプリントは、後処理装置(post-processing device)102、例えばコンピュータに入力される。該コンピュータは、1つまたは複数の中央処理ユニット(CPU)などのハードウェアと、ランダムアクセスメモリ(RAM)および/またはリードオンリーメモリ(ROM)などのメモリ110と、キーボードカーソル制御装置(例えばマウスジョイスティック)およびディスプレイ装置などの入出力(I/O)ユーザインタフェース112とを有する様々な公知のコンピュータプラットフォームのいずれにおいても実装される。該コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードも含む。本明細書において説明される様々な処理および機能は、該オペレーティングシステムを介して実行されるマイクロ命令コードの一部、またはソフトウェア・アプリケーションプログラムの一部(あるいはそれらの組合せ)のいずれかとすることができる。一実施形態において、該ソフトウェア・アプリケーションプログラムは、後処理装置102などの任意の適切な機械アップロードされ該機械によって実行されうる、プログラム記憶装置上に有形的な具現化される。さらに、様々な他の周辺装置を、パラレルポートシリアルポートまたはユニバーサルシリアルバス(USB)などの様々なインタフェースおよびバス構造によって、コンピュータプラットフォームに接続することができる。他の周辺装置には、追加の記憶装置124およびプリンタ128などが含まれる。プリンタ128は、例えば、立体版(stereoscopic version)フィルムなどの修正版(revised version)フィルム126をプリントするのに使用することができ、この場合該フィルムでは、1つまたは複数のシーンが、後述される技術の結果として3Dモデル化されたオブジェクトを使用して代替され、または置換されている。

0033

代替的に、既にコンピュータ読取可能な形式となっているファイル/フィルムプリント106(例えば、外部ハードドライブ124上に記憶することができるデジタルシネマ)を、コンピュータ102に直接入力することができる。なお、本明細書において使用される用語「フィルム」は、フィルムプリントまたはデジタルシネマを指すことに留意されたい。

0034

ソフトウェアプログラムは、少なくとも2つのイメージから奥行情報を抽出するための、メモリ110に格納される奥行抽出(depth extraction)モジュール114を含む。奥行抽出モジュール114はさらに、第1のイメージ内の少なくとも1つの点と第2のイメージ内の対応する少なくとも1つの点(例えば立体的なペア)の視差を推定し、そして第1のイメージ内の少なくとも1つの点と第2のイメージ内の対応する少なくとも1つの点の各々に対して推定された視差から視差マップを生成するように構成された、視差推定器(disparity estimator)116を含む。視差推定器116は、第1および第2のイメージのピクセルを平滑性コスト関数(smoothness cost function)134と合致させて平滑性制約を視差推定に適用する、ピクセルマッチングコスト関数(pixel matching cost function)132を含む。視差推定器116はさらに、信念伝搬アルゴリズムもしくは関数136および/または動的プログラミングアルゴリズムもしくは関数138を含み、2つのイメージ間の最適な視差が得られるようにピクセルマッチングコスト関数および平滑性コスト関数を最小化する。これらのコスト関数を最小化するための任意の公知の最適化アルゴリズムもしくは関数を利用することができ、信念伝搬または動的プログラミングは、単に例示的な最適化機能の2つの例に過ぎないことを理解されたい。

0035

2Dイメージから領域またはオブジェクトをセグメント化するための領域セグメント化(region segmentation)モジュール118が提供されている。視差マップのセグメント化された領域内のピクセルをフィルタリングするための平滑化フィルタ(smoothing filter)120が提供されている。一実施形態において、平滑化フィルタ120は、ガウス(Gaussian)関数を離散化して、水平および垂直フィルタリングのためのフィルタカーネルを生成する。ガウス関数の分散を調節することよって、フィルタリングの平滑性の度合いを制御することができる。ボックス関数などの他の関数を使用してフィルタカーネルを生成することができることを認識されたい。

0036

奥行抽出モジュール114はさらに、視差マップの視差値の逆数をとることよって視差マップを奥行マップに変換するための奥行マップ生成器(depth map generator)122を含む。

0037

図2は、本開示の一態様にしたがって、少なくとも2つの2次元(2D)イメージから奥行情報を抽出するための例示的な方法のフローチャートである。初めに、後処理装置102は、少なくとも2つの2Dイメージ、例えば左目のビューと右目のビューを用いて立体イメージのペアを取得する(ステップ202)。後処理装置102は、コンピュータ読取可能なフォーマットのデジタルマスタイメージファイルを取得することよって、その少なくとも2つの2Dイメージを得ることができる。該デジタルビデオファイルは、デジタルカメラを用いて時系列動画イメージキャプチャすることによって得ることができる。代替的には、従来のフィルムタイプのカメラを用いてビデオシーケンスをキャプチャすることもできる。このシナリオでは、フィルムはスキャン装置103を介してスキャンされる。

0038

フィルムがスキャンされるかどうか、または既にデジタルフォーマットであるかどうかに関わらず、フィルムのデジタルファイルは、フレームの位置に関する指示(indication)または情報、例えば、フレームの番号、フィルムの開始からの時間を含むであろうことを認識されたい。デジタルイメージファイルの各フレームは、1つのイメージ、例えばI1、I2、..Inを含むこととなる。

0039

立体イメージを、同じ設定の2つのカメラによって撮ることができる。同じ焦点距離、同じ焦点高さ、および平行な焦点面を有するように、その2つのカメラをキャリブレートするか、または、その立体イメージを、該立体イメージがあたかも平行な焦点面を有するカメラよって撮られたかのように公知のカメラパラメータに基づいて歪曲させる必要がある。この歪曲処理(warping process)は、カメラのキャリブレーションおよびカメラ調節(rectification)を含む。キャリブレーションおよび調節プロセスでは、立体イメージのエピポーラ線(epipolar line)を、該エピポーラ線がちょうど該イメージの水平な走査線になるように調節する。対応する点はエピポーラ線に沿って見つかるので、調節プロセスは、対応する点の検索を走査線に沿った検索のみに簡略化し、これにより計算コストがかなり低減される。対応する点は、同一シーンの点に対応するイメージ内のピクセルである。

0040

次に、ステップ204において、視差マップが、視差推定器116を介してシーン内の全ての点毎に推定される。全てのシーンの点に対する視差は、左目のイメージおよび右目のイメージ内の合致した点の相対距離として算出される。例えば、左目イメージ内の点の水平座標がxであり、右目イメージ内の対応する点の水平座標がx’である場合、視差d=x’−xである。続いて、あるシーンの点の視差値dは、該シーンの点からカメラまでの距離である奥行値zに、式:z=Bf/d を使用して変換される。この式において、Bは、ベースラインとも称される2つのカメラの間の距離であり、fは、カメラの焦点距離であり、以下で詳細を説明する。

0041

全てのステレオマッチングアルゴリズムの思想は、左目イメージ内のピクセルと右目イメージ内のピクセルとを合致させることである。しかし、修正されたピクチャのペアでは、合致したピクセル間のずれは、水平方向のみで起こる。したがって、水平方向に沿ったピクセルのみ検索する必要がある。ステレオマッチングアルゴリズムまたは機能では、通常、平滑性制約が課せられるので、イメージ内のテクスチャを有しないエリアは、近くのテクスチャを有するピクセルからその奥行値を取得することができる。平滑性制約を用いるピクセルマッチングを、以下のようにコスト関数と結合することができる。

0042

0043

上記(1)において、Dは、奥行マップ(または視差マップ)であり、MatchCostは、奥行マップに従ったピクセルマッチングの全コストであり、SmoothCostは、隣接するピクセル間の平滑性の全コストであり、λは、マッチングコストおよび平滑性コストの重要性重み付けに使用される係数である。

0044

奥行推定の問題は、したがって、上記コスト関数を奥行マップに対して最小化することである。Dが、2Dイメージ平面全体において定義される場合、これは集中的な計算および高い計算コストを要する2D最適化問題である。修正された立体イメージペアの性質に起因して、上記コスト関数を各イメージ走査線において定義し、各走査線における該コスト関数を最小化することができる。したがって、2D最適化問題を、効率的に解決することができる複数の1次元最適化問題に変換することができる。動的プログラミング関数138は、上記コスト関数の最小の解を効率的に発見するのに使用される例示的なアルゴリズムまたは機能であり、信念伝搬関数136も同様の目的で1D版に変更することができる。しかし、走査線最適化の主な問題は、垂直の平滑性制約の欠如に起因する「縞状」アーティファクトである(図5Bを参照されたい)。奥行マップが、2D+奥行3Dディスプレイ上で2Dイメージとともに再生されるとき、「ストライプ」アーティファクトが厄介ジッター(jittering)を生じさせる。

0045

アーティファクトを低減するために、本開示のシステムおよび方法は、結果として生じる視差マップに平滑化フィルタを適用する。しかし、平滑化フィルタは通常、好ましくないことに視差マップにおけるオブジェクトの奥行境界を不鮮明にする。本開示のシステムおよび方法は、領域内の平滑化プロセスを抑制する。ほとんどの場合、視差の不連続性は垂直方向に沿って起こるので、水平方向よりも垂直方向にかなり強い平滑化フィルタ、すなわち異方性のフィルタを使用する。フィルタ120のガウス関数の分散を調整することよって、これを達成することができる。より高い分散は、より強い平滑化フィルタをもたらす。フィルタリングプロセススピードアップさせるために、フィルタは、垂直の1Dフィルタリングが後続する水平の1Dフィルタリングによって実現される、分離可能なフィルタとすることができる。例えば、水平方向のフィルタリングが、第1の分散を有するガウス関数によって実行され、垂直方向のフィルタリングが、第2の分散を有するガウス関数によって実行されるが、ここで該第2の分散は、上記第1の分散より大きいので、これにより、水平方向よりも垂直方向でより良く平滑化効果が生じることとなる。一例示的な実施形態では、イメージサイズが960×540の場合、水平フィルタの分散を2.0であり、垂直フィルタの分散を4.0とすることができる。

0046

領域ベースのフィルタリングを実行するために、立体のペアの少なくとも一方のイメージを少なくとも1つの領域にセグメント化する。図2を再び参照すると、ステップ206において、立体のペアのうち基準イメージ、例えば、左目ビューイメージを取得する。典型的には左目ビューイメージが基準イメージであるが、他の実施形態において右目ビューイメージを用いることもある。ステップ208において、そのイメージが、領域セグメント化モジュール118によって複数の領域にセグメント化される。領域へのセグメント化は、イメージを重なり合わない領域に区分することができる任意の従来の領域セグメント化アルゴリズムまたは機能によって実装することができる。例示的な領域検出(region-detection)アルゴリズムまたは機能は、平均シフト(mean-shift)アルゴリズムとして知られている。平均シフトアルゴリズムの利点は、領域の数を予め指定する必要がないことである。すなわち、このアルゴリズムは、領域の数をセグメント化プロセス中に自動的に発見することができる。領域セグメント化の結果の一例が図5Cに示されている。

0047

イメージの領域が決定されると、ステップ210で、該イメージの領域に基づいて、視差マップが平滑化フィルタ120を介してフィルタリングされる。セグメント化された領域に基づいて視差マップをフィルタリングする方法を、図3および4に関連して説明する。

0048

領域ベースの平滑化スキームでは、領域内のピクセル302毎に、マスクブロックサブイメージ304が生成され、そのピクセルは、指定されたピクセルの隣接ピクセルである。ブロックのサイズはフィルタのサイズによって決定される。したがって、最初にステップ402においてフィルタサイズが選択される。ステップ404において、フィルタサイズ308に基づいてマスクブロックサブイメージ304が作成される。例えば、水平フィルタのタップ(tap)が6であり、垂直フィルタのタップが4であるとき、ブロックは、4×6=24ピクセルを有する長方形である。ステップ406において、少なくとも1つのピクセルが少なくとも1つのセグメント化された領域内で選択され、次いでステップ408において、マスクブロックサブイメージがこのブロックにおいて作成される。マスクブロックサブイメージが視差マップに適用されると、ピクセルの強度値(intensity value)は、該ピクセルが領域境界306内部または内側にある場合には1に設定され、一方、図3に示されるようにピクセルが領域境界の外側にある場合には該ピクセルの強度値は0に設定される。

0049

フィルタリングプロセスは、ステップ410において、先に水平フィルタを適用し、次いで垂直フィルタを適用することによって実現される。垂直および水平フィルタリングの両方にマスクブロックサブイメージの強度値で重み付けをするので、領域境界306の外側のピクセルは、結果として得られる平滑化された視差値に対して影響を及ぼさない。異なる形式の水平および垂直フィルタを使用することができる。一実施形態ではガウスフィルタが使用される。このフィルタは、所定の分散を有する1Dガウス関数をサンプリングすることよって生成され、指定のフィルタタップまで切り捨てられる。より微細さを保つために、垂直フィルタの分散は水平フィルタの分散よりも非常に高く、したがってこれは垂直方向をより積極的に平滑化する。ガウス関数の分散は、経験的に決定され、システム全体の入力パラメータとすることができる。例えば、イメージサイズ960×540の場合、水平フィルタの分散を2.0とし、垂直フィルタの分散を4.0とすることができる。

0050

図2を再び参照すると、ステップ212において、フィルタリングされた視差マップが奥行マップ生成器122を介して奥行マップに変換される。シーンの点毎の視差値dが、奥行値z、すなわちシーンの点からカメラまでの距離に、式:z=Bf/d を使用して変換され、ここでBは、ベースラインとも称される2つのカメラの間の距離であり、fは、カメラの焦点距離である。例えば左目ビューイメージである少なくとも1つのイメージ毎の奥行値が、奥行マップに記憶される。対応するイメージおよび関連する奥行マップは、例えば記憶装置124に記憶され、そして3D再生のために取り出される(ステップ214)。さらに、動画またはビデオクリップの全てのイメージを、関連する奥行マップとともに、立体版の動画またはクリップを表す単一のデジタルファイル130として格納することができる。デジタルファイル130を、例えば元のフィルムの立体版を印刷するためなど後で取り出すために、記憶装置124に格納することができる。

0051

本発明のシステムおよび方法によって処理されるイメージが、図5Aおよび5C〜5Dに図示されているが、図5Aは2次元(2D)入力イメージを図示している。図5Bは、従来の走査線動的プログラミングによって処理された結果の奥行マップであり、縞状アーティファクトを示している。図5Cは、図5Aに示されるイメージが領域セグメント化された結果のイメージであり、図5Dは、本開示のシステムおよび方法にしたがって処理された平滑化された奥行マップで図示しており、図5Cでセグメント化された領域に基づいてフィルタリングが実行されている。図5Bおよび5Dの奥行マップを比較すると、本開示のシステムおよび方法は、図5Dに示されるようにオブジェクト間の奥行境界をより多く維持しつつも、縞状アーティファクトを効果的に不鮮明にしている。

0052

本開示による教示を取り入れる実施形態を、本明細書で示し詳細に説明してきたが、当業者は、これらの教示を取り入れた多くの他の変形の実施形態を容易に考案し得るであろう。(限定ではなく例示として意図される)少なくとも2つのイメージから奥行情報を抽出するためのシステムおよび方法に関する好適な実施形態を説明してきたが、上記教示を踏まえて当業者は修正および変更を行うことができることに留意されたい。したがって、開示された本発明の特定の実施形態に対して、特許請求の範囲で画定される本発明の範囲内で変更を行うことできることを理解されたい。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ