図面 (/)

技術 二次元/三次元再生モード決定方法及び装置

出願人 サムスンエレクトロニクスカンパニーリミテッド
発明者 キム,ヨン-テパク,サン-ムキム,デ-シク
出願日 2009年5月19日 (11年7ヶ月経過) 出願番号 2011-523729
公開日 2012年1月5日 (8年11ヶ月経過) 公開番号 2012-500549
状態 特許登録済
技術分野 立体TV及びTVの試験,検査,測定等
主要キーワード 周囲フレーム 変移値 三次元フォーマット 判別段階 特性変数 所定臨界値 変移ベクトル 現在領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年1月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題・解決手段

映像シーケンスが入力され、映像シーケンスのうち現在映像二次元映像及び三次元映像のうちいずれか一つであるかを判別し、映像シーケンスの再生モードを二次元再生モード及び三次元再生モードのうち判別結果に対応する一つに決定する二次元/三次元再生モード方法である。

概要

背景

二次元映像シーケンスは、1つの視点から撮影された映像によって構成されているが、三次元映像シーケンスは、2以上の視点から撮影された映像によって構成されている。特に、左右視点の映像によって構成された三次元映像シーケンスは、ユーザの左目及び右目に像を結ばせる三次元再生機器を介して三次元再生されうる。

現在、三次元再生機器は、入力された三次元映像フォーマットを三次元で再生できるが、二次元映像シーケンスを入力されるときには、二次元再生も可能である。所定の三次元再生機器は、入力される映像シーケンスから、二次元または三次元で再生されるかを示すパラメータまたはフラグ(flag)を抽出して再生方式を決定できる。

概要

映像シーケンスが入力され、映像シーケンスのうち現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別し、映像シーケンスの再生モードを二次元再生モード及び三次元再生モードのうち判別結果に対応する一つに決定する二次元/三次元再生モード方法である。

目的

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

次元または三次元再生モードを決定する方法において、現在映像を含む映像シーケンスが入力される段階と、前記現在映像が二次元映像または三次元映像であるかを判別する段階と、前記現在映像が二次元及び三次元映像であるかを判別した結果に基づいて、前記映像シーケンスの再生モードを、二次元再生モードまたは三次元再生モードと決定する段階と、を含むことを特徴とする二次元/三次元再生モード決定方法

請求項2

前記二次元/三次元映像の判別段階は、前記映像シーケンスのうち現在映像の周囲映像を基に、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階を含むことを特徴とする請求項1に記載の二次元/三次元再生モード決定方法。

請求項3

前記二次元/三次元映像の判別段階は、前記映像シーケンスのうち現在映像の周囲映像及び前記現在映像の特性変数を決定する段階と、前記周囲映像及び前記現在映像のうち2つの映像の特性変数間の変化度を計算する段階と、前記変化度の比率を基に、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階と、をさらに含むことを特徴とする請求項2に記載の二次元/三次元再生モード決定方法。

請求項4

前記二次元/三次元再生モード決定方法は、前記決定された特性変数を保存する段階と、前記2つの映像の特性変数間の変化度を計算するために、前記保存された特性変数を抽出する段階と、をさらに含むことを特徴とする請求項3に記載の二次元/三次元再生モード決定方法。

請求項5

前記周囲映像は、前記現在映像の以前映像と次の映像とを含み、前記二次元/三次元再生モード決定方法は、前記特性変数として、前記以前映像の第1統計値、前記現在映像の第2統計値、及び前記次の映像の第3統計値を決定する段階と、前記第1統計値及び前記第2統計値の差の絶対値として第1変化度、前記第2統計値及び前記第3統計値の差の絶対値として第2変化度、及び前記第1統計値及び前記第3統計値の差の絶対値として第3変化度を計算する段階と、前記第3変化度に対する前記第1変化度と前記第2変化度との和の比率を計算する段階と、を含むことを特徴とする請求項3に記載の二次元/三次元再生モード決定方法。

請求項6

前記統計値決定段階は、前記統計値として、前記映像シーケンスのそれぞれの映像の所定領域に係わる平均、分散及び標準偏差のうち一つを利用することを特徴とする請求項5に記載の二次元/三次元再生モード決定方法。

請求項7

前記周囲映像は、前記現在映像の以前映像と次の映像とを含み、前記二次元/三次元再生モード決定方法は、それぞれの映像の現在領域に対する変移を基に、前記現在映像の変移は、前記以前映像の所定領域に係わる前記現在映像の所定領域の変移を示すとき、前記以前映像の第1変移ベクトル、前記現在映像の第2変移ベクトル、前記次の映像の第3変移ベクトルを決定する段階と、前記特性変数として、前記第1変移ベクトルを利用した第1変移数値、前記第2変移ベクトルを利用した第2変移数値、前記第3変移ベクトルを利用した第3変移数値を決定する段階と、前記第1変移数値及び前記第2変移数値の差の絶対値である第1変化度、前記第2変移数値及び前記第3変移数値の差の絶対値である第2変化度、前記第1変移数値及び前記第3変移数値の差の絶対値である第3変化度を計算する段階と、前記第3変化度に対する前記第1変化度と前記第2変化度との和の比率を計算する段階と、を含むことを特徴とする請求項3に記載の二次元/三次元再生モード決定方法。

請求項8

前記変移数値の決定段階は、前記以前映像の第1変移ベクトルのうち正の第1変移ベクトルを有するブロックの個数に対する負の第1変移ベクトルを有するブロックの個数の比率を示す第1変移数値、前記現在映像の第2変移ベクトルのうち正の第2変移ベクトルを有するブロックの個数に対する負の第2変移ベクトルを有するブロックの個数の比率を示す第2変移数値、前記次の映像の第3変移ベクトルのうち正の第3変移ベクトルを有するブロックの個数に対する負の第3変移ベクトルを有するブロックの個数の比率を示す第3変移数値を決定する段階を含むことを特徴とする請求項7に記載の二次元/三次元再生モード決定方法。

請求項9

前記現在映像の二次元/三次元映像の判別段階は、前記変化度の比率が所定臨界値より大きいか、あるいはそれと同じであるならば、前記現在映像を三次元映像と決定し、前記特性変数の比率が所定臨界値より小さければ、前記現在映像を二次元映像と決定する段階をさらに含むことを特徴とする請求項3に記載の二次元/三次元再生モード決定方法。

請求項10

前記二次元/三次元再生モード決定段階は、前記二次元映像及び三次元映像のうちいずれか一つと判別された映像シーケンスのうち、前記現在映像の判別結果が、所定個数の周囲映像の判別結果と異なる場合、前記現在映像の再生モードを、前記周囲映像の再生モードと同じ再生モードに変換する段階を含むことを特徴とする請求項2に記載の二次元/三次元再生モード決定方法。

請求項11

前記二次元/三次元再生モード決定方法は、前記現在映像が二次元再生モードと決定された場合、前記映像シーケンスを、二次元映像フォーマットで構成して出力する段階をさらに含むことを特徴とする請求項1に記載の二次元/三次元再生モード決定方法。

請求項12

前記二次元/三次元再生モード決定方法は、前記映像シーケンスが三次元再生モードと決定された場合、サイドバイサイド・フォーマット、トップボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマット、フレームシーケンシャル・フォーマット及びフィールドシーケンシャル・フォーマットのうち少なくともいずれか一つによって、互いに対応する左視点映像及び右視点映像を1つのフレームで構成する段階と、前記構成されたフレームを出力する段階と、をさらに含むことを特徴とする請求項1に記載の二次元/三次元再生モード決定方法。

請求項13

二次元または三次元再生モードを決定する装置は、現在映像を含む映像シーケンスが入力される映像入力部と、前記映像が二次元映像または三次元映像であるかを判別する二次元/三次元映像判別部と、前記映像が二次元映像または三次元映像であるかを判別した結果に基づいて、前記映像シーケンスの再生モードを二次元または三次元再生モードと決定する二次元/三次元再生モード決定部と、を含むことを特徴とする二次元/三次元再生モード決定装置

請求項14

前記二次元/三次元映像判別部は、前記映像シーケンスのうち現在映像の周囲映像を基に、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別することを特徴とする請求項13に記載の二次元/三次元再生モード決定装置。

請求項15

前記二次元/三次元映像判別部は、前記映像シーケンスのうち現在映像の周囲映像及び前記現在映像の特性変数を決定する特性変数決定部と、前記周囲映像及び前記現在映像のうち2つの映像の特性変数間の変化度を計算する変化度計算部と、前記変化度の比率を基に、前記現在映像を二次元映像または三次元映像であるかを判別する変化度比率判別部と、を含むことを特徴とする請求項14に記載の二次元/三次元再生モード決定装置。

請求項16

前記二次元/三次元再生モード決定装置は、前記決定された特性変数を保存する保存部をさらに含むことを特徴とする請求項15に記載の二次元/三次元再生モード決定装置。

請求項17

前記周囲映像は、前記現在映像の以前映像と次の映像とを含み、前記二次元/三次元再生モード決定装置は、前記特性変数として、前記以前映像の第1統計値、前記現在映像の第2統計値、及び前記次の映像の第3統計値を決定する統計値決定部と、前記変化度計算部は、前記第1統計値及び前記第2統計値の差の絶対値である第1変化度、前記第2統計値及び前記第3統計値の差の絶対値である第2変化度、及び前記第1統計値及び前記第3統計値の差の絶対値である第3変化度を計算する統計値変化度計算部と、前記変化度比率判別部は、前記第3変化度に対する前記第1変化度と前記第2変化度との和の比率を計算する統計値変化度比率計算部と、を含むことを特徴とする請求項15に記載の二次元/三次元再生モード決定装置。

請求項18

前記統計値決定部は、前記統計値として、それぞれの映像の所定領域に係わる平均、分散及び標準偏差のうち一つを利用することを特徴とする請求項17に記載の二次元/三次元再生モード決定装置。

請求項19

前記周囲映像は、前記現在映像の以前映像と次の映像とを含み、前記二次元/三次元再生モード決定装置は、それぞれの映像の所定領域に対する変移を基に、前記映像の変移は、前記現在映像の以前映像の所定領域に係わる前記現在映像の所定領域の変移を示すとき、前記現在映像の以前映像の第1変移ベクトル、前記現在映像の第2変移ベクトル、前記現在映像の次の映像の第3変移ベクトルを決定する変移ベクトル決定部と、前記特性変数として、前記第1変移ベクトルを利用した第1変移数値、前記第2変移ベクトルを利用した第2変移数値、前記第3変移ベクトルを利用した第3変移数値を決定する変移数値決定部と、前記第1変移数値及び前記第2変移数値の差の絶対値である第1変化度、前記第2変移数値及び前記第3変移数値の差の絶対値である第2変化度、前記第1変移数値及び前記第3変移数値の差の絶対値である第3変化度を計算する変移数値変化度計算部と、前記第3変化度に対する前記第1変化度と前記第2変化度との和の比率を計算する変移数値変化度比率計算部と、を含むことを特徴とする請求項15に記載の二次元/三次元再生モード決定装置。

請求項20

前記変移数値決定部は、前記以前映像の第1変移ベクトルのうち正の第1変移ベクトルを有するブロックの個数に対する負の第1変移ベクトルを有するブロックの個数の比率を示す第1変移数値と、前記現在映像の第2変移ベクトルのうち正の第2変移ベクトルを有するブロックの個数に対する負の第2変移ベクトルを有するブロックの個数の比率を示す第2変移数値と、前記次の映像の第3変移ベクトルのうち正の第3変移ベクトルを有するブロックの個数に対する負の第3変移ベクトルを有するブロックの個数の比率を示す第3変移数値と、を決定するブロック個数比率計算部を含むことを特徴とする請求項19に記載の二次元/三次元再生モード決定装置。

請求項21

前記変化度比率判別部は、前記変化度の比率が所定臨界値より大きいか、あるいはそれと同じであるならば、前記現在映像を三次元映像と決定し、前記特性変数の比率が所定臨界値より小さければ、前記現在映像を二次元映像と決定する変化度比率比較部を含むことを特徴とする請求項15に記載の二次元/三次元再生モード決定装置。

請求項22

前記二次元/三次元再生モード決定部は、前記二次元映像及び三次元映像のうちいずれか一つと判別された映像シーケンスのうち、前記現在映像の判別結果が、所定個数の周囲映像の判別結果と異なる場合、前記現在映像の再生モードを、前記周囲映像の再生モードと同じ再生モードに変換する再生モード変換部をさらに含むことを特徴とする請求項14に記載の二次元/三次元再生モード決定装置。

請求項23

前記二次元/三次元再生モード決定装置は、前記映像シーケンスが二次元再生モードと決定された場合、前記映像シーケンスを二次元映像フォーマットで構成して出力する二次元再生モード出力部をさらに含むことを特徴とする請求項13に記載の二次元/三次元再生モード決定装置。

請求項24

前記二次元/三次元再生モード決定装置は、前記映像シーケンスが三次元再生モードと決定された場合、サイドバイサイド・フォーマット、トップボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマット、フレームシーケンシャル・フォーマット及びフィールドシーケンシャル・フォーマットのうち少なくともいずれか一つによって、互いに対応する左視点映像及び右視点映像を1つのフレームで構成して出力する三次元フォーマット出力部をさらに含むことを特徴とする請求項13に記載の二次元/三次元再生モード決定装置。

請求項25

映像の再生モードを決定する方法を具現するために、コンピュータで実行可能なプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記映像再生モード決定方法は、現在映像を含む映像シーケンスが入力される段階と、前記現在映像が二次元または三次元映像であるかを判別する段階と、前記現在映像が二次元または三次元映像であるかを判別した結果に基づいて、前記映像シーケンスの再生モードを二次元または三次元再生モードと決定する段階と、を含むことを特徴とする記録媒体。

技術分野

0001

本発明は、二次元(2D)映像及び三次元(3D)映像の再生に関する。

背景技術

0002

二次元映像シーケンスは、1つの視点から撮影された映像によって構成されているが、三次元映像シーケンスは、2以上の視点から撮影された映像によって構成されている。特に、左右視点の映像によって構成された三次元映像シーケンスは、ユーザの左目及び右目に像を結ばせる三次元再生機器を介して三次元で再生されうる。

0003

現在、三次元再生機器は、入力された三次元映像フォーマットを三次元で再生できるが、二次元映像シーケンスを入力されるときには、二次元再生も可能である。所定の三次元再生機器は、入力される映像シーケンスから、二次元または三次元で再生されるかを示すパラメータまたはフラグ(flag)を抽出して再生方式を決定できる。

発明が解決しようとする課題

0004

本発明は、映像シーケンスの二次元/三次元再生モードを決定するためのものある。

課題を解決するための手段

0005

本発明の一実施形態による二次元/三次元再生モード決定方法は、映像シーケンスが入力される段階と、前記映像シーケンスのうち、現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階と、前記判別結果に基づいて、前記現在映像の再生モードを二次元再生モード及び三次元再生モードのうちいずれか一つに決定する段階と、を含む。

0006

一実施形態による二次元/三次元映像の判別段階は、前記映像シーケンスのうち現在映像の周囲映像を利用し、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階を含むことができる。

0007

一実施形態による二次元/三次元映像の判別段階は、前記現在映像の周囲映像と、前記現在映像の特性変数とを決定する段階と、前記周囲映像及び前記現在映像のうち2つの映像の特性変数間の変化度を計算する段階と、前記変化度の比率を利用し、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階と、を含むことができる。

0008

一実施形態による前記二次元/三次元映像の判別段階は、前記決定された特性変数を保存する段階をさらに含み、前記変化度の決定段階は、前記2つの映像の特性変数間の変化度を計算するために、前記保存された特性変数を呼び出す段階を含むことができる。

0009

一実施形態による前記特性変数の決定段階は、前記前記現在映像の以前映像の第1統計値、前記現在映像の第2統計値、及び前記現在映像の次の映像の第三統計値を決定する段階を含み、前記変化度の決定段階は、前記第1統計値及び前記第2統計値の差の絶対値である第1変化度、前記第2統計値及び前記第3統計値の差の絶対値である第2変化度、及び前記第1統計値及び前記第3統計値の差の絶対値である第3変化度を計算する段階を含み、前記現在映像の二次元/三次元映像の判別段階は、前記第3変化度に対する前記第1変化度と前記第2変化度との和の比率を計算する段階を含むことができる。

0010

一実施形態による前記統計値決定段階は、前記統計値として、それぞれの映像の所定領域に係わる平均、分散及び標準偏差のうち一つを利用できる。

0011

一実施形態による前記特性変数の決定段階は、それぞれの映像の所定領域に対する変移(disparity)を利用し、前記所定映像の所定領域に対する変移は、前記所定映像の以前映像の所定領域に係わる前記所定映像の所定領域の変移を示すとき、前記現在映像の以前映像の第1変移ベクトル、前記現在映像の第2変移ベクトル、前記現在映像の次の映像の第3変移ベクトルを決定する段階と、前記特性変数として、前記第1変移ベクトルを利用した第1変移数値、前記第2変移ベクトルを利用した第2変移数値、前記第3変移ベクトルを利用した第3変移数値を決定する段階と、を含み、前記変化度の決定段階は、前記第1変移数値及び前記第2変移数値の差の絶対値である第1変化度、前記第2変移数値及び前記第3変移数値の差の絶対値である第2変化度、前記第1変移数値及び前記第3変移数値の差の絶対値である第3変化度を計算する段階を含み、前記現在映像の二次元/三次元映像の判別段階は、前記第3変化度に対する前記第1変化度と前記第2変化度との和の比率を計算する段階を含むことができる。

0012

一実施形態による前記変移数値の決定段階は、前記以前映像の第1変移ベクトルのうち正の第1変移ベクトルを有するブロックの個数に対する負の第1変移ベクトルを有するブロックの個数の比率を示す第1変移数値、前記現在映像の第2変移ベクトルのうち正の第2変移ベクトルを有するブロックの個数に対する負の第2変移ベクトルを有するブロックの個数の比率を示す第2変移数値、前記次の映像の第3変移ベクトルのうち正の第3変移ベクトルを有するブロックの個数に対する負の第3変移ベクトルを有するブロックの個数の比率を示す第3変移数値を決定する段階を含むことができる。

0013

一実施形態による前記現在映像の二次元/三次元映像の判別段階は、前記変化度の比率が所定臨界値より大きいか、あるいはそれと同じであるならば、前記現在映像を三次元映像と決定し、前記特性変数の比率が所定臨界値より小さければ、前記現在映像を二次元映像と決定できる。

0014

一実施形態による前記二次元/三次元再生モード決定段階は、前記二次元映像及び三次元映像のうちいずれか一つと判別された映像シーケンスのうち、前記現在映像の判別結果が、所定個数の周囲映像の判別結果と異なる場合、前記現在映像の再生モードを、前記周囲映像の再生モードと同じ再生モードに変換する段階をさらに含むことができる。

0015

一実施形態による前記二次元/三次元再生モード決定方法は、前記現在映像が二次元再生モードと決定された場合、前記現在映像を二次元映像フォーマットで出力する段階をさらに含むことができる。

0016

一実施形態による前記二次元/三次元再生モード決定方法は、前記映像シーケンスが三次元再生モードと決定された場合、サイドバイサイド・フォーマット(side-by-side format)、トップボトム・フォーマット(top-bottom format)、垂直ラインインターリーブド・フォーマット(vertical line-interleaved format)、水平ラインインターリーブド・フォーマット(horizontal line-interleaved format)、フレームシーケンシャル・フォーマット(frame sequential format)及びフィールドシーケンシャル・フォーマット(field sequential format)のうち少なくともいずれか一つによって、互いに対応する左視点映像及び右視点映像を1つのフレームで構成して出力する段階をより含むことができる。

0017

本発明の一実施形態による二次元/三次元再生モード決定装置は、映像シーケンスが入力される映像入力部と、前記映像シーケンスのうち現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する二次元/三次元映像判別部と、前記判別結果に基づいて、前記現在映像の再生モードを二次元再生モード及び三次元再生モードのうちいずれか一つに決定する二次元/三次元再生モード決定部と、を含む。

0018

一実施形態による前記二次元/三次元映像判別部は、前記映像シーケンスのうち現在映像の周囲映像を利用し、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別することができる。

0019

一実施形態による前記二次元/三次元映像判別部は、前記現在映像の周囲映像と、前記現在映像の特性変数とを決定する特性変数決定部と、前記周囲映像及び前記現在映像のうち2つの映像の特性変数間の変化度を計算する変化度計算部と、前記変化度の比率を利用し、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する変化度比率判別部と、を含むことができる。

0020

一実施形態による前記二次元/三次元再生モード決定装置は、前記決定された特性変数を保存する保存部をさらに含み、前記変化度計算部は、前記保存部から入力された前記周囲映像及び前記現在映像の特性変数を利用し、前記周囲映像及び前記現在映像のうち2つの映像の特性変数間の変化度を計算することができる。

0021

また本発明は、本発明の実施形態による二次元/三次元再生モードを決定する方法を具現するためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を含む。

発明の効果

0022

本発明の実施形態による二次元/三次元再生モード決定方法及び装置により、三次元映像のためのパラメータまたはフラグを支援したり認識したりすることができない三次元再生機器でも、映像シーケンスの画素値情報だけを利用し、二次元映像シーケンスであるか三次元映像シーケンスであるかを判別し、正確な形式で再生することができる。

0023

また、伝送端では、映像シーケンスが二次元/三次元映像であるかを示すフラグなどを伝送する必要がなく、受信端では、二次元/三次元映像フラグを別途に抽出する必要がない。従って、既存のグラフィックカードディスプレイシステム伝送ケーブルなどのハードウェアをそのまま利用しても、二次元/三次元映像を再生することができる。

図面の簡単な説明

0024

本発明の一実施形態による二次元/三次元再生モード決定装置のブロック図である。
三次元再生のための入力映像フォーマット及び出力映像フォーマットを図示する図である。
本発明の一実施形態による、映像シーケンスの二次元/三次元再生モードを決定する方法のフローチャートである。
本発明の一実施形態による二次元/三次元再生装置を図示する図である。
二次元映像シーケンスのフレーム別の平均分布を図示するグラフである。
三次元映像シーケンスのフレーム別の平均分布を図示するグラフである。
本発明の一実施形態による二次元/三次元映像鑑別のために利用されるフレーム別平均の関係を図示する図である。
三次元映像シーケンスのフレーム別変移ベクトル方向の分布を図示するグラフである。
本発明の一実施形態による二次元/三次元映像鑑別のために利用されるフレーム別変移ベクトルの関係を図示する図である。
本発明の一実施形態による、映像シーケンスの二次元/三次元再生モードを決定する方式を図示する図である。
本発明の他の実施形態による二次元/三次元再生モード決定方法のフローチャートである。
本発明の本発明の一実施形態による二次元/三次元再生モード決定装置の細部ブロック図である。

実施例

0025

本発明の一実施形態による二次元(2D)/三次元(3D)の再生モード決定方法は、映像シーケンスが入力される段階と、前記映像シーケンスのうち現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階と、前記判別結果に基づいて、前記現在映像の再生モードを二次元再生モード及び三次元再生モードのうちいずれか一つに決定する段階と、を含む。

0026

以下、本発明の実施形態に係わる技術的特徴について、添付された図面を参照しつつ詳細に説明を行う。

0027

図1は、本発明の一実施形態による二次元/三次元再生モード決定装置のブロック図である。一実施形態による二次元/三次元再生モード決定装置100は、映像入力部110、二次元/三次元映像判別部120及び二次元/三次元再生モード決定部130を含む。

0028

映像入力部110は、映像シーケンスを入力される。映像シーケンスは、一連の二次元映像であって、一連の三次元映像でもありうる。このとき、三次元映像シーケンスは、互いに対応する左視点フレーム及び右視点フレームが交互に入力されるフレームシーケンシャル形式でありうる。

0029

二次元/三次元映像判別部120は、映像入力部110に入力された映像シーケンスのうち、現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する。二次元/三次元映像判別部120は、現在映像を含んだ現在映像シーケンスが、二次元映像シーケンスまたは三次元映像シーケンスであるかを判別することもできる。

0030

一実施形態による二次元/三次元映像判別部は、映像シーケンスのうち、現在映像の以前映像と次の映像とを含む周囲映像を利用し、現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別することができる。

0031

図11に図示されているように、一実施形態による二次元/三次元映像判別部は、現在映像の周囲映像及び現在映像の特性変数を決定する特性変数決定部140、周囲映像及び現在映像のうち2つの映像の特性変数間の変化度を計算する変化度計算部150、及び変化度の比率を利用し、現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する変化度比率判別部160を含むことができる。

0032

特性変数間の変化度(variation)は、特性変数間の差、増加率減少率などでありうる。以下、図6及び図8で、特性変数間の変化度として、特性変数間の差が利用される。

0033

本発明の一実施形態による二次元/三次元再生モード決定装置100は、映像シーケンスの二次元/三次元再生モードを決定するために使われるそれぞれの映像の特性変数を保存する保存部162をさらに含むことができる。本実施形態の特性変数決定部140は、現在映像及び周囲映像の特性変数を決定し、保存部162に出力できる。本実施形態の変化度計算部150は、保存部162から映像の特性変数を入力され、周囲映像及び現在映像のうち、2つの映像の特性変数間の変化度を計算することができる。

0034

一実施形態の特性変数決定部140は、所定映像に係わる特性変数として、所定映像内画素の統計値、またはその以前映像に係わる所定映像の変移ベクトル関連数値を利用できる。統計価格は画素の平均、分散値、標準偏差などを利用できる。変移ベクトル関連数値は、所定映像の変移ベクトルのうち、変移ベクトル方向が正(+)であるブロックの個数に対する変移ベクトル方向が負(−)であるブロックの個数の比率が利用されうる。

0035

一実施形態の特性変数決定部140は、特性変数として、現在映像の以前映像の第1特性変数、現在映像の第2特性変数、及び現在映像の次の映像の第3特性変数を決定する。

0036

一実施形態の変化度計算部150は、第1特性変数及び第2特性変数の差の絶対値である第1変化度、第2特性変数及び第3特性変数の差の絶対値である第2変化度、及び第1特性変数及び第3特性変数の差の絶対値である第3変化度を計算する。

0037

一実施形態の変化度比率判別部160は、第3変化度に対する第1変化度と第2変化度との和の比率の変化度を計算する変化度比率計算部170を含むことができる。

0038

前記変化度比率判別部160は、第1変化度、第2変化度及び第3変化度の比率を所定臨界値と比較し、現在映像が二次元または三次元映像であるかを決定する変化度比率比較部180を含むことができる。

0039

変化度比率判別部160は、変化度比率計算部170で計算された変化度の比率が、所定臨界値より大きいか、あるいはそれと同じであるならば、現在映像を三次元映像と決定する。一方、変化度比率判別部160は、変化度比率計算部170で計算された変化度の比率が、所定臨界値より小さければ、現在映像を二次元映像と決定できる。

0040

二次元/三次元映像判別部120で、特性変数、変化度、変化度の比率などを利用する具体的な実施形態は、以下の図5Aないし図8を参考にしつつ詳述する。

0041

二次元/三次元再生モード決定部130は、二次元/三次元映像判別部120での判別結果に基づいて、現在映像シーケンスの再生モードを、二次元再生モード及び三次元再生モードのうちいずれか一つに決定する。二次元/三次元映像判別部120で、一連の映像が三次元映像であると判別されたとすれば、二次元/三次元再生モード決定部130は、現在映像シーケンスの再生モードを、三次元再生モードと決定できる。同様に、一連の映像が二次元映像であると判別されたとすれば、二次元/三次元再生モード決定部130は、現在映像シーケンスの再生モードを、二次元再生モードと決定できる。

0042

また、二次元/三次元再生モード決定部130は、フレーム単位で再生モードを決定し、フレームを含む映像シーケンス単位で再生モードを決定することもできる。

0043

一実施形態の二次元/三次元再生モード決定部130は、二次元/三次元映像判別部120での現在映像の判別結果が、現在映像の周囲映像の判別結果と異なる場合、現在映像の再生モードを、周囲映像の再生モードと同じ再生モードに変換する再生モード変換部(図示せず)をさらに含むことができる。

0044

一般的に、リアルタイム・システムでは、未来の映像に係わる情報はないので、過去の一定フレームの再生モード結果を介して、現在フレームの再生モード決定に反映する。再生モードで現在映像と比較される周囲映像は、入力された映像シーケンスのうち、現在映像を含む所定区間の一連の映像である。再生モード変換部を利用する一実施形態は、以下の図9を参考にしつつ詳述する。

0045

一実施形態による二次元/三次元再生モード決定装置100は、二次元/三次元再生モード決定部130で、三次元再生モードと決定された映像に対し、互いに対応する左視点映像情報及び右視点映像情報を含む三次元映像フォーマットに変換し、三次元映像フォーマットの映像シーケンスが出力装置185上で再生されるように出力する三次元映像フォーマット出力部184をさらに含むことができる。

0046

また、一実施形態による二次元/三次元再生モード決定装置100は、二次元/三次元再生モード決定部130で、二次元再生モードと決定された映像を、出力装置185上で再生されるための二次元映像フォーマットで出力する二次元映像フォーマット出力部186をさらに含むことができる。

0047

三次元映像フォーマットの例として、サイドバイサイド・フォーマット(side-by-side format)、トップボトム・フォーマット(Top-bottom format)、垂直ラインインターリーブド・フォーマット(vertical line-interleaved format)、水平ラインインターリーブド・フォーマット(horizontal line-interleaved format)、フレームシーケンシャル・フォーマット(frame sequential format)及びフィールドシーケンシャル・フォーマット(field sequential format)を含むページフリップ・フォーマット(page-flip format)などがある。三次元映像フォーマットは、以下の図2で詳述する。

0048

図2は、三次元再生のための入力映像フォーマット及び出力映像フォーマットを図示している。三次元映像シーケンスが入力される場合、三次元映像フォーマット200として、サイドバイサイド・フォーマット210、トップボトム・フォーマット220、ラインインターリーブド・フォーマット230、フレームシーケンシャル・フォーマット240、及びフィールドシーケンシャル・フォーマット250を含むページフリップ・フォーマット238などがある。

0049

サイドバイサイド・フォーマット210は、左視点映像及び右視点映像の横に半分に縮小させ、解像度を半分に低下させ、解像度が低下された左視点映像情報214及び右視点映像情報216を横に並べて配列し、1つの映像を構成する三次元映像フォーマットである。

0050

トップボトム・フォーマット220は、左視点映像及び右視点映像の縦に半分に縮小させ、解像度を半分に低減させ、解像度が低下した左視点映像情報222及び右視点映像情報224を縦に並べて配列し、1つの映像を構成する三次元映像フォーマットである。

0051

ラインインターリーブド・フォーマット230は、左視点映像及び右視点映像をライン別に交互に配列し、1つの映像を構成する三次元映像フォーマットである。左視点映像の横ライン252及び右視点映像の横ライン254を交互に配列した場合、水平ラインインターリーブド・フォーマットの三次元映像が構成され、左視点映像及び右視点映像の縦ラインを交互に配列した垂直ラインインターリーブド・フォーマットが構成されうる。

0052

ページフリップ・フォーマット238は、正常な1枚の左視点映像及び右視点映像を、時系列に交互に配列する三次元映像フォーマットである。フレームシーケンシャル・フォーマット240は、互いに対応する左視点映像情報255及び右視点映像情報256が、時系列にフレーム単位で交互に配列され、フィールドシーケンシャル・フォーマット250は、左視点映像フィールド257及び右視点映像フィールド258を時系列に交互に配列することによって、三次元映像フォーマットを構成する。

0053

ページフリップ・フォーマット238は、空間的に解像度が低下していない左視点映像情報及び右視点映像情報を利用できる代わりに、時間的に左視点映像及び右視点映像のそれぞれの周波数が半分に低下する。

0054

三次元再生方式260としては、DLP(digital light processing)再生機器271、PDP(plasma display panel)272、LCD(liquid crystal display)273、偏光シート(sheet)を利用した空間分割方式ディスプレイ274などで利用される再生方式270;偏光プロジェクタで利用されるディスプレイ方式280;を含むことができる。

0055

ディスプレイ装置275で利用される再生方式270によれば、DLP再生機器271、PDP272、LCD 273、偏光シートを利用した空間分割方式ディスプレイ274は、ページフリップ・フォーマット(フレームシーケンシャル・フォーマット240、フィールドシーケンシャル・フォーマット250)を利用できる。また、偏光シートを利用した空間分割方式ディスプレイ274は、垂直または水平のラインインターリーブド・フォーマット230を利用できる。それ以外にも、偏光式プロジェクタ280は、2つのチャネル282を介して受信された三次元映像を、第1プロジェクタ284及び第2プロジェクタ286を利用して再生する方式で三次元再生を具現できる。

0056

図3は、本発明の一実施形態によって、映像シーケンスの二次元/三次元再生モードを決定する方法のフローチャートを図示している。

0057

映像シーケンスが入力されれば(段階310)、入力された映像シーケンスが、三次元映像シーケンスであるか否かが分析される(段階320)。分析結果に基づいて、三次元映像シーケンスであるか否かを判断し(段階330)、入力された映像シーケンスが、三次元映像シーケンスであると判断されれば、シーケンスの映像を三次元映像フォーマットに変換する(段階340)。三次元映像フォーマットの映像は、三次元再生が可能な再生機器を介して、三次元で再生される(段階350)。三次元再生機器を介した三次元映像フォーマットの再生によって、ユーザは、立体感感じることができる。

0058

段階320の分析結果に基づいて、入力された映像シーケンスが二次元映像シーケンスであると判断されれば(段階330)、入力された映像シーケンスは、二次元映像フォーマットに変換され(段階360)、再生機器を介して、二次元で再生される(段階370)。本発明の一実施形態によって、入力映像シーケンスの映像情報だけを利用し、入力映像シーケンスが、二次元映像シーケンスまたは三次元映像シーケンスであるかを決定する方法及び装置について、以下の図4ないし図10を参考にしつつ開示する。

0059

図4は、本発明の一実施形態による二次元/三次元再生装置を図示している。

0060

本発明の一実施形態による二次元/三次元再生モード決定方式を採用する三次元再生機器430には、グラフィック・カード410からの二次元映像シーケンス415、またはDVD再生機器またはBD(blu-ray disk)再生機器からのフレームシーケンシャル・フォーマットの三次元映像シーケンス425が入力されうる。

0061

一実施形態による三次元再生機器430は、三次元映像分析部440、三次元映像フォーマット変換部450及び再生部460を含む。図4のそれぞれの構成要素は、BDプレイヤ(BD player)のような映像再生装置に含まれ、三次元TVまたは三次元モニタのような三次元映像ディスプレイ装置に含まれもする。

0062

三次元映像分析部440は、入力された映像シーケンス415,425の映像情報を利用し、映像シーケンス415,425の映像が三次元映像であるか否かが分析されて判別される。三次元映像分析部440で、三次元映像であると判別された映像シーケンスは、三次元映像フォーマット変換部450に出力され、二次元映像であると判別された映像シーケンスは、再生部460に直ちに出力される。

0063

三次元映像フォーマット変換部450は、三次元映像であると判別された映像に対して、三次元映像フォーマットを変換して再生部460に出力する。三次元映像フォーマット変換部450は、再生部の三次元再生方式によって、映像を、サイドバイサイド・フォーマット、トップボトム・フォーマット、垂直/水平ラインインターリーブド・フォーマット、フレームシーケンシャル・フォーマット及びフィールドシーケンシャル・フォーマットに変換できる。

0064

再生部460は、映像フォーマットによって、二次元映像フォーマットの映像シーケンスは、二次元で、三次元映像フォーマットの映像シーケンスは、三次元で再生することができる。

0065

一実施形態による三次元再生機器430、及び一実施形態による二次元/三次元再生モード決定装置100を対応させてみれば、三次元映像分析部440が、二次元/三次元映像判別部120の機能を含むことができ、三次元映像フォーマット変換部450が、二次元/三次元再生モード決定部130の機能を含むことができる。

0066

本発明の実施形態による二次元/三次元再生モード決定方法及び装置によって、三次元映像のためのパラメータまたはフラグ(flag)を支援または認識できない三次元再生機器でも、映像シーケンスの画素値情報だけを利用して、二次元映像シーケンスであるか三次元映像シーケンスであるかを判別し、正確な形式で再生することができる。

0067

また、伝送端では、映像シーケンスが二次元/三次元映像であるかを示すフラグなどを伝送する必要がなく、受信端では、二次元/三次元映像フラグを別途に抽出する必要がない。従って、既存のグラフィック・カードやディスプレイ・システムの伝送ケーブルのようなハードウェアをそのまま利用しても、二次元/三次元映像を再生することができる。

0068

図5Aは、二次元映像シーケンスのフレーム別の平均分布を図示し、図5Bは、三次元映像シーケンスのフレーム別の平均分布を図示している。

0069

図5Aに図示された二次元映像シーケンスは、1つの視点から撮影された映像が、フレーム単位で、時系列に羅列された形式である。図5Bに図示された三次元映像シーケンスは、左右視点から撮影された映像が、交互にフレーム単位で時系列に羅列された形式である。

0070

図5Aに図示された二次元映像シーケンスのグラフを参考にすれば、時系列の隣接フレーム画素値の平均間の変化幅が大きくない。一方、図5Bに図示された三次元映像シーケンスのグラフを参考にすれば、隣接フレームの画素値の平均がかなり変更されている。

0071

三次元映像シーケンスで、交互に羅列された左視点フレームと右視点フレームは、互いに異なる特性の画素値を有するために、図5Bに図示されたグラフは、左視点フレームの画素値の平均510と、直前(直後)順序の右視点フレームの画素値の平均520との変化幅が大きい。

0072

図5A及び図5Bは、フレームの画素値の平均を利用して、二次元/三次元映像シーケンスのフレーム特性間の差を示したが、平均だけではなく、画素値の分散、標準偏差などを利用しても、フレーム特性間の差は確認されうる。

0073

一実施形態の二次元/三次元映像判別部120は、図5A及び図5Bのフレームの画素の平均分布特性を利用し、入力映像シーケンスが二次元/三次元映像シーケンスであるかを判別することができる。以下、図6を参考にしつつ、一実施形態の二次元/三次元映像判別部120が、それぞれのフレームの特性変数として、フレームの画素値の平均を利用する方法について詳述する。

0074

図6は、本発明の一実施形態による二次元/三次元映像鑑別のために利用されるフレーム別平均の関係を図示している。

0075

現在フレーム(t)620を基準に、以前フレーム(t−1)610は左視点映像L1、現在フレーム620は右視点映像R、次のフレーム(t+1)630はまた、左視点映像L2である。フレーム610,620,630別に左右視点映像が交互に羅列されるので、三次元映像シーケンス632のうち一部フレームである場合である。

0076

フレーム別特性変数としてフレームの画素値の統計値が利用されるとき、一実施形態の二次元/三次元映像判別部120の特性変数決定部140は、それぞれのフレームの画素値の統計値を決定する統計値決定部634を含み、変化度計算部150は、隣接フレームの統計値の変化度を計算する統計値変化度計算部636を含むことができる。また、一実施形態の二次元/三次元映像判別部120の変化度比率判別部160は、フレーム間変化度の比率を計算する統計値変化度比率計算部638を含むことができる。

0077

図6には、それぞれのフレーム610,620,630に、左右視点映像であることが図示されているが、一実施形態の二次元/三次元再生モード決定装置100は、入力映像シーケンス上に、左右視点映像情報が交互に入力されたという情報なしにも、それぞれのフレーム610,620,630の画素値の統計値を利用し、二次元/三次元映像シーケンスであるか否かを判別することができる。図6では、統計値中の平均が利用されている。

0078

一実施形態の統計値決定部634は、以前フレーム610の第1統計値、現在フレーム620の第2統計値、次のフレーム630の第3統計値を決定する。

0079

図6に図示された実施形態を参考にして、統計値決定部634は、以前フレーム610の画素の平均Mean(t−1)640、現在フレーム620の画素の平均Mean(t)650、及び次のフレーム630の画素の平均Mean(t+1)660を決定できる。

0080

一実施形態の統計値変化度計算部636は、以前フレーム610及び現在フレーム620の統計値間の第1変化度、現在フレーム620及び次のフレーム630の統計値間の第2変化度、以前フレーム610及び次のフレーム630の統計値間の第3変化度を計算する。

0081

一実施形態の統計値変化度計算部636は、フレームの統計値間の差の絶対値を利用して変化度を計算する。統計値間の差の絶対値を利用する理由は、差の方向(+,−)によって、変化度の和が相殺される場合を防止するためである。

0082

図6に図示された実施形態を参考にして、統計値変化度計算部636は、以前フレーム平均Mean(t−1)640及び現在フレーム平均Mean(t)650間の差の絶対値である第1変化度diffM1を決定できる。同様に、統計値変化度計算部636は、現在フレーム平均Mean(t)650及び次のフレーム平均Mean(t+1)660間の差の絶対値である第2変化度diffM2、及び以前フレーム平均Mean(t−1)640及び次のフレーム平均Mean(t+1)660間の差の絶対値である第3変化度diffM3を決定できる。

0083

一実施形態の統計値変化度比率計算部638は、第3変化度に対する第1変化度と第2変化度との和の比率を計算する。統計値変化度比率DMは、第1変化度diffM1と第2変化度diffM2との和を、第3変化度diffM3と定数cとの和で割った値である。

0084

DM=(diffM1+diffM2)/(diffM3+c) (1)
ここで、定数cは、分母が0になる場合を防止するためである。

0085

変化度比率比較部180は、現在映像が、二次元/三次元映像であるかを判別するために、変化度比率DMを所定臨界値と比較する。例えば、臨界値を1と仮定すれば、すぐ隣接したフレームとの変化度の和が、1フレーム飛び越えたフレームとの変化度に比べて大きいならば(すなわち、DM>>1)、隣接フレーム間の統計値が大きく変わる場合であるから、変化度比率判別部160は、以前フレーム610、現在フレーム620及び次のフレーム630を、三次元映像シーケンスの映像であると判別することができる。

0086

一方、すぐ隣接したフレームとの変化度の和が、1フレーム飛び越えたフレームとの変化度に比べて小さいならば(すなわち、DM<<1)、隣接フレーム間の統計値が大きく変わらない場合であるから、変化度比率判別部160は、以前フレーム610、現在フレーム620及び次のフレーム630を、二次元映像シーケンスの映像であると判別することができる。

0087

図7は、三次元映像シーケンスのフレーム別変移ベクトル方向の分布を図示している。

0088

三次元映像シーケンスは、フレーム順序によって、左右視点映像情報が交互に羅列される。現在フレームが左視点フレームであるならば、以前フレーム及び次のフレームは、右視点フレームである。所定フレームの変移ベクトルは、以前フレームに対比される所定フレームの変移推定によって決定されうる。映像シーケンスの変移ベクトルに係わるパラメータが与えられるならば、変移ベクトルに係わるパラメータを利用し、それぞれのフレームの変移ベクトルが決定されもする。

0089

所定フレームの変移ベクトルが、方向が負(−)であるブロックの個数820、及び正(+)であるブロックの個数820の比率を利用し、左右視点映像が交互に羅列されているか否かを判別することができる。図7に図示された変移ベクトルの方向によるブロック個数の分布を参考にすれば、左視点フレーム(奇数番目のフレーム)に対比される右視点フレーム(偶数番号目のフレーム)の変移ベクトル方向によるブロック個数の比率と、右視点フレームに対比される左視点フレームの変移ベクトル方向によるブロック個数の比率は、差が大きい。

0090

一実施形態の二次元/三次元映像判別部120は、図7のフレームの変移ベクトル方向特性に基づいて、所定フレームの変移ベクトル方向が、(+)方向/(−)方向であるブロック個数比率を、周囲フレームの比率と比較することによって、入力映像シーケンスが、二次元/三次元映像シーケンスであるかを判別することができる。以下、図8を参考にしつつ、一実施形態の二次元/三次元映像判別部120が、それぞれのフレームの特性変数として、フレームの変移ベクトルを利用する方法について詳述する。

0091

図8は、本発明の一実施形態による二次元/三次元映像鑑別のために利用されるフレーム別変移ベクトルの関係を図示している。

0092

図8に図示された映像シーケンス902は、現在フレーム(t)930を基準に、第1右視点フレーム(t−2)910、第1左視点フレーム(t−1)920、第2右視点フレーム(t)930、第2左視点映像(t+1)940が交互に羅列される三次元映像シーケンスである。第2右視点フレーム(t)930が現在映像である。

0093

一実施形態の二次元/三次元再生モード決定装置100は、入力映像シーケンス上に、左右視点映像情報が交互に入力されたという情報なしにも、それぞれのフレーム910,920,930,940の変移ベクトルの方向を利用し、二次元/三次元映像シーケンスであるか判別することができる。一実施形態の特性変数決定部140は、フレーム別特性変数として、フレームの変移ベクトルの方向によるブロック個数の比率を利用できる。

0094

フレーム別特性変数として、フレームの画素値の統計値が利用されるとき、一実施形態の二次元/三次元映像判別部120の特性変数決定部140は、それぞれのフレームの変移ベクトルを決定する変移ベクトル決定部950、及びそれぞれのフレームの変移ベクトルを利用する変移数値を決定する変移数値決定部960を含むことができる。一実施形態の二次元/三次元映像判別部120の変化度計算部150は、隣接フレームの変移数値の変化度を計算する変移数値変化度計算部970を含むことができる。一実施形態の二次元/三次元映像判別部120の変化度比率判別部160は、変移数値の差値の比率を計算する変移値変化度比率計算部980を含むことができる。

0095

一実施形態の変移ベクトル決定部950は、所定フレームの以前フレームの所定領域に対比させて、所定フレームの所定領域の変移を推定することによって、所定フレームの変移ベクトルを決定できる。従って、変移ベクトル決定部950は、フレーム全体領域に対する変移だけではなく、一部領域に対する変移を利用することもできる。フレームの変移ベクトルに係わるパラメータが入力された場合、変移ベクトル決定部950は、パラメータから変移ベクトル値を抽出できる。

0096

一実施形態の変移ベクトル決定部950は、以前フレーム920の変移ベクトル第1変移ベクトル、現在フレーム930の第2変移ベクトル、次のフレーム940の第3変移ベクトルを決定できる。図8に図示された実施形態を参考にして、変移ベクトル決定部950は、以前フレーム920の変移ベクトルDVt−1、現在フレーム930の変移ベクトルDVt、次のフレーム940の変移ベクトルDVt+1を決定できる。

0097

一実施形態の変移数値決定部960は、以前フレーム920の第1変移ベクトルの方向によるブロックの個数比率を示す第1変移数値、現在フレーム930の第2変移ベクトルの方向によるブロックの個数比率を示す第2変移数値、次のフレーム940の第3変移ベクトルの方向によるブロックの個数比率を示す第3変移数値を決定する。

0098

図8に図示された実施形態を参考にして、変移数値決定部960は、以前フレーム920の第1変移ベクトルDVt−1の方向によるブロック個数比率の変移数値RDV(t−1)を決定し、現在フレーム930の第2変移ベクトルDVtの方向によるブロック個数比率の変移数値RDV(t)、次のフレーム940の第3変移ベクトルDVt+1の方向によるブロック個数比率の変移数値RDV(t+1)を決定できる。

0099

一実施形態の変移数値決定部960は、n番目のフレームの変移ベクトルの方向が(−)であるブロック個数を、変移ベクトルの方向が(+)であるブロック個数と1との和で割ることにより、変移数値RDV(n)を決定する。

0100

RDV(n)=(# of blocks with negative disparity vectors)/(# of blocks with positive disparity vectors+1) (2)
ここで、分母に1を加える理由は、分母が0になる場合を防止するためである。

0101

一実施形態の変移数値変化度計算部970は、以前フレーム920及び現在フレーム930の変移数値間の第1変化度、現在フレーム930及び次のフレーム940の変移数値間の第2変化度、以前フレーム920及び次のフレーム940の変移数値間の第3変化度を計算する。

0102

図8に図示された実施形態を参考にして、変移数値変化度計算部970は、以前フレーム920の変移数値RDV(t−1)と、在フレーム930の変移数値RDV(t)937との変化度diffDV1、現在フレーム930の変移数値RDV(t)と、次のフレーム940の変移数値RDV(t+1)との変化度diffDV2、及び以前フレーム920の変移数値RDV(t−1)と、次のフレーム940の変移数値RDV(t+1)との変化度diffDV3を決定する。

0103

一実施形態の変移値変化度比率計算部980は、第3変化度に対する第1変化度と第2変化度との和の比率を計算する。変移数値変化度比率DDは、第1変化度diffDV1と第2変化度diffDV2との和を、第3変化度diffDV3と定数cとの和で割った値である。

0104

DD=(diffDV1+diffDV2)/(diffDV3+c) (3)
ここで、定数cは、分母が0になる場合を防止するためである。

0105

前述の通り、変化度比率判別部180は、現在映像が二次元/三次元映像であるかを判別するために、一実施形態の変移値変化度比率計算部980によって獲得された変化度比率DDを所定臨界値と比較できる。

0106

図9は、本発明の一実施形態によって、映像シーケンスの二次元/三次元再生モードを決定する方式を図示している。

0107

二次元/三次元映像判別部120により、映像シーケンス1100のフレームが、二次元/三次元映像であるかを判別された結果1110で、特定フレーム1120だけが二次元(三次元)映像であると判別され、他のフレームは、いずれも三次元(二次元)映像であると判別された場合、一実施形態の二次元/三次元再生モード決定部130は、映像シーケンス1100のフレーム全部の再生モードを三次元(二次元)再生モードと決定できる。これは、映像シーケンス1100の再生モードの統一性を確保したり、あるいは二次元/三次元映像判別部120の判別結果の信頼性を高めるためである。

0108

一実施形態の二次元/三次元再生モード決定部130は、システムのメモリなどの環境を考慮し、二次元/三次元映像判別部120の比較対象になる周囲フレームの範囲を調節できる。

0109

二次元/三次元再生モード決定部130によって、現在映像または映像シーケンスが三次元再生モードと決定されれば、三次元で再生することができる映像再生機器の再生方式に適した映像フォーマットを変換して出力されねばならない場合がある。従って、他の実施形態による二次元/三次元再生モード決定装置100の出力部は、三次元映像シーケンスを適切な三次元映像フォーマットに変換して出力できる。

0110

例えば、フレームシーケンシャル・フォーマットによる再生方式による再生機器に、映像シーケンスを出力する場合、一実施形態の二次元/三次元再生モード決定装置100は、現在映像に対応する左視点映像及び右視点映像を、1つのフレームずつ交互に、フレームシーケンシャル・フォーマットを構成して出力する三次元フレームシーケンシャル・フォーマット出力部をさらに含むことができる。

0111

また、一実施形態の二次元/三次元再生モード決定装置100は、再生方式によって、左視点映像及び右視点映像を、横軸方向に解像度を半分に縮小し、解像度が半分に縮小された左視点映像及び右視点映像の縦ラインが交互に配列される垂直ラインインターリーブド・フォーマットで構成して出力する三次元垂直ラインインターリーブド・フォーマット出力部をさらに含むことができる。

0112

図10は、本発明の他の実施形態による二次元/三次元再生モード決定方法のフローチャートを図示している。

0113

段階1210で、映像シーケンスが入力される。本実施形態による二次元/三次元再生モード決定方法は、入力された映像シーケンスが二次元映像シーケンスであるか三次元映像シーケンスであるかを示す情報が別途に入力されない場合に、映像シーケンスだけを利用して判別することができる。

0114

段階1220で、映像シーケンスのうち現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別される。フレーム単位で、二次元/三次元映像であるかが判別されたり、映像シーケンス単位で、二次元/三次元映像シーケンスであるかを判別することができる。時間的に隣接した映像または周囲フレーム間の特性変数の変化度を利用し、二次元/三次元映像(シーケンス)であるかを判別することができる。特性変数は、フレーム別画素の平均、分散、標準偏差などの統計値、またはフレーム別変移ベクトル関連情報などが利用されうる。

0115

段階1230で、段階1220の判別結果に基づいて、現在映像の再生モードが二次元再生モード及び三次元再生モードのうちいずれか一つに決定される。段階1220で、二次元映像であると判別されれば、二次元再生モードに、三次元映像であると判別されれば、三次元再生モードと決定される。

0116

ただし、所定区間の映像シーケンス内の映像のうち、所定映像のみが、その判別結果が多数の他の映像の判別結果と異なる場合、映像シーケンスの再生モードは、多数映像の再生モードと統一されて決定されうる。リアルタイム・システムの場合、過去一定映像の結果に基づいて、現在映像の再生モードが決定される。

0117

段階1240で、段階1230の再生モード決定結果に基づいて、映像シーケンスが二次元または三次元映像のフォーマットで出力される。映像シーケンスが、三次元再生モードであると決定されても、再生機器が支援する三次元再生方式に基づいて、垂直ラインインターリーブド・フォーマット、フレームシーケンシャル・フォーマットなどの三次元映像フォーマットが決定されて変換されうる。

0118

一方、前述の本発明の実施形態は、コンピュータで実行できるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されうる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例を上げれば、ROM(read-only memory)、フロッピー登録商標ディスクハードディスクなど)、光学判読媒体(例えば、CD−ROM、DVDなど)のような記録媒体を含む。

0119

本発明の実施形態はまた、伝送媒体上に記録されたコンピュータで読み取り可能なコードまたは命令語で具現されうる。例えば、伝送媒体は、キャリアウェーブや、インターネットを介したデータの送受信可能なデータ送受信装置を含むことができる。

0120

以上、本発明についてその望ましい実施形態を中心に述べた。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性からはずれない範囲で変形された形態で具現できることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ