図面 (/)

技術 映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システム

出願人 ソニー株式会社
発明者 柴田英輔
出願日 2012年6月1日 (8年5ヶ月経過) 出願番号 2012-125868
公開日 2013年1月31日 (7年9ヶ月経過) 公開番号 2013-021683
状態 未査定
技術分野 立体TV及びTVの試験,検査,測定等
主要キーワード フィールド並び 標準フレームレート 垂直同期区間 映像破綻 映像出力インターフェース 標準フレーム 高周波映像信号 高速カメラ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年1月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

映像遅延コストの増大を招くことなくハイフレームレート映像信号伝送表示出力を行なう。

解決手段

映像信号出力装置は、3次元映像のうち左眼用映像右眼用映像として使用する2枚の映像として、時刻の連続したハイフレームレートの2枚の映像を載せる。また、映像表示装置側では、3次元映像信号フォーマットを利用したハイフレーム2次元映像信号を受信すると、左眼用映像と右眼用映像として使用する2枚の映像を、時刻の連続したハイフレームレートの2枚の映像としてフレーム並べ替えを行なって表示する。

概要

背景

1/60秒(60i)や1/24(24p)などのフレームレートで連続する静止画撮影した映像は、フレーム間(すなわち、1/60秒間や1/24秒間)で動くものについて「ぼやけ」が発生する。例えば、映画における激しいアクションスポーツにおける選手の素早い動きがある映像にぼやけが発生すると、臨場感リアルさが損なわれる。そこで、撮影時のぼやけを改善するために、1/60秒間や1/24秒間にフレーム間の動きを補間するフレーム(以下、「中間フレーム」とも言う)を挿入することによって、映像を鮮明にする倍速変換若しくはハイフレームレート技術が知られている。

ハイフレームレート技術によれば、挿入するフレーム数が多いほど映像は滑らかで鮮明になる。当業界では、前後のレーム内の映像ブロック間の動きベクトルを用いて画像予測して、比較的精度の高い中間フレームを生成する方法が広く知られている。

例えば、動きベクトルにより符号化された映像信号復号する再生装置と、その復号された映像信号をハイフレームレート化して表示する表示装置とが分離され、表示装置で、再生装置での復号処理によって得られる動きベクトルを利用してフレームレート変換を行なうフレームレート変換システムについて提案がなされている(例えば、特許文献1を参照のこと)。

また、入力された映像信号のフレームレートを高めるハイフレームレート信号を生成し、さらにハイフレームレート映像信号に対して所定周期で非発光のフレームを設けてフレームレートを調整する画像表示装置について提案がなされている(例えば、特許文献2を参照のこと)。

しかしながら、映像のハイフレームレート化は、中間フレーム生成処理が必要であり、映像破綻などを生じることがある。中間フレーム生成処理は、上述したように動きベクトルを用いて実現することができるが、回路コスト増や性能の影響が生じる。また、ハイフレームレートで記録されていないと得られない情報は、動きベクトルによる補間では復元することができない。したがって、動いている被写体の解像度を高めるには、元々ハイフレームレートで記録された映像を伝送するシステムとそれを表示する表示装置が必要ではないか、と本出願人は思料する。

また、フレームレート変換した映像をリアルタイムに表示する場合には、変換後の次のフレームを表示するまでの限られた時間内に動きベクトルを検出する必要があるため、さらに高い計算能力を必要とする。すなわち、中間フレーム生成処理には、複数枚のフレームを処理する必要があり、映像遅延が発生する。このため、フレームレート変換技術は、リアルタイムで映像を表示しなければならないゲームなどの用途には不向きである。

また、DualDVI(Digital Visual Interface)などの映像出力インターフェースを用いてハイフレームレートの映像データを広帯域伝送するシステムを構成するには、広帯域伝送用のケーブルバス製作コストがかかる、映像データの受信機側も広帯域信号を受信するために装置コストが増大する、放送などの限られた帯域映像システムでは実現不可能である、といった問題がある。

概要

映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なう。映像信号出力装置は、3次元映像のうち左眼用映像右眼用映像として使用する2枚の映像として、時刻の連続したハイフレームレートの2枚の映像を載せる。また、映像表示装置側では、3次元映像信号フォーマットを利用したハイフレーム2次元映像信号を受信すると、左眼用映像と右眼用映像として使用する2枚の映像を、時刻の連続したハイフレームレートの2枚の映像としてフレーム並べ替えを行なって表示する。

目的

特開2007−274679号公報
特開2011−2519号公報






本明細書で開示する技術の目的は、映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なうことができる、優れた映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化して、第nの統合映像信号を生成する映像信号変換部と、前記映像信号変換部で変換された統合映像信号を出力する出力部と、を具備する映像信号処理装置

請求項2

前記映像信号変換部は、元の複数の映像信号を、サイドバイ・サイド、トップアンドボトム、又は、フレームパッキングのうちいずれかの形式で1つの映像信号に多重化して統合映像信号を生成する、請求項1に記載の映像信号処理装置。

請求項3

前記映像信号変換部は、ハイフレームレートの2次元映像信号を、3次元映像信号の伝送フォーマットで多重化する、請求項1に記載の映像信号処理装置。

請求項4

前記出力部は、統合映像信号の出力ストリームに、映像信号を多重化して統合映像信号を生成する方式に関する映像補足情報信号を付加する、請求項1に記載の映像信号処理装置。

請求項5

第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化して、第nの統合映像信号を生成する映像信号変換ステップと、前記映像信号変換ステップにおいて変換された統合映像信号を出力する出力ステップと、を有する映像信号処理方法

請求項6

第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化した第nの統合映像信号を入力する映像信号入力部と、第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離する映像分離部と、分離された第nの映像信号と第(n+1)の映像信号を順次表示する表示部と、を具備する映像表示装置

請求項7

前記表示部は、前記映像信号入力部への入力に対し倍速で、第nの映像信号と第(n+1)の映像信号を順次表示する、請求項6に記載の映像表示装置。

請求項8

前記映像分離部は、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で第nの統合映像信号に多重化された第nの映像信号と第(n+0.5)の映像信号を分離する、請求項6に記載の映像表示装置。

請求項9

前記映像信号入力部は、3次元映像信号の伝送フォーマットで多重化されたハイフレームレートの2次元映像信号を入力し、前記映像分離部は、前記映像信号への入力信号からハイフレームレートの2次元映像信号を分離する、請求項6に記載の映像表示装置。

請求項10

前記映像分離部が第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号のうち第(n+0.5)の映像信号を間引映像信号間引き部をさらに備える、請求項6に記載の映像表示装置。

請求項11

前記映像分離部が第nの統合映像信号から分離した第nの映像信号と第(n+0.5)の映像信号との時間的に中間となる第nの中間フレームを生成してフレームレートを変換するフレームレート変換部をさらに備え、前記表示部は、第nの映像信号と第(n+1)の映像信号を順次表示するときよりもさらに高いフレームレートで、第nの映像信号、第nの中間フレーム、第(n+1)の映像信号を順次表示する、請求項6に記載の映像表示装置。

請求項12

前記映像信号入力部が入力する統合映像信号に映像信号を多重化する方式を判別する判別部をさらに備え、前記映像分離部は、前記判別部における判定結果に基づいて、第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離する処理を行なう、請求項6に記載の映像表示装置。

請求項13

前記判別部は、前記映像信号入力部が入力するストリームに付加されている映像補足情報信号に基づいて、統合映像信号に映像信号を多重化する方式を判別する、請求項12に記載の映像表示装置。

請求項14

前記映像分離部が第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離した後に、第nの映像信号又は第(n+0.5)の映像信号を間引いて、前記映像信号入力部へ入力されるフレームと前記表示部が表示するフレームとの同期合わせを行なうフレーム同期部をさらに備える、請求項6に記載の映像表示装置。

請求項15

前記映像分離部が第nの統合映像信号から分離した第nの映像信号と第(n+0.5)の映像信号の間の色差位相不一致を補間する色差補間部をさらに備える、請求項6に記載の映像表示装置。

請求項16

前記色差補間部により色差位相の不一致を補間した後に生じる第nの映像信号と第(n+0.5)の映像信号の間の位置ずれ補正する位置合わせ部をさらに備える、請求項15に記載の映像表示装置。

請求項17

前記位置合わせ部は、画像のアスペクト比を保持しながら、第nの映像信号と第(n+0.5)の映像信号の間の位置ずれを補正する、請求項16に記載の映像表示装置。

請求項18

前記映像信号入力部は、統合映像信号として、ハイフレームレートの2次元映像信号又は3次元映像信号を入力し、前記映像信号入力部が入力する統合映像信号に付加されている映像補足情報信号に基づいて、入力された統合映像信号がハイフレームレートの2次元映像信号又は3次元映像信号のいずれであるかを判別する判別部をさらに備える、請求項6に記載の映像表示装置。

請求項19

前記判別部がハイフレームレートの2次元映像信号を入力していると判定し、前記表示部でハイフレームレートの2次元映像を表示しているときに、映像を観察する観察者がかけているシャッター眼鏡両目ともに解放状態にする、請求項18に記載の映像表示装置。

請求項20

前記判別部がハイフレームレートの2次元映像信号を入力していると判定し、前記表示部でハイフレームレートの2次元映像を表示しているときに、表示映像がハイフレームレートの2次元映像である旨を提示する、請求項18に記載の映像表示装置。

請求項21

第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化した第nの統合映像信号を入力する映像信号入力ステップと、第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離する映像分離ステップと、分離された第nの映像信号と第(n+1)の映像信号を順次表示する表示ステップと、を有する映像表示方法

請求項22

第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化した第nの統合映像信号を送信する映像信号出力装置と、第nの統合映像信号を受信し、第nの映像信号と第(n+0.5)の映像信号に分離して、順次表示する映像表示装置と、を具備する映像処理システム

請求項23

前記映像信号変換部は、ハイフレームレートの2次元映像のうち標準フレーム系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングして統合映像信号を生成する、請求項1に記載の映像信号処理装置。

請求項24

前記映像信号入力部は、ハイフレームレートの2次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、MVCフォーマットによりパッキングされた統合映像信号を入力し、前記映像分離部は、ハイフレームレートの2次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングされた統合映像信号を、時間方向及びビュー方向に補償して、系列毎のフレームを復号する、請求項6に記載の映像表示装置。

請求項25

前記表示部で通常のフレームレートで2次元映像を表示するときには、前記映像分離部は、一方の時間系列のフレームのみ時間方向に補償してフレームを復号し、他方の時間系列のフレームについて復号処理を省略する、請求項24に記載の映像表示装置。

請求項26

前記映像信号変換部は、ハイフレームレートの2次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングして統合映像信号を生成する、請求項1に記載の映像信号処理装置。

請求項27

前記映像信号入力部は、ハイフレームレートの2次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、インターレース・フォーマットの前記統合映像信号の各フィールド標準フレームレート垂直同期信号に同期してIP変換し、プログレッシブ化された各フレームからサイド・バイ・サイド形式で多重化された標準フレームと中間フレームを分離して、統合前のハイフレームレート映像信号を得る、請求項6に記載の映像表示装置。

請求項28

前記映像信号変換部は、ハイフレームレートの2次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングして統合映像信号を生成する、請求項1に記載の映像信号処理装置。

請求項29

前記映像信号入力部は、ハイフレームレートの2次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、前記統合映像信号の各フィールドをハイフレームレートの垂直同期信号に同期してIP変換して、統合前のハイフレームレート映像信号を得る、請求項6に記載の映像表示装置。

請求項30

映像信号の動き量を検出する動き検出部をさらに備え、前記動き検出部が映像信号から所定以上の動き量を検出したときには、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号を前記映像信号変換部で所定のフォーマットに変換し、前記出力部から出力し、動き量が所定未満のときには、標準フレームからなる映像信号を前記出力部から出力する、請求項1に記載の映像信号処理装置。

請求項31

前記映像信号入力部は、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号と標準フレームレートの映像信号が統合された統合映像信号を入力し、前記映像分離部は、標準フレームレートの映像信号が入力されたときには、各標準フレームをリピートしてハイフレームレート化する、請求項6に記載の映像表示装置。

請求項32

前記映像信号入力部は、統合映像信号として、2次元映像信号又は3次元映像信号を入力し、入力された統合映像信号が2次元映像信号又は3次元映像信号のいずれであるかを判別する判別部と、2次元映像信号又は3次元映像信号のいずれであるかに応じて映像信号の処理を切り換え信号処理部と、をさらに備える請求項6に記載の映像表示装置。

請求項33

前記信号処理部は、入力された統合映像信号が3次元映像信号のときには、前記映像分離部で分離した後、右眼用映像フレームを飛ばして左眼用映像フレーム間で参照してノイズ除去するとともに、左眼用映像フレーム飛ばして右眼用映像フレーム間で参照してノイズ除去し、入力された統合映像信号が2次元映像信号のときには、前記映像分離部で分離した後、フレーム飛ばしせず直近のフレーム間で参照してノイズ除去する、請求項32に記載の映像表示装置。

請求項34

前記信号処理部は、前記表示部の表示映像を一時停止するときに、入力された統合映像信号が3次元映像信号であれば、同一時刻左右映像フレームを交互に表示し、入力された統合映像信号が2次元映像信号であれば、1枚の映像フレームホールドする、請求項32に記載の映像表示装置。

技術分野

0001

本明細書で開示する技術は、ハイフレームレート映像信号を処理する映像信号処理装置及び映像信号処理方法映像表示装置及び映像表示方法、並びに映像処理システム係り、特に、映像遅延コストの増大を招くことなくハイフレームレートの映像信号の伝送表示出力を行なう映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システムに関する。

背景技術

0002

1/60秒(60i)や1/24(24p)などのフレームレートで連続する静止画撮影した映像は、フレーム間(すなわち、1/60秒間や1/24秒間)で動くものについて「ぼやけ」が発生する。例えば、映画における激しいアクションスポーツにおける選手の素早い動きがある映像にぼやけが発生すると、臨場感リアルさが損なわれる。そこで、撮影時のぼやけを改善するために、1/60秒間や1/24秒間にフレーム間の動きを補間するフレーム(以下、「中間フレーム」とも言う)を挿入することによって、映像を鮮明にする倍速変換若しくはハイフレームレート技術が知られている。

0003

ハイフレームレート技術によれば、挿入するフレーム数が多いほど映像は滑らかで鮮明になる。当業界では、前後のレーム内の映像ブロック間の動きベクトルを用いて画像予測して、比較的精度の高い中間フレームを生成する方法が広く知られている。

0004

例えば、動きベクトルにより符号化された映像信号を復号する再生装置と、その復号された映像信号をハイフレームレート化して表示する表示装置とが分離され、表示装置で、再生装置での復号処理によって得られる動きベクトルを利用してフレームレート変換を行なうフレームレート変換システムについて提案がなされている(例えば、特許文献1を参照のこと)。

0005

また、入力された映像信号のフレームレートを高めるハイフレームレート信号を生成し、さらにハイフレームレート映像信号に対して所定周期で非発光のフレームを設けてフレームレートを調整する画像表示装置について提案がなされている(例えば、特許文献2を参照のこと)。

0006

しかしながら、映像のハイフレームレート化は、中間フレーム生成処理が必要であり、映像破綻などを生じることがある。中間フレーム生成処理は、上述したように動きベクトルを用いて実現することができるが、回路コスト増や性能の影響が生じる。また、ハイフレームレートで記録されていないと得られない情報は、動きベクトルによる補間では復元することができない。したがって、動いている被写体の解像度を高めるには、元々ハイフレームレートで記録された映像を伝送するシステムとそれを表示する表示装置が必要ではないか、と本出願人は思料する。

0007

また、フレームレート変換した映像をリアルタイムに表示する場合には、変換後の次のフレームを表示するまでの限られた時間内に動きベクトルを検出する必要があるため、さらに高い計算能力を必要とする。すなわち、中間フレーム生成処理には、複数枚のフレームを処理する必要があり、映像遅延が発生する。このため、フレームレート変換技術は、リアルタイムで映像を表示しなければならないゲームなどの用途には不向きである。

0008

また、DualDVI(Digital Visual Interface)などの映像出力インターフェースを用いてハイフレームレートの映像データを広帯域伝送するシステムを構成するには、広帯域伝送用のケーブルバス製作コストがかかる、映像データの受信機側も広帯域信号を受信するために装置コストが増大する、放送などの限られた帯域映像システムでは実現不可能である、といった問題がある。

先行技術

0009

特開2007−274679号公報
特開2011−2519号公報

発明が解決しようとする課題

0010

本明細書で開示する技術の目的は、映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なうことができる、優れた映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システムを提供することにある。

課題を解決するための手段

0011

本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化して、第nの統合映像信号を生成する映像信号変換部と、
前記映像信号変換部で変換された統合映像信号を出力する出力部と、
具備する映像信号処理装置である。

0012

本願の請求項2に記載の技術によれば、請求項1に記載の映像信号処理装置の統合映像信号変換部は、元の複数の映像信号を、サイドバイ・サイド、トップアンドボトム、又は、フレーム・パッキングのうちいずれかの形式で1つの映像信号に多重化して統合映像信号を生成するように構成されている。

0013

本願の請求項3に記載の技術によれば、請求項1に記載の映像信号処理装置の統合映像信号変換部は、ハイフレームレートの2次元映像信号を、3次元映像信号の伝送フォーマットで多重化するように構成されている。

0014

本願の請求項4に記載の技術によれば、請求項1に記載の映像信号処理装置の出力部は、統合映像信号の出力ストリームに、映像信号を多重化して統合映像信号を生成する方式に関する映像補足情報信号を付加するように構成されている。

0015

また、本願の請求項5に記載の技術は、
第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化して、第nの統合映像信号を生成する映像信号変換ステップと、
前記映像信号変換ステップにおいて変換された統合映像信号を出力する出力ステップと、
を有する映像信号処理方法である。

0016

また、本願の請求項6に記載の技術は、
第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化した第nの統合映像信号を入力する映像信号入力部と、
第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離する映像分離部と、
分離された第nの映像信号と第(n+1)の映像信号を順次表示する表示部と、
を具備する映像表示装置である。

0017

本願の請求項7に記載の技術によれば、請求項6に記載の映像表示装置の表示部は、前記映像信号入力部への入力に対し倍速で、第nの映像信号と第(n+1)の映像信号を順次表示するように構成されている。

0018

本願の請求項8に記載の技術によれば、請求項6に記載の映像表示装置の映像分離部は、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で第nの統合映像信号に多重化された第nの映像信号と第(n+0.5)の映像信号を分離するように構成されている。

0019

本願の請求項9に記載の技術によれば、請求項6に記載の映像表示装置の映像信号入力部は、3次元映像信号の伝送フォーマットで多重化されたハイフレームレートの2次元映像信号を入力し、映像分離部は、前記映像信号への入力信号からハイフレームレートの2次元映像信号を分離するように構成されている。

0020

本願の請求項10に記載の技術によれば、請求項6に記載の映像表示装置は、映像分離部が第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号のうち第(n+0.5)の映像信号を間引映像信号間引き部をさらに備えている。

0021

本願の請求項11に記載の技術によれば、請求項6に記載の映像表示装置は、映像分離部が第nの統合映像信号から分離した第nの映像信号と第(n+0.5)の映像信号との時間的に中間となる第nの中間フレームを生成してフレームレートを変換するフレームレート変換部をさらに備えている。そして、表示部は、第nの映像信号と第(n+1)の映像信号を順次表示するときよりもさらに高いフレームレートで、第nの映像信号、第nの中間フレーム、第(n+1)の映像信号を順次表示するように構成されている。

0022

本願の請求項12に記載の技術によれば、請求項6に記載の映像表示装置は、映像信号入力部が入力する統合映像信号に映像信号を多重化する方式を判別する判別部をさらに備えている。そして、映像分離部は、前記判別部における判定結果に基づいて、第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離する処理を行なうように構成されている。

0023

本願の請求項13に記載の技術によれば、請求項12に記載の映像表示装置の判別部は、前記映像信号入力部が入力するストリームに付加されている映像補足情報信号に基づいて、統合映像信号に映像信号を多重化する方式を判別するように構成されている。

0024

本願の請求項14に記載の技術によれば、請求項6に記載の映像表示装置は、映像分離部が第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離した後に、第nの映像信号又は第(n+0.5)の映像信号を間引いて、前記映像信号入力部へ入力されるフレームと前記表示部が表示するフレームとの同期合わせを行なうフレーム同期部をさらに備えている。

0025

本願の請求項15に記載の技術によれば、請求項6に記載の映像表示装置は、映像分離部が第nの統合映像信号から分離した第nの映像信号と第(n+0.5)の映像信号の間の色差位相不一致を補間する色差補間部をさらに備えている。

0026

本願の請求項16に記載の技術によれば、請求項15に記載の映像表示装置は、色差補間部により色差位相の不一致を補間した後に生じる第nの映像信号と第(n+0.5)の映像信号の間の位置ずれ補正する位置合わせ部をさらに備えている。

0027

本願の請求項17に記載の技術によれば、請求項16に記載の映像表示装置の位置合わせ部は、画像のアスペクト比を保持しながら、第nの映像信号と第(n+0.5)の映像信号の間の位置ずれを補正するように構成されている。

0028

本願の請求項18に記載の技術によれば、請求項6に記載の映像表示装置の映像信号入力部は、統合映像信号として、ハイフレームレートの2次元映像信号又は3次元映像信号を入力するように構成されている。また、同映像表示装置は、映像信号入力部が入力する統合映像信号に付加されている映像補足情報信号に基づいて、入力された統合映像信号がハイフレームレートの2次元映像信号又は3次元映像信号のいずれであるかを判別する判別部をさらに備えている。

0029

本願の請求項19に記載の技術によれば、請求項18に記載の映像表示装置は、判別部がハイフレームレートの2次元映像信号を入力していると判定し、前記表示部でハイフレームレートの2次元映像を表示しているときに、映像を観察する観察者がかけているシャッター眼鏡両目ともに解放状態にするように構成されている。

0030

本願の請求項20に記載の技術によれば、請求項18に記載の映像表示装置は、判別部がハイフレームレートの2次元映像信号を入力していると判定し、前記表示部でハイフレームレートの2次元映像を表示しているときに、表示映像がハイフレームレートの2次元映像である旨を提示するように構成されている。

0031

また、本願の請求項21に記載の技術は、
判別部がハイフレームレートの2次元映像信号を入力していると判定し、前記表示部でハイフレームレートの2次元映像を表示しているときに、表示映像がハイフレームレートの2次元映像である旨を提示すである。

0032

また、本願の請求項22に記載の技術は、
第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化した第nの統合映像信号を送信する映像信号出力装置と、
第nの統合映像信号を受信し、第nの映像信号と第(n+0.5)の映像信号に分離して、順次表示する映像表示装置と、
を具備する映像処理システムである。

0033

但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

0034

また、本願の請求項23に記載の技術によれば、請求項1に記載の映像信号処理装置の前記映像信号変換部は、ハイフレームレートの2次元映像のうち標準フレーム系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、例えばMVC(Multiview Video Coding)などの前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングして統合映像信号を生成するように構成されている。

0035

また、本願の請求項24に記載の技術によれば、請求項6に記載の映像表示装置の前記映像信号入力部は、ハイフレームレートの2次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、MVCフォーマットによりパッキングされた統合映像信号を入力し、前記映像分離部は、ハイフレームレートの2次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、例えばMVCなどの前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングされた統合映像信号を、時間方向及びビュー方向に補償して、系列毎のフレームを復号するように構成されている。

0036

また、本願の請求項25に記載の技術によれば、請求項24に記載の映像表示装置は、前記表示部で通常のフレームレートで2次元映像を表示するときには、前記映像分離部が、一方の時間系列のフレームのみ時間方向に補償してフレームを復号し、他方の時間系列のフレームについて復号処理を省略するように構成されている。

0037

また、本願の請求項26に記載の技術によれば、請求項1に記載の映像信号処理装置の前記映像信号変換部は、ハイフレームレートの2次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングして統合映像信号を生成するように構成されている。

0038

また、本願の請求項27に記載の技術によれば、請求項6に記載の映像表示装置の前記映像信号入力部は、ハイフレームレートの2次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、インターレース・フォーマットの前記統合映像信号の各フィールド標準フレームレート垂直同期信号に同期してIP変換し、プログレッシブ化された各フレームからサイド・バイ・サイド形式で多重化された標準フレームと中間フレームを分離して、統合前のハイフレームレート映像信号を得るように構成されている。

0039

また、本願の請求項28に記載の技術によれば、請求項1に記載の映像信号処理装置の前記映像信号変換部は、ハイフレームレートの2次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングして統合映像信号を生成するように構成されている。

0040

また、本願の請求項29に記載の技術によれば、請求項6に記載の映像表示装置の前記映像信号入力部は、ハイフレームレートの2次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、前記統合映像信号の各フィールドをハイフレームレートの垂直同期信号に同期してIP変換して、統合前のハイフレームレート映像信号を得るように構成されている。

0041

また、本願の請求項30に記載の技術によれば、請求項1に記載の映像信号処理装置は、映像信号の動き量を検出する動き検出部をさらに備えている。そして、前記動き検出部が映像信号から所定以上の動き量を検出したときには、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号を前記映像信号変換部で所定のフォーマットに変換し、前記出力部から出力し、動き量が所定未満のときには、標準フレームからなる映像信号を前記出力部から出力するように構成されている。

0042

また、本願の請求項31に記載の技術によれば、請求項6に記載の映像表示装置の前記映像信号入力部は、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号と標準フレームレートの映像信号が統合された統合映像信号を入力し、前記映像分離部は、標準フレームレートの映像信号が入力されたときには、各標準フレームをリピートしてハイフレームレート化するように構成されている。

0043

また、本願の請求項32に記載の技術によれば、請求項6に記載の映像表示装置は、前記映像信号入力部は、統合映像信号として、2次元映像信号又は3次元映像信号を入力し、入力された統合映像信号が2次元映像信号又は3次元映像信号のいずれであるかを判別する判別部と、2次元映像信号又は3次元映像信号のいずれであるかに応じて映像信号の処理を切り換え信号処理部をさらに備えている。

0044

また、本願の請求項33に記載の技術によれば、請求項32に記載の映像表示装置の前記信号処理部は、入力された統合映像信号が3次元映像信号のときには、前記映像分離部で分離した後、右眼用映像フレームを飛ばして左眼用映像フレーム間で参照してノイズ除去するとともに、左眼用映像フレーム飛ばして右眼用映像フレーム間で参照してノイズ除去し、入力された統合映像信号が2次元映像信号のときには、前記映像分離部で分離した後、フレーム飛ばしせず直近のフレーム間で参照してノイズ除去するように構成されている。

0045

また、本願の請求項34に記載の技術によれば、請求項32に記載の映像表示装置の前記信号処理部は、前記表示部の表示映像を一時停止するときに、入力された統合映像信号が3次元映像信号であれば、同一時刻左右映像フレームを交互に表示し、入力された統合映像信号が2次元映像信号であれば、1枚の映像フレームホールドするように構成されている。

発明の効果

0046

本明細書で開示する技術によれば、映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なうことができる、優れた映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システムを提供することができる。

0047

本明細書で開示する技術によれば、映像信号の出力側高周波映像信号を生成することができるので、コンテンツ制作の幅が広がる。また、ハイフレームレート・カメラで撮影した映像を、フレームレートを落とすことなく配信することが可能となる。

0048

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図面の簡単な説明

0049

図1は、映像信号出力装置側でハイフレームレートの2次元映像信号を3次元映像信号の伝送フォーマットにフォーマット変換する処理を模式的に示した図である。
図2は、映像表示装置が3次元映像信号を入力して3次元映像を表示する処理を模式的に示した図である。
図3は、映像表示装置が、3次元映像信号の伝送フォーマットで伝送されるハイフレームレートの2次元映像信号を入力して、ハイフレームレートの2次元映像を表示する処理を模式的に示した図である。
図4は、映像表示装置が、3次元映像信号の伝送フォーマットで伝送されるハイフレームレートの2次元映像信号を入力し、中間フレームを間引いて標準のフレームレートの2次元映像を表示する処理を模式的に示した図である。
図5は、ハイフレームレートの2次元映像信号の伝送に3次元映像信号の伝送フォーマットを利用した映像システム400の構成例を示した図である。
図6Aは、ハイフレームレートの2次元映像信号の伝送に3次元映像信号の伝送フォーマットを利用した映像システム500の構成例において映像出力側となるハイフレームレート・カメラ510及び放送装置520を示した図である。
図6Bは、ハイフレームレートの2次元映像信号の伝送に3次元映像信号の伝送フォーマットを利用した映像システム500の構成例における映像表示装置550を示した図である。
図7は、YUV420/YUV422フォーマットの画素データを示した図である。
図8は、YUV420/YUV422フォーマットで854×480画素サイズの画像フレームに、ハイフレームレートの2次元映像をサイド・バイ・サイド形式で多重化した様子を示した図である。
図9は、サイド・バイ・サイド形式でハイフレームレート2次元映像を多重化した、YUV420/YUV422フォーマットで854×480画素サイズの画像フレームから、2分の1に分割したときの境界部分を避けて元のハイフレームレートの2次元映像を分離する様子を示した図である。
図10は、サイド・バイ・サイド形式でハイフレームレート2次元映像を多重化した画像フレームから、2分の1に分割したときの境界部分を避けて元の画像フレームを分離する処理を行なったときの、分離した後の左右の各画像フレーム先頭画素を示した図である。
図11は、ハイフレームレート2次元映像をサイド・バイ・サイド形式で多重化したYUV420/YUV422フォーマットの画像フレームの左右から分離した後、各画像フレームの位相を合わせながら時間方向に並べる様子を示した図である。
図12は、ハイフレームレート2次元映像をサイド・バイ・サイド形式で多重化したYUV420/YUV422フォーマットの画像フレームから元のハイフレームレート2次元映像を分離する方法を説明するための図である。
図13は、ハイフレームレート2次元映像をトップ・アンド・ボトム形式で多重化したYUV420フォーマットの画像フレームから元のハイフレームレート2次元映像を分離する方法を説明するための図である。
図14は、3次元映像信号の伝送フォーマットで送られてきた映像信号からハイフレームレートの2次元映像信号を取り出して表示する映像表示装置1400の構成例を示した図である。
図15Aは、ハイフレームレート2次元映像信号に戻した後の間引き処理により入力映像のフレームレートと表示のフレームレートの同期合わせを行なう方法を説明するための図である。
図15Bは、入力のフレームベースで間引き処理して入力映像のフレームレートと表示のフレームレートの同期合わせを行なう方法を説明するための図である。
図16Aは、映像表示装置450がフレーム・シーケンシャルで3次元映像を画面表示する際に、シャッター眼鏡が左眼用画像及び右眼用画像表示切り換えに同期して左右のシャッター開閉制御している様子を示した図である。
図16Bは、映像表示装置450がハイフレームレートの2次元映像を画面表示する際に、シャッター眼鏡の左右のシャッターをともに開放して、画面を2次元映像として見えるようにしている様子を示した図である。
図17は、映像表示装置450が受信信号のフォーマットに応じて実行する動作手順を示したフローチャートである。
図18は、フレーム・パッキング形式の伝送フォーマットを示した図である。
図19は、サイド・バイ・サイド形式の伝送フォーマットを示した図である。
図20は、トップ・アンド・ボトム形式の伝送フォーマットを示した図である。
図21は、MVCにより符号化された3次元映像の構造と、これをデコードして表示する処理を示した図である。
図22は、MVCを用いてハイフレームレート2次元映像信号をパッキングする方法とこれをデコード再生する仕組みを模式的に示した図である。
図23は、MVCフォーマットを利用したハイフレームレート2次元映像信号を標準のフレームレートで再生する仕組みを示した図である。
図24は、ハイフレームレート2次元映像をインターレース・フォーマットにパッキングする方式の一例を、IP変換し出力する方法とともに示した図である。
図25は、図24に示した方式でインターレース・フォーマットにパッキングされたハイフレームレート2次元映像を表示出力する映像表示装置2500の構成例示した図である。
図26は、ハイフレームレート2次元映像をインターレース・フォーマットにパッキングする方式の他の例(Top Field First)を、IP変換し出力する方法とともに示した図である。
図27は、ハイフレームレート2次元映像をインターレース・フォーマットにパッキングする方式の他の例(Bottom Field First)を、IP変換し出力する方法とともに示した図である。
図28は、図26又は図27に示した方式でインターレース・フォーマットにパッキングされたハイフレームレート2次元映像を表示出力する映像表示装置2800の構成例を示した図である。
図29は、2次元映像におけるシーンの動き量に応じて通常の2次元映像とハイフレームレート2次元映像を動的に切り換える様子を示した図である。
図30は、2次元映像におけるシーンの動き量に応じてフレームレートを切り換える処理手順を示したフローチャートである。
図31は、2次元映像におけるシーンの動き量に応じてフレームレートを切り換えて送信する映像信号送信装置の構成例を示した図である。
図32は、途中で標準フレームレートからハイフレームレートに切り替わる映像信号を常にハイフレームレートの同期信号に固定して出力する様子を示した図である。
図33は、3次元映像信号においてフレーム間参照映像処理による映像ノイズ除去処理を行なう様子を示した図である。
図34は、ハイフレームレート2次元映像信号においてフレーム間参照映像処理による映像ノイズ除去処理を行なう様子を示した図である。
図35は、3次元映像を一時停止処理する様子を示した図である。
図36は、ハイフレームレート2次元映像を一時停止処理する様子を示した図である。

実施例

0050

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

0051

左右の眼に視差のある画像を表示することで、観察者に立体的に見える立体視画像を提示することができる。例えば、時分割立体視画像表示システムは、視差のある左眼用映像及び右眼用映像をフレーム・シーケンシャルすなわち非常に短い周期で交互に画面表示する映像表示装置と、左眼用映像及び右眼用映像の表示周期に同期して左眼用映像と右眼用映像を分離する機構からなる。観察者の左眼に左眼用映像を、右眼に右眼用映像をそれぞれ独立して視認させると、観察者の脳内ではこれらが融像され、立体的に認識される。

0052

ここで、映像表示で非常に短い周期で交互に画面表示される左眼用映像と右眼用映像を分離する機構として、幾つかの方式が知られている。例えば、シャッター眼鏡を利用した映像分離機構の場合、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備えたシャッター眼鏡を観察者がかける。シャッター眼鏡は、左眼用画像がディスプレイされる間に、シャッター眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用画像がディスプレイされる間に、シャッター眼鏡の右眼部が光を透過させ、左眼部が遮光する。すなわち、映像表示装置による左眼用画像及び右眼用画像の時分割表示と、映像表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察するユーザー立体画像が提示される。

0053

また、立体視できる3次元映像信号の伝送フォーマットとして、例えばHDMI(High−Definition Multimedia interface)1.4a規格では、1垂直帰線期間中に(同時刻の)左眼用映像と右眼用映像の2フレーム分(若しくは4フレーム分)を多重化する「フレーム・パッキング(Frame packing)」(図18を参照のこと)、2次元映像信号のアクティブ領域を水平方向に2分割して左右すなわち水平方向に(同時刻の)左眼用映像及び右眼用映像を多重化する「サイド・バイ・サイド(Side by Side)」(図19を参照のこと)、2次元映像信号のアクティブ領域を垂直方向に2分割して上下すなわち垂直方向に(同時刻の)左眼用映像及び右眼用映像を多重化する「トップ・アンド・ボトム(Top and Bottom)」(図20を参照のこと)が定義されている。フレーム・パッキングによれば、左眼用映像及び右眼用映像の各フレームの解像度は2次元画像と同一である。他方、サイド・バイ・サイドでは左眼用映像及び右眼用映像の各フレームの水平解像度が2次元画像の2分の1、トップ・アンド・ボトムでは左眼用映像及び右眼用映像の各フレームの垂直解像度が2次元画像の2分の1となる。

0054

本明細書で開示する技術は、ハイフレームレートの2次元映像信号を伝送する際に、3次元映像信号の伝送フォーマットを利用するものである。本明細書で開示する技術を適用したハイフレームレート2次元映像システムは、3次元映像信号を所定の伝送フォーマットで出力可能な映像信号出力装置と、この伝送フォーマットに対応した映像表示装置からなる。上述したように、3次元映像信号は時刻の連続した左眼用映像と右眼用映像を多重化したものである。映像信号出力装置は、本来の3次元映像のうち左眼用映像と右眼用映像として使用する2枚の映像の代わりに、時刻の連続したハイフレームレートの2枚の映像を多重化する。また、映像表示装置側では、3次元映像信号フォーマットを利用したハイフレーム2次元映像信号を受信すると、時刻の連続したハイフレームレートの2枚の映像として分離するとともにフレーム並べ替えを行なって表示する。ハイフレームレートの2次元映像信号を伝送するために、上記したフレーム・パッキング、サイド・バイ・サイド、トップ・アンド・ボトムのいずれの3次元映像信号フォーマットも利用することができる。

0055

図1には、映像信号出力装置側でハイフレームレートの2次元映像信号を3次元映像信号の伝送フォーマットにフォーマット変換する処理を模式的に示している。

0056

原画像であるハイフレームレートの2次元映像は、標準のフレームレートの2次元映像フレーム(以下、「標準フレーム」とも言う)N0、N1、N2、N3、…の各フレーム間には、時間的に中間となる2次元映像フレーム(以下、「中間フレーム」とも言う)N0.5、N1.5、N2.5、…が挿入され、これらが時間軸上に配列され、標準フレームレートに対して倍のフレームレートとなっている。

0057

図1では、ハイフレームレートの2次元映像を、サイド・バイ・サイド形式の3次元映像信号にフォーマット変換する様子を示している。図示のように、水平方向に左眼用映像と右眼用映像に2分割していた2次元映像信号のアクティブ領域に、ある時刻の標準フレームと、次の時刻の標準フレームとの間の中間フレームを、それぞれ水平方向に2分の1にスケール変換した後に、1フレーム内に水平方向に多重化している。したがって、時刻毎の画像フレームは、(N0,N0.5)、(N1,N1.5)、(N2,N2.5)、(N3,N3.5)、…となり、これが映像信号出力装置の出力となる。

0058

なお、図示しないが、ハイフレームレート2次元映像信号を、トップ・アンド・ボトムやフレーム・パッキングなど他の3次元映像信号の伝送フォーマットに載せて伝送する場合も、同様に、時間軸上で連続する標準フレームと中間フレームを、3次元映像信号フォーマットにおける左眼用画像及び右眼用画像の代わりに交互に割り当てる。

0059

また、図2には、映像表示装置が3次元映像信号を入力して3次元映像を表示する処理を模式的に示している。

0060

映像表示装置には、サイド・バイ・サイド形式の3次元映像信号が入力される。図示のように、サイド・バイ・サイド形式では、2次元映像信号のアクティブ領域を水平方向に2分割して、同時刻の左眼用映像及び右眼用映像(L0,R0)、(L1,R1)、(L2,R2)、…を1フレーム内に水平方向に多重化されている。

0061

映像表示装置内では、このような入力信号に対し、左眼用映像と右眼用映像への映像分離、時間方向の並べ替え、及び、水平方向のスケーリングを行なう。そして、時刻毎の左眼用映像と左眼用画像を、入力信号に対し倍速で交互に表示する。

0062

また、図3には、映像表示装置が、3次元映像信号の伝送フォーマットで伝送されるハイフレームレートの2次元映像信号を入力して、ハイフレームレートの2次元映像を表示する処理を模式的に示している。

0063

図1に示した映像信号出力装置の出力が映像表示装置への入力となる。映像表示装置内では、標準フレームと中間フレームが1フレームにパッキングされたこ入力信号(N0,N0.5)、(N1,N1.5)、(N2,N2.5)、(N3,N3.5)、…に対し、元の標準フレームと中間フレームに映像分離し、時間方向の並べ替え、及び、水平方向のスケーリングを行ない、フレーム補間されたハイフレームレートの2次元映像N0、N0.5、N1、N1.5、N2、N2.5、…を、入力信号に対し倍速で表示する。

0064

上述したように、ハイフレームレートの2次元映像信号に3次元映像信号の伝送フォーマットを利用する場合、映像表示装置側では標準フレーム間を補間する中間フレームを生成する必要がない。したがって、中間フレーム生成処理の回路とそのメモリーが不要であるため、ハイフレームレート化のための装置コスト増大を抑制することができる。また、中間フレーム生成処理を行なわないことで映像遅延が発生しないので、ゲーム用途にも適当である。

0065

また、ハイフレームレートの2次元映像信号に3次元映像信号の伝送フォーマットを利用する場合、既存の3次元映像信号フォーマットに対応した3次元対応テレビであれば、入力した映像信号を3次元映像信号の伝送フォーマットとして表示することで、ハイフレームレートの2次元映像を視聴することが可能となる。既に運用が開始されている放送などの3次元映像配信システムの範囲でも、ハイフレームレートの2次元映像の配信、視聴が可能となる。

0066

また、ハイフレームレートの2次元映像信号に3次元映像信号の伝送フォーマットを利用する映像配信システムでは、映像信号出力装置すなわち送信側で高周波映像信号を生成するので、コンテンツ制作の幅が広がる。高速カメラで撮影した映像も、3次元映像信号の伝送フォーマットを利用することで、フレームレートを落とすことなく配信することができる。

0067

なお、映像表示装置内で、3次元映像信号の伝送フォーマットで多重化されたハイフレームレートの2次元映像信号から、元の2次元映像フレーム(標準フレーム及び中間フレーム)に映像分離した後、図4に示すように中間フレームを間引くことで、従来のTVシステムと同等のフレームレートでの表示を行なうことも可能である。

0068

また、図3に示した例では、3次元映像信号の伝送フォーマットをフレーム補間なしの2倍速の2次元映像信号として扱うものであり、映像表示装置内ではフレーム補間を行なっていない。これに対し、映像表示装置内にフレームレート変換回路を組み込み、中間フレーム生成処理を行なうようにすれば、さらに高いフレームレートの映像を表示することができる。

0069

また、図3に示した例では、サイド・バイ・サイド形式の伝送フォーマットをフレーム補間なしの2倍速2次元映像信号として扱うものであるが、勿論、フレーム・パッキングやトップ・アンド・ボトムなど他の既存の3次元映像信号フォーマットも、同様にハイフレームレートの2次元映像に利用することができる。

0070

また、図3に示した例では、サイド・バイ・サイド形式の伝送フォーマットを用いて2倍速2次元映像信号の入力を行なうが、これに対し、フレーム・パッキング・インターレース・フォーマットを映像信号の入力に用いて、IP(Interlace−Progressive)変換を行なうことで、4倍速相当のフレームレートを実現することができる。

0071

さらに、3次元映像の複数の視差画像フレームを時刻同期して圧縮符号化するフォーマットを、ハイフレームレートの2次元映像の伝送に利用することが考えられる。その具体例として、H.264/AVCを機能拡張した3次元映像信号フォーマットであるMVC(Multiview Video Coding:多視点映像符号化)を挙げることができ、ハイフレームレートの2次元映像の伝送に利用することができる。MVC規格では、圧縮効率を上げるために、通常の動き補償(inter predication)の他に、複数のビュー間でフレーム間予測符号化すなわち視差補償(inter−view predication:ビュー間補償)を利用している。したがって、時間方向とともにビュー方向にも参照画像を持ち、デコード時には時間方向に参照して動き補償するとともに、ビュー方向に参照して視差補償して、画像を復元する。

0072

図21には、MVCにより符号化された3次元映像の構造と、これをデコードして表示する処理を模式的に示している。図示のように、左眼用映像L0、L1、L2、…、及び、右眼用映像R0、R1、R2、…それぞれについて、画面内で独立して符号化したIピクチャー、時間軸上で順方向に予測符号化したPピクチャー、双方向に予測符号化したBピクチャーが、時間方向に配列されている。また、同時刻の左眼用映像と右眼用映像間でも予測符号化されている。同図では、画面間参照関係を矢印で示している。そして、3次元映像再生時には、参照フレームで補償してデコードし、時刻毎の左眼用映像L0、L1、L2、…、及び、右眼用映像R0、R1、R2、…を交互に表示する。

0073

また、図22には、MVCを用いてハイフレームレート2次元映像信号をパッキングする方法とこれをデコード再生する仕組みを模式的に示している。図示のように、標準フレーム周期毎の本来の2次元映像すなわち標準フレームN0、N1、N2、N3、…が、時間方向に配置されている。標準フレームは、Iピクチャー、Pピクチャー、Bピクチャーの系列からなる。また、標準フレーム間を補間する中間フレームN0.5、N1.5、N2.5、…の系列が、ビュー方向に配置されている。図中矢印で参照関係を示すように、標準フレームと中間フレームは、それぞれで時間方向にフレーム間予測符号化が行なわれるとともに、時間的に対応する標準フレームと中間フレーム間でもフレーム間予測符号化が行なわれる。そして、ハイフレームレート2次元映像再生時には、時間方向及びビュー方向に隣接フレームを参照してデコードし、時間方向に並べ替えて、フレーム補間されたハイフレームレートの2次元映像N0、N0.5、N1、N1.5、N2、N2.5、…を、入力信号に対し倍速(120Hz)で交互に表示する。

0074

また、映像表示装置にはMVCフォーマットを利用したハイフレームレート2次元映像信号が入力されるが、標準のフレームレート(60Hz)で表示したいときには、一旦デコードした中間フレームを間引くのではなく、図23に示すように、そもそも中間フレームN0.5、N1.5、N2.5、…の系列についてデコード処理を行なわないようにすればよい。

0075

図5には、ハイフレームレートの2次元映像信号の伝送に3次元映像信号の伝送フォーマットを利用した映像システム400の構成例を示している。図示の映像システム400は、映像信号出力装置としてのゲーム機410と、TVなどの映像表示装置450で構成され、映像信号の伝送にはHDMIケーブル420が用いられている。

0076

描画部411は、例えばゲーム用の2次元映像信号を、ハイフレームレートで生成する。あるいは、描画部411は、標準のフレームレートの2次元映像信号を生成した後、さらに中間フレーム生成処理を行なって、ハイフレームレートの2次元映像信号に変換する。

0077

フォーマット変換部412は、ハイフレームレートの2次元映像信号を、サイド・バイ・サイドやトップ・アンド・ボトムなどの伝送フォーマットに適合するように1フレーム内に多重化する。

0078

そして、送信部413は、フォーマット変換された映像信号をHDMI形式にプロトコル変換して、HDMIケーブル420上に送出する。

0079

なお、映像出力装置400側では、送出信号が通常の3次元映像信号又はハイフレームレート2次元映像信号のいずれであるかを示す情報を、例えば送信ストリームヘッダー情報などの映像補足情報信号で、映像信号と同時に送信するようにしてもよい。映像信号を符号化、伝送する規格毎の、上記情報の記載方法を以下の表に示しておく。なお、MVCは、AVCと同様にH.264規格なので、同様の記載方法を採用することができる。

0080

0081

映像表示装置450側では、受信部451でHDMIケーブル420を介して映像信号を受信すると、フォーマット判別部452で、入力された映像信号の伝送フォーマットを判別する。そして、受信部451は、判別された伝送フォーマットに従って、映像信号のデコード処理を適宜行なう。フォーマット判別部452は、例えば、受信したストリームのヘッダー情報など映像補足情報信号の記載に基づいて、映像信号の伝送フォーマットや、映像信号に載せられているのが3次元映像信号又はハイフレームレート2次元映像信号のいずれであるのかなどを判別する。なお、受信ストリーム中にこの種の映像補足情報信号が含まれていないことも想定される。このような場合には、視聴者が指定して、フォーマットの切り替えを行なうことも可能である。フォーマット判別部452におけるフォーマット判別は、自動判別の他、視聴者によるマニュアル指定も含むものとする。

0082

そして、映像分離部453では、判定された伝送フォーマットに基づいて、1フレーム内に多重化されているハイフレームレート2次元映像信号を元のフレームに分離した後に逐次フレーム・メモリー454に保存する。映像並べ替え部455は、フレーム・メモリー454に保存されている映像フレームを時間方向に並べ替えて読み出す。

0083

なお、入力映像のフレームレートと表示のフレームレートが合わないときには、フレームを間引いたり、逆に、同じフレームを繰り返し表示したりすることで、同期を合わせる方法が考えられる。図5に示した映像表示装置450の場合、映像分離部453でハイフレームレート2次元映像信号に戻した後にフレームの間引き処理を行なうように構成されている。すなわち、映像並べ替え部455が、入力映像のフレームレートと表示のフレームレートの不一致に応じてフレーム・メモリー454からの映像フレーム(中間フレーム)の読み出しスキップすることで、同期合わせを行なう(図15Aを参照のこと)。ハイフレームレート2次元映像信号に戻した後であれば、同期合わせを行なうときに1フレーム単位で間引き処理できるので、1回のフレームの飛びを小さくして、ジッター動き方向不連続性)を軽減することができる。

0084

上述したようにハイフレームレート2次元映像信号に戻した後に間引き処理を行なう代わりに、入力のフレームベースで間引き処理して同期合わせを行なう方法も考えられる(図15Bを参照のこと)。この場合、1回当たりの間引きで、ハイフレームレート2次元映像の表示時には2フレーム分が間引かれることになり、1回のフレームの飛びを大きくなり、ジッター(動き方向の不連続性)が増大してしまう。

0085

再び図5に戻って説明する。映像ノイズ除去部456は、時間方向に並べ替えられた各映像信号に含まれるノイズ成分を除去する。

0086

ここで、3次元映像信号の伝送フォーマットで入力されたハイフレームレートの2次元映像信号を、標準のフレームレートで表示するときには、フレーム間引き部457で、図4に示したように、ハイフレームレートの2次元映像から中間フレームの間引き処理を行なう。そして、選択部458は、ハイフレームレート又は標準のフレームレートのうちいずれで映像表示を行なうかに応じて、映像ノイズ除去部456又はフレーム間引き部457のうちいずれか一方の出力を選択する。

0087

ハイフレームレートの2次元映像信号の伝送にサイド・バイ・サイド形式を利用する場合、映像信号の水平解像度が2分の1になり、トップ・アンド・ボトム形式を利用する場合は、映像信号の垂直解像度が2分の1になる。そこで、スケール処理部459は、フォーマット判別部452での判定結果に基づいて、映像信号の解像度をフォーマット変換前となるようアップコンバートする。スケール処理した後の映像信号は、表示部460で表示出力される。例えば液晶表示ディスプレイプラズマ・ディスプレイなどを表示部460に利用することができる。

0088

なお、図示の映像表示装置450は、3次元映像信号の伝送フォーマットをフレーム補間なしの2倍速2次元映像信号として扱うように構成されているが、フレームレート変換回路を組み込み、映像表示装置450内でも中間フレーム生成処理を行なうようにすることで、さらに倍のフレームレートの2次元映像を生成し表示することができる。

0089

また、上記では、映像表示装置450の構成について、3次元映像信号の伝送フォーマットで入力したハイフレームレート2次元映像信号を表示するという観点から説明してきたが、映像表示装置450自身は、所定の伝送フォーマットの3次元映像信号を入力して3次元表示することも、勿論可能である。すなわち、図2に示したように、1画面フレームに多重化されている左眼用映像及び右眼用映像(L0,R0)、(L1,R1)、(L2,R2)、…を、映像分離部453において元の左眼用映像及び右眼用映像に分離し、映像並べ替え部455がフレーム・メモリー454から読み出す順番により、左右の映像を時間方向にL0、R0、L1、R1、L2、R2、…と並べ替えて、フレーム・シーケンシャル方式で画面表示すればよい。

0090

3次元映像信号の伝送フォーマットを利用して3次元映像信号又はハイフレームレートの2次元映像信号のいずれが伝送され、3次元映像又はハイフレームレートの2次元映像のいずれを表示部460に画面表示する場合であっても、映像表示装置450自体の動作はほぼ同じである。但し、映像システム400が左眼用映像と右眼用映像を分離する機構としてシャッター眼鏡(図示しない)を利用する場合には、3次元映像を表示する際に、映像表示装置450からシャッター眼鏡へ、シャッターの開閉タイミングを制御するための情報を送信する必要がある。例えば、本出願人に既に譲渡されている特願2009−276948号明細書には、ワイヤレスネットワークを利用して、シャッターの開閉タイミングを制御するための情報を送信する時分割立体画像表示システムについて開示されている。

0091

図6A及び図6Bには、ハイフレームレートの2次元映像信号の伝送に3次元映像信号の伝送フォーマットを利用した映像システム500の構成例を示している。図示の映像システム500は、図6Aに示す、映像信号出力装置としてのハイフレームレート・カメラ510及び放送装置520と、図6Bに示す、映像表示装置550で構成される。図6Aに示す映像出力装置は、例えば放送コンテンツ制作並びに配信する放送局などに配置され、ハイフレームレート・カメラ510と放送装置520で構成される。また、図6Bに示す映像表示装置550は、放送番組を視聴するユーザーの家庭内などに設置されるTV受像機に相当する。

0092

ハイフレームレート・センサー511は、例えば標準フレームレートよりも2倍のフレームレートで動画の撮影を行ない、ハイフレームレートの2次元映像信号を出力する。

0093

信号処理部512は、映像信号に対して、欠陥画素補正デジタルクランプ、デジタル・ゲイン制御、AWB、シャープネス・再度コントラスト調整などの画質補正処理を行なう。信号処理後のハイフレームレート映像信号は、メモリー513に一旦保存される。

0094

放送装置内520内では、フォーマット変換部521は、ハイフレームレートの2次元映像信号をメモリー513から読み出すと、サイド・バイ・サイドやトップ・アンド・ボトムなどの伝送フォーマットに適合するように多重化する。そして、符号化部522及び変調部523によって映像信号に符号化、変調処理を施した後、送出部524は、放送波にアップコンバートして送出する。

0095

図6Bに示す映像表示装置550内では、受信部551が放送波のうち選局されたチャンネルの映像信号を復調及び復号処理する。受信部551がチューナーである以外は、映像表示装置550は図5に示した映像表示装置450と同様の構成なので、詳細な説明は省略する。映像表示装置550は、所定の伝送フォーマットの3次元映像信号を入力して、フレーム・シーケンシャル方式で3次元表示することも、勿論可能である(同上)。また、映像表示装置550にフレームレート変換回路を組み込み、映像表示装置450内でも中間フレーム生成処理を行なうようにすることで、さらに倍のフレームレートの2次元映像を生成するようにしてもよい(同上)。

0096

図6A及び図6Bに示した映像システムによれば、コンテンツの制作側である放送装置520において高周波映像信号を生成することができるので、コンテンツ制作の幅が広がる。ハイフレームレート・カメラ510で撮影したハイフレームレート2次元映像を3次元映像信号の伝送フォーマットに載せることにより、フレームレートを落とすことなく配信することが可能となる。また、NTSC/PAL(National Television Standard Committee/Phase Alternating Line)方式の映像システムを利用しつつも、新しい映像システムを構築することが可能である。

0097

画面フォーマットとして、インターレース・フォーマットとプログレッシブ・フォーマットが知られているが、動きを重視したい場合(限られた帯域幅で動きの多い場面を伝送したい場合)などには、ハイフレームレート2次元映像信号をインターレース・フォーマットにパッキングする方法も考えられる。

0098

インターレース・フォーマットで映像信号を伝送する場合、受信機側では、インターレース・プログレッシブ変換(IP変換)を行なうが、その際に、トップ・フィールドとボトム・フィールドを正しく認識した上で信号処理を行なう必要がある。3次元映像信号をインターレース・フォーマットにパッキングする場合、IP変換時には、左眼用映像同士、右眼用映像同士でそれぞれ個別に整合がとれていればよい。これに対し、ハイフレームレート2次元映像の場合、すべてのフレームが同じ視点の異なる時間の映像であり、1フレーム内にパッキングされた元の連続フレーム間及び隣接フレームにそれぞれパッキングされた元の連続フレーム間の双方で整合をとる必要がある。ハイフレームレート(120Hz)の2次元映像をどのように1フレームにパッキングするかにより、受信機側で行なうべきIP変換が異なる。したがって、(送信機側での)1フレームへのパッキング方法と(受信機側での)信号処理を合わせてシステムを構築しなければ、正しい映像が得られなくなる。

0099

図24には、ハイフレームレート2次元映像をインターレース・フォーマットにパッキングする方式の一例を、IP変換し出力する方法とともに示している。

0100

同図に示すパッキング方式では、ある時刻の標準フレームと次の時刻の標準フレームとの間の中間フレームをサイド・バイ・サイド形式で水平方向に多重化して、各フレーム(N0,N0.5)、(N1,N1.5)、(N2,N2.5)、(N3,N3.5)、…を標準フレームレートの2次元映像信号として扱う。そして、(標準フレームレートの)垂直同期期間毎に各画像フレーム(N0,N0.5)、(N1,N1.5)、(N2,N2.5)、(N3,N3.5)、…を交互にインターレース・トップ・フィールド又はインターレース・ボトム・フィールドに合わせて、インターレース・フォーマットにパッキングしている。

0101

受信機側では、インターレース・フォーマットにパッキングされた映像信号を、IP変換用(標準フレームレート)の垂直同期信号に同期して、インターレース・トップ・フィールドとインターレース・ボトム・フィールドに交互に振り分ける。さらに、各垂直同期期間中のインターレース・トップ・フィールド並びにインターレース・ボトム・フィールドをIP変換して、サイド・バイ・サイド形式のフレーム(N0,N0.5)、(N1,N1.5)、(N2,N2.5)、(N3,N3.5)、…を復元する。そして、出力用すなわちハイフレームレートの垂直同期信号に同期して、各フレームを順に取り出してフレーム・シーケンシャル化し、表示出力する。要するに、受信した映像信号に対してまずIP変換を行なって、各フィールドをプログレッシブ変換した後に、フレーム・シーケンシャル化して、ハイフレームレート2次元映像に復元する。

0102

図24に示したパッキング方法によれば、受信機側でのIP変換処理は通常の2次元映像フォーマットと同じになる。また、ハイフレームレート2次元映像をフレーム間引きにより標準フレームレートに変換したい場合には、IP変換時に中間フレームを読み込まないようにすればよい。すなわち、IP変換を行なう前にフレーム間引きすることができるので、システム・コストを削減することができる。但し、サイド・バイ・サイド形式で1枚のフレームとして扱われる標準フレームと中間フレームのペアは一体としてIP変換され、標準フレーム→中間フレーという順でIP変換することはできない。すなわち、時間の連続したフレーム同士でのIP変換ができないため、IP変換性能にだけ着目すると、通常の2次元映像以上の性能は得られないという点に留意されたい。

0103

なお、図24では、2枚の映像をサイド・バイ・サイド形式で1枚として扱う映像信号をインターレース・フォーマットにパッキングする実施例を示したが、他の形式(例えば、MVC)により2枚の映像を1枚として扱う場合であっても、同様のIP変換方法を適用することができるという点を十分理解されたい。

0104

図25には、図24に示した方式でインターレース・フォーマットにパッキングされたハイフレームレート2次元映像を表示出力する映像表示装置2500の構成例を示している。

0105

受信部2501で映像信号を受信すると、フォーマット判別部2502で、入力信号がインターレース・フォーマットにパッキングされたハイフレームレート2次元映像信号であることを判別する。フォーマット判別部2502におけるフォーマット判別は、自動判別の他、視聴者によるマニュアル指定も含むものとする(同上)。そして、受信部2501は、判別された伝送フォーマットに従って、映像信号のデコード処理を適宜行なう。

0106

映像分離部2503は、標準速のIP変換用垂直同期信号に従って、インターレース・フォーマットの映像信号から、トップ・フィールド並びにボトム・フィールドを垂直同期期間毎に交互に分離し、原画用フレーム・メモリー2504へ書き込む。また、映像並べ替え部2505は、標準速で、原画用フレーム・メモリー2504から各フィールドの映像信号を時間方向に順に読み出して、映像ノイズ除去部2506に出力する。

0107

映像ノイズ除去部2506は、各映像信号をフレーム・メモリー2507に一旦書き込み、ノイズ成分を除去する。映像ノイズ除去部2506は、フレーム間参照処理を行なう。そして、インターレース・フォーマットにパッキングされた2次元映像信号のときにはIP変換部2508に出力するが、プログレッシブ・フォーマットの映像信号のときには、処理後の映像信号を選択部2509に直接出力する。

0108

IP変換部2508は、インターレース・フォーマットにパッキングされたトップ・フィールド又はボトム・フィールドの映像信号にIP変換を行なって、プログレッシブ映像を出力する。ここで得られたプログレッシブ映像は、ある時刻の標準フレームと次の時刻の標準フレームとの間の中間フレームをサイド・バイ・サイド形式で水平方向に多重化したフレーム(N0,N0.5)、(N1,N1.5)、(N2,N2.5)、(N3,N3.5)、…である。このようにして、入力信号がハイフレームレート2次元映像信号の場合には、選択部2509を介してフレーム・メモリー2510に、倍速化したフレームN0、N0.5、N1、N1.5、N2、N2.5、N3、N3.5、…が逐次書き込まれる。

0109

フレーム間引き読み出し部2511は、フレーム・メモリー2510から、中間フレームN0.5、N1.5N2.5、N3.5、…を間引いて、標準速で標準フレームN0、N1、N2、N3、…を順次読み出す。そして、選択部2512は、フレーム間引き読み出し部2511からの標準フレームレートのフレームN0、N1、N2、N3、…、又は、フレーム・メモリー2510から2倍速で読み出したフレームN0、N0.5、N1、N1.5、N2、N2.5、N3、N3.5、…のいずれかを選択的に出力する。

0110

スケール処理部2513は、フォーマット判別部2502での判定結果に基づいて、映像信号の解像度をフォーマット変換前となるようアップコンバートする。スケール処理した後の映像信号は、表示部2514で表示出力される。例えば液晶表示ディスプレイやプラズマ・ディスプレイなどを表示部2514に利用することができる。

0111

また、図26並びに図27には、ハイフレームレート2次元映像をインターレース・フォーマットにパッキングする方式の他の例を、IP変換し出力する方法とともに示している。

0112

図26並びに図27の各々に示すパッキング方式では、ある時刻の標準フレーム及び次の時刻の標準フレームとの間の中間フレームのそれぞれ異なるフィールドの映像をパッキングして、各フレーム(N0,N0.5)、(N1,N1.5)、(N2,N2.5)、(N3,N3.5)、…を標準フレームレートの2次元映像信号として扱う。図26に示す例では、Top Field First、すなわち、標準フレームのインターレース・トップ・フィールドと中間フレームのインターレース・ボトム・フィールドをパッキングしている。これに対し、図27に示す例では、Bottom Field First、すなわち、標準フレームのインターレース・ボトム・フィールドと中間フレームのインターレース・トップ・フィールドをパッキングしている。

0113

受信機側では、インターレース・フォーマットにパッキングされた映像信号を、2倍速のIP変換用垂直同期信号に同期して、インターレースのハイフレームレート2次元映像に変換してからIP変換を行なって、元のハイフレームレート2次元映像を復元する。図26に示す例では、標準フレームのインターレース・トップ・フィールドと、中間フレームのインターレース・ボトム・フィールドをそれぞれIP変換する。また、図27に示す例では、標準フレームのインターレース・ボトム・フィールドと、中間フレームのインターレース・トップ・フィールドをそれぞれIP変換する。図26図27を比較して分かるように、トップ・フィールドとボトム・フィールドのどちらを先にするかで、パッキング方法とIP変換時の処理が変わるので、正しくフィールド判別を行なう必要がある。

0114

標準フレームと中間フレームをそれぞれ異なるフィールドの映像にしてインターレース・フォーマットにパッキングした場合、標準フレーム→中間フレームという順で、連続した時間でのIP変換が可能となり、画質向上を見込むことができる。但し、システム・コストが増大する、IP変換を倍速で行なう必要がある、という課題がある。

0115

なお、図26並びに図27では、2枚の映像をサイド・バイ・サイド形式で1枚として扱う映像信号をインターレース・フォーマットにパッキングする実施例を示したが、他の形式(例えば、MVC)により2枚の映像を1枚として扱う場合であっても、同様のIP変換方法を適用することができるという点を十分理解されたい。

0116

図28には、図26又は図27に示した方式でインターレース・フォーマットにパッキングされたハイフレームレート2次元映像を表示出力する映像表示装置2800の構成例を示している。

0117

受信部2801で映像信号を受信すると、フォーマット判別部2802で、入力信号がインターレース・フォーマットにパッキングされたハイフレームレート2次元映像信号であることを判別する。フォーマット判別部2802におけるフォーマット判別は、自動判別の他、視聴者によるマニュアル指定も含むものとする(同上)。そして、受信部2801は、判別された伝送フォーマットに従って、映像信号のデコード処理を適宜行なう。

0118

映像分離部2803は、2倍速のIP変換用垂直同期信号に従って、インターレース・フォーマットの映像信号から、トップ・フィールド並びにボトム・フィールドを垂直同期期間毎に交互に分離し、原画用フレーム・メモリー2804へ書き込む。入力が標準フレームと中間フレームの異なるフィールドをインターレース・フォーマットにパッキングした映像信号である場合には、映像分離部2803からは、標準フレームのトップ・フィールドと中間フレームのボトム・フィールド(又は、標準フレームのボトム・フィールドと中間フレームのトップ・フィールド)が交互に出力されることになる。そして、映像並べ替え部2805は、原画用フレーム・メモリー2804から各フィールドの映像信号を2倍速で読み出して、インターレースのハイフレーム2次元映像に変換して、映像ノイズ除去部2806に出力する。

0119

映像ノイズ除去部2806は、各映像信号をフレーム・メモリー2507に一旦書き込み、ノイズ成分を除去する。映像ノイズ除去部2806は、フレーム間参照処理を行なう。そして、インターレース・フォーマットにパッキングされた2次元映像信号のときにはIP変換部2808に2倍速のまま出力するが、プログレッシブ・フォーマットのハイフレームレート映像信号のときには、処理後の映像信号を選択部2809に直接、2倍速で出力する。

0120

IP変換部2808は、インターレースのハイフレーム2次元映像信号にIP変換を行なって、ハイフレームレートのプログレッシブ映像N0、N0.5、N1、N1.5、N2、N2.5、N3、N3.5、…を出力する。そして、選択部2809は、映像ノイズ除去部2806から直接出力されたハイフレームレート2次元映像、並びに、IP変換部2808によりIP変換されたハイフレームレート2次元映像を、フレーム・メモリー2810に書き込む。

0121

フレーム間引き読み出し部2811は、フレーム・メモリー2810から、中間フレームN0.5、N1.5N2.5、N3.5、…を間引いて、標準速で標準フレームN0、N1、N2、N3、…を順次読み出す。そして、選択部2812は、フレーム間引き読み出し部2811からの標準フレームレートのフレームN0、N1、N2、N3、…、又は、フレーム・メモリー2810から2倍速で読み出したフレームN0、N0.5、N1、N1.5、N2、N2.5、N3、N3.5、…のいずれかを選択的に出力する。

0122

スケール処理部2813は、フォーマット判別部2802での判定結果に基づいて、映像信号の解像度をフォーマット変換前となるようアップコンバートする。スケール処理した後の映像信号は、表示部2814で表示出力される。例えば液晶表示ディスプレイやプラズマ・ディスプレイなどを表示部2814に利用することができる。

0123

ここまでの説明をまとめると、本明細書で開示する技術によれば、図1に示すように3次元映像フォーマットをハイフレームレート2次元映像の伝送に利用することで、映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なうことができる。映像のハイフレームレート化は、動画解像度の改善が主な目的であり、動きのある被写体に対して最も適用したい技術である。

0124

ところが、サイド・バイ・サイドやトップ・アンド・ボトムは、1画面内を空間方向に分割して左眼用画像と右眼用画像をパッキングするため、水平又は垂直解像度を犠牲にしなければならないフォーマットである。したがって、この種のフォーマットをハイフレームレート2次元映像信号に利用する場合、空間解像度劣化することを十分考慮する必要がある。動きの少ないシーンをハイフレームレート化して、サイド・バイ・サイドやトップ・アンド・ボトムなどのフォーマットにパッキングすると、動画解像度として不必要にハイフレーム処理するというだけでなく、画質の劣化を招来してしまう。

0125

そこで、本明細書では、元の2次元映像におけるシーンの動き量に応じて、通常の2次元映像とハイフレームレート2次元映像を動的に切り換える技術についても提案する。シーンの動き量の小さい映像は、そもそも満足する動画解像度が得られており、ハイフレームレート化が不要である。そこで、空間解像度を重視して、ハイフレームレート化せず元の(フルHD(High Definition))2次元映像のまま(あるいは、ハイフレームレート2次元映像を標準フレームレートの2次元映像にダウンコンバートして)、伝送する。一方、シーンの動き量が大きな映像は、動画解像度を改善するために、中間フレームを挿入して2次元映像をハイフレームレート化し(あるいは、ハイフレームレート2次元映像をそのまま)、サイド・バイ・サイドやトップ・アンド・ボトム形式で2フレームずつ1フレームにパッキングして伝送する。

0126

図29には、2次元映像におけるシーンの動き量に応じて通常の2次元映像とハイフレームレート2次元映像を動的に切り換える様子を示している。映像の動き量の小さい期間では、通常の2次元映像が伝送される。図示の例では、垂直同期期間毎に標準フレームN0〜N3が伝送される。そして、シーンの動き量が大きくなると、ある時刻の標準フレームと次の時刻の標準フレームとの間の中間フレームをサイド・バイ・サイド形式で水平方向に多重化したハイフレームレートの2次元映像フレーム(N4,N4.5)、(N5,N5.5)、(N6,N6.5)、…の伝送に切り換わる。

0127

図30には、2次元映像におけるシーンの動き量に応じてフレームレートを切り換える処理手順をフローチャートの形式で示している。

0128

まず、入力された2次元映像を解析して、動き量が大きいかどうかを判別する(ステップS3001)。

0129

ここで、シーンの動き量が大きいと判別されたときには(ステップS3001のYes)、動画解像度を改善するために、中間フレームを挿入して2次元映像をハイフレームレート化して、伝送する(ステップS3002)。

0130

一方、シーンの動き量の小さいと判別されたときには(ステップS3001のNo)、ハイフレームレート化が不要なので、空間解像度を重視して、元のフルHD2次元映像のまま、伝送する(ステップS3003)。

0131

図31には、2次元映像におけるシーンの動き量に応じてフレームレートを切り換えて送信する映像システム3100の構成例を示している。図示の映像システム3100は、例えば放送コンテンツを制作並びに配信する放送局内に装備され、ハイフレームレート・カメラ3110と放送装置3120で構成される。

0132

ハイフレームレート・センサー3111は、例えば標準フレームレートよりも2倍のフレームレートでフルHD動画の撮影を行ない、ハイフレームレートの2次元映像信号を出力する。

0133

信号処理部3112は、映像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御、AWB、シャープネス・再度コントラスト調整などの画質補正処理を行なう。信号処理後のハイフレームレート映像信号は、メモリー3113に一旦保存される。

0134

放送装置内3120内では、ハイフレームレートの2次元映像信号をメモリー3113から読み出すと、動き検出部3125がシーンの動き量を検出して、図30に示した処理手順に従って、放送信号のフレームレートを決定する。すなわち、動き量が大きいと検出されたときには、動画解像度を重視して、フォーマット変換部3121は、メモリー3113から読み出したハイフレームレートの2次元映像信号をサイド・バイ・サイドやトップ・アンド・ボトムなどの伝送フォーマットに適合するように多重化する。他方、動き量が小さいと検出されたときには、フォーマット変換部3121は、メモリー3113から読み出したハイフレームレートの2次元映像信号のフレーム間引き処理を行ない、標準フレームレートのフルHD映像信号にダウンコンバートする。そして、符号化部3122及び変調部3123によって映像信号に符号化、変調処理を施した後、送出部3124は、放送波にアップコンバートして送出する。

0135

上述したように映像信号の送信機側で映像信号のフォーマットを動的に切り替える場合、映像信号の受信機側ではフォーマット切り替えに対応した処理が必要となる。図29に示したように、映像信号が途中で標準フレームレートからハイフレームレートに切り替わる場合、同期切り替えなどにより映像の途切れ画は発生してしまう。そこで、受信機側では、標準フレームレート及びハイフレームレートの映像信号をシームレスつなぐ処理が必要である。

0136

この解決方法として、すなわち、標準フレームレートの映像信号が入力されたときには、各標準フレームをリピートして、リピートした標準フレームを中間フレームに用いて補間することで、ハイフレームレート化し、出力では常にハイフレームレートの2次元映像表示用の同期信号に固定するようにする。

0137

図32には、途中で標準フレームレートからハイフレームレートに切り替わる映像信号を常にハイフレームレートの同期信号に固定して出力する様子を示している。図示の例では、フレームN0〜N3のフレーム区間では標準フレームレートであり、フレームN4以降は、標準フレームN4、N5、N6、…間が中間フレームN4.5、N5.5、N6.5、…に切り替わる。受信機側では、標準フレームレートの期間において、受信した各標準フレームN0、N1、N3をそれぞれリピートして、シームレスに映像を切り替え可能なように、あらかじめハイフレームレート化しておく。このようにして、受信機は、いずれの期間においても常にハイフレームレートの垂直同期信号に同期して映像信号を出力することになる。元の映像信号ではフレームレートが切り替わるフレームN3とN4の間で同期信号に変化がなくなるので、これらフレーム間の映像をシームレスに切り換えることができる。

0138

なお、図25に示した映像表示装置2500でも、フレーム・メモリー2510で、標準フレームレートの映像へのリピート処理が出来ていれば、シームレスは実現できるので、標準フレームレート及びハイフレームレートの映像信号を常にハイフレームレートの同期信号に固定して出力する処理を実現することは可能である。

0139

ところで、色の表現形式として、輝度信号(Y)と、輝度信号と青色成分の差(U)と、輝度信号と赤色成分の差(V)の3つの情報を用いるYUVが知られている。YUV形式によれば、ヒトの目が色の変化よりも明るさの変化に敏感であるという性質に基づき、輝度情報により多くのデータ量を割り当てることによって高圧縮率を実現することができる。3次元映像伝送フォーマットを利用して伝送するハイフレームレートの2次元映像がYUV形式で表現される場合について、以下で考察する。

0140

YUV444フォーマットでは、1画素毎にY(輝度)が8ビット、U(赤の色差)が8ビット、V(青の色差)が8ビット分のデータを持つ。これに対し、YUV422フォーマットは、色差データを水平方向に各1/2に間引いたフォーマットであり、2画素毎に1画素分のUとVをそれぞれ持つ。したがって、図7に示すように、1画素ラインを描くと、YとCbを持つ画素と、YとCrを持つ画素が交互に並ぶ。言い換えれば、色差位相が異なる2種類の画素が水平方向に交互に並ぶ。また、YUV420フォーマットは、色差データを垂直方向に1/2に間引いたフォーマットであり、水平2画素、垂直2ラインで1画素分のUとVをそれぞれ持つ。すなわち、輝度信号2画素に対し、色差信号が1画素になるという点では、YUV420とYUV422フォーマットは同様である。

0141

ハイフレームレートの2次元映像をサイド・バイ・サイド形式の3次元映像伝送フォーマットを利用して伝送する場合、図1に示したように、2次元映像信号のアクティブ領域を2分割した左右の領域に、ある時刻の2次元映像のフレームと、次の時刻の2次元映像との間の中間フレームが多重化される。上述したYUV420/YUV422フォーマットでは、元の画像フレームの水平画素数を2分の1にすると奇数となるとき、YとCbを持つ画素とYとCrを持つ画素の一組(図7を参照のこと)が真ん中で分割されてしまう。

0142

放送やHDMIなどのCEフォーマットでは、解像度が16の倍数になっているので、このような問題は発生しない。ところが、例えばインターネット上に存在する動画サイズには、水平画素数の2分の1が奇数となるものが存在する。例えば、携帯電話端末などで採用されているワイドVGA(Video Graphic Array)+は、854×480画素サイズであり、水平方向に2分の1に分割すると427画素であり、YとCbを持つ画素とYとCrを持つ画素の一組(図7を参照のこと)が真ん中で分割されてしまう。

0143

図8には、YUV420/YUV422フォーマットで854×480画素サイズの画像フレームに、ハイフレームレートの2次元映像N0並びにN0.5をサイド・バイ・サイド形式で多重化した様子を示している。図8下に示すように、切り出した左右の画像フレームの先頭画素、すなわち水平方向の0番目の画素と427番目の画素では色差位相が異なってしまう。このため、領域を2分割して左右から切り出した画像をそのまま並べ替えると、フレーム間で色差位相の反転が発生するという問題が発生する。

0144

また、図8下から分かるように、854×480画素サイズの画像フレームを水平方向に2分の1に分割したときの境界部分、すなわち水平方向の426番目の画素と427番目の画素の色差信号は、画像フレームを跨いでいる。このため、水平方向の426番目の画素と427番目の画素はそれぞれ、異なる画像フレームの映像信号が混じったデータである可能性が高く、信頼性が低いことも問題である。

0145

まず、後者の問題に関しては、データの信頼性の低い境界部分を避けて、元の画像フレームから左右2つの画像を切り出す処理を行なうことで、解決する。図9には、サイド・バイ・サイド形式でハイフレームレートの2次元映像N0並びにN0.5を多重化した、YUV420/YUV422フォーマットで854×480画素サイズの画像フレームから、水平方向に2分の1に分割したときの境界部分を避けるようにして元のハイフレームレートの2次元映像N0、N0.5を分離する様子を示している。同図中、点線で囲んで示しているように、水平方向に0番目〜425番目の426画素サイズが画像フレームN0を切り出す領域であり、また、水平方向に428番目以降の426画素サイズが画像フレームN0.5を切り出す領域である。図示のように、切り出された画像フレームN0、N0.5は、水平方向に426番目の画素並びに427番目の信頼性の低い画素をいずれも含んでいない。

0146

また、図9下に示すように、水平方向に428番目の画素から右側の画像フレームを切り出すと、左右の画像フレーム間で先頭画素の色差位相を一致させることができる。したがって、サイド・バイ・サイド形式の3次元映像伝送フォーマットからハイフレームレートの2次元映像を切り出す際に、境界部分を避けて画像フレームを切り出す処理を挿入することで、色差位相ズレの発生を併せて抑制することができる。

0147

YUV420/YUV422フォーマットをYUV444フォーマットに変換した後に2次元映像を切り出すことによっても、左右の画像フレーム間で先頭画素の色差位相を一致させるという方法も考えられる。しかしながら、境界部分の色差は異なる画像フレームで生成するので、色にじみが生じてしまう。よって、図9に示した処理が有効であるということができる。

0148

ここで、サイド・バイ・サイド形式で伝送される画像の水平画素サイズの2分の1が奇数となる場合、境界部分を避けて元のハイフレームレート2次元映像を分離する処理を行なうことによって、分離した画像の先頭画素がフレームの先頭画素からずれてしまうという問題がさらにある。

0149

図10には、サイド・バイ・サイド形式でハイフレームレート2次元映像を多重化した、YUV420/YUV422フォーマットで854×480画素サイズの画像フレームから、2分の1に分割したときの境界部分を避けて元の画像フレームを分離する処理を行なったときの、分離した後の左右の各画像フレームN0、並びにN0.5の先頭画素を図解している。ハイフレームレート2次元映像をサイド・バイ・サイド形式で多重化した画像フレームの左右から切り出された各画像フレームN0、N0.5の本来の先頭画素は、それぞれ0番目と427番目である。しかしながら、境界部分を避けて画像フレームを切り出す処理を行なうと、右側から切り出された画像フレームN0.5の先頭画素は428番目となり、左側の画像フレームの先頭画素とは1画素だけ位相がずれる。このため、N0とN0.5(同様に、N1とN1.5、N2とN2.5、…)を、0番目と428番目の先頭画素をそのまま合わせながら時間方向に並べると、画像フレーム間で位相ズレがあるため、ハイフレームレート2次元画像表示時にフリッカーが発生してしまう。

0150

この対策として、図11に示すように、ハイフレームレート2次元映像をサイド・バイ・サイド形式で多重化した画像フレームの右側から切り出された画像フレームN0.5を、左側から切り出された画像フレームN1に対して、水平方向に1画素だけ右側にずらして、画像の位相を合わせながら、時間方向に並べる方法が挙げられる。但し、単純切り出して画面いっぱいまでスケーリングすると、アスペクト比が崩れる。このため、黒画を入れるなどの処理によりアスペクト比を保持する仕組みを持つ。

0151

図9には、854×480画素サイズの場合を例にとって、サイド・バイ・サイド形式でハイフレームレート2次元映像を多重化したYUV420/YUV422フォーマットの画像フレームから、2分の1に分割したときの境界部分を避けて元のハイフレームレートの2次元映像を分離する方法について図解した。図12には、輝度信号2画素に対し色差信号が1画素になるYUV420/YUV422フォーマットで、且つ、水平画素サイズの2分の1の値が奇数になる場合に一般化して、ハイフレームレート2次元映像をサイド・バイ・サイド形式で多重化した画像フレームから元のハイフレームレート2次元映像を分離する方法について図解している。同図では、サイド・バイ・サイド形式の画像フレームの画素サイズを、Hsize×Vsizeと一般化した。水平方向に2分の1に分割したときに、信頼性の低い境界部分の画素を避けて元の画像フレームN0、N0.5を分離する。また、分離したした後の左右の画像フレームの先頭画素の色差位相が一致するように、左右のフレームの水平方向の画素サイズを偶数化し、右側のフレームを偶数画素で切り出すようにする。したがって、水平方向に(Hsize/2+1.0)番目が、画像フレームN0.5を切り出す先頭画素となる。

0152

また、YUV420フォーマットは、色差信号が垂直方向2ライン毎に1ラインしかないフォーマットであり、トップ・アンド・ボトム形式のように元の画像フレームを垂直方向に多重化する伝送フォーマットを利用する場合には、元の画像を分離しフレーム並べ替えを行なう際に、上記と同様の問題が生じる。

0153

図13には、YUV420フォーマットのように色差信号が垂直方向2ライン毎に1ラインしかないフォーマットで、且つ、垂直画素サイズの2分の1の値が奇数になる場合に一般化して、ハイフレームレート2次元映像をトップ・アンド・ボトム形式で多重化した画像フレームから元のハイフレームレート2次元映像を分離する方法について図解している。同図では、トップ・アンド・ボトム形式の画像フレームの画素サイズを、Hsize×Vsizeとした。図20にも示したように、トップ・アンド・ボトムは、2次元映像信号のアクティブ領域を垂直方向に2分割して上下に2つの画像フレームを多重化するフォーマットである。垂直方向に2分の1に分割したときに、信頼性の低い境界部分の画素を避けて元のハイフレームレート2次元映像N0、N0.5を分離する。また、分離した後の上下の画像フレームの先頭画素の色差位相が一致するように、下側のフレームを偶数画素で切り出すようにする。したがって、垂直方向に(Vsize/2+1.0)番目が、画像フレームN0.5を切り出す先頭画素となる。

0154

図14には、3次元映像信号の伝送フォーマットで送られてきた映像信号からハイフレームレートの2次元映像信号を取り出して表示する映像表示装置1400の構成例を示している。図示の映像表示装置1400は、3次元映像信号フォーマットから取り出された2次元画像に対して色差位相のずれを補正するとともに画像フレーム間の位相合わせを行なう機能を備えている点で、図5図6Bに示した映像表示装置450、550とは相違する。

0155

受信部1401は、映像信号出力装置(図示しない)からの映像信号を、例えばHDMIケーブルなどを介して受信する。あるいは、受信部1401は、放送波として映像信号を受信する。

0156

フォーマット判別部1402で、入力された映像信号の伝送フォーマットやカラー・フォーマットを判別する。フォーマット判別部1402は、例えば、受信したストリームのヘッダー情報など映像補足情報信号の記載に基づいて、映像信号の伝送フォーマットや、映像信号に載せられているのが3次元映像信号又はハイフレームレート2次元映像信号のいずれであるのかなどを判別する。

0157

映像分離部1403では、判定された伝送フォーマットに基づいて、入力映像信号を元のハイフレームレート2次元映像信号に分離して、逐次フレーム・メモリー1404に保存する。映像並べ替え部1405は、フレーム・メモリー1404に保存されている映像フレームを時間方向に並べ替えて読み出す。

0158

フォーマット判別部1402で、入力された映像信号のフォーマットを判別した結果、例えば、カラー・フォーマットがYUV420/YUV422であり、且つ、ハイフレームレートの2次元映像を2分の1が奇数となる水平画素サイズのフレームにサイド・バイ・サイド形式で多重化していることが分かったときには、色差補間部1406は、図9図12に示したように、境界部分を避けて画像フレームを切り出す処理を行なうことで、信頼性の低い画素を取り除くとともに、色差位相ズレの発生を抑制する。また、位置合わせ部1407は、図11に示したように、入力画像から切り出された左右の画像フレーム間で画像の位相が一致するよう、位置合わせを行なって、フリッカーの発生を防止する。

0159

映像ノイズ除去部1408は、時間方向に並べ替えられた各映像信号に含まれるノイズ成分を除去する。

0160

スケール処理部1409は、フォーマット判別部1402での判定結果に基づいて、映像信号の解像度をフォーマット変換前となるようアップコンバートする。スケール処理した後の映像信号は、表示部1410で表示出力される。例えば液晶表示ディスプレイやプラズマ・ディスプレイなどを表示部1410に利用することができる。

0161

なお、映像ノイズ除去部1408からスケール処理部1409の間に、図5図6Bに示したように、間引き処理部及び選択部を挿入して、3次元映像信号の伝送フォーマットから取り出されたハイフレームレート2次元映像をハイフレームレート又は標準のフレームレートのうちいずれで映像表示を行なうかを選択できるようにしてもよい。

0162

これまで説明してきたように、本明細書で開示する技術の1つのポイントは、3次元映像信号フォーマットを利用してハイフレームレート2次元映像信号を伝送する点にある。したがって、3次元映像を表示させることが可能な映像表示装置450(映像表示装置550、1400、2500、2800、3300も同様)は、3次元映像信号の伝送フォーマットを利用して伝送される、3次元映像信号、並びに、ハイフレームレートの2次元映像信号のいずれも、ほぼ同じ動作で表示部460に画面表示することができる。但し、最適な映像視聴を実現するために、3次元映像又はハイフレームレート2次元映像のいずれを表示するかに応じて、映像表示装置は処理内容を切り換える必要がある。

0163

例えば、映像システム400がシャッター眼鏡(図示しない)を利用して3次元映像を提示する場合、3次元映像を表示する際には、映像表示装置の表示切り換えに同期してシャッター眼鏡がシャッターの開閉動作を行なう一方、ハイフレームレートの2次元映像を表示する際には、左右のシャッターを開放状態にし、画面を2次元映像として見えるようにしなければならない。あるいは、左右のシャッターをすべて開放できないシステムの場合には、観察者にシャッター眼鏡を外すよう促す必要がある。勿論、シャッター眼鏡以外の眼鏡(例えば偏光眼鏡)を利用した映像表示システムの場合も同様に、ハイフレームレート2次元映像の表示時には、各フレームを左右両方の眼で観察する必要から、観察者に眼鏡を外すよう促す必要がある。

0164

図16Aには、映像表示装置450がフレーム・シーケンシャルで3次元映像を画面表示するとともに、シャッター眼鏡が左眼用画像及び右眼用画像の表示切り換えに同期して左右のシャッターを開閉制御している様子を示している。

0165

また、図16Bには、映像表示装置450がハイフレームレートの2次元映像を画面表示するとともに、シャッター眼鏡の左右のシャッターをともに開放して、画面を2次元映像として見えるようにしている様子を示している。図16Bに示す例では、画面には、ハイフレームレート2次元映像に切り替わったことを示すメッセージも表示されている。このようなメッセージは、左右のシャッターをすべて開放できないシステムにおいて、観察者にシャッター眼鏡を外すよう促す効果がある。

0166

映像表示装置450は、フォーマット判別部452における受信信号のフォーマット判定結果に基づいて、図16A又は図16Bに示したいずれかの動作を行なうようにすればよい。図17には、映像表示装置450が受信信号のフォーマットに応じて実行する動作手順をフローチャートの形式で示している。

0167

まず、フォーマット判別部452で、受信信号が3次元映像信号の伝送フォーマットの形式であるか否かを判別する(ステップS1701)。

0168

ここで、受信信号が3次元映像の伝送フォーマットでないときには(ステップS1702のNo)、映像表示装置450は、通常の2次元映像の表示を行なう。この場合、シャッター眼鏡の左右のシャッターをともに開放状態に切り換える(ステップS1707)。また、シャッターの開放動作に加えて、2次元映像表示中である旨の表示や、眼鏡を外すべき旨の警告表示を行なうようにしてもよい。

0169

一方、受信信号が3次元映像の伝送フォーマットであるときには(ステップS1702のYes)、フォーマット判別部452は、続いて、受信信号が、3次元映像信号の伝送フォーマットを利用して伝送されたハイフレームレートの2次元映像であるかどうかを判定する(ステップS1703)。フォーマット判別部452は、例えば受信ストリームのヘッダー情報などの映像補足情報信号で、その3次元フォーマットを判定することができる(前述)。

0170

ここで、受信信号がハイフレームレートの2次元映像であると判定されたときには(ステップS1704のYes)、映像表示装置450は、画面にハイフレームレート2次元映像信号の表示である旨のメッセージを表示するとともに、シャッター眼鏡の左右のシャッターをともに開放状態に切り換える(ステップS1705)。また、シャッターの開放動作に加えて、2次元映像表示中である旨の表示や、眼鏡を外すべき旨の警告表示を行なうようにしてもよい。

0171

一方、受信信号がハイフレームレートの2次元映像でないと判定されたときには(ステップS1704のNo)、映像表示装置450は、画面に3次元映像信号の表示である旨のメッセージを表示するとともに、シャッター眼鏡も通常の3次元映像視聴用の左右のシャッターの開閉動作を行なう(ステップS1706)。

0172

また、シャッター眼鏡や偏光眼鏡などを利用する眼鏡方式の3次元映像表示システムの多くは、3次元映像品位を向上させるために、眼鏡越しに最適な映像が得られるような信号処理が行なわれている。一方、同じ映像表示システムでハイフレームレート2次元映像の表示を行なう際には、観察者は眼鏡を外して視聴することから、3次元映像表示用の信号処理は不要であり、また、眼鏡を外した状態ではむしろ正しく見えなくするおそれもある。そこで、3次元映像からハイフレームレート2次元映像に切り替わったときには、映像表示装置側では、不要となった3次元映像表示用の信号処理を停止して、2次元映像として正常に視聴できるようにする必要がある。また、2次元映像用の信号処理に切り換えるようにしてもよい。

0173

例えば、図17に示した上記処理手順において、受信信号が3次元映像信号であると判定されたときには(ステップS1704のNo)、ステップS1706では、画面に3次元映像信号の表示である旨のメッセージを表示することに併せて、眼鏡越しに最適な映像が得られるように、3次元映像品位を向上させる信号処理を起動する。

0174

一方、受信信号が通常の2次元映像であると判定された場合には(ステップS1702のNo)、ステップS1707では、シャッターの開放動作や観察者の眼鏡取り外しに加えて、3次元映像の専用信号処理を停止し、代わって、2次元映像用の信号処理を起動する。

0175

また、受信信号がハイフレームレート2次元映像であると判定された場合も(ステップS1704のYes)、同様に、ステップS1705では、シャッターの開放動作や観察者の眼鏡取り外しに加えて、3次元映像の専用信号処理を停止し、代わって、2次元映像用の信号処理を起動する。

0176

ここで、3次元映像と2次元映像とで異なる信号処理の一例として、映像ノイズ除去部456で行なわれる、映像の相関性を用いた映像ノイズ除去処理を挙げることができる。

0177

図33には、3次元映像信号においてフレーム間参照映像処理による映像ノイズ除去処理を行なう様子を示している。図示の例では、3次元映像信号は例えばサイド・バイ・サイド形式であり、垂直同期区間毎のフレームを水平方向に分割して、同時刻の左眼用映像と右眼用映像が多重化されている。この映像信号を受信した映像表示装置450側では、映像分離部453で出力垂直同期信号に同期して左眼用映像と右眼用映像に分離し、映像並べ替え部455で出力用の映像フレームに並べ替えられる。そして、映像ノイズ除去部456において、左眼用映像と右眼用映像それぞれで、時間軸方向で隣接するフレーム間で参照して、ノイズ除去処理を行なう。

0178

図33中、映像ノイズ除去時のフレーム間の参照関係を点線矢印で示している。左眼用映像フレームL0について、直近の同時刻の右眼用映像フレームR0を飛ばし、次時刻の左眼用映像フレームL1を参照してノイズを除去する。また、左眼用映像フレームL1について、直近の右眼用フレームR0及びR1を飛ばし、前時刻の左眼用映像フレームL0及び次時刻の左眼用映像フレームL2を参照して、ノイズを除去する。同様に、右眼用映像フレームR0について、次時刻の左眼用映像フレームL1を飛ばして右眼用映像フレームR1を参照してノイズを除去する。また、左眼用映像フレームR1について、直近の左眼用映像フレームL0及びL1を飛ばし、前時刻の右眼用映像フレームR0及び次時刻の右眼用映像フレームR2を参照して、ノイズを除去する。要するに、右眼用映像フレームを飛ばして左眼用映像フレーム間で参照して映像ノイズを除去するとともに、右眼用映像フレームを飛ばして右眼用映像フレーム間で参照して映像ノイズを除去しており、左右の映像フレーム間で参照することはない。

0179

一方、図34には、ハイフレームレート2次元映像信号においてフレーム間参照映像処理による映像ノイズ除去処理を行なう様子を示している。図示の例では、ハイフレームレート2次元映像信号は、ある時刻の標準フレームと次の時刻の標準フレームとの間の中間フレームが、例えばサイド・バイ・サイド形式で垂直同期区間毎のフレーム内に多重化されている。この映像信号を受信した映像表示装置450側では、映像分離部453で出力垂直同期信号に同期して標準フレームと中間フレームに分離し、映像並べ替え部455で標準フレームと中間フレームが交互に並べ替えられる。そして、映像ノイズ除去部456では、時間軸方向で隣接するフレーム間で参照して、ノイズ除去処理を行なう。

0180

図34中、映像ノイズ除去時のフレーム間の参照関係を点線矢印で示している。標準フレームN0について、後続の中間フレームN0.5を参照してノイズを除去する。また、中間フレームN0.5について前後の標準フレームR0及びN1を参照してノイズを除去し、次の標準フレームN1について前後の中間フレームN0.5及びN1.5を参照してノイズを除去する。すなわち、映像並べ替え後でフレーム飛ばしを行なわず、直近のフレーム間で参照を行なうので、3次元映像信号の処理時とは映像ノイズ除去時のフレーム参照位置が相違する。

0181

さらに、3次元映像と2次元映像とでは、再生映像の一時停止処理が相違する(例えば、MP4やMPEG2などの映像信号を映像表示装置でプル再生する場合)。

0182

3次元映像表示時には、同時刻の左眼用映像と右眼用映像(以下、「左右画」とも言う)をペアにして、1フレームとして扱う。このため、映像を一時停止処理するときには、2枚単位で処理する。図35には、3次元映像を一時停止処理する様子を示している。同図に示すように、一時停止する期間では、停止処理を開始時の左右の映像フレームL2、R2をホールドして、出力垂直同期信号に同期して交互に表示する。一時停止してから通常再生再開するまでの期間中、観察者の左右の眼には同じ左眼用映像L2、右眼用映像R2がそれぞれ入射する。左右画は、視差方向にずれているだけで撮影時刻若しくは表示時刻は同期していることから、観察者の脳内ではこれらが融像され、左右画として停止しているように観察される。

0183

これに対し、ハイフレームレート2次元映像表示時には、標準フレームN0、N1、…と、標準フレームに後続する中間フレームN0.5、N1.5、N2.5、…とは、時間方向で情報がずれたものである。したがって、映像の一時停止時に、図35に示したように標準フレームとその直近の中間フレームを交互に表示すると、観察される映像は一時停止状態にはならない。そこで、ハイフレームレート2次元映像表示時には、1枚の画の表示をホールドするだけでよい。図36には、ハイフレームレート2次元映像を一時停止処理する様子を示している。図示の例では、標準フレームN6を表示するタイミングで一時停止処理が起動されているので、一時停止を解除し通常再生が再開するまでの期間中は、この標準フレームN6をホールドして表示し続ける。

0184

例えば、図25に示した映像表示装置2500において、選択部2512が、入力映像が3次元映像又はハイフレームレート2次元映像のいずれであるかに応じて、一時停止処理時における最終段のフレーム・メモリー2510からの読み取り動作を切り換えることで、図35又は図36の各々に示した動作を実現することができる。選択部2512は、最終段のフレーム・メモリー2510から2倍速で映像フレームを読み出すが、3次元映像表示時には一時停止時の左右画をホールドし、ハイフレームレート2次元映像表示時には、一時停止時の1枚のフレームのみをホールドすればよい。

0185

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化して、第nの統合映像信号を生成する映像信号変換部と、前記映像信号変換部で変換された統合映像信号を出力する出力部と、を具備する映像信号処理装置。
(2)前記統合映像信号変換部は、元の複数の映像信号を、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で1つの映像信号に多重化して統合映像信号を生成する、上記(1)に記載の映像信号処理装置。
(3)前記統合映像信号変換部は、ハイフレームレートの2次元映像信号を、3次元映像信号の伝送フォーマットで多重化する、上記(1)に記載の映像信号処理装置。
(4)前記出力部は、統合映像信号の出力ストリームに、映像信号を多重化して統合映像信号を生成する方式に関する映像補足情報信号を付加する、上記(1)に記載の映像信号処理装置。
(5)第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化して、第nの統合映像信号を生成する映像信号変換ステップと、前記映像信号変換ステップにおいて変換された統合映像信号を出力する出力ステップと、を有する映像信号処理方法。
(6)第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化した第nの統合映像信号を入力する映像信号入力部と、第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離する映像分離部と、分離された第nの映像信号と第(n+1)の映像信号を順次表示する表示部と、を具備する映像表示装置。
(7)前記表示部は、前記映像信号入力部への入力に対し倍速で、第nの映像信号と第(n+1)の映像信号を順次表示する、上記(6)に記載の映像表示装置。
(8)前記映像分離部は、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で第nの統合映像信号に多重化された第nの映像信号と第(n+0.5)の映像信号を分離する、上記(6)に記載の映像表示装置。
(9)前記映像信号入力部は、3次元映像信号の伝送フォーマットで多重化されたハイフレームレートの2次元映像信号を入力し、前記映像分離部は、前記映像信号への入力信号からハイフレームレートの2次元映像信号を分離する、上記(6)に記載の映像表示装置。
(10)前記映像分離部が第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号のうち第(n+0.5)の映像信号を間引く映像信号間引き部をさらに備える、上記(6)に記載の映像表示装置。
(11)前記映像分離部が第nの統合映像信号から分離した第nの映像信号と第(n+0.5)の映像信号との時間的に中間となる第nの中間フレームを生成してフレームレートを変換するフレームレート変換部をさらに備え、前記表示部は、第nの映像信号と第(n+1)の映像信号を順次表示するときよりもさらに高いフレームレートで、第nの映像信号、第nの中間フレーム、第(n+1)の映像信号を順次表示する、上記(6)又は(7)のいずれかに記載の映像表示装置。
(12)前記映像信号入力部が入力する統合映像信号に映像信号を多重化する方式を判別する判別部をさらに備え、前記映像分離部は、前記判別部における判定結果に基づいて、第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離する処理を行なう、上記(6)に記載の映像表示装置。
(13)前記判別部は、前記映像信号入力部が入力するストリームに付加されている映像補足情報信号に基づいて、統合映像信号に映像信号を多重化する方式を判別する、上記(12)に記載の映像表示装置。
(14)前記映像分離部が第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離した後に、第nの映像信号又は第(n+0.5)の映像信号を間引いて、前記映像信号入力部へ入力されるフレームと前記表示部が表示するフレームとの同期合わせを行なうフレーム同期部をさらに備える、上記(6)に記載の映像表示装置。
(15)前記映像分離部が第nの統合映像信号から分離した第nの映像信号と第(n+0.5)の映像信号の間の色差位相の不一致を補間する色差補間部をさらに備える、上記(6)に記載の映像表示装置。
(16)前記色差補間部により色差位相の不一致を補間した後に生じる第nの映像信号と第(n+0.5)の映像信号の間の位置ずれを補正する位置合わせ部をさらに備える、上記(15)に記載の映像表示装置。
(17)前記位置合わせ部は、画像のアスペクト比を保持しながら、第nの映像信号と第(n+0.5)の映像信号の間の位置ずれを補正する、上記(16)に記載の映像表示装置。
(18)前記映像信号入力部は、統合映像信号として、ハイフレームレートの2次元映像信号又は3次元映像信号を入力し、前記映像信号入力部が入力する統合映像信号に付加されている映像補足情報信号に基づいて、入力された統合映像信号がハイフレームレートの2次元映像信号又は3次元映像信号のいずれであるかを判別する判別部をさらに備える、上記(6)に記載の映像表示装置。
(19)前記判別部がハイフレームレートの2次元映像信号を入力していると判定し、前記表示部でハイフレームレートの2次元映像を表示しているときに、映像を観察する観察者がかけているシャッター眼鏡を両目ともに解放状態にする、上記(18)に記載の映像表示装置。
(20)前記判別部がハイフレームレートの2次元映像信号を入力していると判定し、前記表示部でハイフレームレートの2次元映像を表示しているときに、表示映像がハイフレームレートの2次元映像である旨を提示する、上記(18)に記載の映像表示装置。
(21)第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化した第nの統合映像信号を入力する映像信号入力ステップと、
第nの統合映像信号から第nの映像信号と第(n+0.5)の映像信号に分離する映像分離ステップと、
分離された第nの映像信号と第(n+1)の映像信号を順次表示する表示ステップと、
を有する映像表示方法。
(22)第nの映像信号と、第nの映像信号と第(n+1)の映像信号との時間的に中間となる第(n+0.5)の映像信号を多重化した第nの統合映像信号を送信する映像信号出力装置と、第nの統合映像信号を受信し、第nの映像信号と第(n+0.5)の映像信号に分離して、順次表示する映像表示装置と、を具備する映像処理システム。
(23)前記映像信号変換部は、ハイフレームレートの2次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングして統合映像信号を生成する、上記(1)に記載の映像信号処理装置。
(24)前記映像信号入力部は、ハイフレームレートの2次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、MVCフォーマットによりパッキングされた統合映像信号を入力し、前記映像分離部は、ハイフレームレートの2次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングされた統合映像信号を、時間方向及びビュー方向に補償して、系列毎のフレームを復号する、上記(6)に記載の映像表示装置。
(25)前記表示部で通常のフレームレートで2次元映像を表示するときには、前記映像分離部は、一方の時間系列のフレームのみ時間方向に補償してフレームを復号し、他方の時間系列のフレームについて復号処理を省略する、上記(24)に記載の映像表示装置。
(26)前記映像信号変換部は、ハイフレームレートの2次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングして統合映像信号を生成する、上記(1)に記載の映像信号処理装置。
(27)前記映像信号入力部は、ハイフレームレートの2次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、インターレース・フォーマットの前記統合映像信号の各フィールドを標準フレームレートの垂直同期信号に同期してIP変換し、プログレッシブ化された各フレームからサイド・バイ・サイド形式で多重化された標準フレームと中間フレームを分離して、統合前のハイフレームレート映像信号を得る、上記(6)に記載の映像表示装置。
(28)前記映像信号変換部は、ハイフレームレートの2次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングして統合映像信号を生成する、上記(1)に記載の映像信号処理装置。
(29)前記映像信号入力部は、ハイフレームレートの2次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、前記統合映像信号の各フィールドをハイフレームレートの垂直同期信号に同期してIP変換して、統合前のハイフレームレート映像信号を得る、上記(6)に記載の映像表示装置。
(30)映像信号の動き量を検出する動き検出部をさらに備え、前記動き検出部が映像信号から所定以上の動き量を検出したときには、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号を前記映像信号変換部で所定のフォーマットに変換し、前記出力部から出力し、動き量が所定未満のときには、標準フレームからなる映像信号を前記出力部から出力する、上記(1)に記載の映像信号処理装置。
(31)前記映像信号入力部は、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号と標準フレームレートの映像信号が統合された統合映像信号を入力し、前記映像分離部は、標準フレームレートの映像信号が入力されたときには、各標準フレームをリピートしてハイフレームレート化する、上記(6)に記載の映像表示装置。
(32)前記映像信号入力部は、統合映像信号として、2次元映像信号又は3次元映像信号を入力し、入力された統合映像信号が2次元映像信号又は3次元映像信号のいずれであるかを判別する判別部と、2次元映像信号又は3次元映像信号のいずれであるかに応じて映像信号の処理を切り換える信号処理部と、をさらに備える上記(6)に記載の映像表示装置。
(33)前記信号処理部は、入力された統合映像信号が3次元映像信号のときには、前記映像分離部で分離した後、右眼用映像フレームを飛ばして左眼用映像フレーム間で参照してノイズ除去するとともに、左眼用映像フレーム飛ばして右眼用映像フレーム間で参照してノイズ除去し、入力された統合映像信号が2次元映像信号のときには、前記映像分離部で分離した後、フレーム飛ばしせず直近のフレーム間で参照してノイズ除去する、上記(32)に記載の映像表示装置。
(34)前記信号処理部は、前記表示部の表示映像を一時停止するときに、入力された統合映像信号が3次元映像信号であれば、同一時刻の左右映像フレームを交互に表示し、入力された統合映像信号が2次元映像信号であれば、1枚の映像フレームをホールドする、上記(32)に記載の映像表示装置。

0186

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正代用を成し得ることは自明である。

0187

本明細書で開示する技術は、ハイフレームレートの2次元映像を伝送する際に、サイド・バイ・サイド、トップ・アンド・ボトム、フレーム・パッキングを始め、さまざまな3次元映像信号の伝送フォーマットを適用することができる。

0188

また、本明細書で開示する技術は、2次元映像信号に限らず、さまざまな映像信号をハイフレームレートで伝送する際に適用することができる。

0189

要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

0190

400…映像システム
410…ゲーム機
411…描画部
412…フォーマット変換部
413…送信部
450…映像表示装置
451、551…受信部
452、552…フォーマット判別部
453、553…映像分離部
454、554…フレーム・メモリー
455、555…映像並べ替え部
456、555…映像ノイズ除去部
457、557…フレーム間引き部
458、558…選択部
459、559…スケール処理部
460、560…表示部
500…映像システム
510…ハイフレームレート・カメラ
511…ハイフレームレート・センサー
512…信号処理部
513…メモリー
520…放送装置
521…フォーマット変換部
522…符号化部
523…変調部
524…送出部
2500…映像表示装置
2501…受信部、2502…フォーマット判別部
2503…映像分離部、2504…原画用フレーム・メモリー
2505…映像並べ替え部、2506…映像ノイズ除去部
2507…フレーム・メモリー、2508…IP変換部
2509…選択部、2510…フレーム・メモリー
2511…フレーム間引き読み出し部、2512…選択部
2513…スケール処理部、2514…表示部
2800…映像表示装置
2801…受信部、2802…フォーマット判別部
2803…映像分離部、2804…原画用フレーム・メモリー
2805…映像並べ替え部、2806…映像ノイズ除去部
2807…フレーム・メモリー、2808…IP変換部
2809…選択部、2810…フレーム・メモリー
2811…フレーム間引き読み出し部、2812…選択部
2813…スケール処理部、2814…表示部
3100…映像システム
3110…ハイフレームレート・カメラ
3111…ハイフレームレート・センサー
3112…信号処理部、3113…メモリー
3120…放送装置
3121…フォーマット変換部、3122…符号化部
3123…変調部、3124…送出部、3125…動き検出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ