図面 (/)

技術 中間画像生成方法、中間画像ファイル、中間画像生成装置、立体画像生成方法、立体画像生成装置、裸眼立体画像表示装置、立体画像生成システム

出願人 吉田健治
発明者 吉田健治
出願日 2010年3月5日 (9年8ヶ月経過) 出願番号 2010-049871
公開日 2011年9月22日 (8年1ヶ月経過) 公開番号 2011-188142
状態 特許登録済
技術分野 立体TV及びTVの試験,検査,測定等 立体、パノラマ写真 その他の光学系・装置、色の干渉・色の制御 陰極線管以外の表示装置の制御 表示装置の制御、回路 要素組合せによる可変情報用表示装置2 要素組合せによる可変情報用表示装置1
主要キーワード 解消位置 階段配置 モニタフレーム 可視位置 Y座標 タイルフォーマット 配置変換 各可視光
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年9月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

複数の視点から撮影された複数の視点画像を変換し、中間画像立体画像を生成する方法、装置およびそれらを利用した立体画像を生成するシステムと、該立体画像を表示する装置を提供する。

解決手段

最終出力画像である立体画像と同一の解像度を有し、視点毎画素をまとめた中間画像を予め生成することで、高速で特殊なコンピュータ等を使用せずに画素の配置変換のみで立体画像の生成が可能であり、各視点の画像をタイル状に配置した中間画像を用いることにより、標準的な画像出力装置画像配信サーバーにより標準的なフォーマットで出力または送信した中間画像を、簡易で安価な立体画像生成装置により立体画像を生成する立体画像生成システムの実現が可能となる。

概要

背景

従来より、複数視点から撮影された画像を視点毎ピクセル単位あるいはサブピクセル単位で斜め方向に配列して表示画面を構成し、その前面にバリアを配置して視差を与えて立体画像視認させる技術が広く利用されている。(例えば、特許文献1)
また、画像の画素配置立体画像表示装置に対応した画素配置に変換する既存の技術として、特許文献2には画像の画素配置をパララックスバリア方式の立体画像表示装置に対応した画素配置に変換する技術が段落0088および図1に開示されている。この段落0088および図1には、装置内に画像の画素配置を立体表示用に変換する技術的解決手段として、画像合成回路が備えられた立体画像表示装置が開示されている。

また、非特許文献1には、パーソナルコンピュータ上において実行する、映像の画素配置を立体表示用に変換するためのソフトウェアが開示されている。

このような立体画像の生成過程においては、一般的に大規模立体画像表示システム、すなわち、撮影画像から立体画像生成のための複雑な演算処理高速で実行できる特殊で高価なグラフィックボードを搭載したコンピュータ等が必須の要素となっている。

概要

複数の視点から撮影された複数の視点画像を変換し、中間画像、立体画像を生成する方法、装置およびそれらを利用した立体画像を生成するシステムと、該立体画像を表示する装置を提供する。最終出力画像である立体画像と同一の解像度を有し、視点毎の画素をまとめた中間画像を予め生成することで、高速で特殊なコンピュータ等を使用せずに画素の配置変換のみで立体画像の生成が可能であり、各視点の画像をタイル状に配置した中間画像を用いることにより、標準的な画像出力装置画像配信サーバーにより標準的なフォーマットで出力または送信した中間画像を、簡易で安価な立体画像生成装置により立体画像を生成する立体画像生成システムの実現が可能となる。

目的

特開2004−191570
特開2004−179806




VisumotionGMBHが提供する

効果

実績

技術文献被引用数
0件
牽制数
4件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、サブピクセルが斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値G値B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して求め、該RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、該立体画像の該RGB階段配置画素ユニットと該複数の中間画像の該RGB並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となることを特徴とする中間画像生成方法。

請求項2

前記RGB階段配置画素ユニットは、各行毎のサブピクセルが1列であり、R値、G値、B値を有する3個の該サブピクセルから構成されており、前記RGB並列配置画素ユニットは、1行に、該3個のサブピクセルがR、G、Bの順に3列並べて配列されていることを特徴とする請求項1記載の中間画像生成方法。

請求項3

前記RGB階段配置画素ユニットは、各行毎のサブピクセルが2列であり、該2列の各列はR値、G値、B値を有する3個の該サブピクセルから構成されており、前記RGB並列配置画素ユニットは、1行に、該RGB階段配置画素ユニットの第一列に3行で配列された3個のサブピクセルがR、G、Bの順に3列並べて配列され、該配列に水平方向に連接して、該RGB階段配置画素ユニットの第二列に3行で配列された3個のサブピクセルがR、G、Bの順に3列並べて配列されていることを特徴とする請求項1記載の中間画像生成方法。

請求項4

前記RGB階段配置画素ユニットは、各行毎のサブピクセルが3列であり、該3列の各列はR値、G値、B値を有する3個の該サブピクセルから構成されており、前記RGB並列配置画素ユニットは、1行に、該RGB階段配置画素ユニットの第一列に3行で配列された3個のサブピクセルがR、G、Bの順に並べて配列され、該配列に水平方向に連接して、該RGB階段配置画素ユニットの第二列に3行で配列された3個のサブピクセルがR、G、Bの順に並べて配列され、該配列にさらに連接して、該RGB階段配置画素ユニットの第三列に配列された3個のサブピクセルがR、G、Bの順に並べて配列されていることを特徴とする請求項1記載の中間画像生成方法。

請求項5

前記複数の中間画像を、画像フレームとして少なくとも縦方向に三等分割された第一行乃至第三行からなる複数のタイル状に配置することによって、前記RGB階段配置画素ユニットを構成するサブピクセルと、前記RGB並列配置画素ユニットを構成するサブピクセルと、が、前記立体画像と該複数の中間画像が配置された該画像フレームにおいて、縦横方向ともに同数となることを特徴とする請求項1記載の中間画像生成方法。

請求項6

前記複数の視点が2視点である場合においては、前記第一行のタイルに1視点の前記中間画像の2/3と、前記第二行の第1のタイルに1視点の該中間画像の1/3と連接した第2のタイルに2視点の該中間画像の1/3と、前記第三行のタイルに2視点の該中間画像の2/3を、前記複数の視点が3視点である場合においては、各行のタイルに各視点の中間画像を、前記複数の視点が4〜6視点である場合においては、各行の先頭のタイルに1〜3視点の該中間画像と、1〜3視点の該中間画像に連接した第一行から第三行に配置されたタイルに残りの視点の該中間画像を、前記複数の視点が7〜9視点である場合においては、各行の先頭のタイルに1〜3視点の該中間画像と、1〜3視点の該中間画像に連接した該第一行から該第三行のタイルに4〜6視点の該中間画像と、4〜6視点の該中間画像に連接した第一行から第三行に配置されたタイルに残りの視点の該中間画像を、配置し、前記複数の視点が10視点以上である場合においても、同様に1視点から順に各行のタイルに該中間画像の一部または全部を配置することを特徴とする請求項5記載の中間画像生成方法。

請求項7

前記配置規則に代えて、前記立体画像の前記RGB階段配置画素ユニットを構成するサブピクセルの位置と、該複数の視点毎の中間画像の前記RGB並列配置画素ユニットを構成するサブピクセルの位置とを関連付ける、予め作成された中間画像生成テーブルを参照して、該RGB階段配置画素ユニットを構成するサブピクセルを配列して該RGB並列配置画素ユニットを生成することを特徴とする請求項1記載の中間画像生成方法。

請求項8

前記複数の視点画像のそれぞれと前記立体画像が同一のアスペクト比である場合において、前記RGB階段配置画素ブロックを構成する前記1視点からN視点までの前記RGB階段配置画素ユニットのうち、予め定められた基準視点の該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該基準視点の視点画像における対応位置近辺に配置された画素ユニットを構成するサブピクセルのRGB値から補間して求め、該基準視点以外の視点の該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該基準視点の該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該基準視点以外の視点の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルの該視点画像のRGB値から補間して求めることを特徴とする請求項1記載の中間画像生成方法。

請求項9

請求項1から8いずれか記載の中間画像生成方法により生成され、圧縮された静止画および/または動画である前記複数の視点毎の前記中間画像からなる中間画像ファイル

請求項10

請求項1記載の方法により複数の中間画像を生成するための中間画像生成装置であって、該中間画像生成装置は、少なくとも中央処理装置記憶装置を備えており、該中央処理装置は、サブピクセルが斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該記憶装置に記憶された該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して求め、該RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置し、該立体画像の該RGB階段配置画素ユニットと、その総数、またはそれぞれを構成するサブピクセルの総数が同数である該RGB並列配置画素ユニットから構成される該複数の視点毎の中間画像を生成することを特徴とする中間画像生成装置。

請求項11

請求項1記載の方法により生成された複数の中間画像から立体画像を生成する方法であって、前記複数の視点毎の中間画像から前記配置規則の逆順に従って、前記RGB並列配置画素ユニットを構成するサブピクセルを前記RGB階段配置画素ユニットとして配置して該立体画像を生成することを特徴とする立体画像生成方法

請求項12

請求項11記載の立体画像生成方法において、前記配置規則に代えて、前記複数の視点毎の中間画像の前記RGB並列配置画素ユニットを構成するサブピクセルの位置と、前記立体画像の前記RGB階段配置画素ユニットを構成するサブピクセルの位置とを関連付ける、予め作成された立体画像生成テーブルを参照して、該RGB並列配置画素ユニットを構成するサブピクセルを該RGB階段配置画素ユニットとして配置することを特徴とする立体画像生成方法。

請求項13

請求項11記載の方法により複数の中間画像から立体画像を生成するための立体画像生成装置であって、該立体画像生成装置は、少なくとも中央処理装置と記憶装置を備えており、該中央処理装置は、前記複数の視点毎の中間画像を該記憶装置に記憶し、該複数の視点毎の中間画像から前記配置規則の逆順に従って、前記RGB並列配置画素ユニットを構成するサブピクセルを前記RGB階段配置画素ユニットとして配置して該立体画像を生成することを特徴とする立体画像生成装置。

請求項14

請求項11記載の方法により生成された立体画像を表示する、パララックスバリアを用いた裸眼立体画像表示装置であって、該パララックスバリアを構成する複数のスリット部および複数のバリア部のうち、該スリット部のそれぞれは、1個のスリット部に代わり、裸眼立体表示用の各画素に対応した、複数個可視光透過領域である穴部により構成され、該穴部は、該パララックスバリア面上にそれぞれ独立して配置され、該穴部の形状は、楕円弧形の形状、または四角形以上の凸偶数多角形の形状であることを特徴とする裸眼立体画像表示装置。

請求項15

請求項11記載の方法により生成された立体画像を表示する、パララックスバリアを用いた裸眼立体画像表示装置であって、該パララックスバリアを構成する複数のスリット部および複数のバリア部のうち、該スリット部のエッジ形状は、ディスプレイ上に配置された、該スリットを通して画像提示対象者により視認される可視領域を形成する、1つまたは複数の視点用の画素に対応した一定形状の楕円弧を、連続して接続した形状であることを特徴とする裸眼立体画像表示装置。

請求項16

少なくとも中央処理装置と記憶装置と圧縮装置送信装置を備える、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する第一の情報処理装置と、少なくとも中央処理装置と記憶装置と解凍装置受信装置を備える、該複数の中間画像から立体画像を生成する第二の情報処理装置と、を備える立体画像生成システムであって、該第一の情報処理装置の該中央処理装置は、サブピクセルを斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該第一の情報処理装置の記憶装置に記憶された該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して求め、該RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置し、該立体画像の該RGB階段配置画素ユニットと、その総数、またはそれぞれを構成するピクセル数が同数である該RGB並列配置画素ユニットから構成される該複数の視点毎の中間画像を生成し、該複数の視点毎の中間画像を該圧縮装置により圧縮して、該送信装置により第二の情報処理装置に送信し、該第二の情報処理装置の該中央処理装置は、該第一の情報処理装置から送信された該複数の視点毎の中間画像を該受信装置により受信して、該複数の中間画像を解凍装置により解凍し、該解凍装置により解凍された該複数の視点毎の中間画像から該配置規則の逆順に従って、該RGB並列配置画素ユニットを構成するサブピクセルを該RGB階段配置画素ユニットとして配置して該立体画像を生成することを特徴とする立体画像生成システム。

技術分野

0001

本発明は、複数の視点から撮影された複数の視点画像を変換し、中間画像立体画像を生成する方法、装置およびそれらを利用した立体画像を生成するシステムと、該立体画像を表示する装置とに関する。

背景技術

0002

従来より、複数視点から撮影された画像を視点毎ピクセル単位あるいはサブピクセル単位で斜め方向に配列して表示画面を構成し、その前面にバリアを配置して視差を与えて立体画像を視認させる技術が広く利用されている。(例えば、特許文献1)
また、画像の画素配置立体画像表示装置に対応した画素配置に変換する既存の技術として、特許文献2には画像の画素配置をパララックスバリア方式の立体画像表示装置に対応した画素配置に変換する技術が段落0088および図1に開示されている。この段落0088および図1には、装置内に画像の画素配置を立体表示用に変換する技術的解決手段として、画像合成回路が備えられた立体画像表示装置が開示されている。

0003

また、非特許文献1には、パーソナルコンピュータ上において実行する、映像の画素配置を立体表示用に変換するためのソフトウェアが開示されている。

0004

このような立体画像の生成過程においては、一般的に大規模立体画像表示システム、すなわち、撮影画像から立体画像生成のための複雑な演算処理高速で実行できる特殊で高価なグラフィックボードを搭載したコンピュータ等が必須の要素となっている。

0005

特開2004−191570
特開2004−179806

先行技術

0006

VisumotionGMBHが提供するソフトウェアである「Display Configurator」および「3D Movie Center」のマニュアル

発明が解決しようとする課題

0007

しかしながら、上述のように立体画像の提供には、高速のCPU、大容量のメモリ高性能グラフィックボードなど、リソース消費が大きく非常に特殊で高価なコンピュータ等が必要であり、立体画像表示技術の普及にあたっての大きな課題となっていた。

0008

また、すでに立体視可能な画像ファイル圧縮した場合、それぞれの視点毎に撮影された画像がピクセルまたはサブピクセル毎に連続して配置されているため、互いに干渉し合い、解凍して再生する際には、もはや立体視できない程度にまで歪んでしまうという問題があり、立体画像は圧縮することができない。従って、視点毎の画像を圧縮して送信したり、記憶媒体に記憶させておき、立体画像の生成の際に視点毎の画像を解凍し、複雑な補間計算を高速で行い、立体画像を生成する必要があった。

0009

さらに、各視点の画像をタイル状に配置した画像は、解像度アスペクト比が立体画像、すなわち裸眼立体ディスプレイの解像度とは異なる場合が多い。特に立体画像が生成された際の画質をできる限り高品質に近づけるため、各視点の画像において一定以上の解像度が必要になるため、タイル状に配置した画像は裸眼立体ディスプレイの解像度と比べ、非常に大きくなる。そのため、圧縮して送信するには、高スピードの送信網が必要であり、より大容量の記憶媒体が必要となる。もちろ、各視点の画像をタイル状に配置せず、独立した画像であっても、トータルでは全く同じ問題を抱えることになる。
このことから、最も大きな問題は、ブルーレイやSTBなどで映像を記憶したり、送信したりする場合の標準的なフォーマットで、立体画像生成のための視点毎の画像を提供することができないことである。

0010

そこで、本発明は上記課題を解決するため、最終出力画像である立体画像と同一の解像度を有し、視点毎の画素をまとめた中間画像を予め生成することで、高速で特殊なコンピュータ等を使用せずに画素の配置変換のみで立体画像の生成が可能であり、さらに各視点の画像をタイル状に配置した中間画像を用いれば、ブルーレイやSTBなどの標準的な画像出力装置画像配信サーバーにより標準的なフォーマットで出力または送信した当該中間画像を、簡易で安価な立体画像生成装置コンバーター)により立体画像を生成する立体画像生成システムを実現することを技術的課題とする。

課題を解決するための手段

0011

上記課題を解決するために、本発明にかかる中間画像生成方法は、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、サブピクセルが斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値G値B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して求め、該RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、該立体画像の該RGB階段配置画素ユニットと該複数の中間画像の該RGB並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となることを特徴とする。

0012

上記の特徴によれば、視点毎の画像を構成する画素数の合計が立体画像の画素数と同一となる最小限必要な解像度で、圧縮可能な中間画像の生成と、そのような中間画像を構成するサブピクセルの配置換えマッピング)のみで立体視が可能な立体画像とを高速で特殊なコンピュータを使用せず生成することができる。

0013

また、前記RGB階段配置画素ユニットは、各行毎のサブピクセルが1列であり、R値、G値、B値を有する3個の該サブピクセルから構成されており、前記RGB並列配置画素ユニットは、1行に、該3個のサブピクセルがR、G、Bの順に3列並べて配列されていることが望ましい。

0014

これにより、サブピクセルが1対3の比率で縦長の長方形である場合において、最も適切に立体視が可能な3個のサブピクセルが斜め方向にコーナーで接して3行1列で配列されたサブピクセルの配置を有する立体画像に変換可能な複数の中間画像を生成することができる。

0015

また、請求項1記載の中間画像生成方法は、前記RGB階段配置画素ユニットは、各行毎のサブピクセルが2列であり、該2列の各列はR値、G値、B値を有する3個の該サブピクセルから構成されており、前記RGB並列配置画素ユニットは、1行に、該RGB階段配置画素ユニットの第一列に3行で配列された3個のサブピクセルがR、G、Bの順に3列並べて配列され、該配列に水平方向に連接して、該RGB階段配置画素ユニットの第二列に3行で配列された3個のサブピクセルがR、G、Bの順に3列並べて配列されていることが望ましい。

0016

また、請求項1記載の中間画像生成方法は、前記RGB階段配置画素ユニットは、各行毎のサブピクセルが3列であり、該3列の各列はR値、G値、B値を有する3個の該サブピクセルから構成されており、前記RGB並列配置画素ユニットは、1行に、該RGB階段配置画素ユニットの第一列に3行で配列された3個のサブピクセルがR、G、Bの順に並べて配列され、該配列に水平方向に連接して、該RGB階段配置画素ユニットの第二列に3行で配列された3個のサブピクセルがR、G、Bの順に並べて配列され、該配列にさらに連接して、該RGB階段配置画素ユニットの第三列に配列された3個のサブピクセルがR、G、Bの順に並べて配列されていることが望ましい。

0017

また、請求項1記載の中間画像生成方法は、前記複数の中間画像を、画像フレームとして少なくとも縦方向に三等分割された第一行乃至第三行からなる複数のタイル状に配置することによって、前記RGB階段配置画素ユニットを構成するサブピクセルと、前記RGB並列配置画素ユニットを構成するサブピクセルと、が、前記立体画像と該複数の中間画像が配置された該画像フレームにおいて、縦横方向ともに同数となることが望ましい。

0018

各視点の画像をタイル状に配置することにより中間画像と裸眼立体ディスプレイ(立体画像)の解像度・アスペクト比が同一となり、ブルーレイやSTBなどの標準的な画像出力装置や画像配信サーバーにより標準的なフォーマットで出力または送信された中間画像を、立体画像生成装置(コンバーター)で簡易に立体画像を生成できる、実用性に富んだ立体画像表示システムを非常に安価な価格で提供することが可能となる。

0019

また、請求項5記載の中間画像生成方法は、前記複数の視点が2視点である場合においては、前記第一行のタイルに1視点の前記中間画像の2/3と、前記第二行の第1のタイルに1視点の該中間画像の1/3と連接した第2のタイルに2視点の該中間画像の1/3と、前記第三行のタイルに2視点の該中間画像の2/3を、前記複数の視点が3視点である場合においては、各行のタイルに各視点の中間画像を、前記複数の視点が4〜6視点である場合においては、各行の先頭のタイルに1〜3視点の該中間画像と、1〜3視点の該中間画像に連接した第一行から第三行に配置されたタイルに残りの視点の該中間画像を、前記複数の視点が7〜9視点である場合においては、各行の先頭のタイルに1〜3視点の該中間画像と、1〜3視点の該中間画像に連接した該第一行から該第三行のタイルに4〜6視点の該中間画像と、4〜6視点の該中間画像に連接した第一行から第三行に配置されたタイルに残りの視点の該中間画像を、配置し、前記複数の視点が10視点以上である場合においても、同様に1視点から順に各行のタイルに該中間画像の一部または全部を配置することが望ましい。

0020

また、請求項1記載の中間画像生成方法は、前記配置規則に代えて、前記立体画像の前記RGB階段配置画素ユニットを構成するサブピクセルの位置と、該複数の視点毎の中間画像の前記RGB並列配置画素ユニットを構成するサブピクセルの位置とを関連付ける、予め作成された中間画像生成テーブルを参照して、該RGB階段配置画素ユニットを構成するサブピクセルを配列して該RGB並列配置画素ユニットを生成することが望ましい。

0021

また、請求項1記載の中間画像生成方法は、前記複数の視点画像のそれぞれと前記立体画像が同一のアスペクト比である場合において、前記RGB階段配置画素ブロックを構成する前記1視点からN視点までの前記RGB階段配置画素ユニットのうち、予め定められた基準視点の該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該基準視点の視点画像における対応位置近辺に配置された画素ユニットを構成するサブピクセルのRGB値から補間して求め、該基準視点以外の視点の該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該基準視点の該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該基準視点以外の視点の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルの該視点画像のRGB値から補間して求めることが望ましい。

0022

このように、RGB階段配置画素ユニットを構成するいずれかのサブピクセルを基準として他のサブピクセルのRGB値を求めることで、現実に基づいたシャープな立体画像を表現することができる。

0023

また、本発明に係る中間画像ファイルは、請求項1から8いずれか記載の中間画像生成方法により生成され、圧縮された静止画および/または動画である前記複数の視点毎の前記中間画像からなることを特徴とする。

0024

また、本発明に係る中間画像生成装置は、請求項1記載の方法により複数の中間画像を生成するための中間画像生成装置であって、該中間画像生成装置は、少なくとも中央処理装置記憶装置を備えており、該中央処理装置は、サブピクセルが斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該記憶装置に記憶された該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して求め、該RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置し、該立体画像の該RGB階段配置画素ユニットと、その総数、またはそれぞれを構成するサブピクセルの総数が同数である該RGB並列配置画素ユニットから構成される該複数の視点毎の中間画像を生成することを特徴とする。

0025

また、本発明に係る立体画像生成方法は、請求項1記載の方法により生成された複数の中間画像から立体画像を生成する方法であって、前記複数の視点毎の中間画像から前記配置規則の逆順に従って、前記RGB並列配置画素ユニットを構成するサブピクセルを前記RGB階段配置画素ユニットとして配置して該立体画像を生成することを特徴とする。

0026

また、請求項11記載の立体画像生成方法においては、前記配置規則に代えて、前記複数の視点毎の中間画像の前記RGB並列配置画素ユニットを構成するサブピクセルの位置と、前記立体画像の前記RGB階段配置画素ユニットを構成するサブピクセルの位置とを関連付ける、予め作成された立体画像生成テーブルを参照して、該RGB並列配置画素ユニットを構成するサブピクセルを該RGB階段配置画素ユニットとして配置することが望ましい。

0027

また、本発明に係る中間画像生成装置は、請求項11記載の方法により複数の中間画像から立体画像を生成するための立体画像生成装置であって、該立体画像生成装置は、少なくとも中央処理装置と記憶装置を備えており、該中央処理装置は、前記複数の視点毎の中間画像を該記憶装置に記憶し、該複数の視点毎の中間画像から前記配置規則の逆順に従って、前記RGB並列配置画素ユニットを構成するサブピクセルを前記RGB階段配置画素ユニットとして配置して該立体画像を生成することを特徴とする。

0028

また、本発明に係る裸眼立体画像表示装置は、請求項11記載の方法により生成された立体画像を表示する、パララックスバリアを用いた裸眼立体画像表示装置であって、該パララックスバリアを構成する複数のスリット部および複数のバリア部のうち、該スリット部のそれぞれは、1個のスリット部に代わり、裸眼立体表示用の各画素に対応した、複数個可視光透過領域である穴部により構成され、該穴部は、該パララックスバリア面上にそれぞれ独立して配置され、該穴部の形状は、楕円弧形の形状、または四角形以上の凸偶数多角形の形状であることを特徴とする。

0029

スリットのエッジ形状を楕円弧とすることにより、穏やかで適度なビューミックスを発
生させ、視点の移動およびジャンプポイント緩和を行うことが出来るという効果を奏す
る。

0030

また、本発明に係る裸眼立体画像表示装置は、請求項11記載の方法により生成された立体画像を表示する、パララックスバリアを用いた裸眼立体画像表示装置であって、該パララックスバリアを構成する複数のスリット部および複数のバリア部のうち、該スリット部のそれぞれは、1個のスリット部に代わり、裸眼立体表示用の各画素に対応した、複数個の可視光透過領域である穴部により構成され、画像提示対象者裸眼立体効果を最も得られる位置であるベストビューポイントにおいて該穴部を通して画像提示対象者に視認させようとする画素配列面上の最大領域を、所定の幅と所定の高さとを有する該画素配列面上の矩形領域とし、該穴部は、該パララックスバリア面上にそれぞれ独立して配置され、該穴部の形状は、楕円弧形の形状、または六角形以上の凸偶数多角形の形状であって、かつ、該穴部の形状は、該ベストビューポイントにおける前記画像提示対象者の左右いずれかの眼を基点として、該矩形領域と結ぶ線分と、該パララックスバリア面との交点からなる該矩形領域の相似形をなす領域の上下および左右の辺に内接する形状とし、該ベストビューポイントにおける前記画像提示対象者の左右いずれかの眼を基点として、該穴部を通して画像提示対象者に視認される画素配列面上の領域が、該穴部の相似形をなす有効可視領域であることを特徴とする。

0031

通常、パララックスバリアには、連続した可視光透過部であるスリットが、各視点用の画素の配置に対応させて、形成されている。本発明では、連続した細長いスリットに代わり、各視点用の画素の配置に対応させて、独立した可視光透過領域である穴が、形成されている。

0032

そして、穴である可視光透過領域を設計する際には、画素配列面において所定の大きさの矩形領域を求め、矩形領域に収まる有効可視領域を求め、画像提示対象者の目がベストビューポイントに位置しているとして、ベストビューポイントから見た有効可視領域の相似形をパララックスバリア上にプロットして形成する。

0033

なお、ベストビューポイント(最適立体可視位置)とは、画像提示対象者が裸眼立体効果を最も得られる位置である。

0034

なお、最適立体可視位置において、画像提示対象者は、裸眼立体ディスプレイに対して平行に左右に移動したとしても、移動方向と逆方向に配置されている各視点の用の映像を次々に連続して左右の眼で視認することとなるため、映像提示対象者は、効果的に立体画像を見ることができる。

0035

前記の構成によれば、ビューミックスを発生させ、かつジャンプポイントを緩和するために一度に片方の眼で視認すべきサブピクセルの領域を最初に定め、そこから逆算して、パララックスバリア上の可視光透過領域を定めるので、最も適切な可視光透過領域の形状を、容易に設計することが出来るという効果を奏する。

0036

また、本発明に係る裸眼立体画像表示装置は、請求項11記載の方法により生成された立体画像を表示する、パララックスバリアを用いた裸眼立体画像表示装置であって、該パララックスバリアを構成する複数のスリット部および複数のバリア部のうち、該スリット部のエッジ形状は、ディスプレイ上に配置された、該スリットを通して画像提示対象者により視認される可視領域を形成する、1つまたは複数の視点用の画素に対応した一定形状の楕円弧を、連続して接続した形状であることを特徴とする。

0037

また、本発明に係る立体画像生成システムは、少なくとも中央処理装置と記憶装置と圧縮装置送信装置を備える、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する第一の情報処理装置と、少なくとも中央処理装置と記憶装置と解凍装置受信装置を備える、該複数の中間画像から立体画像を生成する第二の情報処理装置と、を備える立体画像生成システムであって、該第一の情報処理装置の該中央処理装置は、サブピクセルを斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該第一の情報処理装置の記憶装置に記憶された該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して求め、該RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置し、該立体画像の該RGB階段配置画素ユニットと、その総数、またはそれぞれを構成するピクセル数が同数である該RGB並列配置画素ユニットから構成される該複数の視点毎の中間画像を生成し、該複数の視点毎の中間画像を該圧縮装置により圧縮して、該送信装置により第二の情報処理装置に送信し、該第二の情報処理装置の該中央処理装置は、該第一の情報処理装置から送信された該複数の視点毎の中間画像を該受信装置により受信して、該複数の中間画像を解凍装置により解凍し、該解凍装置により解凍された該複数の視点毎の中間画像から該配置規則の逆順に従って、該RGB並列配置画素ユニットを構成するサブピクセルを該RGB階段配置画素ユニットとして配置して該立体画像を生成することを特徴とする。

発明の効果

0038

本発明によれば、視点毎の画像を構成する画素数の合計が立体画像の画素数と同一となる最小限必要な解像度で、圧縮可能な中間画像の生成と、そのような中間画像を構成するサブピクセルの配置換え(マッピング)のみで立体視が可能な立体画像とを高速で特殊なコンピュータを使用せず生成することができ、さらに本発明に基づいて各視点の画像をタイル状に配置することにより中間画像と裸眼立体ディスプレイ(立体画像)の解像度・アスペクト比が同一となり、ブルーレイやSTBなどの標準的な画像出力装置や画像配信サーバーにより標準的なフォーマットで出力または送信された中間画像を、立体画像生成装置(コンバーター)で簡易に立体画像を生成できる、実用性に富んだ立体画像表示システムを非常に安価な価格で提供することが可能となる。

図面の簡単な説明

0039

中間画像生成装置、立体画像生成装置および立体画像生成システムの構成を概略的に示すブロック図である。
中間画像生成装置、立体画像生成システムによって実行される情報処理フローチャートを示す図である。
中間画像の生成方法についての実施形態を説明する図である。
中間画像の生成方法についての実施形態を説明する図である。
中間画像の生成方法についての実施形態を説明する図である。
中間画像の生成方法についての実施形態を説明する図である。
中間画像生成テーブルについて説明する図である。
中間画像の画像フレームの配置の例を示す図である。
画像フレームの差異を説明する図である。
複数の中間画像からなる画像フレームの例を示す図である。
RGB階段配置画素ユニットの配置例を示す図である。
立体画像生成装置の実施形態の一例を示す外観図である。
立体画像生成装置の他の実施形態の一例を示す外観図である。
複数視点の画像の例を示す図である。
複数視点の動画像の例を示す図である。
複数視点の動画像の例を示す図である。
複数視点の中間画像の第一の実施例を示す図である。
複数視点の中間画像の第二の実施例を示す図である。
複数視点の中間画像の第三の実施例を示す図である。
複数視点の中間画像の第四の実施例を示す図である。
画像情報が実際にどのような情報を意味するものであるのか説明する図である。
画像情報が実際にどのような情報を意味するものであるのか説明する図である。
平面画像と複数視点の中間画像の判別を行う方法を示したフローチャートを示す図である。
可視光透過部の横幅Shの適正値について説明する図である。
可視光透過部の横幅Shの適正値について説明する図である。
可視光透過部の高さSvを求める例を説明する図である。
可視光透過部の高さSvを求める例を説明する図である。
複数の可視光透過部の間隔Hhを求める例を説明する図である。
複数の可視光透過部の間隔Hhを求める例を説明する図である。
複数の可視光透過部の間隔Hhを求める例を示す図である。
複数の可視光透過部の間隔Hhを求める例を示す図である。
モアレについて説明する図である。
L2、L2n、L2fの相対的な関係を説明する図である。
可視光透過部の間隔Hvの値を求める方法について説明する図である。
可視光透過部とピクセルとの関係を説明する図である。
注視点間距離KとL3の関係を説明する図である。
可視光透過部の間隔Hvの値を求める方法について説明する図である。
可視光透過部の間隔Hvの値を求める方法について説明する図である。
可視光透過部の数について説明する図である。
[Hv×(Mv−1)]と[(Jr−1/β)×Pv]の関係を説明する図である。
L3nおよびL3fの値を求める例を示す図である。
L3nおよびL3fの値を求める例を示す図である。
L3nおよびL3fの値を求める例を示す図である。
パララックスバリアのスリットの形状の一例について説明する図である。
パララックスバリアのスリットの形状の一例について説明する図である。
パララックスバリアのスリットの形状の一例について説明する図である。
パララックスバリアのスリットの形状の一例について説明する図である。
パララックスバリアのスリットの形状の一例について説明する図である。
パララックスバリアのスリットの形状の一例について説明する図である。
モアレ適正解消領域について説明する図である。
裸眼立体画像表示装置におけるサブピクセルの形状の例を示す図である。

実施例

0040

以下、本発明の実施の形態について図面を参照しながら詳述する。

0041

図1は、本発明に係る中間画像生成装置の構成、立体画像生成装置の構成、および立体画像生成システムに用いられる情報処理装置の構成を概略的に示すブロック図である。

0042

図1(a)の中間画像生成装置31は、中央処理装置33、記憶装置35を備える。

0043

記憶装置35は、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像を記憶する。視点画像の生成には、複数台カメラを用いて異なる視点から対象物を撮影するほか、コンピュータグラフィックスを用いて描画することが挙げられる。中央処理装置33は、記憶装置35に記憶された複数の視点画像から複数の演算処理を行って中間画像を生成する。

0044

図1(b)の立体画像生成装置61は、中央処理装置33、記憶装置35を備える。

0045

中央処理装置35は、入力された複数の中間画像を、記憶装置35(フレームバッファ)に記憶させ、画素配置の変換を行って立体画像を生成する。

0046

図1(c)の立体画像生成システムは、第一の情報処理装置41、第二の情報処理装置47から構成され、第一の情報処理装置41は、中央処理装置33、記憶装置35、圧縮装置43、送信装置45を備え、第二の情報処理装置47は、中央処理装置33、記憶装置35、解凍装置49、受信装置51を備える。

0047

圧縮装置43は、所定の方式で複数の中間画像の非可逆圧縮を行う。圧縮の方式としては、静止画像では、JPEG、動画像では、MPEG−2、MPEG−4などの代表的な方式により行う。送信装置45は、圧縮装置43により圧縮した複数の中間画像を第二の情報処理装置47に送信する。送信の方式としては、USBポートを介した有線による送信の他、光通信BLUETOOTH(登録商標)、無線LANなどの無線による送信が考えられる。受信装置51は、送信装置45により送信された複数の中間画像の受信を行う。解凍装置49は、圧縮装置43により圧縮された複数の中間画像の解凍を行う。

0048

図2(a)は、図1(a)の中間画像生成装置31によって実行される情報処理のフローチャートである。

0049

図2(a)において、まず、中間画像生成装置31に備えられた中央処理装置33は、ユーザによる操作(1視点からN視点までの複数の視点からのカメラによる対象物の撮影、または1視点からN視点までの複数の視点からのコンピュータグラフィックスによる描画)に応じて入力された複数の視点画像を、中間画像生成装置31に備えられた記憶装置35に記憶する(ステップS201)。

0050

次いで、中央処理装置33は、制御情報の入力があるか否かを判別する(ステップS202)。制御情報とは、NTSC、PALといった走査方式インターレスプログレッシブといった送信方式視点数、解像度、画素配置方法等を意味する。制御情報の入力は、中間画像生成装置31にさらに備えられたキーボードマウス等を使用してユーザの操作により行う。これにより、フォーマットが定まることになる。

0051

ステップS202の判別の結果、制御情報の入力があると、該中央処理装置33は、制御情報に基づく立体画像の生成を行う(ステップS203)。ここで、立体画像とは、ユーザに最終的に提示する立体視可能なサブピクセル配置を有する画像をいい、パララックスバリア等を用いた裸眼立体視の場合には、サブピクセルを斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に第1の視点から第Nの視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して立体画像を構成することが望ましい。RGB階段配置画素ユニットを構成するサブピクセルの代表的な配置には、例えば図11において示すものが考えられる。制御情報に基づく立体画像の生成とは、例えば立体画像の表示を予定しているディスプレイの解像度が1980×1080である場合には、出力を行うのに適した解像度の立体画像、すなわち1980×1080の解像度を有する立体画像の生成が行われる。なお、ステップS203で行われる立体画像の生成については後述する。

0052

次いで、中央処理装置33は、生成された立体画像から複数の中間画像を生成する(ステップS204)。中間画像とは、立体画像を生成するために用いられる画像であり、複数の中間画像のそれぞれは、RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットが、複数の視点毎にまとめて配置されている。本発明においては、複数の視点で撮影または描画された複数の視点画像から予め立体画像を生成または想定し、該立体画像に基づいて中間画像の生成を行っていく。ステップS204で行われる中間画像の生成についてもステップS203と同様に下記に詳述する。

0053

次いで、中央処理装置33は、ステップS204において生成された中間画像を記憶装置35に記憶する(ステップS205)。

0054

ステップS205において中間画像が記憶されると、本処理が終了する。

0055

処理が終了した後、再びステップS203に戻ってもよい。例えば、同一の制御情報に基づいて繰り返し立体画像、中間画像の生成を行うような場合(視点画像が次々に中間画像生成装置に入力される場合)には、毎回の制御情報の入力は必要なく、ユーザビリティの向上が期待できる。この場合、連続して立体画像、中間画像の生成を行うことを中間画像生成装置31に認識させるために、キーボード等の特定の動作によりモード変更を行い、繰り返し立体画像、中間画像の生成を行う処理に関連付けてもよい。

0056

なお、図2(b)図示例のように、ステップS204において、実際に立体画像の生成を行わずに立体画像を想定して以下の処理を行ってもよい。

0057

図2(c)は、図1(b)の立体画像生成システムによって実行される情報処理のフローチャートである。

0058

図2(c)は、図2(a)のステップS204までの処理とその構成が基本的に同じであり、同一の構成要素については重複説明を省略し、以下に異なる部分についてのみ説明する。

0059

第一の情報処理装置41および第二の情報処理装置47は、それぞれ図2(a)に用いられている中間画像生成装置31に圧縮装置43、送信装置45と解凍装置49、受信装置51をさらに備えた情報処理装置である。

0060

まず、第一の情報処理装置41の中央処理装置33は、ステップS204で生成された複数の中間画像の圧縮を圧縮装置43により行う(ステップS205)。

0061

次いで、ステップS205で圧縮された複数の中間画像を記憶装置35に記憶する(ステップS206)。

0062

次いで、該中央処理装置33は、圧縮し記憶された複数の中間画像を送信装置45から第二の情報処理装置47へ送信を行う(ステップS207)。

0063

第二の情報処理装置47の中央処理装置33は、ステップS207で第一の情報処理装置41から送信された複数の中間画像を受信装置51により受信する(ステップS208)。

0064

次いで、該中央処理装置33は、受信した複数の中間画像を解凍装置49により解凍する(ステップS209)。

0065

次いで、該中央処理装置33は、解凍した複数の中間画像から最終的にユーザに出力される立体画像の生成を行う(ステップS210)。ステップS210における立体画像とステップS203における立体画像は同一のものである。ステップS210で行われる中間画像の生成についてもステップS203、ステップS204と同様に下記に詳述する。

0066

ステップS210において立体画像が生成されると、本処理が終了する。

0067

処理が終了した後、生成された中間画像を立体画像表示装置65に出力してもよい。また、第一の情報処理装置41から継続して中間画像が送信される場合には、ステップS208からステップS210の処理を連続して行ってもよい。本図示例(c)におけるシステムによれば、例えばいずれかの地点において複数のカメラを設置して撮影を連続して行っておき、第一の情報処理装置41で次々に生成される複数の視点毎の画像がタイル状に配置された中間画像を既存のフォーマットで世界中に配信して多くのユーザに同時に、かつリアルタイムで立体画像を視認させることが可能となる。

0068

すなわち、第一の情報処理装置41にはリアルタイムで複数の中間画像の生成処理を行うために高価なグラフィックボードや高速のCPUなどを搭載させておき、ユーザが使用する複数の第二の情報処理装置47には比較的低速のCPUを搭載させておけば、ピクセルの配置変更だけで立体画像の生成が可能な複数の中間画像の特性を活かした今までにない立体画像視聴環境を既存のフォーマットで実現可能となる。つまり、視点毎の画像を構成する画素数の合計が立体画像の画素数と同一となる最小限必要な解像度で、圧縮可能な中間画像の生成と、そのような中間画像を構成するサブピクセルの配置換え(マッピング)のみで立体視が可能な立体画像とを高速で特殊なコンピュータを使用せず生成することができる。

0069

図3図6を参照して、本発明に係る複数の中間画像の生成方法についての実施形態を説明する。

0070

図3は、ある対象物1を、複数の異なる視点からカメラ3で撮影し、視点毎の視点画像5を生成する例を示している。6つの視点からカメラ3を用いて注視点2を撮影しているため、6つの視点画像5が得られる。なお、この時点における視点画像の解像度は任意である。なお、カメラ3は水平に並べ、それぞれのカメラ3の光軸が注視点2に向かうように配置してもよい。

0071

図4は、図3で撮影された複数の視点画像5から、最終的にディスプレイ上に出力するためのサブピクセル配置を有する立体画像7を生成する例を示している。本図示例では、対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して、RGB階段配置画素ユニット11のRGB値を求める例を示している。

0072

以下、図5を参照しながら、図2のステップS203で行われる立体画像の生成について詳述する。

0073

立体画像7を生成する際、前述した中央処理装置33は、まず図2のステップS202で入力された最終出力を行うディスプレイの解像度に従って、立体画像7のサブピクセル配置を決定する。立体画像のサブピクセル配置については、例えば図11で図示されているものを用いる。本図示例では、サブピクセルが1対3の比率で縦長の長方形である場合において、最も適切に立体視が可能な3個のサブピクセルが斜め方向にコーナーで接して3行1列で配列されたサブピクセルの配置を有する立体画像7を想定する。

0074

次いで、図5図示例(a)に示すような視点数に応じたRGB階段配置画素ブロックを想定する。RGB階段配置画素ブロックとは、サブピクセルを斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に1視点からN視点までを連接して配列したものを指す。図5図示例(a)では、図3で6視点から対象物1を撮影しているため、18個のサブピクセルで構成される画素の集まりをRGB階段配置画素ブロックとしている。

0075

次いで、RGB階段配置画素ブロックを繰り返し配置して立体画像7を構成し、RGB階段配置画素ユニットを構成するサブピクセルの各々のRGB値を取得していく。RGB値の取得は、RGB階段配置画素ブロック内のいずれかのRGB階段配置画素ユニットを基準として行うことが望ましく、RGB階段配置画素ユニットを構成するサブピクセルの立体画像7上の座標値と対応する視点画像上の座標値に配置されたサブピクセルのRGB値から取得する。図5(a)に図示されているように、立体画像7上の座標値は、サブピクセル座標系として立体画像7上の横軸をU、縦軸をVとしており、本実施例において基準となる第一視点の最上段に配置されているサブピクセルは、図のように(U,V)と表すことができる。

0076

次いで、第1視点から撮影した視点画像の対応する座標値を算出する。

0077

視点画像上の座標値は、ピクセル座標系として横軸をx、縦軸をyとしており、本実施例において基準となる第一視点の視点画像上におけるピクセルの座標値は、図のように(x,y)と表すことができる。

0078

通常、立体画像と複数の視点画像とでは、それぞれを構成するサブピクセル数が異なっており、また立体画像上ではサブピクセル座標系、視点画像上ではピクセル座標系を用いるため、所定の変換式が必要である。

0079

そこで、立体画像を構成するサブピクセルの水平方向における総数をW、垂直方向における総数をH、第一視点における視点画像を構成するピクセルの水平方向における総数をa、垂直方向における総数をbとした場合において、サブピクセル座標系からピクセル座標系への変換は、

0080

で求めることができる。

0081

立体画像上の座標値をサブピクセル座標系で表すことで、一つ一つのサブピクセル単位でRGB値を求めることができ、ピクセル単位でRGB値を求めるよりも高精細な立体画像を生成することができる。

0082

この際、W:H=a:bとなるように、aおよびbを設定することが望ましい。もちろん、変形されても視点画像を最大限表示したい場合は、その限りではない。

0083

しかしながら、図5(c)に示すように、ピクセル座標系ではそれぞれのピクセルの中心点しか定義されていないため、例えば(x,y)が図のような位置にある場合、立体画像上のサブピクセルのRGB値を直接求めることができない。従って、当該(x,y)が属するピクセルの近辺に配置された画素ユニットから補間して求める。
先ず、α=x−x1、β=x2−x、γ=y−y1、δ=y3−y、
視点画像のピクセルの中心点であるP1〜4のRGB値をそれぞれC1〜4とすると、PのRGB値は、線形補間により次式で表わされる。

0084

ここで、計算対象となる立体画像のサブピクセルが示すR、G、BのいずれかのみのRGB値を求めればよい。なお、α+β=γ+δ=1であれば、

0085

となる。

0086

次いで、同一のRGB階段配置画素ユニットを構成する他のサブピクセルのRGB値も同様に近辺の画素ユニットから補間して求める。なお、補間方法は様々な方法があり、適正な補間方法であれば、どのような補間方法を使用してもよい。

0087

次いで、基準とした第一視点のRGB階段配置画素ユニット以外のRGB階段配置画素ユニットを構成するサブピクセルのRGB値を算出していく。この場合、基準としたRGB階段配置画素ユニットを構成するサブピクセルの座標値を基準として算出することが望ましい。すなわち、例えばパララックスバリアを用いた6視点からなる立体画像を生成する時、画像提示対象者により同一のスリットまたは穴からのぞかれる複数視点の画像はそれぞれ対応している必要があるため、基準としたRGB階段配置画素ユニットを構成するサブピクセルの座標値と対応する視点画像上の座標値と同一の位置にある他の視点画像のピクセルからRGB値の算出を行う。複数の視点画像と立体画像の対応関係は、例えば図4図示例のようになる。

0088

以上のように補間計算により立体画像を構成するサブピクセルのRGB値を取得し、立体画像を生成または想定する。立体画像を想定する場合には、複数の視点画像から立体画像を生成せずに直接中間画像の生成(ステップS204)が行われるため、RGB値の取得のための補間計算や、その補間計算により得られた立体画像のRGB階段配置画素ユニットを構成するサブピクセルを並べ替えて複数の中間画像のRGB並列配置画素ユニットを求める必要がある。

0089

このように、RGB階段配置画素ユニットを構成するいずれかのサブピクセルを基準として他のサブピクセルのRGB値を求めることで、現実に基づいたシャープな立体画像を表現することができる。その他、代表点を定めずに全てのサブピクセルのRGB値をそれぞれ求めた場合には、視点の移り変わりが滑らかな立体画像を得ることができる。これらは、立体画像を提示する状況、目的に合わせて適宜変更することが望ましい。

0090

次いで、ステップS204で行われる中間画像の生成について詳述する。

0091

図6は、立体画像から複数の中間画像を生成する例を示す図である。

0092

本図示例では、図4で生成された立体画像のRGB階段配置画素ユニット11を構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニット17を、複数の視点毎にまとめて配置して、6つの中間画像15を生成している。

0093

RGB並列配置画素ユニット17は、図のように階段状に並べられたスリットや階段状に並べられた穴から覗くサブピクセルをまとめて配列する。これを全てのRGB階段配置画素ユニット11について行っていく。なお、立体画像7から複数の中間画像15の生成は、中間画像生成テーブルを用いて行うことが望ましい。

0094

図7は、中間画像生成テーブルについて説明する図である。

0095

図7(a)は、立体画像上のサブピクセルがいずれの視点画像を表示しているのか、R、G、Bのいずれを表示しているのか、および立体画像上のサブピクセル座標系における座標値を示すテーブルであり、例えば一番左上隅のサブピクセルは、左上端から数えて一行目の一列目に位置するので、(1I1)となる。

0096

図7(b)は、中間画像を構成するサブピクセルが、立体画像上のサブピクセル座標系において、どこの地点に配置されているサブピクセルと対応しているのかを示している。例えば、第一視点の一番左上隅のサブピクセルは、立体画像の一番左上隅に位置する1、(1I1)、Rのサブピクセルと対応しており、当該サブピクセルが中間画像上に配置されることになる。同様に、第二視点の中間画像の一番左上隅のサブピクセルは、立体画像上の(2C1)の位置にあるサブピクセルと対応しており、立体画像上の2行目の一列目に配置されているサブピクセルが中間画像上に配置されることになる。なお、当該サブピクセルを有するRGB階段配置画素ユニットにはB値を有するサブピクセルが存在しないため、第二視点の一番左上隅に配置されている中間画像を構成するRGB並列配置画素ユニットにも同様にB値を有するサブピクセルが配置されないことになる。

0097

このようにして、第一視点から第六視点までのRGB階段配置画素ユニットを水平方向に並べ替えてRGB並列配置画素ユニットを構成していき、一番左上隅に位置するRGB階段配置画素ブロックの配置変更が終了したら、続けて隣り合うRGB階段配置画素ブロックを構成するサブピクセルの配置も図のように変更していく。

0098

このように、立体画像のRGB階段配置画素ユニットを構成するサブピクセルの位置と、複数の視点毎の中間画像のRGB並列配置画素ユニットを構成するサブピクセルの位置とを関連付ける中間画像生成テーブルを予め作成しておけば、立体画像を構成するサブピクセルの配置変更を行うだけで複雑な補間のための演算処理を要せずに視点毎の中間画像を生成することができる。

0099

なお、当該中間画像生成テーブルは、中間画像生成装置の記憶装置に記憶しておくことが望ましい。これにより、中間画像生成装置を使用して立体画像の生成を行う場合に再度テーブルを作成することなく、当該テーブルを立体画像生成テーブルとして用いることが可能となる。

0100

図8は、本発明に係る実施例において、特に望ましい中間画像の画像フレームの配置の例を示す図である。当該画像フレーム19においては、視点毎の中間画像15が、例えば第一行の第一列に第一視点の画像、第二行の第一列に第二視点の画像、第三行の第一列に第三視点の画像、第一行の第二列に第四視点の画像、第二行の第二列に第五視点の画像、第三行の第二列に第六視点の画像が、タイル状に配置されている。

0101

これにより、立体画像を構成するサブピクセルの総数と中間画像がタイル状に配置された画像フレーム上にあるサブピクセルの総数とが縦横ともに同一となり、無駄な画素が存在せず、また視点毎の画素をまとめて配置しているので、異なる視点間での干渉がなく、非可逆性圧縮を用いることができる。このように中間画像がタイル状に配置された画像フレームと裸眼立体ディスプレイ(立体画像)の解像度・アスペクト比が同一となることから、ブルーレイやSTBなどの標準的な映像再生装置映像配信サーバーにより標準的なフォーマットで出力または送信された中間画像を、立体画像生成装置(コンバーター)で簡易に立体画像を生成できる、実用性に富んだ立体画像表示システムを非常に安価な価格で提供することが可能となる。

0102

図9は、複数の視点画像をそのままタイル状の画像フレームに配置した例を示す図であり、前述した中間画像の画像フレームとの対比を行う図である。

0103

最終的に出力を行うディスプレイの解像度が16:9の場合、図9(a)における一視点分の視点画像の縦横比も16:9となり、画像フレーム全体では32:27となる。

0104

一方、複数の中間画像をタイル状の画像フレームに配置した場合(図9(b))、立体画像においては、RGB階段配置画素ユニットを構成する3行のサブピクセルを水平方向に並べてRGB並列配置画素ユニットを構成するので、垂直方向の総ピクセル数は1/3となる。さらに、視点数が例えば6の場合、水平方向の総ピクセル数は、

0105

となる。立体画像の縦横をそれぞれH、Wとすると、中間画像を図8図示例と同様に3行×2列のタイルを有する画像フレームに配置した場合、縦方向においては、

0106

横方向においては、

0107

となり、立体画像と縦横方向ともに同一の解像度を有する画像フレームを生成することができる。もし、従来のように複数の視点画像をそのままタイル状の画像フレームで、立体画像の縦横比および解像度を同一となるように配置する場合、視点毎の画像の両サイド糊代を付け加えて縦横比を同一にし、さらに各視点の画像の解像度を落としてタイル状に配置した際に解像度が同一となるようにする必要がある。この結果、立体画像を生成するための視点画像が低解像度となり、立体画像の画質が著しく低下してしまう。一方、本発明では、高画質各視点画像から中間画像を生成しているため、立体画像生成において必要不可欠な解像度を完全に保つことができる。

0108

図10は、複数の中間画像からなる画像フレームの例を示す図である。それぞれ2視点〜5視点、7視点〜11視点で立体画像が生成される場合の画像フレームを示しており、当該フレームに各視点の画素をタイル状に配置すれば立体画像とアスペクト比が同一の画像ファイルを作成することができる。

0109

すなわち、立体画像が2視点から構成される場合には、第一行のタイルに1視点の中間画像の2/3と、第二行の第1のタイルに1視点の中間画像の1/3と連接した第2のタイルに2視点の中間画像の1/3と、第三行のタイルに2視点の該中間画像の2/3を配置する。また、立体画像が3視点から構成される場合には、各行のタイルに各視点の中間画像を配置する。また、立体画像が4〜6視点で構成される場合には、各行の先頭のタイルに1〜3視点の中間画像と、1〜3視点の中間画像に連接した第一行から第三行に配置されたタイルに残りの視点の中間画像を配置する。立体画像が7〜9視点で構成される場合においては、各行の先頭のタイルに1〜3視点の中間画像と、1〜3視点の中間画像に連接した第一行から第三行のタイルに4〜6視点の中間画像と、4〜6視点の中間画像に連接した第一行から第三行に配置されたタイルに残りの視点の中間画像を配置する。同様に、立体画像が10視点以上から構成される場合においても、1視点から順に各行のタイルに中間画像の一部または全部を配置する。

0110

これにより、立体画像と縦横方向ともに同一の解像度を有する画像フレームを生成することができる。

0111

図11は、RGB階段配置画素ユニットの配置例を示す図である。

0112

図11(a)は、1視点から6視点までの視点画像の画素ユニットを構成するサブピクセルを、斜め方向にコーナーで接して階段状に配列したRGB階段配置画素ユニットの例を示す図であり、3行1列で3個のサブピクセルから構成されている。当該RGB階段配置画素ユニットを有する立体画像を中間画像に変換する場合、RGB階段配置画素ユニットを構成するサブピクセルを水平方向に並べてRGB並列配置画素ユニットを構成する。次いで、当該RGB階段配置画素ユニットにコーナーで接して階段状に配列されている同一視点のRGB階段配置画素ユニットについても、図のように、水平方向に並べてRGB並列配置画素ユニットを構成し、そのRGB並列配置画素ユニットを斜め方向にコーナーで接して階段状に並べて中間画像を構成する。

0113

図11(b)は、3行2列で6個のサブピクセルから構成されるRGB階段配置画素ユニットの例を示す図である。当該RGB階段配置画素ユニットを有する立体画像を中間画像に変換する場合、RGB階段配置画素ユニットを構成する1列目のサブピクセルの集まりをまず水平方向に並べてRGB並列配置画素ユニットを構成し、そのRGB並列配置画素ユニットにさらに水平方向に連接するように、2列目のサブピクセルの集まりを並べる。次いで、当該RGB階段配置画素ユニットにコーナーで接して階段状に配列されている同一視点のRGB階段配置画素ユニットについても、図のように、1列目のサブピクセルの集まりをまず水平方向に並べてRGB並列配置画素ユニットを構成し、そのRGB並列配置画素ユニットにさらに水平方向に連接するように、2列目のサブピクセルの集まりを並べる。

0114

図11(c)は、3行3列で9個のサブピクセルから構成されるRGB階段配置画素ユニットの例を示す図である。当該RGB階段配置画素ユニットを有する立体画像を中間画像に変換する場合についても同様に、RGB階段配置画素ユニットを構成する1列目のサブピクセルの集まりをまず水平方向に並べてRGB並列配置画素ユニットを構成し、そのRGB並列配置画素ユニットに水平方向に連接するように、2列目のRGB階段配置画素ユニットを構成するサブピクセルの集まりを並べ、さらに2列目のRGB並列配置画素ユニットに水平方向に連接するように3列目のRGB階段配置画素ユニットを構成するサブピクセルの集まりを並べる。

0115

図11に示したRGB階段配置画素ユニットの配列例においては、図5のように、それぞれのサブピクセル毎に複数の視点画像からRGB値を取得することが望ましい。これにより、ピクセル単位でRGB値を計算して取得することに起因する解像度の低下(例えば、図11(b)では、図11(a)に対して水平解像度が1/2になる)を防止することができ、ユーザに鮮明な立体画像を提供することができる。サブピクセルは、通常、1対3の比率で縦長の長方形である場合が多いが、サブピクセルの形状が、円形や、くの字、V型、Wを90度回転させたような形状(図51図示例参照)等、様々な形状のものがあり、その形状によって、3個のサブピクセルが1列に並んだRGB階段配置画素ユニットでは立体が見えにくい場合がある。その場合は、立体画像を覗き見るためのパララックスバリアのスリットまたは穴の幅と、その配置間隔を大きくしたマスクを作成し、それに伴い適切に立体が表示できるよう3個のサブピクセルが(b)のように2列または、(c)のように3列に並んだRGB階段配置画素ユニットを生成することが望ましい。

0116

次いで、図2のステップS210で行われる、複数の視点毎の中間画像から最終的に出力される立体画像の生成について詳述する。

0117

立体画像の生成は、BLU—RAY DISC(登録商標)等の光ディスクや、サーバーもしくは前述した第一の情報処理装置から送信されてきた中間画像のRGB並列配置画素ユニットを構成するサブピクセルの配置を立体視のための配置に変更することにより行う。すなわち、RGB並列配置画素ユニットを構成するサブピクセルを、再度階段状に並べ替えてRGB階段配置画素ユニットとして構成することにより行うが、この場合、それらのサブピクセルの位置を関係付ける立体画像生成テーブルを用いることが望ましい。図7で示した中間画像生成テーブルは、RGB並列配置画素ユニットを構成するサブピクセルの位置と、RGB階段配置画素ユニットを構成するサブピクセルの位置を関係付けているため、立体画像生成テーブルとして用いることが可能である。

0118

中間画像生成テーブルに示された配置規則の逆順に従って再びRGB階段配置画素ユニットを生成し、立体画像を生成する。

0119

図12は、本発明にかかる立体画像生成装置61の実施形態の一例を示す外観図である。

0120

同図に示すように、当該実施形態にかかる立体画像生成装置61は、一般的な画像出力装置63と、一般的な立体画像表示装置65(ディスプレイ)と、の間に映像ケーブル67によって電気的に接続して用い、画像出力装置63から画像信号画像入力信号)として送信された複数視点の画像を受信し、予め設定された制御情報(走査方式、視点数、解像度、画素配置法等の情報)に基づいて立体画像表示用の画素配置に変換し、画素配置変換後の画像を画像信号(画像出力信号)として立体画像表示装置65に送信する。

0121

ここで、立体画像生成装置61、画像出力装置63、立体画像表示装置65を電気的に接続する映像ケーブル67とは、具体的には、VDI、HMVI等の規格の、画像出力装置63と立体画像表示装置65を電気的に接続して、画像信号を送信するケーブルとして従来から普及しているものを用いることができる。

0122

図13は、本発明にかかる立体画像生成装置61の他の実施形態の一例を示す外観図である。

0123

同図に示すように、立体画像生成装置61は、画像出力装置63と、立体画像表示装置65とのいずれか一方または両方と制御ケーブル69によってさらに電気的に接続することにより、制御信号を受信してもよい。制御信号とは、立体画像生成装置61に対して、走査方式、解像度、視点数、画素配置方法等の画像以外の制御情報を与える信号を意味する。

0124

ここで、制御ケーブル69は具体的には、i・LINK、シリアル等の規格の画像出力装置63と立体画像表示装置65を電気的に接続する制御ケーブル69として従来から普及しているものを用いることができる。

0125

ただし、説明の便宜を図るため同図においては映像ケーブル67と制御ケーブル69は別のケーブルであるものとして説明したが、これらのケーブルを束ねて一つのケーブルとしてもよい。

0126

なお、中間画像(画像信号)の送信および制御信号の送信は、上記ケーブルに代えて無線LAN、Bluetooth(登録商標)、UWB、等の規格の無線通信手段として従来から普及しているものを用いてもよい。

0127

なお、画像出力装置63は既存の画像出力技術をそのまま流用することが本発明の趣旨に照らして最も好ましい。すなわち、画像出力装置63とは、既存の、動画像を地上波衛星放送インターネット上からのストリーミングまたはダウンロードにより取得するセットトップボックス、もしくはスタンドアローンDVDプレーヤー、Blu−ray(登録商標)プレーヤー等の再生機器録画機能を持つものも含める)であることが好ましい。

0128

また、立体画像表示装置65(ディスプレイ)は既存の立体画像表示装置に何ら改良を加えることなく、そのまま流用することが、本発明の趣旨に照らして最も好ましい。すなわち、立体画像表示装置65とは、既存の、パララックスバリア方式、レンチキュラー方式等を採用した、液晶ディスプレイプラズマディスプレイ有機ELディスプレイ等の、裸眼立体画像表示装置あるいは、2視点画像を高速で交互に表示して、シャッター方式メガネを通して視認するもの等であることが好ましい。ただし、上記の立体画像表示装置以外にも本発明にかかる立体画像生成装置61を用いることができることはいうまでもない。

0129

図14は本発明にかかる立体画像生成装置61が画像信号として受信する複数視点の画像の実施例を示す図である。本発明にかかる推奨の複数視点の画像の標準化タイルフォーマットであり、立体画像表示用の画素配置に変換するために複数視点の画像から読み出す画素のみが配置されている。通常、タイルフォーマットに配置した上で、所定の圧縮ファイルを生成する。解像度は任意であり、通常、非可逆性圧縮である圧縮規格MPG2を使用する場合が多い。図示しないが、本発明に基づいて任意の視点数に対応するタイルフォーマットで中間画像を生成して複数視点の画像としてよい。特に、1画素のRGBを構成する3サブピクセルを3行3列で斜めに配置した画素配置方法で、16:9のアスペクト比で任意の解像度の画像を水平960画素に、垂直360画素で各視点の中間画像を作成して、立体画像表示用の画素配置に変換することが望ましい。これにより、6視点のタイル画像の解像度は、1920×1080となり、ハイビジョンの画像としてタイル画像を受信し、最も画質欠落のない立体画像に変換できる。

0130

図15は本発明にかかる立体画像生成装置61が動画像信号として受信する複数視点の動画像の実施例を示す図である。かかる動画像は周知であり、圧縮規格MPG4のマルチストリーミングにより作成することが可能である。1ファイルに同期が取られた複数の動画像を記録できる。受信された1視点からN視点までの中間画像を記憶手段に所定の配置で記憶して、立体画像表示用の画素配置に変換する。

0131

図16は本発明にかかる立体画像生成装置61が動画像信号として受信する複数視点の動画像の実施例を示す図である。複数視点の動画像は、各視点の動画像を連続する各フレームに割り当て、時間方向に繰り返し形成されている。受信された1視点からN視点までの中間画像を順々に記憶手段に記憶して、立体画像表示用の画素配置に変換する。

0132

図17は本発明にかかる立体画像生成装置61が画像信号として受信する、画素情報71が埋め込まれた複数視点の中間画像の第一の実施例を示す図である。画素情報とは、所定の暗号であり、2Dの画像の区別や、解像度、視点数などの情報が定義されている。立体画像か通常画像かを立体画像生成装置やコンバーター(立体画像生成装置)に対して知らせるために埋め込まれるものである。

0133

同図(a)は、画像上における画素情報71の埋め込み位置を示す図である。同図(a)によれば、画素情報71は画像の左上端部に埋め込まれている。ただし、画素情報71の埋め込み位置は予め定義された配置パターンに基づくものであるため、常に左上端部である必要はないが、画像の端部は立体画像生成装置61と接続される画像出力装置63のモニタフレーム重畳する部分であってユーザには見えないため、画素情報71を埋め込んでもユーザに対する立体画像の表示に影響を与えないというメリットがある。

0134

同図(b)は、埋め込まれた画素情報71を示す拡大図である。同図(b)によれば、画素情報71は横一列に隙間無く埋め込まれている。ただし、図示はしないが所定の間隔をおいて埋め込んでもよい。

0135

図18は本発明にかかる立体画像生成装置61が画像信号として受信する、画素情報71が埋め込まれた複数視点の中間画像の第二の実施例を示す図である。

0136

同図(a)は、画像上における画素情報71の埋め込み位置を示す図である。

0137

同図(b)は、画素情報71の埋め込まれた部分を拡大した図である。第二の実施例においては、同一の画像情報として定義された画素情報71がXY方向に連続して複数配置された画素マトリクス73が埋め込まれている。

0138

同図(c)は、同図(b)の画素マトリクス73の1つを示す拡大図である。中央の太枠で囲まれた3×3のマトリクスが、画素マトリクス73であり、同一の画像情報が定義された画素情報Cm・nが9個配置されている。本発明にかかる立体画像生成装置61においては丸印で示す画素マトリクス73中央の画素情報71から画像情報を解析する。なお、かかる画素マトリクス73中央の画素情報71の位置は、予め定義された配置パターンに基づき、画素情報71のXY座標を特定することにより、位置を特定するのが適当である。ただし、画素マトリクス73中の複数の画素情報71の平均値から画像情報を求めてもよい。

0139

図19は本発明にかかる立体画像生成装置61が画像信号として受信する、画素情報71が埋め込まれた複数視点の中間画像の第三の実施例を示す図である。

0140

同図(a)は、画像上における画素情報71の埋め込み位置を示す図である。

0141

同図(b)は、画素情報71の埋め込まれた部分を拡大した図である。

0142

同図(c)は、同図(b)の画素マトリクス73の1つを示す拡大図である。第三の実施例においては、画像情報として定義された画素情報71が画素マトリクス73中央に配置され、画素マトリクス73の外周部分に、画素マトリクス73に隣接する画素と、画素情報71と、の中間値の画素情報71が埋め込まれている。

0143

図20は本発明にかかる立体画像生成装置61が画像信号として受信する、画素情報71が埋め込まれた複数視点の中間画像の第四の実施例を示す図である。

0144

同図(a)は、画像上における画素情報71の埋め込み位置を示す図である。

0145

同図(b)は、画素情報71の埋め込まれた部分を拡大した図である。第四の実施例においては、画素マトリクス73が2×3からなり、第三の実施例の画素マトリクス73と比較すると上の一行の画素情報71が除かれて、画像の上端部に配置されている。画素マトリクス73の占める面積が小さくなると、画像に与える影響も小さくなるため、かかる実施例は好適である。

0146

同図(c)は、同図(b)の画素マトリクス73の1つを示す拡大図である。画像情報を定義した画素情報71は画素マトリクス73の上の行中央部分に配置され、画素マトリクス73の外周部分に、画素マトリクス73に隣接する画素と、画素情報71と、の中間値の画素または両画素に所定の重み付けをして補間した画素が配置されている。

0147

ここで、重み付けとは、画素情報71が定義する画像情報をより確実に解析するため、中間値を求める際に画素情報71の値を所定数倍することを意味する。同図(c)によれば重み付けは画素情報71の値を2倍しているが、必要に応じて3倍、4倍、としてもよい。なお、第三の実施例においても重み付けは可能である点を補足しておく。

0148

図21図22は上記の実施例において画像情報が実際にどのような情報を意味するものであるのか説明する図である。図21によれば、コードC0からC23までは判定コードヘッダー)として用いる。かかる判定コードのRGB値の組み合わせは、自然界ではおよそあり得ない組み合わせとすることにより、画素情報が画像情報を定義するものとして埋め込まれたものであることを、中央処理装置33が認識することができるようになる。

0149

コードC24からC29までは図21に示す通りのパリティチェックに用いる。コードC30からC89までは図22に具体的に示すように、制御情報を意味する。コードC90からC95は図22に示すように、パリティチェックに用いる。

0150

以上のように、画素情報71を用いることで、映像信号として受信した画像が通常の平面画像であるのか、複数の中間画像であるのかを判別することが可能となる。これは、立体画像生成装置61に入力された画像が通常の平面画像である場合、ピクセルの配置の変換等の処理を行わずに、立体画像表示装置65にそのまま出力する必要があるためである。なお、画素情報71のRGB値は、前述のように非可逆性圧縮により変化するため、所定の桁数上位ビットのみを参照して画像情報を解析することが好ましい。中央処理装置33は、所定の配置パターンに基づいて画素情報71の埋め込まれた位置を特定して、画像情報を照合するヘッダーの有無を判別して、ヘッダーがあるときは画像情報を解析する。

0151

図23は、複数視点の中間画像に常に画像情報として定義された画素情報71を埋め込むことにより、通常の平面画像と複数視点の中間画像の判別を行う方法を示したフローチャートである。

0152

ただし、非可逆性圧縮による時間方向からの影響を防ぐため、複数視点の中間画像が開始する瞬間のフレームの前後のフレームと、複数視点の中間画像が終了する瞬間のフレームの前後のフレームと、にそれぞれと同一の画像情報として定義された画素情報71を埋め込んでもよい。

0153

同図によれば、中央処理装置33は、画像を受信すると、あらかじめ定義された所定の画素配置パターンに基づいて、所定位置のヘッダーの有無をフレームごとに解析する。(1)ヘッダーがあるときは、そのフレームは複数視点の中間画像フレームであり、そのフレームには画像情報が定義されているため、中央処理装置33は画像情報を解析する。(2)ヘッダーがないときは、そのフレームは通常の平面画像フレームであり、そのフレームには画像情報が定義されていないため、中央処理装置33は画像情報を解析しない。上記の解析が終了すると、中央処理装置33は次のフレームの解析に移る。

0154

次に、図24図50を参照して、本発明に係る立体画像生成方法により生成された立体画像を出力する、パララックスバリアを有する裸眼立体画像表示装置について説明する。

0155

従来から用いられていたパララックスバリア方式を採用した裸眼立体画像表示装置は、画像提示対象者が可視光透過部から視認可能な範囲が異なり、各可視光透過部を通過して画像提示対象者側に進む光の強度に差が生じ、光が干渉しあってスジ状の干渉縞(モアレ)が画像提示対象者により視認され、表示画像の画質低下という問題があった。

0156

しかし、本実施形態に係る立体画像表示装置の構成によれば、例えば、最も人溜まりのできる位置に所定の最適立体可視位置および所定の斜め方向のモアレ解消位置を設定し、これらの値から逆算してディスプレイの画像表示面からパララックスバリアまでの距離および一又は複数の可視光透過部の水平方向における隣り合う間隔を定めることが可能となるため、所定の斜め方向のモアレ解消位置において画像提示対象者は、パララックスバリアの可視光透過部を通して、常に所定の視点の画像を表示するピクセルの所定位置を視認することができ、該所定のモアレ解消位置においては完全にモアレが解消されることになる。

0157

ここで、「可視光透過部」とは、パララックスバリアを構成する可視光を透過しない面に設けられた可視光を透過する部分である。すなわち、本件発明にいう「可視光透過部」とは、そのスリットのエッジの形状が直線状、階段状、ジグザグ形状、または一定形状の円弧または楕円弧が連続した形状(団子形状)であっても良い。またスリットの配置の形状が正弦弧であっても良い。さらには、該可視光透過部はパララックスバリア上に独立して配置された穴型であっても良い。

0158

なお、可視光を透過しないとは、(1)可視光を吸収する、(2)可視光を拡散反射する、(3)可視光を鏡面反射する、のいずれかの光学的特性を意味する。

0159

また、「最適立体可視位置」とは、画像提示対象者は立体効果を特に効果的に得られる位置である。すなわち、最適立体可視位置においては、画像提示対象者の両眼それぞれが、パララックスバリアの可視光透過部を通して視認すべき視点分の立体表示用ピクセルの中心を視認する。

0160

また、「モアレ解消位置」とは、画像提示対象者に対して、完全にモアレを低減させたかたちで、効果的に立体画像を視認させることのできる位置をいい、所定のモアレ解消位置において画像提示対象者は、左右いずれかの眼によって、パララックスバリアの可視光透過部を通して、常に所定の視点の画像を表示する立体表示用のピクセルの所定位置を視認することができる。モアレ解消位置においては、画像提示対象者が、裸眼立体ディスプレイに対して平行に左右または上下に移動したとしても、モアレ解消の効果は変わらない。なお、モアレ解消位置という概念には、後述の斜め方向モアレ解消位置および水平方向モアレ解消位置が含まれる。

0161

ただし、特に立体を効果的に視認することができる位置(最適立体可視位置)と、斜め方向のモアレを解消できる位置(斜め方向モアレ解消位置)や、水平方向のモアレを解消できる位置(水平方向モアレ解消位置)は、別の概念であり、必ずしもこれらの位置からパララックスバリアまでの距離は同一でなくても良い。

0162

ただし、これらの所定のモアレ解消位置を最適立体可視位置と同一距離とすると、ディスプレイの全面で立体を最も効果的に視認できる。

0163

このように、モアレ解消位置と最適立体可視位置とを別の距離、例えばモアレ解消位置を、最適立体可視位置よりパララックスバリアから遠い距離に設定することにより、まず遠くにいる画像提示対象者に特にモアレが解消されている立体画像を、画像提示対象者に対してモアレのストレス感じさせることなく視認させ、そうすることで画像提示対象者の注意を引き、最適立体可視位置まで近づいてもらい、特に立体効果の高い立体画像を視認させることも考えられる。

0164

まず、図24図25を参照して、可視光透過部の横幅Shの適正値について説明する。

0165

Vhは幅Shの可視光透過部を通して片眼で視認される有効可視領域の幅、αPhは隣り合う視点の画像を表示する立体表示用のピクセルの中心間の距離、Zはディスプレイの画像表示面から前記パララックスバリアまでの距離、L1は最適立体可視位置における画像提示対象者からパララックスバリアまでの距離、Wは画像提示対象者の左右の目の瞳間の距離、Kは画像提示対象者の両眼の注視点間距離をそれぞれ示す。また画像提示対象者の片眼からディスプレイに向かって伸びている一点鎖線は画像提示対象者の注視線を示す。

0166

例えば、最適立体可視位置は、立体画像表示装置の用途、設置場所等を考慮して、特に効果的に画像提示対象者に裸眼立体映画像を視認させたい位置とすれば良い。すなわち、最適立体可視位置からパララックスバリアまでの距離L1は任意の値を取ることができる。

0167

また、画像提示対象者の左右の目の瞳間の距離Wは、その立体画像の主たる対象者が、欧米人であれば60〜65mm、アジア人であれば65〜70mm、子供であれば50〜60mm程度に設定し計算すれば良い。

0168

また、隣り合う視点の画像を表示する立体表示用のピクセルの中心間の距離αPhは、図25に例示するように、例えば、3つのサブピクセルで1つの立体表示用のピクセルを構成し、サブピクセルを階段状に斜め方向に連結して配置した場合のαPhの値は1Phとなる。

0169

次に、パララックスバリアの可視光透過部を通して画像提示対象者の片眼で視認される有効可視領域の幅Vhの値を決定する。

0170

有効可視領域とは、最適立体可視位置において、画像提示対象者が、パララックスバリアの可視光透過部を通して視認することのできる画像表示面上の領域をいう。すなわち、最適立体可視位置において、画像提示対象者に対し視認させることを意図したディスプレイの範囲である。

0171

有効可視領域の幅Vhとは、人が移動した際に、他の視点の画像の視認への移り変わりの際の画像の乱れと、左右の眼が左右逆の視点の画像を視認する際に起きる、対象物の位置が前後に逆転するジャンプポイントを低減するために、本来両眼が視認すべき隣り合う視点の画像を表示する立体表示用のピクセルを中心に、その左右の立体表示用のピクセルの一部を視認して適度なビューミックスを生じさせるために必要な、画像表示面の片眼で視認させる水平方向の幅である。

0172

したがって、Vhが大きいと視点の移り変わりとジャンプポイントの低減になるが、その分だけ本来両眼が視認すべき隣り合う視点の画像を表示する立体表示用のピクセルとは異なる立体表示用のピクセル(特に、両眼がだぶって同一の画像を視認する)を視認するため立体感が乏しくなる。一方、Vhの値が小さいと画像の立体感は強調され立体画像は鮮明に映るが、ジャンプポイントは大きくなる。ただし、以上の効果は、スリットもしくは可視光透過部の形状と配置によって大きく異なる。

0173

このように、有効可視領域の幅の大きさを、立体画像の用途等に合わせて適宜広狭させることにより、画像提示対象者の需要や状況に対応させて、より効果的に立体画像を提供することができる。

0174

なお、図24からもわかるように、最適立体可視位置においては、画像提示対象者の注視線(図24、一点鎖線)が各立体表示用のピクセルの中心を視認するのであるから、左右の眼の注視点間距離Kは、αPhと同じ値となる。

0175

次に、決定された有効可視領域の幅Vhの値に基づいて、ディスプレイの画像表示面からパララックスバリアまでの距離Zの値を求める。Zは次の式により算定される。

0176

なお、立体画像表示装置のディスプレイ面に移りこみ防止等の加工処理、または、写りこみ防止等の透明シートを貼りつけた場合であっても、Zはディスプレイ面からパララックスバリアまでの距離とする。

0177

図24からわかるように、Z:L1とαPh:Wとの間には、以下の数式により表される関係がある。

0178

したがって、前記距離Zは以下の数式によって表される。

0179

次に、決定された前記距離Zの値に基づいて、可視光透過部の横幅Shの値を求める。

0180

前記〈1〉の式から、L1は以下の数式のように表される。

0181

また、図24からわかるように、S:VhとL1:(L1+Z)の間には、以下の数式により表される関係がある。

0182

したがって、可視光透過部の高さShは以下の数式によって表される。

0183

そこで、〈3〉に式に〈2〉の式を代入すると、Shは以下の数式によって表される。

0184

このように、Shの値はW、αPh及びVhの値から求めることができる。

0185

次に、図26を参照して、パララックスバリアを構成する可視光透過部であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリアを構成する可視光透過部の形状が、独立して複数形成された穴形状である場合の、前記連続する前記形状の可視光透過部または前記複数の穴形状の可視光透過部の高さSvを求める。

0186

ここで、パララックスバリアの有効可視領域の高さVvは、最適立体可視位置において、高さSvの可視光透過部を通して視認されるディスプレイの範囲であり、その値は裸眼立体ディスプレイを設置する場所等の条件に合わせて、所定の値とすることができる。

0187

例えば、パララックスバリアの開口率を抑え、ディスプレイの照度を落としたいときには、有効可視領域の値は小さくすれば良い。

0188

また、パララックスバリアの開口率を調整する他の方法として、一つのサブピクセルに対し複数の連続するスリットのエッジの一単位または可視光透過部を用いるようにしても良いし、2以上のサブピクセルに対し、一の前記連続する前記形状の可視光透過部または前記複数の穴形状の可視光透過部を用いるようにしても良い。

0189

このように、一のサブピクセルに対する、可視光透過部の数の比率を、1:1以外とした場合であっても、前記有効可視領域の高さVvは、可視光透過部の高さを通して視認されるディスプレイの範囲を言う。

0190

図26からわかるように、Sv:VvとL1:(L1+Z)との間には、以下の数式により表される関係がある。

0191

したがって、可視光透過部の高さSvは以下の式により表される。

0192

このように、可視光透過部の高さSvの値も、まず当該有効可視領域高さVvの値を決定することで逆算することが可能である。

0193

また、可視光透過部の高さSvは、前記可視光透過部の間隔Hvに基づいて、以下の式により求めることもできる。

0194

すなわち、図27に示すように、まず、前記式に基づいて可視光透過部の間隔Hvを求めた後に、λの値(図面においては1/2)を決定し、前記式に代入することにより、前記可視光透過部の高さを求めることができる。

0195

次に図28を参照して、所定の斜め方向モアレ解消位置からパララックスバリアまでの距離をL2に基づき、水平方向に隣接するパララックスバリアを構成する複数の可視光透過部の間隔Hhを求める。

0196

図28では、画像提示対象者は、所定の斜め方向モアレ解消位置において、片眼(左眼)で、パララックスバリアの可視光透過部を通して、ディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルと、ディスプレイ右端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルを視認しており、画像提示対象者が視認している立体表示用のピクセルは同一視点の画像を表示するものである。

0197

このように、パララックスバリアの可視光透過部を通して視認するサブピクセルが常に同一視点の画像を表示するものであれば、画像提示対象者が画面上のモアレを視認することはない。

0198

ここで、まず、所定の斜め方向モアレ解消位置における、ディスプレイ左端のRGB階段配置画素ブロック13に対する前記パララックスバリアの可視光透過部から、ディスプレイ右端のRGB階段配置画素ブロック13に対する前記パララックスバリアの可視光透過部までの間の、水平方向における可視光透過部の数Mhは、立体画像を表示するための視点数Nと、水平解像度Irを用いた以下の式により表すことができる。

0199

0200

すなわち、水平解像度Irに3(R・G・B)を乗じた、3Irは水平方向におけるサブピクセルの数である。ここから1を引くのは、例えば図29において図示するように、視点数を仮に7とした場合、ディスプレイ右端のサブピクセルが該視点の最後の視点である第7視点の画像を表示せず、第1視点である場合があり、この場合には余った第1視点の画像を表示するサブピクセルの数を引いて計算をする必要があるからである。また、最後に1を足すのは、前記第1視点の画像を表示するサブピクセルがディスプレイ右端に余った場合以外の場合にも、全サブピクセル数から1を引いて整数化しているため、実際のMh値から1足りなくなるのでそれを補うためである。

0201

また、ディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルに対する可視光透過部の中心から、これと同一視点の画像を表示する立体表示用のピクセルであってディスプレイ右端のRGB階段配置画素ブロック13を構成するものに対する可視光透過部の中心までの距離は、Hh(水平方向における可視光透過部の間隔)に(Mh−1)を乗じた値となる。

0202

さらに、水平方向において、画像提示対象者がパララックスバリアの可視光透過部を通して視認する、ディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルの中心から、これと同一視点の画像を表示する立体表示用のピクセルであってディスプレイ右端のRGB階段配置画素ブロック13を構成するものの中心までの距離は、裸眼立体画像を生成するための画像の視点数をNと、隣り合う視点の画像を表示する立体表示用のピクセルの中心間の距離αPhを用いた以下の式により表すことができる。

0203

図28からわかるように、[Hh×(Mh−1)]:[N×(Mh−1)×αPh]とL2:(Z+L2)の間には以下の式により表すことができる関係がある。

0204

従って、Hhの値は以下の式により求めることができる。

0205

0206

このように、所定の斜め方向モアレ解消位置からパララックスバリアまでの距離をL2に基づき、水平方向に隣接するパララックスバリアを構成する複数の可視光透過部の間隔Hhの値を求めることができる。

0207

次に、図30及び図31を参照して、パララックスバリアから、斜め方向のモアレが1本発生する地点までの距離に基づいて前記水平方向に隣接するパララックスバリアを構成する複数の可視光透過部の間隔Hhを求める。

0208

図30において例示する、斜め方向のモアレが一本発生する位置からパララックスバリア6までの距離であって、遠近二種の該位置のうち、より該パララックスバリア6に近い位置から、該パララックスバリア6までの所定の距離L2nにおいては、図32においても例示するように、画像提示対象者は、所定の斜め方向のモアレ解消位置(L2)と同様にディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルのうち第一視点用の画像を表示するものをパララックスバリアの可視光透過部を通して視認しているが、視点が右方向にずれるにつれて、該可視光透過部を通して、第一視点用の立体表示用のピクセルではなく、他の視点用の立体表示用のピクセルを視認していくことになる。そして最終的には、L2の地点においてディスプレイ右端のRGB階段配置画素ブロック13のうち第一視点用の立体表示用のピクセルを視認する際に可視光が透過する可視光透過部を通して、ディスプレイ右端の右隣に仮想画素14を想定した場合、再び第一視点用の立体表示用のピクセル(仮想)を視認することとなる。この様なサイクルが一度発生しているため、L2nにおいてはモアレが一回発生していると考えられる。

0209

このようなL2nの値を所定の値とした場合に、この値に基づいて、前記水平方向に隣接するパララックスバリアを構成する複数の可視光透過部の間隔Hhを求める。

0210

すなわち、図30からもわかるように、[Hh×(M−1)]:[N×M×αPh]とL2n:(Z+L2n)の間には以下の式に表されるような関係がある。

0211

従って、Hhは以下の式により求めることができる。

0212

0213

また、L2nに基づいてHhの値を求めるのと同様に、斜め方向のモアレが一本発生する位置からパララックスバリアまでの距離であって、遠近二種の該位置のうち、より該パララックスバリアに遠い位置から、該パララックスバリアまでの所定の距離L2fに基づいて、該Hhの値を求めることができる。

0214

図31において例示する、L2fの地点においては、画像提示対象者は、所定の斜め方向のモアレ解消位置(L2)と同様にディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルのうち第一視点用の画像を表示するものをパララックスバリアの可視光透過部を通して視認しているが、視点が右方向にずれるにつれて、該可視光透過部を通して、第一視点用の立体表示用のピクセルではなく、他の視点用の立体表示用のピクセルを視認していくことになる。そして最終的には、L2の地点においてディスプレイ右端のRGB階段配置画素ブロック13のうち第一視点用の立体表示用のピクセルを視認する際に可視光が透過する可視光透過部を通して、ディスプレイ右端のRGB階段配置画素ブロック13の左隣のRGB階段配置画素ブロック13中の第一視点用の立体表示用のピクセル2を視認することとなる。この様なサイクルが一度発生しているため、L2fにおいてもモアレが一回発生していると考えられる。

0215

なお、図33においては、前記L2、L2n、L2fの相対的な関係を図示している。

0216

このような、L2fの値を所定の値とした場合に、この値に基づいて、前記水平方向に隣接するパララックスバリアを構成する複数の可視光透過部の間隔Hhを求める。

0217

すなわち、図31からわかるように、[Hh×(M−1)]:[N×(M−2)×αPh]とZ:(Z+L2)の間には以下の式に表されるような関係がある。

0218

従って、Hhの値は以下の式により求めることができる。

0219

0220

このように、モアレが一本発生する地点(L2n・L2f)の値に基づいて、水平方向に隣接するパララックスバリアを構成する複数の可視光透過部の間隔Hhを求めることができるため、例えば、L2nの地点からL2fの地点までの領域を、モアレ適正解消領域として、立体画像が特に効果的に視認できる地点を画像提示対象者に対して明示することもできる。さらに、該モアレ解消領域を最も人溜まりができる範囲に設定することにより、画像提示対象者の注意を引きつけることもできる。

0221

次に、図34を参照して、パララックスバリアを構成する可視光透過部であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリアを構成する可視光透過部の形状が、独立して複数形成された穴形状である場合に、所定の水平方向のモアレ解消位置から前記パララックスバリアまでの距離L3の値に基づいて、前記パララックスバリアの垂直方向に連接する前記連続する前記形状の可視光透過部または前記複数の穴形状の可視光透過部の間隔Hvの値を求める方法について説明する。

0222

ここで、図34の一点鎖線は画像提示対象者の注視線を示し、Kは画像提示対象者の上下の注視点間距離を示す。

0223

パララックスバリアから所定の水平方向のモアレ解消位置までの距離L3の値は、ディスプレイからどの距離をもって画像提示対象者に特にモアレを解消した形で立体画像を提供したいかによって決まる。

0224

また、水平方向のモアレ解消位置において、画像提示対象者は常に、パララックスバリアの可視光透過部を通してサブピクセルの中心を注視することとなるため、画像提示対象者の注視点間距離Kは、サブピクセルの高さPvに等しい。

0225

また、βとは、一のサブピクセルに対応する可視光透過部の上下方向の数を表し、例えば、図35(a)(d)に示すように、1のサブピクセルに対して1の可視光透過部が形成されているような場合、βは1となる。また図35(b)(e)に示すように、1のサブピクセルに対して2の可視光透過部が形成されているような場合、βは2となる。さらに、図35(c)(f)に示すように、3のサブピクセル対して1の可視光透過部が形成されているような場合、βは1/3となる。

0226

すなわちβとは、一のサブピクセルに対応する、連続する前記形状の可視光透過部の一単位または前記複数の穴形状の可視光透過部上下方向の数である。

0227

なお、1のサブピクセルに対して設けられる複数の可視光透過部は、整数個であることが望ましい。また、複数のサブピクセルに対し1の可視光透過部を設ける場合には、1の立体表示用のピクセルに対し、整数個の可視光透過部を設けることが望ましい。

0228

ここで、該連続する一単位または該可視光透過部の間隔Hvの値を求める。

0229

図36からわかるように、Hv×β:L3における上下の注視点間距離K(=Pv)とL3:(L3+Z)の関係は以下の式により表すことができる。

0230

したがって、Hvは以下の式により表される。

0231

このように、所定の水平方向のモアレ解消位置において、L3の値から逆算して特にモアレを解消することのできるHvの値を定めることができる。

0232

図37及び図38を参照して、パララックスバリアを構成する可視光透過部であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリアを構成する可視光透過部の形状が、独立して複数形成された穴形状である場合に、水平方向のモアレが一本発生する位置からパララックスバリアまでの距離であって、遠近二種の該位置のうち、より該パララックスバリアに近い位置から、該パララックスバリアまでの所定の距離をL3nの値に基づいて、前記パララックスバリアの垂直方向に連接する前記連続する前記形状の可視光透過部または前記複数の穴形状の可視光透過部の間隔Hvの値を求める方法について説明する。

0233

図37において例示する、前記L3nにおいては、画像提示対象者は、所定の横向のモアレ解消位置(L3)と同様にディスプレイ下端のサブピクセルをパララックスバリアの可視光透過部を通して視認しているが、視点が上方向にずれるにつれて、L3の地点において本来視認すべきサブピクセルではなく、その上方のサブピクセルを、可視光透過部を通して視認することとなる。そして最終的には、L3の地点においてディスプレイ上端のサブピクセルを視認する際に可視光が透過する可視光透過部を通して、ディスプレイ上端の上方に仮想サブピクセル16を想定した場合、該仮想サブピクセル16を視認することとなる。この様なサイクルが一度発生しているため、L3nにおいてはモアレが一回発生していると考えられる。

0234

まず、前記ディスプレイ上端のサブピクセルに対する前記形状の可視光透過部から、ディスプレイ下端のサブピクセルに対する前記形状の可視光透過部までの間の、垂直方向において前記連続する前記形状の可視光透過部の一単位または前記複数の穴形状の可視光透過部の数Mvについて説明する。

0235

なお、Mvとは、図39(b)において示すように、所定の水平方向モアレ解消位置(L3)の一地点において、画像提示対象者が、ディスプレイ上の同一視点の画像を表示する立体表示用のピクセルを全て視認し、立体画像の効果を得るために必要な、パララックスバリアの可視光透過部の数である。

0236

ここにいう、「前記連続する前記形状の可視光透過部の一単位の数」とは、例えば、パララックスバリアの可視光透過部であるスリットの形状が楕円弧である場合、当該楕円弧が、同一視点の画像を表示する立体表示用のピクセルの並びに対応した各スリット上にいくつ形成されているかという数を意味する。また。「前記複数の穴形状の可視光透過部の数」とは、当該穴形状の可視光透過部が、同一視点の画像を表示する立体表示用のピクセルの並びに対応していくつ形成されているかという数を意味する。また、Jrとはディスプレイの垂直解像度を示す。

0237

従って、Mvは、Jr×βという式によって表すことができる。

0238

L3nの値を所定の値とした場合に、この値に基づいて、前記垂直方向に連接するパララックスバリアを構成する複数の可視光透過部の間隔Hvを求める。

0239

すなわち、図37からもわかるように、[Hv(Mv−1)]:[(Jr−1/β+1)×Pv]とZ:(Z+L3n)の間には以下の式に表されるような関係がある。

0240

従って、Hvは以下の式により求めることができる。

0241

0242

次に、パララックスバリアを構成する可視光透過部であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリアを構成する可視光透過部の形状が、独立して複数形成された穴形状である場合に、水平方向のモアレが一本発生する位置からパララックスバリアまでの距離であって、遠近二種の該位置のうち、より該パララックスバリアに遠い位置から、該パララックスバリアまでの所定の距離をL3fの値に基づいて、前記パララックスバリアの垂直方向に連接する前記連続する前記形状の可視光透過部または前記複数の穴形状の可視光透過部の間隔Hvの値を求める方法について説明する。

0243

図38において例示する、前記L3fにおいては、画像提示対象者は、所定の横向のモアレ解消位置(L3)と同様に、ディスプレイ下端のサブピクセルをパララックスバリアの可視光透過部を通して視認しているが、視点が上方向にずれるにつれて、L3の地点において本来視認すべきサブピクセルではなく、その下方のサブピクセルを、可視光透過部を通して視認することとなる。そして最終的には、L3の地点においてディスプレイ上端のサブピクセルを視認する際に可視光が透過する可視光透過部を通して、ディスプレイ上端の下方のサブピクセルを視認することとなる。この様なサイクルが一度発生しているため、L3nにおいてはモアレが一回発生していると考えられる。

0244

このようなL3fの値を所定の値とした場合に、この値に基づいて、前記垂直方向に連接するパララックスバリアを構成する複数の可視光透過部の間隔Hvを求める。

0245

すなわち、図38からもわかるように、[Hv×(Mv−1)]:[(Jr−1/β−1)×Pv]とZ:(Z+L3f)の間には以下の式に表されるような関係がある。

0246

従って、Hvは以下の式により求めることができる。

0247

なお、β=2の場合には[Hv×(Mv−1)]と[(Jr−1/β)×Pv]の関係は図40において示すような関係となる。

0248

前記Hvの値は、垂直方向に連接するサブピクセルの間隔をHpvとした場合に、等式:Hv=Hpv/β(βは自然数)の関係を満足する値であることが望ましい。

0249

前記L3nおよびL3fの値は、L3の値に基づいて定めることもできる。図41から図43を参照して説明する。

0250

図41において、垂直解像度Jrに、各サブピクセルの高さPvを掛けると、ディスプレイ下端からディスプレイ上端までの距離となる。(Pv×Jr)よって、ディスプレイ下端のサブピクセルの中心から、ディスプレイ上端の上の仮想サブピクセル16の中心までの距離も、(Pv×Jr)と表すことができる。

0251

また、Jrに、垂直方向に連接する可視光透過部の間隔Hvを掛けると、モアレ解消位置において、ディスプレイ下端のサブピクセルに対応する可視光透過部の中心から、ディスプレイ上端の上の仮想サブピクセル16に対応する可視光透過部の中心までの距離となる。(Hv×Jr)
次に、図42を参照して、前記L3nを求める。

0252

L3nにおいては、画像提示対象者に垂直方向のモアレが1本視認されるため、垂直方向におけるサブピクセルの数より、画像提示対象者が立体画像を視認する際に透過するパララックスバリアの可視光透過部の数が一つ少ないが、画像提示対象者は、該可視光透過部を通して全てのサブピクセルを視認していることとなる。

0253

したがって、L3nは垂直方向におけるモアレ発生のサイクルが一回発生した地点であるといえる。

0254

すなわち、L3nにおいて、ディスプレイ下端のサブピクセルに対応するパララックスバリアの可視光透過部の中心から、ディスプレイ上端の上の仮想サブピクセル16に対応するパララックスバリアの可視光透過部までの距離は、Hv×(Jr−1)と表す事ができる。

0255

ここで、前記(4)の式のHvを、これに代入すると、以下のように表す事ができる。

0256

また、図42からわかるように、
L3n:(L3n+Z)と

0257

の間には、以下の式に表されるような関係がある。

0258

0259

0260

0261

0262

0263

したがって、L3nは以下の式により表される。

0264

0265

次に、図43を参照して、L3の値に基づいて、L3fの値を求める。

0266

L3fにおいても、画像提示対象者に垂直方向のモアレが1本視認されるため、垂直方向のサブピクセル数より、画像提示対象者が立体画像を視認する際に透過するパララックスバリアの可視光透過部の数が一つ多いが、画像提示対象者は、該可視光透過部を通して全てのサブピクセルを視認していることとなる。

0267

すなわち、L3fにおいて、ディスプレイ下端のサブピクセルに対応するパララックスバリアの可視光透過部の中心から、ディスプレイ上端の上の仮想サブピクセル16に対応するパララックスバリアの可視光透過部までの距離は、Hv×(Jr+1)と表す事ができる。

0268

したがって、前記L3nを求める式と同様の考え方をすると、L3fは以下の式により表される。

0269

なお、前記L3nから前記L3fまでの範囲が、垂直方向における、モアレ適正解消領域である。

0270

ここで、フルハイビジョン40インチの裸眼立体ディスプレイの場合における実施形態を示す。この場合に、水平解像度Irは1920とし、垂直解像度Jrは1080とする。

0271

サブピクセルの横幅Phは0.15375mm、パララックスバリアから最適立体可視位置までの距離L1は2500mm、視点数Nは5視点、画像提示対象者の左右の目の瞳間の距離Wは65mm、水平解像度Irは1920、垂直解像度Jrは1080とする。また、パララックスバリアから斜め方向および水平方向のモアレ解消位置までの距離L2およびL3も2500mmとする。なお、当該実施例においてはL1、L2、L3は同じ値であるが、必ずしもL1、L2、L3は同じ値である必要はない。

0272

また、隣り合う視点の画像を表示する立体表示用のピクセルの中心間の距離αPhは1Phとし、パララックスバリアの可視光透過部を通して画像提示対象者の片眼で視認される有効可視領域の幅Vhは1.2Phとする。

0273

したがって、αPhとVhの値は以下の値である。

0274

0275

次に、前記距離Zの値が以下の式により求まる。

0276

0277

次に、求められたZ、Vhの値に基づきShを求める。

0278

なお、Vhに対して、Shがどれだけ短いかは以下の式の通りである。

0279

0280

次に、パララックスバリアを構成する可視光透過部であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリアを構成する可視光透過部の形状が、独立して複数形成された穴形状である場合に、前記連続する前記形状の可視光透過部または前記複数の穴形状の可視光透過部の高さSvの値を求める。

0281

パララックスバリアの有効可視領域の高さVvの値は、ε×Pvとする。なお、εとは、Svを通して視認することのできるサブピクセルの範囲、すなわちサブピクセルの高さPvにおける有効可視領域の高さVvの割合を示す係数である。垂直方向におけるパララックスバリアの開口率と言い換えることもできる。本実施例においてεは0.9とする。

0282

またここでは、RGBの3個のサブピクセルにおいて1画素が構成される裸眼立体ディスプレイであって、1画素が正方形である場合を想定しPvは3Ph(=0.46125)とする。

0283

また、一のサブピクセルに対応する、連続する前記形状の可視光透過部の一単位または前記複数の穴形状の可視光透過部の上下方向の数βは1とする。

0284

したがって、Vvの値は、以下の値となる。

0285

また、Svの値は、以下の値となる。

0286

0287

なお、Vvの値に対して、Svがどれだけ短いかは、以下の式の通りである。

0288

0289

次に、所定の斜め方向モアレ解消位置からパララックスバリアまでの距離をL2の値に基づいて、水平方向に隣接する該パララックスバリアを構成する複数のスリット領域の間隔Hhを以下のように求める。

0290

0291

なお、N×αPhに対して、Hhがどれだけ短いかは以下の式の通りである。

0292

0293

また、水平方向に隣接するパララックスバリアを構成する複数のスリット領域の間隔Hhの値は、斜め方向のモアレが一本発生する位置からパララックスバリアまでの距離であって、遠近二種の該位置のうち、より該パララックスバリアに近い位置から該パララックスバリアまでの所定の距離L2n、または、より該パララックスバリアに遠い位置から該パララックスバリアまでの所定の距離L2fの値からも求めることができる。

0294

一例として、該L2nの所定の値を1000mm、該L2fの値を3000mmとして前記Hhの値を求める。

0295

まず、所定の斜め方向モアレ解消位置における、前記ディスプレイ左端のRGB階段配置画素ユニットに対する前記パララックスバリアの可視光透過部から、ディスプレイ右端のRGB階段配置画素ユニットに対する前記パララックスバリアの可視光透過部までの間の、水平方向における可視光透過部の数Mhの値は以下の式により求めることができる。

0296

0297

従って、前記L2nの値(1000mm)の値に基づいて、前記Hhの値は以下の式により求めることができる。

0298

0299

また、前記L2fの値(3000mm)の値に基づいて、前記Hhの値は以下の式により求めることができる。

0300

0301

なお、前記L2nの値は、前記斜め方向のモアレ解消位置L2の値に基づいて定めることもできる。

0302

すなわち、前記L2の値を2500mmとした場合、前記L2nは以下の値となる。

0303

0304

また、前記L2fの値は、前記斜め方向のモアレ解消位置L2の値に基づいて定めることもできる。

0305

すなわち、前記L2の値を2500mmとした場合、前記L2fは以下の値となる。

0306

0307

0308

次に、パララックスバリアを構成する可視光透過部であるスリットのエッジの形状が、
階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリアを構成する可視光透過部の形状が、独立して複数形成された穴形状である場合の、垂直方向に連接する、前記連続する前記形状の可視光透過部または前記複数の穴形状の可視光透過部の間隔Hvの値を以下のように求める。

0309

なお、本実施例において、パララックスバリアの可視光透過部は、1のサブピクセルに対し、1つずつ設けられているものとし、前記βの値は1とする。

0310

よって、前記Hvの値は、以下のように求めることができる。

0311

0312

なお、Pvの値に対して、Hvがどれだけ短いかは、以下の式の通りである。

0313

0314

また、垂直方向に連接する、前記連続する前記形状の可視光透過部または前記複数の穴形状の可視光透過部の間隔Hvの値は、水平方向のモアレが一本発生する位置からパララックスバリアまでの距離であって、遠近二種の該位置のうち、より該パララックスバリアに近い位置から該パララックスバリアまでの所定の距離L3n、または、より該パララックスバリアに遠い位置から、該パララックスバリアまでの所定の距離をL3fの値に基づいて求めることもできる。

0315

一例として、該L3nの所定の値を1000mm、該L3fの値を3000mmとして前記Hvの値を求める。

0316

本実施例において前記β値は1とするため、所定の水平方向モアレ解消位置における、ディスプレイ上端のサブピクセルに対する前記形状の可視光透過部から、ディスプレイ下端のサブピクセルに対する前記形状の可視光透過部までの間の、垂直方向において前記連続する前記形状の可視光透過部の一単位または前記複数の穴形状の可視光透過部の数Mvの値は以下の値となる。

0317

0318

前記L3nの値(1000mm)の値に基づいて、前記Hvの値は以下の式により求めることができる。

0319

0320

また、前記L3fの値(3000mm)の値に基づいて、前記Hvの値は以下の式により求めることができる。

0321

0322

なお、前記L3nの値は、前記水平方向のモアレ解消位置L3の値に基づいて定めることもできる。

0323

すなわち、前記L3の値を2500mmとした場合、前記L3nは以下の値となる。

0324

0325

なお、前記L3fの値は、前記水平方向のモアレ解消位置L3の値に基づいて定めることもできる。

0326

すなわち、前記L3の値を2500mmとした場合、前記L3fは以下の値となる。

0327

0328

次に、適正立体可視領域を求める。

0329

適正立体可視領域の最短距離L1nは以下の値となる。

0330

0331

適正立体可視領域の最長距離L1fは以下の値となる。

0332

0333

したがって、適正立体可視領域は2078mm〜4988mmとなる。

0334

なお、このようにVhを1.2Phとして計算する場合、L1n:L1は、およそ0.8:1の関係となる。

0335

ここで、フルハイビジョン40インチの裸眼立体ディスプレイの場合における、第二の実施例を記載する。

0336

第二の実施例では、前記L1n(最適立体可視領域までの最短距離)と、前記L2n(斜め方向のモアレ適正解消領域までの最短距離)、前記L3n(水平方向のモアレ適正解消領域までの最短距離)が同一距離に設定されている場合について説明する。

0337

なお、L1n、L2n、L3nは、前述したように、それぞれ別の概念であるため、本実施例に挙げるように、これら全てが同一距離の設定されている場合に限定されるものではない。

0338

この場合も第一の実施例と同様に、水平解像度Irは1920、垂直解像度Jrは1080、サブピクセルの横幅Phは0.15375mm、サブピクセルの高さは、0.46125mm、視点数Nは5視点、画像提示対象者の左右の目の瞳間の距離Wは65mm、パララックスバリアから最適立体可視位置までの距離は2500mm、隣り合う視点の画像を表示する立体表示用のピクセルの中心間の距離αPhは0.15375mm、パララックスバリアの可視光透過部を通して画像提示対象者の片眼で視認される有効可視領域の幅Vhは0.1845mm、パララックスバリアの可視光透過部を通して画像提示対象者に視認される有効可視領域の高さVvは0.415125mmとする。

0339

また、所定の斜め方向モアレ解消位置における、前記ディスプレイ左端のRGB階段配置画素ブロックに対する前記パララックスバリアの可視光透過部から、ディスプレイ右端のRGB階段配置画素ブロックに対する前記パララックスバリアの可視光透過部までの間の、水平方向における可視光透過部の数Mhの値は1152個、一のサブピクセルに対応する可視光透過部の左右方向の数γは1、一のサブピクセルに対応する連続する前記形状の可視光透過部の一単位または前記複数の穴形状の可視光透過部の上下方向の数βは1とする。

0340

まず、L1nであるが、L1nは前記Z、W、Vhを用いた以下の式により求めることができる。

0341

従って、L1nは、以下の値となる。

0342

なお、この場合L1f(適正立体可視位領域までの最長距離)は以下の値となる。

0343

0344

すなわち、適正立体可視領域は、2078mm〜4988mmである。

0345

そこで、前記L2nと前記L3nも、L1nと同一の距離である2078mmに設定されているものとする。

0346

次に、ディスプレイの画像表示面からパララックスバリアまでの距離Zを求める。

0347

前記Zの値は、L1nの値に基づいて求めることができる。

0348

従って、Zは、以下の値となる。

0349

次に、前記水平方向に隣接する可視光透過部の間隔Hhを求める。

0350

前記Hhの値は、L2nの値に基づいて求めることができる。

0351

従って、Hhは、以下の値となる。

0352

次に、前記垂直方向に連接する可視光透過部の間隔Hvを求める。

0353

前記Hvの値は、L3nの値に基づいて求めることができる。

0354

従って、Hvは、以下の値となる。

0355

次に、パララックスバリアの可視光透過部の幅Shを求める。

0356

前記Shの値は、以下の式に基づいて求めることができる。

0357

従って、Shは、以下の値となる。

0358

次に、パララックスバリアの可視光透過部の高さSvを求める。

0359

前記Svの値は、以下の式に基づいて求めることができる。

0360

従って、Svは、以下の値となる。

0361

0362

図44図49は、パララックスバリアのスリットの形状の一例について説明する図である。

0363

図44は、スリットのエッジの形状が階段状である場合を示す図である。ここで、スリットのエッジの形状が階段状である場合とは、図44(a)に示すような場合を言い、スリットのエッジの形状が円弧である場合とは、図44(b)において示すような場合を言う。

0364

また、スリットのエッジの形状が楕円弧である場合とは、図45(a)(b)において一例として示すような場合を言う。

0365

また、スリットのエッジの形状が多角形の開口部が連続した形状である場合とは、図46(a)(b)において一例として示すような場合を言う。

0366

また、可視光透過部の形状が独立して複数形成された穴形状の開口部である場合とは、図47図48および図49において一例として示すように該可視光透過部の周囲がパララックスバリアのマスク部によって囲まれた穴である状態のことである。

0367

なお、本発明は以上説明した各実施形態に限定されるものではなく、請求項に示した範囲で種々の組み合わせが可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

0368

本発明により、立体技術の発展に最適な実用性に富んだ立体画像表示システムを非常に安価な価格で提供することが可能となる。

0369

1対象物
2注視点
3カメラ
5視点画像
6パララックスバリア
7立体画像
9画素ユニット
11 RGB階段配置画素ユニット
13 RGB階段配置画素ブロック
14仮想画素
15中間画像
16仮想サブピクセル
17 RGB並列配置画素ユニット
19画像フレーム
21 中間画像生成テーブル
23立体画像生成テーブル
31 中間画像生成装置
33中央処理装置
35記憶装置
41 第一の情報処理装置
43圧縮装置
45送信装置
47 第二の情報処理装置
49解凍装置
51受信装置
61立体画像生成装置
63画像出力装置
65立体画像表示装置
67映像ケーブル
69制御ケーブル
71画素情報
73画素マトリクス
75元画像ファイル
77画素埋め込み画像ファイル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ