図面 (/)

技術 投影制御装置、その制御方法、プログラム並びに投影装置

出願人 キヤノン株式会社
発明者 川合達人
出願日 2018年8月6日 (1年10ヶ月経過) 出願番号 2018-147873
公開日 2020年2月13日 (4ヶ月経過) 公開番号 2020-025169
状態 未査定
技術分野 テレビジョン方式 陰極線管以外の表示装置の制御 電気信号の光信号への変換
主要キーワード ローパスフィルタリング処理 投影制御装置 各基準位置 平均化画像 重み平均 周辺素子 動きオブジェクト 拡張画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年2月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

元画像に含まれて移動するオブジェクト不自然投影表示されるのを抑制することができる投影制御装置を提供する。

解決手段

投影装置101は、画素ずらし技術と動き補間技術を併用して元画像よりも画素数が少ない表示素子によって解像度を落とすこと無く元画像を投影表示する際、元画像200が含むオブジェクト202の移動量が所定値以上である場合、オブジェクト202を構成する複数の画素の情報を平均して動きオブジェクト701を作成し、さらに動きオブジェクト701の動きを補間する動き補間画像800〜803を作成し、画素ずらし技術によって元画像200から得られた間引き画像500〜503を動き補間画像800〜803で置き換える。

概要

背景

画素数が多い高解像度元画像を、画素数が少ない表示素子によって解像度を落とすこと無く投影表示する画素ずらし技術が知られている。この技術では、1フレームの元画像から表示素子で再現可能な画像を作成する際、元画像において基準となる位置(以下、「基準位置」という。)をずらしながら、複数の再現可能な画像を作成する。なお、表示素子の画素で再現可能な画像は、元画像よりも画素数が少なくなり、解像度が低下することから一般に「縮小画像」と称される。縮小画像の代表的な一例として、例えば、基準位置を元画像の或る画素に置き、当該画素から一定の画素間隔を持って各画素をサンプリングして新たな画素を作成する単純サンプリング法によって得られる、表示素子の画素で再現可能な画像がある。この画像は、「間引き画像」と称される。画素ずらし技術では、各縮小画像を順次投影表示する際、投影光学系によって各縮小画像を前述の基準位置のずらし量ほど(典型的には元画像の1画素分ほど)ずらして順次表示する。これにより、画素数が少ない表示素子でも画素数が元画像の画素数と等価となる画像を表示することができる。

また、動画である元画像において動くオブジェクト動きを滑らかに再現する動き補間技術が知られている。この技術では、連続するフレームの間の或る時点のオブジェクトの位置を予測し、予測された位置のオブジェクトを含む画像を連続するフレームの間へ中間フレームとして挿入する。

画素数が少ない表示素子によってオブジェクトの動きを滑らかに再現するためには、画素ずらし技術と動き補間技術を併用するのが好ましいが、いずれの技術も画像の表示回数が増える。したがって、これらの技術を併用すると表示素子の駆動の大幅な高速化が必要であり、表示素子や周辺素子への負担が大きくなり、コスト高を招く。

そこで、動くオブジェクトを順次表示する際、オブジェクトの各縮小画像を経過時間に応じた位置へ移動させながら表示することにより、画素ずらし技術と動き補間技術を併用する技術が提案されている(例えば、特許文献1参照。)。これにより、表示素子の駆動の大幅な高速化や中間フレームの挿入を必要とすることなく、オブジェクトの動きを元画像の画素数と等価となる解像度で滑らかに再現することができる。

概要

元画像に含まれて移動するオブジェクトが不自然に投影表示されるのを抑制することができる投影制御装置を提供する。投影装置101は、画素ずらし技術と動き補間技術を併用して元画像よりも画素数が少ない表示素子によって解像度を落とすこと無く元画像を投影表示する際、元画像200が含むオブジェクト202の移動量が所定値以上である場合、オブジェクト202を構成する複数の画素の情報を平均して動きオブジェクト701を作成し、さらに動きオブジェクト701の動きを補間する動き補間画像800〜803を作成し、画素ずらし技術によって元画像200から得られた間引き画像500〜503を動き補間画像800〜803で置き換える。

目的

本発明の目的は、元画像に含まれて移動するオブジェクトが不自然に投影表示されるのを抑制することができる投影制御装置、その制御方法プログラム並びに投影装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像であって、前記基準位置に応じてずらされながら投影表示される複数の縮小画像を作成する投影制御装置において、前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合手段を備え、前記情報混合手段は、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報を強く混合することを特徴とする投影制御装置。

請求項2

前記オブジェクトへ情報が混合される前記元画像が含む異なる複数の画素は、前記元画像において互いに隣接する画素であることを特徴とする請求項1に記載の投影制御装置。

請求項3

前記混合処理では、前記作成された複数の縮小画像の各画素の情報を平均することを特徴とする請求項1又は2に記載の投影制御装置。

請求項4

補間画像作成手段をさらに備え、前記情報混合手段は、前記作成された複数の縮小画像の各画素の情報を平均することによって平均化画像を作成し、前記補間画像作成手段は、前記作成された平均化画像から抽出された移動量が大きいオブジェクトから動きが補間されたオブジェクトを作成し、前記作成された複数の縮小画像が含む移動量が大きいオブジェクトを前記動きが補間されたオブジェクトで置き換え動き補間画像を作成することを特徴とする請求項3に記載の投影制御装置。

請求項5

補間画像作成手段をさらに備え、前記情報混合手段は、前記元画像から抽出された移動量が大きいオブジェクトが含む異なる複数の画素の情報を混合して混合オブジェクトを作成し、前記補間画像作成手段は、前記作成された混合オブジェクトの動きを補間し、前記元画像が含む移動量が大きいオブジェクトを前記動きが補間された混合オブジェクトで置き換えて動き補間画像を作成することを特徴とする請求項1又は2に記載の投影制御装置。

請求項6

補間画像作成手段をさらに備え、前記情報混合手段は、前記元画像から抽出された移動量が大きいオブジェクトが含む異なる複数の画素の情報を混合して混合オブジェクトを作成し、前記補間画像作成手段は、前記元画像の移動量が大きいオブジェクトが前記混合オブジェクトで置き換えられて作成された合成画像から作成された複数の位相の異なる複数の縮小画像が含む前記混合オブジェクトを、動きが補間された前記混合オブジェクトで置き換えて動き補間画像を作成することを特徴とする請求項1又は2に記載の投影制御装置。

請求項7

補間画像作成手段と補間画像合成手段とをさらに備え、前記情報混合手段は、前記元画像から抽出された移動量が大きいオブジェクトが含む異なる複数の画素の情報を混合して混合オブジェクトを作成し、前記補間画像作成手段は、前記作成された混合オブジェクトの動きを補間し、前記元画像が含む移動量が大きいオブジェクトを前記動きが補間された混合オブジェクトで置き換えて動き補間画像を作成し、前記補間画像合成手段は、前記作成された動き補間画像に基づいて、前記位相が異なる複数の縮小画像が作成される際に前記元画像からサンプリングされる画素を前記動きが補間された混合オブジェクトの画素で置き換えて合成画像を作成することを特徴とする請求項1又は2に記載の投影制御装置。

請求項8

前記投影制御装置は、前記複数の縮小画像を投影表示する投影装置と別の装置であり、前記合成画像が前記投影制御装置から前記投影装置へ受け渡されることを特徴とする請求項7に記載の投影制御装置。

請求項9

元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像であって、前記基準位置に応じてずらされながら投影表示される複数の縮小画像を作成する投影制御装置の制御方法であって、前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合工程を有し、前記情報混合工程では、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報が強く混合されることを特徴とする投影制御装置の制御方法。

請求項10

元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像であって、前記基準位置に応じてずらされながら投影表示される複数の縮小画像を作成する投影制御装置の制御方法をコンピュータに実行させるプログラムであって、前記投影制御装置の制御方法は、前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合工程を有し、前記情報混合工程では、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報が強く混合されることを特徴とするプログラム。

請求項11

元画像から作成される前記元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像を前記基準位置に応じてずらしながら投影表示する投影装置において、前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合手段を備え、前記情報混合手段は、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報を強く混合することを特徴とする投影装置。

技術分野

0001

本発明は、画素ずらしを行う投影制御装置、その制御方法プログラム並びに投影装置に関する。

背景技術

0002

画素数が多い高解像度元画像を、画素数が少ない表示素子によって解像度を落とすこと無く投影表示する画素ずらし技術が知られている。この技術では、1フレームの元画像から表示素子で再現可能な画像を作成する際、元画像において基準となる位置(以下、「基準位置」という。)をずらしながら、複数の再現可能な画像を作成する。なお、表示素子の画素で再現可能な画像は、元画像よりも画素数が少なくなり、解像度が低下することから一般に「縮小画像」と称される。縮小画像の代表的な一例として、例えば、基準位置を元画像の或る画素に置き、当該画素から一定の画素間隔を持って各画素をサンプリングして新たな画素を作成する単純サンプリング法によって得られる、表示素子の画素で再現可能な画像がある。この画像は、「間引き画像」と称される。画素ずらし技術では、各縮小画像を順次投影表示する際、投影光学系によって各縮小画像を前述の基準位置のずらし量ほど(典型的には元画像の1画素分ほど)ずらして順次表示する。これにより、画素数が少ない表示素子でも画素数が元画像の画素数と等価となる画像を表示することができる。

0003

また、動画である元画像において動くオブジェクト動きを滑らかに再現する動き補間技術が知られている。この技術では、連続するフレームの間の或る時点のオブジェクトの位置を予測し、予測された位置のオブジェクトを含む画像を連続するフレームの間へ中間フレームとして挿入する。

0004

画素数が少ない表示素子によってオブジェクトの動きを滑らかに再現するためには、画素ずらし技術と動き補間技術を併用するのが好ましいが、いずれの技術も画像の表示回数が増える。したがって、これらの技術を併用すると表示素子の駆動の大幅な高速化が必要であり、表示素子や周辺素子への負担が大きくなり、コスト高を招く。

0005

そこで、動くオブジェクトを順次表示する際、オブジェクトの各縮小画像を経過時間に応じた位置へ移動させながら表示することにより、画素ずらし技術と動き補間技術を併用する技術が提案されている(例えば、特許文献1参照。)。これにより、表示素子の駆動の大幅な高速化や中間フレームの挿入を必要とすることなく、オブジェクトの動きを元画像の画素数と等価となる解像度で滑らかに再現することができる。

先行技術

0006

特開2017−27024号公報

発明が解決しようとする課題

0007

しかしながら、例えば、元画像に含まれるオブジェクトが、青色の画素と黄色の画素が一画素おきに配置された市松模様のオブジェクトである場合、以下のような問題が生じる。例えば、単純サンプリング法によって複数の間引き画像を得る場合、サンプリングの画素間隔と、青色の画素同士の画素間隔又は黄色の画素同士の画素間隔とが同じであるため、基準位置の違いにより、或る間引き画像ではオブジェクトの青色の画素のみがサンプリングされる。また、他の間引き画像ではオブジェクトの黄色の画素のみがサンプリングされる。したがって、各間引き画像におけるオブジェクトは青色のみの画像又は黄色のみの画像となる。特許文献1の技術では、各間引き画像のオブジェクトが移動されながら表示されるため、互いに重畳されない。その結果、観者からはオブジェクトが青色と黄色のいずれに変色しながら移動するように観察される。すなわち、移動するオブジェクトが不自然に投影表示されるという問題がある。この問題は、縮小画像を得る方法が単純サンプリング法以外の方法であっても、程度の差はあれ、起こりうる。

0008

本発明の目的は、元画像に含まれて移動するオブジェクトが不自然に投影表示されるのを抑制することができる投影制御装置、その制御方法、プログラム並びに投影装置を提供することにある。

課題を解決するための手段

0009

上記目的を達成するために、本発明の投影制御装置は、元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像であって、前記基準位置に応じてずらされながら投影表示される複数の縮小画像を作成する投影制御装置において、前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合手段を備え、前記情報混合手段は、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報を強く混合することを特徴とする。

発明の効果

0010

本発明によれば、元画像に含まれて移動するオブジェクトが不自然に投影表示されるのを抑制することができる。

図面の簡単な説明

0011

本発明の第1の実施の形態に係る投影装置を含む画像投影システムの構成を概略的に示す図である。
図1の画像投影システムにおける元画像の画素構成と、投影装置の表示素子の構成とを示す図である。
図1の投影装置が実現する機能を概念的に示す機能ブロック図である。
本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
単純サンプリング法における基準位置、サンプリング間隔及び各位相でサンプリングされるサンプリング画素の関係を示す図である。
本実施の形態における間引き画像の作成を説明するための図である。
図6の状態から1フレームに相当する時間が経過した後の間引き画像の作成を説明するための図である。
本実施の形態における動きベクトルの算出を説明するための図である。
図4のS407における動き補間画像の作成を説明するための図である。
本実施の形態における間引き画像と動き補間画像の置き換えを説明するための図である。
図4のS409における表示画像の順次表示を説明するための図である。
本実施の形態において観者が観察する動きオブジェクトの動きを説明するための図である。
本実施の形態の変形例における元画像が含むオブジェクトの動きを説明するための図である。
本実施の形態の変形例における表示画像の順次表示を説明するための図である。
本実施の形態の変形例において観者が観察する動きオブジェクトの動きを説明するための図である。
本発明の第2の実施の形態において投影装置が実現する機能を概念的に示す機能ブロック図である。
本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
本実施の形態における動きベクトルの算出を説明するための図である。
本実施の形態において動きオブジェクトに施されるローパスフィルタリング処理を説明するための図である。
図17のS1605における動き補間画像の作成を説明するための図である。
本実施の形態における間引き画像の作成を説明するための図である。
本発明の第3の実施の形態において投影装置が実現する機能を概念的に示す機能ブロック図である。
本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
本実施の形態における合成画像の作成を説明するための図である。
本実施の形態における間引き画像の作成を説明するための図である。
図23のS2208における動き補間画像の作成を説明するための図である。
本実施の形態における画像投影システムの変形例の構成を概略的に示す図である。
本実施の形態において投影制御装置や投影装置が実現する機能を概念的に示す機能ブロック図である。
本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
本実施の形態における合成画像の作成を説明するための図である。
本実施の形態における間引き画像の作成を説明するための図である。
本実施の形態における画像投影システムの変形例の構成を概略的に示す図である。
本実施の形態における画像投影システムの他の変形例の構成を概略的に示す図である。

実施例

0012

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。まず、本発明の第1の実施の形態について説明する。

0013

図1は、本発明の第1の実施の形態に係る投影装置を含む画像投影システムの構成を概略的に示す図である。図1の画像投影システム100は、プロジェクターであって投影制御装置でもある投影装置101と、投影装置101が動画を投影表示するスクリーンである投影面102と、投影装置101へ動画である元画像を供給する出力装置103とを備える。本実施の形態において、例えば、出力装置103は解像度が4Kの元画像を供給し、投影装置101が有する表示素子の解像度は2Kである。投影装置101は画像ずらし技術を用いて表示素子により、解像度が4Kと等価の画像を投影面102へ投影表示する。

0014

図2は、図1の画像投影システム100における元画像の画素構成と、投影装置101の表示素子の構成とを示す図である。図2(A)には、例えば、元画像200の画素構成が示され、図2(B)には、元画像200に対応する投影装置101の表示素子201の画素構成が示される。また、元画像200は1フレームに相当する時間に16画素分図中右方へ移動するオブジェクト202を含む。解像度が4Kの元画像200へ縦方向に4画素、横方向に22画素が配置されている場合、解像度が2Kの表示素子201では縦方向に2画素、横方向に1画素が配置される。すなわち、表示素子201の1画素は元画像200の4画素に対応する。

0015

また、オブジェクト202は縦方向に4画素、横方向に2画素を有し、青色の画素と黄色の画素が一画素おきに配置された市松模様をなす。なお、以降、図中において縦縞は黄色を示し、斜めは青色を示す。

0016

図3は、図1の投影装置101が実現する機能を概念的に示す機能ブロック図である。図3に示すように、本実施の形態では、元画像をサンプリングして間引き画像(縮小画像)を作成するサンプリング部300と、間引き画像を保持する間引き画像保持部301a〜301dとが実現される。また、間引き画像の画素情報を平均して平均化画像を作成する平均化画像作成部302(情報混合手段)と、平均化画像からオブジェクトの動きベクトルを算出する動きベクトル算出部303とが実現される。さらに、動きベクトルの絶対値が所定値以上のオブジェクトを背景から分離して抽出する動きオブジェクト抽出部304が実現される。また、オブジェクトの動き補間画像を作成する補間画像作成部305(補間画像作成手段)が実現される。また、動き補間画像と間引き画像から投影表示される表示画像を作成する表示画像作成部306a〜306dと、作成された表示画像を投影面102へ投影表示する画像表示部307とが実現される。各機能部は、投影装置101が有するCPUがメモリ等に格納されたプログラムを実行することによって実現される。

0017

以下、本実施の形態に係る投影制御装置の制御方法である画像表示処理について説明する。図4は、本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。

0018

図4において、まず、サンプリング部300は元画像をサンプリングして間引き画像を作成する(S401)。本実施の形態では、表示素子201の1画素が元画像200の4画素に対応する。そこで、基準位置を元画像200の適切な画素に置き、当該画素から一画素とばしの画素間隔を持って各画素をサンプリングする単純サンプリング法によって表示素子201と同じ画素数の、基準位置の異なる4つの間引き画像が作成される。サンプリングの間隔は同じであるのに対し、基準位置が、サンプリングの間隔より小さな量で異なるため、4つの間引き画像はサンプリングの位相が異なっていることになる。

0019

図5は、単純サンプリング法における基準位置、サンプリング間隔及び各位相でサンプリングされるサンプリング画素の関係を示す図である。図5において、基準位置を置く各画素A,B,C,Dは、或る一例において、基準位置を置く画素を示す。サンプリング位相1は、基準位置をAの画素に置き、Aの画素から一画素とばしの画素間隔をもってサンプリングする場合においてサンプリングされる各画素(サンプリング画素)を示す。サンプリング位相1の各サンプリング画素は白丸印が付された画素である。サンプリング位相2は、基準位置をAの画素の右に隣接するBの画素に置き、Bの画素から一画素とばしの画素間隔をもってサンプリングする場合においてサンプリングされる各画素(サンプリング画素)を示す。サンプリング位相2の各サンプリング画素は黒丸印が付された画素である。サンプリング位相3は、基準位置をAの画素の斜め右下に隣接するCの画素に置き、Cの画素から一画素とばしの画素間隔を持ってサンプリングする場合のサンプリングされる各画素(サンプリング画素)を示す。サンプリング位相3の各サンプリング画素は白三角印が付された画素である。サンプリング位相4は、基準位置をAの画素の下に隣接するDの画素に置き、Dの画素から一画素とばしの画素間隔を持ってサンプリングする場合のサンプリングされる各画素(サンプリング画素)を示す。サンプリング位相4の各サンプリング画素は黒三角印が付された画素である。

0020

図6は、本実施の形態における間引き画像の作成を説明するための図である。図中において、元画像200の各画素は破線で示され、表示素子201の各画素が実線で示される。以下、本実施の形態では、元画像200の左上隅において互いに隣接する4画素が基準位置を置く画素として設定される。また、サブフレーム1〜サブフレーム4は元画像200の1フレームに相当する時間を4つに均等に分けた、それぞれのタイミングに相当し、各間引き画像が表示されるタイミングに該当する。

0021

本実施の形態では、4つの間引き画像の各基準位置を置く元画像200の画素がそれぞれ異なる。具体的には、元画像200の左上隅において互いに隣接する4画素、すなわち、画素200−(1,1)、200−(2,1)、200−(2,2)、200−(1,2)を、4つの間引き画像の各基準位置を置く画素とする。

0022

まず、元画像200に対して表示素子201がずれていない状態であるサブフレーム1で表示される間引き画像500を、基準位置を元画像200の画素200−(1,1)に置き、サンプリング位相1に従って作成する(図6(A))。オブジェクト202に対応する部分について詳しく見ると、表示素子201の画素201aに対しては、元画像200の画素200aが画素201aのサンプリング画素となる。したがって、画素200aの画素情報が画素201aへ引き継がれる。ここで、画素200aは黄色の画素であるため、画素201aは黄色となる。また、表示素子201の画素201aの下の画素201bに対しては、元画像200の画素200aから1画素とばした下の画素200bが画素201bのサンプリング画素となる。したがって、画素200bの画素情報が画素201bへ引き継がれる。ここで、画素200bも黄色の画素であるため、画素201bも黄色となる。すなわち、間引き画像500は黄色の画素である画素201a及び画素201bからなるオブジェクト202を含むことになる。

0023

次に、元画像200に対して表示素子201が右に1画素分ずれた状態であるサブフレーム2で表示される間引き画像501を、基準位置を元画像200の画素200−(2,1)に置き、サンプリング位相2に従って作成する(図6(B))。オブジェクト202に対応する部分について詳しく見ると、表示素子201の画素201aに対しては、元画像200の画素200cが画素201aのサンプリング画素となる。したがって、画素200cの画素情報が画素201aへ引き継がれる。ここで、画素200cは青色の画素であるため、画素201aは青色となる。また、表示素子201の画素201aの下の画素201b対しては、元画像200の画素200cから1画素とばした下の画素200dが画素201bのサンプリング画素となる。したがって、画素200dの画素情報が画素201bへ引き継がれる。ここで、画素200dも青色の画素であるため、画素201bも青色となる。すなわち、間引き画像501は青色の画素である画素201a及び画素201bからなるオブジェクト202を含むことになる。

0024

次に、元画像200に対して表示素子201が右に1画素分ずれ且つ下に1画素分ずれた状態であるサブフレーム3で表示される間引き画像502を、基準位置を元画像200の画素200−(2,2)に置き、サンプリング位相3に従って作成する。作成の過程図6(C)に示す。オブジェクト202に対応する部分について詳しく見ると、表示素子201の画素201aに対しては、元画像200の画素200eが画素201aのサンプリング画素となる。したがって、画素200eの画素情報が画素201aへ引き継がれる。ここで、画素200eは黄色の画素であるため、画素201aは黄色となる。また、表示素子201の画素201aの下の画素201b対しては、元画像200の画素200eから1画素とばした下の画素200fが画素201bのサンプリング画素となる。したがって、画素200fの画素情報が画素201bへ引き継がれる。ここで、画素200fも黄色の画素であるため、画素201bも黄色となる。すなわち、間引き画像502は黄色の画素である画素201a及び画素201bからなるオブジェクト202を含むことになる。

0025

次に、元画像200に対して表示素子201が下に1画素分ずれた状態であるサブフレーム4で表示される間引き画像503を、基準位置を元画像200の画素200−(1,2)に置き、サンプリング位相4に従って作成する(図6(D))。オブジェクト202に対応する部分について詳しく見ると、表示素子201の画素201aに対しては、元画像200の画素200gが画素201aのサンプリング画素となる。したがって、画素200gの画素情報が画素201aへ引き継がれる。ここで、画素200gは青色の画素であるため、画素201aは青色となる。また、表示素子201の画素201aの下の画素201b対しては、元画像200の画素200gから1画素とばした下の画素200hが画素201bのサンプリング画素となる。したがって、画素200hの画素情報が画素201bへ引き継がれる。ここで、画素200hも青色の画素であるため、画素201bも青色となる。すなわち、間引き画像503は青色の画素である画素201a及び画素201bからなるオブジェクト202を含むことになる。

0026

図7は、図6の状態から1フレームに相当する時間が経過した後の間引き画像の作成を説明するための図である。

0027

この場合、オブジェクト202が16画素分図中右方へ移動するため、間引き画像500〜503においても、図6に比べて画素201a及び画素201bは16画素分図中右方へ移動する。しかしながら、図7においても、間引き画像500は黄色の画素201a及び画素201bからなるオブジェクト202を含むことになる(図7(A))。また、間引き画像501は青色の画素201a及び画素201bからなるオブジェクト202を含むことになる(図7(B))。さらに、間引き画像502は黄色の画素201a及び画素201bからなるオブジェクト202を含むことになる(図7(C))。また、間引き画像503は青色の画素201a及び画素201bからなるオブジェクト202を含むことになる(図7(D))。

0028

オブジェクト202の動きが小さい場合、従来通り、間引き画像500〜503を、サブフレーム1〜サブフレーム4の各タイミングで、投影装置101の投影光学系により、元画像200の1画素に相当する量ほどずらして順次表示する。具体的には、間引き画像500をサブフレーム1のタイミングで位置をずらすことなく表示し、間引き画像501をサブフレーム2のタイミングで元画像200の1画素分右にずらして表示する。さらに、間引き画像502をサブフレーム3のタイミングで元画像200の1画素分右にずらし且つ1画素分下にずらして表示し、間引き画像503をサブフレーム4のタイミングで元画像200の1画素分下にずらして表示する。このとき、重畳画像504において、間引き画像500〜503のオブジェクト202が1画素ずつずれながら重畳表示され(図6(E))、観者には表示素子201の解像度よりも高い解像度でオブジェクト202が観察される。

0029

しかしながら、オブジェクト202の動きが大きい場合、間引き画像500〜503を上述したように順次表示すると、間引き画像500〜503のオブジェクト202が重畳されることなく表示される。その結果、観者にはオブジェクト202が青色又は黄色に変色しながら移動するように観察される。これに対応して、本実施の形態では、オブジェクト202の動きが大きい場合、間引き画像500〜503のオブジェクト202を後述する平均化オブジェクト506に置き換える。

0030

図4戻り、間引き画像保持部301a〜301dは作成された間引き画像500〜503を保持する(S402)。具体的に、間引き画像保持部301aは間引き画像500を保持し、間引き画像保持部301bは間引き画像501を保持し、間引き画像保持部301cは間引き画像502を保持し、間引き画像保持部301dは間引き画像503を保持する。

0031

その後、平均化画像作成部302が、保持された間引き画像500〜503の各画素201a及び画素201bの情報を平均して平均化画像505を作成する(混合処理)(S403)。間引き画像500〜503の画素201a及び画素201bは、上述したように、黄色の画素又は青色の画素であるが、黄色と青色は互いに補色の関係にあるため、平均化されると灰色の画素となる。したがって、平均化画像505では、図6(F)に示すように、黄色や青色のオブジェクト202の画素201a,201bの情報が平均化されて作成された平均化オブジェクト506(画素201a及び画素201b)は灰色を呈する。なお、以降、図中において濃色の塗り潰しは灰色を示す。また、平均化画像作成部302は、同様に、図6の状態から1フレームに相当する時間が経過した後の間引き画像500〜503の画素情報を平均して平均化画像505を作成し、平均化オブジェクト506も作成する(図7(E))。

0032

なお、通常、元画像からサンプリングにより間引き画像を作成すると、折り返し雑音と呼ばれる、元画像にはなかったパターンがオブジェクトに浮かび上がる。これに対して、本実施の形態では、上述した平均化により、オブジェクト202へ元画像における異なる画素の情報が強く混合される。その結果、平均化画像505の平均化オブジェクト506では折り返し雑音が消失する。

0033

次いで、動きベクトル算出部303が平均化画像505から平均化オブジェクト506の動きベクトルを算出する(S404)。具体的には、図8に示すように、1フレームに相当する時間が経過する前後の平均化画像505を比較して平均化オブジェクト506の移動量とその移動方向から動きベクトル700を算出する。ここでは、表示素子201において右へ8画素分の移動量が動きベクトル700として算出される。さらに、動きベクトル算出部303は算出された動きベクトル700の絶対値が所定値以上であるか否かを判定する(S405)。

0034

動きベクトル700の絶対値が所定値以上であると判定された場合、動きオブジェクト抽出部304は、平均化画像505の背景から平均化オブジェクト506を分離して動きオブジェクト701として抽出する(S406)。その後、補間画像作成部305が抽出された動きオブジェクト701を用いて動き補間画像を作成する(S407)。なお、平均化画像505の背景から平均化オブジェクト506を分離する際に用いる閾値は、元画像200の解像度や想定される投影画像の大きさ、さらには、視距離等を考慮して適宜設定される。

0035

図9は、図4のS407における動き補間画像の作成を説明するための図である。まず、補間画像作成部305は、動きベクトル700からサブフレーム1のタイミングにおける動きオブジェクト701の位置を算出し、当該位置へ配置した動きオブジェクト701を背景と合成して動き補間画像800を作成する(図9(A))。次に、補間画像作成部305は、動きベクトル700からサブフレーム2のタイミングにおける動きオブジェクト701の位置を算出し、当該位置へ配置した動きオブジェクト701を背景と合成して動き補間画像801を作成する(図9(B))。さらに、補間画像作成部305は、動きベクトル700からサブフレーム3のタイミングにおける動きオブジェクト701の位置を算出し、当該位置へ配置した動きオブジェクト701を背景と合成して動き補間画像802を作成する(図9(C))。また、補間画像作成部305は、動きベクトル700からサブフレーム4のタイミングにおける動きオブジェクト701の位置を算出し、当該位置へ配置した動きオブジェクト701を背景と合成して動き補間画像803を作成する(図9(D))。

0036

すなわち、動き補間画像800〜803は、1フレームにおける動きオブジェクト701の動きを補間する。また、動き補間画像800〜803の作成では、間引き画像500〜503からオブジェクト202を除去することにより、背景を作成する。このとき、オブジェクト202が除去された部分には、オブジェクト202の周囲の画素から推定された画素又は1フレームに相当する時間が経過した後の各間引き画像500〜503から推定された画素が埋め込まれる。すなわち、S407では、実質的に間引き画像500〜503のオブジェクト202が、サブフレームに応じて動きが補間された動きオブジェクト701と置き換えられる。

0037

次いで、表示画像作成部306a〜306dが間引き画像500〜503を動き補間画像800〜803と置き換えて表示画像を作成する(S408)。具体的には、表示画像作成部306aが間引き画像500を動き補間画像800と置き換え(図10(A))。表示画像作成部306bが間引き画像501を動き補間画像801と置き換える(図10(B))。また、表示画像作成部306cが間引き画像502を動き補間画像802と置き換え(図10(C))。表示画像作成部306dが間引き画像503を動き補間画像803と置き換える(図10(D))。

0038

その後、画像表示部307が表示画像作成部306a〜306dによって作成された表示画像を投影面102へ順次投影表示する(S409)。図11は、図4のS409における表示画像の順次表示を説明するための図である。なお、図11において、元画像200の各画素は破線で示され、動き補間画像800〜803の各画素が実線で示される。まず、画像表示部307は、サブフレーム1のタイミングで動き補間画像800を投影表示する。このとき、動き補間画像800は元画像200に対してずらされることなく表示される。次いで、画像表示部307は、サブフレーム2のタイミングで動き補間画像801を投影表示する。このとき、投影光学系により、動き補間画像801は元画像200に対して元画像200の1画素分右にずらされて表示される。さらに、画像表示部307は、サブフレーム3のタイミングで動き補間画像802を投影表示する。このとき、投影光学系により、動き補間画像802は元画像200に対して元画像200の1画素分右にずらされ且つ1画素分下にずらされて表示される。また、画像表示部307は、サブフレーム4のタイミングで動き補間画像803を投影表示する。このとき、投影光学系により、動き補間画像803は元画像200に対して元画像200の1画素分下にずらされて表示される。その後、画像表示部307は次のフレームのサブフレーム1のタイミングで動き補間画像800と同様に作成された動き補間画像804を表示し、以下、同様の処理を継続する。

0039

S409では、残像効果により、観者は、図12に示すように、重畳画像1100において、時間の経過とともに滑らかに動き、且つ変色しない動きオブジェクト701を観察することができる。

0040

なお、S405において、動きベクトル700の絶対値が所定値未満であると判定された場合、S406〜S408の処理がスキップされる。すなわち、オブジェクト202の各画素の情報が平均化された動きオブジェクト701に置き換えられることなく、そのまま表示されて図6(E)の重畳画像504が投影面102へ表示される。

0041

本実施の形態によれば、間引き画像500〜503を動き補間画像800〜803と置き換えることにより、青色と黄色のオブジェクト202を動きオブジェクト701へ置き換える。黄色や青色のオブジェクト202の各画素の情報が平均化されて動きオブジェクト701(平均化オブジェクト506)が作成されるため、動きオブジェクト701は灰色を呈する。したがって、動き補間画像800〜803を表示画像として順次投影表示する際、動きオブジェクト701は滑らかに動くが、灰色のままであり、青色又は黄色に変色することがない。これにより、元画像に含まれて移動するオブジェクト202が不自然に投影表示されるのを抑制することができる。

0042

なお、本実施の形態では、オブジェクト202の各画素の情報を平均化することによって動きオブジェクト701が作成されるため、オブジェクト202の折り返し雑音が消失し、動きオブジェクト701では折り返し雑音の発生を抑制することができる。一方、平均化処理空間周波数高周波数成分を元画像から除く一種のローパスフィルタリング処理である。したがって、動きオブジェクト701では元画像200の解像度(4K)を実現するのが困難であり、例えば、動きオブジェクト701では元画像200の解像度の半分の解像度(2K)しか実現できない。しかしながら、人間の視覚は動きの大きいオブジェクトを観察する場合において先鋭度に対する感度が低下するという特性を持っている。したがって、動きオブジェクト701において先鋭度としての解像度が低下しても、観者が解像度の低下を認識することがないため、動きオブジェクト701において元画像200の解像度の半分の解像度しか実現できなくても、大きな支障にはなることはない。

0043

次に、移動するオブジェクトと移動しないオブジェクトを含む元画像に本発明の第1の実施の形態を適用した場合について説明する。ここで、図13に示すように、元画像1200が1フレームに相当する時間に16画素分図中右方へ移動するオブジェクト202と移動しないオブジェクト1201を含む。また、オブジェクト202及びオブジェクト1201はいずれも縦方向に4画素、横方向に2画素を有し、青色の画素と黄色の画素が一画素おきに配置された市松模様をなす。また、元画像1200の解像度は4Kであり、投影装置101の表示素子201の解像度は2Kである。

0044

このような元画像1200へ本発明の第1の実施の形態を適用すると、移動量の大きいオブジェクト202に関しては、まず、サブフレーム1〜サブフレーム4の各タイミングに相当する間引き画像500〜503が作成される。さらに、間引き画像500〜503の画素情報が平均されて平均化画像505が作成される。このとき、間引き画像500〜503のオブジェクト202の各画素の情報が平均化されて平均化オブジェクト506が作成される。さらに、平均化オブジェクト506が動きオブジェクト701として抽出され、サブフレーム1〜サブフレーム4の各タイミングに相当する動き補間画像800〜803が作成される。動き補間画像800〜803はそれぞれサブフレーム1〜サブフレーム4の各タイミングに相当する位置に移動した動きオブジェクト701を含む。その後、動き補間画像800〜803が順次投影表示されるが、このとき、図14に示すように、動きオブジェクト701がサブフレーム1〜4の各タイミングで移動しながら表示される。また、サブフレーム1〜4の各タイミングで表示される動きオブジェクト701は、元画像200の1画素分ずつずらされて表示される。

0045

一方、移動しないオブジェクト1201に関しては、サブフレーム1〜サブフレーム4の各タイミングに相当する間引き画像が作成されるものの、間引き画像の画素情報が平均されることはなく、間引き画像がそのまま順次投影表示される。なお、間引き画像におけるオブジェクト1201は、図6に示す間引き画像の作成の工程と同様の工程を経て黄色又は青色のみを呈する。間引き画像の順次投影表示では、図14に示すように、黄色又は青色のオブジェクト1201は移動することなく順次表示される。但し、オブジェクト1201は、サブフレーム1〜4の各タイミングで元画像200の1画素分ずつずらされて表示される。

0046

このように、本実施の形態では、元画像において動きの少ないオブジェクトに対して平均化処理を施さない一方、元画像において動きの大きいオブジェクトに対して平均化処理を施す。平均化処理では、オブジェクトへ元画像における異なる画素の情報が強く混合される。すなわち、本実施の形態では、動きの大きいオブジェクトへの近傍の画素の情報の混合が、動きの小さいオブジェクトや画像の背景部分への近傍の画素の情報の混合よりも強く発生している。また、動きの大きいオブジェクトに関しては、当該オブジェクトの動きを補間する動き補間画像も作成される。

0047

その結果、本実施の形態では、残像効果により、観者は、図15に示すように、重畳画像1400において、動きの大きいオブジェクト202に関し、時間の経過とともに滑らかに動き、且つ変色しない灰色の動きオブジェクト701を観察することができる。また、観者は、移動しないオブジェクト1201に関し、各オブジェクト1201が重畳表示された際の残像効果により、表示素子201の解像度よりも高い解像度でオブジェクト1201を観察することができる。なお、重畳画像1400では、各オブジェクト1201が重畳した部分も灰色を呈する。

0048

これにより、本実施の形態では、動きの大きいオブジェクト202が不自然に投影表示される(黄色や青色に変化する)のを抑制することができる。また、本実施の形態では、画素ずらし技術によって移動しないオブジェクト1201の解像度を表示素子201の解像度よりも高くすることができる。これにより、動きの小さいオブジェクトを観察する場合には先鋭度に対する感度が低下しない観者によるオブジェクト1201の観察に支障を生じさせない。

0049

次に、本発明の第2の実施の形態について説明する。第2の実施の形態は、その構成、作用が上述した第1の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第1の実施の形態では、動きベクトル700の算出や動きオブジェクト701の抽出は平均化画像505に基づいて行った。しかしながら、第2の実施の形態は、動きベクトルの算出や動きオブジェクトの抽出を元画像に基づいて行う点で第1の実施の形態と異なる。

0050

なお、本実施の形態においても、出力装置103は解像度が4Kの元画像200を供給し、投影装置101が有する表示素子201の解像度は2Kである。また、元画像200は1フレームに相当する時間に16画素分図中右方へ移動するオブジェクト202を含む。

0051

図16は、本実施の形態において投影装置101が実現する機能を概念的に示す機能ブロック図である。なお、図3の機能ブロック図と共通する機能部についてはその説明を省略する。図16に示すように、本実施の形態では、元画像からオブジェクトの動きベクトルを算出する動きベクトル算出部1500と、動きベクトルの絶対値が所定値以上のオブジェクトを背景から分離して抽出する動きオブジェクト抽出部1501とが実現される。また、抽出されたオブジェクトにローパスフィルタリング処理を施すローパスフィルタリング部1502(情報混合手段)と、オブジェクトの動き補間画像を作成する補間画像作成部1503(補間画像作成手段)とが実現される。さらに、動き補間画像からオブジェクトをサンプリングして間引き画像を作成するサンプリング部1504も実現される。各機能部は、投影装置101が有するCPUがメモリ等に格納されたプログラムを実行することによって実現される。

0052

以下、本実施の形態に係る投影制御装置の制御方法である画像表示処理について説明する。図17は、本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。

0053

図17において、まず、動きベクトル算出部1500は、元画像200からオブジェクト202の動きベクトルを算出する(S1601)。具体的には、図18に示すように、1フレームに相当する時間が経過する前後の元画像200を比較してオブジェクト202の移動量とその移動方向から動きベクトル1700を算出する。ここでは、表示素子201において右へ8画素分の移動量が動きベクトル1700として算出される。さらに、動きベクトル算出部1500は算出された動きベクトル1700の絶対値が所定値以上であるか否かを判定する(S1602)。

0054

動きベクトル1700の絶対値が所定値以上であると判定された場合、動きオブジェクト抽出部1501は、図19に示すように、元画像200の背景からオブジェクト202を分離して動きオブジェクト1800として抽出する(S1603)。次いで、ローパスフィルタリング部1502は動きオブジェクト1800にローパスフィルタリング処理を施す(S1604)。なお、ローパスフィルタリング部1502は抽出された全ての動きオブジェクト1800にローパスフィルタリング処理を施す必要はない。例えば、動きベクトル1700の絶対値が他の所定値以上の動きオブジェクト1800にのみローパスフィルタリング処理をしてもよい。このローパスフィルタリング処理を施すか否かの判断基準となる他の所定値はS1602における所定値と異なる値に設定してもよく、例えば、他の所定値がS1602における所定値よりも大きいことが好ましい。

0055

S1604のローパスフィルタリング処理としては、第1の実施の形態で用いた平均化処理とは異なる、一般的なローパスフィルタリングの手法が用いられる。例えば、デジタル画像処理においてローパスフィルタと呼ばれる小行列を元画像200に畳み込み積分する手法や、画像データのスケーリング処理で用いられるアルゴリズムに含まれる画素の情報の平均化効果を含むものを用いる手法が用いられる。これにより、空間周波数の高周波数成分が除かれて折り返し雑音が消去された処理済みオブジェクト1801(混合オブジェクト)が作成される。その後、補間画像作成部1503が処理済みオブジェクト1801を用いて動き補間画像を作成する(S1605)。

0056

図20は、図17のS1605における動き補間画像の作成を説明するための図である。なお、ここでのサブフレーム1〜サブフレーム4は、第1の実施の形態と同様に、元画像の1フレームに相当する時間を4つに均等に分けた、それぞれのタイミングに相当する。

0057

まず、補間画像作成部1503は、動きベクトル1700からサブフレーム1の処理済みオブジェクト1801の位置を算出し、当該位置へ配置した処理済みオブジェクト1801を背景と合成して動き補間画像1900を作成する(図20(A))。次に、補間画像作成部1503は、動きベクトル1700からサブフレーム2の処理済みオブジェクト1801の位置を算出し、当該位置へ配置した処理済みオブジェクト1801を背景と合成して動き補間画像1901を作成する(図20(B))。さらに、補間画像作成部1503は、動きベクトル1700からサブフレーム3の処理済みオブジェクト1801の位置を算出し、当該位置へ配置した処理済みオブジェクト1801を背景と合成して動き補間画像1902を作成する(図20(C))。また、補間画像作成部1503は、動きベクトル1700からサブフレーム4の処理済みオブジェクト1801の位置を算出し、当該位置へ配置した処理済みオブジェクト1801を背景と合成して動き補間画像1903を作成する(図20(D))。動き補間画像1900〜1903の作成では、元画像200からオブジェクト202を除去することにより、背景を作成する。このとき、オブジェクト202が除去された部分には、オブジェクト202の周囲の画素から推定された画素又は1フレームに相当する時間が経過した後の元画像200から推定された画素が埋め込まれる。

0058

次いで、サンプリング部1504は動き補間画像1900〜1903から各画素をサンプリングして間引き画像2000〜2003を作成する(S1606)。本実施の形態では、動き補間画像1900〜1903において、表示素子201と同じ画素数の4つの間引き画像の各基準位置を置く画素をそれぞれ異ならせながら、4つの間引き画像が作成される。

0059

図21は、本実施の形態における間引き画像の作成を説明するための図である。図中において、動き補間画像1900〜1903の各画素は破線で示され、表示素子201の各画素が実線で示される。以下、本実施の形態では、動き補間画像1900〜1903の左上隅近傍において、互いに1画素ずつ位置の異なる各画素に4つの間引き画像の各基準位置が置かれる。具体的に、動き補間画像1900に対しては画素1900−(1,1)に基準位置が置かれ、動き補間画像1901に対しては画素1901−(2,1)に基準位置が置かれる。動き補間画像1902に対しては画素1902−(2,2)に基準位置が置かれ、動き補間画像1903に対しては画素1903−(1,2)に基準位置が置かれる。

0060

ここで、動き補間画像の解像度が元画像と同じ4Kであるのに対し、表示素子の解像度が2Kである。また、表示素子の画素の大きさが動き補間画像の画素の大きさの2倍であり、サンプリング間隔が各動き補間画像の一画素とばしである。さらに、基準位置のずらし量と投影光学系のずらし量が共に動き補間画像の一画素ほどである。これらの条件が相まって、結果的に、図21において、動き補間画像1900〜1903からサンプリングされる画素が、表示素子201の各画素の左上に対応する画素となる。

0061

まず、動き補間画像1900に対して表示素子201がずれていない状態であるサブフレーム1の間引き画像2000を、基準位置を動き補間画像1900中の画素1900−(1,1)に置き、サンプリング位相1に従って作成する(図21(A))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する動き補間画像1900の画素1900aが画素201aのサンプリング画素となる。したがって、画素1900aの画素情報が画素201aへ引き継がれる。ここで、画素1900aは処理済みオブジェクト1801の一部であるため、画素201aも処理済みオブジェクト1801の一部となる。また、表示素子201の画素201aの下の画素201bに対しては、動き補間画像1900の画素1900aから1画素とばした下の画素1900bが画素201bのサンプリング画素となる。したがって、画素1900bの画素情報が画素201bへ引き継がれる。ここで、画素1900bも処理済みオブジェクト1801の一部であるため、画素201bも処理済みオブジェクト1801の一部となる。すなわち、間引き画像2000の画素201a及び画素201bは処理済みオブジェクト1801をなす。

0062

次に、動き補間画像1901に対して表示素子201が右に1画素分ずれた状態であるサブフレーム2の間引き画像2001を、基準位置を動き補間画像1901中の画素1901−(2,1)に置き、サンプリング位相2に従って作成する(図21(B))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201cの左上に対応する動き補間画像1901の画素1901aが画素201cのサンプリング画素となる。したがって、画素1901aの画素情報が画素201cへ引き継がれる。ここで、画素1901aは処理済みオブジェクト1801の一部であるため、画素201cは処理済みオブジェクト1801の一部となる。また、表示素子201の画素201cの下の画素201dに対しては、動き補間画像1901の画素1901aから1画素とばした下の画素1901bが画素201dのサンプリング画素となる。したがって、画素1901bの画素情報が画素201dへ引き継がれる。ここで、画素1901bも処理済みオブジェクト1801の一部であるため、画素201dも処理済みオブジェクト1801の一部となる。すなわち、間引き画像2001の画素201a及び画素201bは処理済みオブジェクト1801をなす。

0063

次に、動き補間画像1902に対して表示素子201が右に1画素分且つ下に1画素分ずれた状態であるサブフレーム3の間引き画像2002を、基準位置を動き補間画像1902中の画素1902−(2,2)に置き、サンプリング位相3に従って作成する。作成の過程を図21(C)に示す。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201eの左上に対応する動き補間画像1902の画素1902aが画素201eのサンプリング画素となる。したがって、画素1902aの画素情報が画素201eへ引き継がれる。ここで、画素1902aは処理済みオブジェクト1801の一部であるため、画素201eは処理済みオブジェクト1801の一部となる。また、表示素子201の画素201eの下の画素201fに対しては、動き補間画像1902の画素1902aから1画素とばした下の画素1902bが画素201fのサンプリング画素となる。したがって、画素1902bの画素情報が画素201fへ引き継がれる。ここで、画素1902bも処理済みオブジェクト1801の一部であるため、画素201fも処理済みオブジェクト1801の一部となる。すなわち、間引き画像2002の画素201a及び画素201bは処理済みオブジェクト1801をなす。

0064

次に、動き補間画像1903に対して表示素子201が下に1画素分ずれた状態であるサブフレーム4の間引き画像2003を、基準位置を動き補間画像1903中の画素1903−(1,2)に置き、サンプリング位相4に従って作成する(図21(D))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201gの左上に対応する動き補間画像1903の画素1903aが画素201gのサンプリング画素となる。したがって、画素1903aの画素情報が画素201gへ引き継がれる。ここで、画素1903aは処理済みオブジェクト1801の一部であるため、画素201gは処理済みオブジェクト1801の一部となる。また、表示素子201の画素201gの下の画素201hに対しては、動き補間画像1903の画素1903aから1画素とばした下の画素1903bが画素201hのサンプリング画素となる。したがって、画素1903bの画素情報が画素201hへ引き継がれる。ここで、画素1903bも処理済みオブジェクト1801の一部であるため、画素201hも処理済みオブジェクト1801の一部となる。すなわち、間引き画像2003の画素201a及び画素201bは処理済みオブジェクト1801をなす。

0065

このように、動き補間画像1900〜1903においてサブフレーム1〜サブフレーム4の各タイミングに応じて移動された処理済みオブジェクト1801が、間引き画像2000〜2003へ反映される。

0066

一方、S1602において、動きベクトル1700の絶対値が所定値未満であると判定された場合、図4のS401、S402の処理が実行されて間引き画像保持部301a〜301dは作成された間引き画像500〜503を保持する。

0067

次いで、表示画像作成部306a〜306dが間引き画像2000〜2003及び間引き画像500〜503から表示画像を作成する。動きベクトル1700の絶対値が所定値以上である場合、表示画像作成部306a〜306dは間引き画像2000〜2003を表示画像として設定する。また、動きベクトル1700の絶対値が所定値未満である場合、表示画像作成部306a〜306dは間引き画像500〜503を表示画像として設定する。

0068

その後、画像表示部307が表示画像作成部306a〜306dによって作成された表示画像を投影面102へ順次投影表示する(S1607)。

0069

間引き画像2000〜2003は、動きオブジェクト701の代わりに処理済みオブジェクト1801が含まれること以外は動き補間画像800〜803と同じ形態を有する。したがって、動きベクトル1700の絶対値が所定値以上である場合の表示形態は、図11の表示形態と同じになる。

0070

本実施の形態によれば、間引き画像500〜503の代わりに間引き画像2000〜2003を順次表示することにより、青色と黄色のオブジェクト202を処理済みオブジェクト1801へ置き換える。処理済みオブジェクト1801はローパスフィルタリング処理によって作成されるため、折り返し雑音が消去され、例えば、青色又は黄色に変色することがない。これにより、元画像に含まれて移動するオブジェクト202が不自然に投影表示されるのを抑制することができる。

0071

また、本実施の形態では、動きベクトル1700の算出や動きオブジェクト1800の抽出を元画像の元画像200に基づいて行うが、元画像200には、例えば、平均化処理が施されていないため、元画像200の情報は減少していない。したがって、動きベクトル1700の算出や動きオブジェクト1800の抽出を、第1の実施の形態に比して精度よく行うことができる。

0072

なお、間引き画像2000〜2003の作成の際、元画像200に比して解像度が1/2(4Kから2K)に低下する。したがって、動きオブジェクト1800にローパスフィルタリング処理を施して処理済みオブジェクト1801を作成する際、動きオブジェクト1800へ縦横の画素数が1/2になる縮小処理、例えば、隣接画素平均化処理を施してもよい。これにより、作成された処理済みオブジェクト1801の解像度のみが1/2に低下するため、S1606において間引き画像2000〜2003を作成する際にサンプリングを行う必要を無くすことができる。

0073

次に、本発明の第3の実施の形態について説明する。第3の実施の形態は、その構成、作用が上述した第1の実施の形態や第2の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第3の実施の形態は、動きベクトルの算出や動きオブジェクトの抽出を元画像に基づいて行う点で第2の実施の形態と同じである。一方、第2の実施の形態では、処理済みオブジェクト1801を用いて動き補間画像1900〜1903を作成した。しかしながら、第3の実施の形態は、処理済みオブジェクトを元画像に合成し、合成された元画像をサンプリングする点で第2の実施の形態と異なる。

0074

なお、本実施の形態においても、出力装置103は解像度が4Kの元画像を供給し、投影装置101が有する表示素子201の解像度は2Kである。また、元画像200は1フレームに相当する時間に16画素分図中右方へ移動するオブジェクト202を含む。

0075

図22は、本実施の形態において投影装置101が実現する機能を概念的に示す機能ブロック図である。なお、図3図16の機能ブロック図と共通する機能部についてはその説明を省略する。図22に示すように、本実施の形態では、元画像200の動きオブジェクト1800を処理済みオブジェクト1801で置き換える画像置き換え部2100が実現される。また、間引き画像から動きの補間画像を作成する補間画像作成部2101a〜2101d(補間画像作成手段)が実現される。各機能部は、投影装置101が有するCPUがメモリ等に格納されたプログラムを実行することによって実現される。

0076

以下、本実施の形態に係る投影制御装置の制御方法である画像表示処理について説明する。図23は、本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。

0077

図23において、まず、動きベクトル算出部1500は、図17のS1601と同様に、元画像200からオブジェクト202の動きベクトル1700を算出する(S2201)。さらに、動きベクトル算出部1500は、図17のS1602と同様に、算出された動きベクトル1700の絶対値が所定値以上であるか否かを判定する(S2202)。

0078

動きベクトル1700の絶対値が所定値以上であると判定された場合、動きオブジェクト抽出部1501は、図17のS1603と同様に、元画像200の背景からオブジェクト202を分離して動きオブジェクト1800として抽出する(S2203)。次いで、ローパスフィルタリング部1502は、図17のS1604と同様に、動きオブジェクト1800にローパスフィルタリング処理を施す(S2204)。なお、ローパスフィルタリング部1502が抽出された全ての動きオブジェクト1800にローパスフィルタリング処理を施す必要はないことは、第2の実施の形態と同様である。また、S2204のローパスフィルタリング処理として、第2の実施の形態におけるローパスフィルタリング処理と同様のものが用いられる。次いで、画像置き換え部2100が、図24に示すように、元画像200の動きオブジェクト1800を処理済みオブジェクト1801で置き換えて合成画像2300を作成する(S2205)。合成画像2300はサンプリング部300へ受け渡される。

0079

一方、S2202において、動きベクトル1700の絶対値が所定値未満であると判定された場合、S2203〜S2205の処理がスキップされる。すなわち、元画像200のオブジェクト202が処理済みオブジェクト1801に置き換えられず、元画像がそのままがサンプリング部300へ受け渡される。

0080

次いで、サンプリング部300は受け渡された画像(合成画像2300又は元画像)から各画素をサンプリングして間引き画像を作成する(S2206)。本実施の形態では、受け渡された画像において、表示素子201と同じ画素数の4つの間引き画像の各基準位置を置く画素をそれぞれ異ならせながら、4つの間引き画像が作成される。

0081

図25は、本実施の形態における間引き画像の作成を説明するための図である。なお、ここでは合成画像2300がサンプリング部300へ受け渡された場合について説明する。図中において、合成画像2300の各画素は破線で示され、表示素子201の各画素が実線で示される。以下、本実施の形態では、合成画像2300の左上隅において互いに隣接する4画素が基準位置を置く画素として設定される。具体的には、画素2300−(1,1)、2300−(2,1)、2300−(2,2)、2300−(1,2)を、4つの間引き画像の各基準位置を置く画素とする。なお、ここでのサブフレーム1〜サブフレーム4は、第1の実施の形態と同様に、元画像の1フレームに相当する時間を4つに均等に分けた、それぞれのタイミングに相当する。

0082

本実施の形態では、合成画像の解像度が元画像と同じ4Kであるのに対し表示素子の解像度が2Kである。また、表示素子の画素の大きさが合成画像の画素の大きさの2倍であり、サンプリング間隔が合成画像2300の一画素とばしである。さらに、基準位置のずらし量と投影光学系のずらし量が共に合成画像の一画素ほどである。これらの条件が相まって、結果的に、図25においては、合成画像2300からサンプリングされる画素は、表示素子201の各画素の左上に対応する画素となる。

0083

まず、合成画像2300に対して表示素子201がずれていない状態であるサブフレーム1の間引き画像2400を、基準位置を合成画像2300中の画素2300−(1,1)に置き、サンプリング位相1に従って作成する(図25(A))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する合成画像2300の画素2300aが画素201aのサンプリング画素となる。したがって、画素2300aの画素情報が画素201aへ引き継がれる。ここで、画素2300aは処理済みオブジェクト1801の一部であるため、画素201aも処理済みオブジェクト1801の一部となる。また、表示素子201の画素201aの下の画素201bに対しては、合成画像2300の画素2300aから1画素とばした下の画素2300bが画素201bのサンプリング画素となる。したがって、画素2300bの画素情報が画素201bへ引き継がれる。ここで、画素2300bも処理済みオブジェクト1801の一部であるため、画素201bも処理済みオブジェクト1801の一部となる。すなわち、間引き画像2400の画素201a及び画素201bは処理済みオブジェクト1801をなす。

0084

次に、合成画像2300に対して表示素子201が右に1画素分ずれた状態であるサブフレーム2の間引き画像2401を、基準位置を合成画像2300中の画素2300−(2,1)に置き、サンプリング位相2に従って作成する(図25(B))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する合成画像2300の画素2300cが画素201aのサンプリング画素となる。したがって、画素2300cの画素情報が画素201aへ引き継がれる。ここで、画素2300cは処理済みオブジェクト1801の一部であるため、画素201aは処理済みオブジェクト1801の一部となる。また、表示素子201の画素201aの下の画素201bに対しては、合成画像2300の画素2300cから1画素とばした下の画素2300dが画素201bのサンプリング画素となる。したがって、画素2300dの画素情報が画素201bへ引き継がれる。ここで、画素2300dも処理済みオブジェクト1801の一部であるため、画素201bも処理済みオブジェクト1801の一部となる。すなわち、間引き画像2401の画素201a及び画素201bは処理済みオブジェクト1801をなす。

0085

次に、合成画像2300に対して表示素子201が右に1画素分ずれ且つ下に1画素分ずれた状態であるサブフレーム3の間引き画像2402を、基準位置を合成画像2300中の画素2300−(2,2)に置き、サンプリング位相3に従って作成する。作成の過程を図25(C)に示す。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する合成画像2300の画素2300eが画素201aのサンプリング画素となる。したがって、画素200eの画素情報が画素201aへ引き継がれる。ここで、画素2300eは処理済みオブジェクト1801の一部であるため、画素201aは処理済みオブジェクト1801の一部となる。また、表示素子201の画素201aの下の画素201bに対しては、合成画像2300の画素2300eから1画素とばした下の画素2300fが画素201bのサンプリング画素となる。したがって、画素2300fの画素情報が画素201bへ引き継がれる。ここで、画素2300fも処理済みオブジェクト1801の一部であるため、画素201bも処理済みオブジェクト1801の一部となる。すなわち、間引き画像2402の画素201a及び画素201bは処理済みオブジェクト1801をなす。

0086

次に、合成画像2300に対して表示素子201が下に1画素分ずれた状態であるサブフレーム4の間引き画像2403を、基準位置を合成画像2300中の画素2300−(1,2)に置き、サンプリング位相4に従って作成する(図25(D))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する合成画像2300の画素2300gが画素201aのサンプリング画素となる。画素2300gは処理済みオブジェクト1801の一部であるため、画素201aは処理済みオブジェクト1801の一部となる。また、画素201aの下の画素201bに対しては、合成画像2300の画素2300gから1画素とばした下の画素2300hが画素201bのサンプリング画素となる。画素2300hも処理済みオブジェクト1801の一部であるため、画素201bも処理済みオブジェクト1801の一部となる。すなわち、間引き画像2403の画素201a及び画素201bは処理済みオブジェクト1801をなす。

0087

図23に戻り、間引き画像保持部301a〜301dは作成された間引き画像2400〜2403を保持する(S2207)。具体的に、間引き画像保持部301aは間引き画像2400を保持し、間引き画像保持部301bは間引き画像2401を保持し、間引き画像保持部301cは間引き画像2402を保持し、間引き画像保持部301dは間引き画像2403を保持する。その後、補間画像作成部2101a〜2101dが保持された間引き画像2400〜2403を用いて動き補間画像2500〜2503を作成する(S2208)。

0088

図26は、図23のS2208における動き補間画像の作成を説明するための図である。まず、補間画像作成部2101aは、動きベクトル1700からサブフレーム1の処理済みオブジェクト1801の位置を算出する。次いで、補間画像作成部2101aは、間引き画像2400において処理済みオブジェクト1801を算出された位置へ配置し、背景と合成して動き補間画像2500を作成する(図26(A))。次に、補間画像作成部2101bは、動きベクトル1700からサブフレーム2の処理済みオブジェクト1801の位置を算出する。次いで、補間画像作成部2101bは、間引き画像2401において処理済みオブジェクト1801を算出された位置へ配置し、背景と合成して動き補間画像2501を作成する(図26(B))。さらに、補間画像作成部2101cは、動きベクトル1700からサブフレーム3の処理済みオブジェクト1801の位置を算出する。次いで、補間画像作成部2101cは、間引き画像2402において処理済みオブジェクト1801を算出された位置へ配置し、背景と合成して動き補間画像2502を作成する(図26(C))。また、補間画像作成部2101dは、動きベクトル1700からサブフレーム4の処理済みオブジェクト1801の位置を算出する。次いで、補間画像作成部2101dは、間引き画像2403において処理済みオブジェクト1801を算出された位置へ配置し、背景と合成して動き補間画像2503を作成する(図26(D))。動き補間画像2500〜2503の作成では、間引き画像2400〜2403から処理済みオブジェクト1801を一旦除去することにより、背景を作成する。このとき、処理済みオブジェクト1801が除去された部分には、処理済みオブジェクト1801の周囲の画素から推定された画素又は1フレームに相当する時間が経過した後の間引き画像2400〜2403から推定された画素が埋め込まれる。すなわち、S2208では、実質的に間引き画像2400〜2403の処理済みオブジェクト1801が、サブフレームに応じて動きが補間された処理済みオブジェクト1801と置き換えられる。

0089

なお、S2202において、動きベクトル1700の絶対値が所定値未満であると判定された場合、元画像から4つの間引き画像が作成され、これらの間引き画像を用いて動き補間画像が作成される。

0090

その後、画像表示部307が作成された動き補間画像2500〜2503を投影面102へ順次投影表示する(S2209)。動き補間画像2500〜2503は、動きオブジェクト701の代わりに処理済みオブジェクト1801が含まれること以外は動き補間画像800〜803と同じ形態を有する。したがって、動きベクトル1700の絶対値が所定値以上である場合の表示形態は、図11の表示形態と同じになる。

0091

本実施の形態によれば、サンプリングによる間引き画像2400〜2403の作成前に合成画像2300において、動きオブジェクト1800が処理済みオブジェクト1801に置き換えられる。処理済みオブジェクト1801はローパスフィルタリング処理によって作成されるため、間引き画像2400〜2403からは折り返し雑音が消去される。したがって、間引き画像2400〜2403から作成された動き補間画像2500〜2503を順次投影表示しても、オブジェクトが、例えば、青色又は黄色に変色しながら移動することがない。これにより、元画像に含まれて移動するオブジェクト202が不自然に投影表示されるのを抑制することができる。また、本実施の形態でも、第2の実施の形態と同様に、動きベクトル1700の算出や動きオブジェクト1800の抽出を第1の実施の形態に比して精度よく行うことができる。

0092

本実施の形態では、サンプリング部300による間引き画像の作成前に、動きベクトル1700の算出やローパスフィルタリング処理を行い、元画像において動きオブジェクト1800を処理済みオブジェクト1801に置き換えて合成画像を作成する。したがって、サンプリング部300による間引き画像の作成前のこれらの処理をまとめて投影装置101とは別の投影制御装置で行うことができる。例えば、図27に示すように、画像投影システム2600が、投影装置2601と、投影面102と、信号処理装置2602(投影制御装置)と、信号処理装置2602へ動画である元画像を供給する出力装置103とを備えてもよい。この場合、信号処理装置2602が、動きベクトル1700の算出、ローパスフィルタリング処理や元画像における動きオブジェクト1800の処理済みオブジェクト1801への置き換えを行い、合成画像2300を作成する。また、信号処理装置2602は、合成画像2300とともに動きオブジェクト1800や動きベクトル1700に関する情報を、例えば、メタデータとして投影装置2601に供給する。この場合、投影装置2601は動きベクトル1700の算出、動きオブジェクト1800の抽出やローパスフィルタリング処理を行う必要がないため、構成を簡素化することができる。その結果、投影装置2601のコストを低減することができる。

0093

次に、本発明の第4の実施の形態について説明する。第4の実施の形態は、その構成、作用が上述した第2の実施の形態や第3の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第4の実施の形態は、動きベクトルの算出や動きオブジェクトの抽出を元画像に基づいて行う点で第2の実施の形態や第3の実施の形態と同じである。

0094

しかしながら、第2の実施の形態では、位相に応じて移動された処理済みオブジェクト1801を含む動き補間画像1900〜1903を作成する。また、第3の実施の形態では、元画像の動きオブジェクト1800そのものを処理済みオブジェクト1801で置き換える。一方、第4の実施の形態では、処理済みオブジェクト1801の移動や置き換えは行われず、動き補間を考慮して元画像においてサンプリングされる画素を、処理済みオブジェクト1801を構成する画素(以下、「処理済み画素」という。)で置き換える。

0095

なお、本実施の形態においても、出力装置103は解像度が4Kの元画像を供給し、投影装置101が有する表示素子201の解像度は2Kである。また、元画像200は1フレームに相当する時間に16画素分図中右方へ移動するオブジェクト202を含む。

0096

図28は、本実施の形態において投影制御装置や投影装置が実現する機能を概念的に示す機能ブロック図である。なお、図16図22の機能ブロック図と共通する機能部についてはその説明を省略する。図28に示すように、本実施の形態では、動きベクトルに基づいて動き補間を考慮し、元画像においてサンプリングされる画素を処理済み画素で置き換える補間画像合成部2700(補間画像合成手段)が実現される。各機能部は、投影装置101が有するCPUがメモリ等に格納されたプログラムを実行することによって実現される。

0097

以下、本実施の形態に係る投影制御装置の制御方法である画像表示処理について説明する。図29は、本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。

0098

図29において、まず、動きベクトル算出部1500は、図17のS1601と同様に、元画像200からオブジェクト202の動きベクトル1700を算出する(S2801)。さらに、動きベクトル算出部1500は、図17のS1602と同様に、算出された動きベクトル1700の絶対値が所定値以上であるか否かを判定する(S2802)。

0099

動きベクトル1700の絶対値が所定値以上であると判定された場合、動きオブジェクト抽出部1501は、図17のS1603と同様に、元画像200の背景からオブジェクト202を分離して動きオブジェクト1800として抽出する(S2803)。次いで、ローパスフィルタリング部1502は、図17のS1604と同様に、動きオブジェクト1800にローパスフィルタリング処理を施す(S2804)。なお、ローパスフィルタリング部1502が抽出された全ての動きオブジェクト1800にローパスフィルタリング処理を施す必要はないことは、第2の実施の形態と同様である。また、S2804のローパスフィルタリング処理として、第2の実施の形態におけるローパスフィルタリング処理と同様のものが用いられる。その後、補間画像作成部1503が、図17のS1605と同様に、処理済みオブジェクト1801を用いて動き補間画像1900〜1903を作成する(S2805)。

0100

次いで、補間画像合成部2700が、動き補間画像1900〜1903を用い、画像ずらし技術によって元画像200のサンプリングされる画素を処理済み画素で置き換えることにより、合成画像を作成する(S2806)。

0101

図30は、本実施の形態における合成画像の作成を説明するための図である。図中において、動き補間画像1900〜1903の各画素は破線で示され、表示素子201の各画素が実線で示される。

0102

本実施の形態では、基本的に、背景に関しては元画像200の背景がそのまま用いられるが、動きオブジェクトに関しては、動き補間画像1900〜1903からサンプリングされた処理済みオブジェクト1801の画素で置き換えられる。本実施の形態では、動き補間画像から動きオブジェクトの画素をサンプリングする場合、動き補間画像1900〜1903の左上隅近傍において互いに1画素ずつ位置の異なる各画素に、動き補間画像1900〜1903のそれぞれに対する基準位置が置かれる。動き補間画像1900に対しては画素1900−(1,1)に基準位置が置かれ、動き補間画像1901に対しては画素1901−(2,1)に基準位置が置かれる。動き補間画像1902に対しては画素1902−(2,2)に基準位置が置かれ、動き補間画像1903に対しては画素1903−(1,2)に基準位置が置かれる。そして、各サンプリング位相に従って一画素とばしの画素間隔を持って画素がサンプリングされる。

0103

ここで、動き補間画像の解像度が4Kであるのに対し表示素子の解像度が2Kである。また、表示素子の画素の大きさが動き補間画像の画素の大きさの2倍であり、サンプリング間隔が各動き補間画像の一画素とばしである。さらに、基準位置のずらし量と投影光学系のずらし量が共に動き補間画像の一画素ほどである。これらの条件が相まって、結果的に、図30において、動き補間画像1900〜1903からサンプリングされる画素は、表示素子201の各画素の左上に対応する画素となる。

0104

したがって、本実施の形態では、合成画像を作成する際、元画像200において表示素子201の各画素の左上に対応する画素が、動き補間画像1900〜1903において表示素子201の各画素の左上に対応する画素で置き換えられる。また、このとき、サブフレーム1〜4のそれぞれにおいてサンプリングされる画素が置き換えられる。なお、サブフレーム1では元画像200からオブジェクト202を除去することによって作成された背景に対して表示素子201がずれていない状態にある。サブフレーム2では背景に対して表示素子201が右に1画素分ずれた状態にある。サブフレーム3では背景に対して表示素子201が右に1画素分ずれ且つ下に1画素分ずれた状態にある。サブフレーム4では背景に対して表示素子201が下に1画素分ずれた状態にある。

0105

例えば、サブフレーム1では、サブフレーム1のタイミングの動き補間画像1900の処理済みオブジェクト1801に対応する表示素子201の画素201aの左上に対応する画素1900aがサンプリングされる。そして、元画像200の(あるいは背景の)画素1900aに対応する位置の画素が、当該サンプリングされた画素1900aで置き換えられる。また、動き補間画像1900の処理済みオブジェクト1801に対応する表示素子201の画素201bの左上に対応する画素1900bがサンプリングされる。そして、元画像200の画素1900bに対応する位置の画素が、当該サンプリングされた画素1900bで置き換えられる。

0106

また、サブフレーム2では、サブフレーム2のタイミングの動き補間画像1901の処理済みオブジェクト1801に対応する表示素子201の画素201cの左上に対応する画素1901aがサンプリングされる。そして、元画像200の、画素1901aに対応する位置の画素が、当該サンプリングされた画素1901aで置き換えられる。また、動き補間画像1901の処理済みオブジェクト1801に対応する表示素子201の画素201dの左上に対応する画素1901bがサンプリングされる。そして、元画像200の画素1901bに対応する位置の画素が、当該サンプリングされた画素1901bで置き換えられる。

0107

さらに、サブフレーム3では、サブフレーム3のタイミングの動き補間画像1902の処理済みオブジェクト1801に対応する表示素子201の画素201eの左上に対応する画素1902aがサンプリングされる。そして、元画像200の、画素1902aに対応する位置の画素が、当該サンプリングされた画素1902aで置き換えられる。また、動き補間画像1902の処理済みオブジェクト1801に対応する表示素子201の画素201fの左上に対応する画素1902bがサンプリングされる。そして、元画像200の画素1902bに対応する位置の画素が、当該サンプリングされた画素1902bで置き換えられる。

0108

また、サブフレーム4では、サブフレーム4のタイミングの動き補間画像1903の処理済みオブジェクト1801に対応する表示素子201の画素201gの左上に対応する画素1903aが、サンプリングされる。そして、元画像200の、画素1903aに対応する位置の画素が、当該サンプリングされた画素1903aで置き換えられる。また、動き補間画像1903の処理済みオブジェクト1801に対応する表示素子201の画素201hの左上に対応する画素1903bがサンプリングされる。そして、元画像200の画素1903bに対応する位置の画素が、当該サンプリングされた画素1903bで置き換えられる。

0109

このようにして、補間画像合成部2700は、背景においてサンプリングされる画素に対応する各画素を画素1900a〜1903bで置き換えて合成画像2900を作成し、該合成画像2900をサンプリング部300へ受け渡す。合成画像2900は、上述したように、動き補間画像1900〜1903に基づいて作成される。動き補間画像1900〜1903は処理済みオブジェクト1801の動きを補間する画像であるため、合成画像2900には処理済みオブジェクト1801の動きの補間が反映される。また、画素1900a〜1903bは処理済みオブジェクト1801を構成する画素であるため、合成画像2900が含む画素1900a〜1903bも処理済み画素となる。

0110

一方、S2802において、動きベクトル1700の絶対値が所定値未満であると判定された場合、S2803〜S2806の処理がスキップされる。すなわち、合成画像2900を作成せず、元画像がそのままがサンプリング部300へ受け渡される。

0111

次いで、サンプリング部300は受け渡された画像(合成画像2900又は元画像)からオブジェクトや画素をサンプリングして間引き画像を作成する(S2807)。本実施の形態では、受け渡された画像において、表示素子201と同じ画素数の4つの間引き画像の各基準位置を置く画素をそれぞれ異ならせながら、4つの間引き画像が作成される。

0112

図31は、本実施の形態における間引き画像の作成を説明するための図である。図中において、合成画像2900の各画素は破線で示され、表示素子201の各画素が実線で示される。以下、本実施の形態では、合成画像2900の左上隅において互いに隣接する4画素が基準位置を置く画素として設定される。具体的に、画素2900−(1,1)、2900−(2,1)、2900−(2,2)、2900−(1,2)に基準位置が置かれる。

0113

まず、合成画像2900に対して表示素子201がずれていない状態であるサブフレーム1の間引き画像3000を、基準位置を合成画像2900中の画素2900−(1,1)に置き、サンプリング位相1に従って作成する(図31(A))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する合成画像2900の置き換えられた画素1900aが画素201aのサンプリング画素となる。したがって、画素1900aの画素情報が画素1900aに対応する表示素子201の画素201aへ引き継がれる。また、表示素子201の画素201aの下の画素201bに対しては、合成画像2900の置き換えられた画素1900aから1画素とばした下の同様に置き換えられた画素1900bが画素201bのサンプリング画素となる。したがって、画素1900bの画素情報が画素1900bに対応する表示素子201の画素201bへ引き継がれる。ここで、画素1900a及び画素1900bは処理済み画素であるため、画素201a及び画素201bも処理済み画素となる。すなわち、間引き画像3000の画素201a及び画素201bは処理済み画素からなる処理済みオブジェクト1801をなす。

0114

次に、合成画像2900に対して表示素子201が右に1画素分ずれた状態であるサブフレーム2の間引き画像3001を、基準位置を合成画像2900中の画素2900−(2,1)に置き、サンプリング位相2に従って作成する(図31(B))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する合成画像2900の置き換えられた画素1901aが画素201aのサンプリング画素となる。したがって、画素1901aの画素情報が画素1901aに対応する表示素子201の画素201cへ引き継がれる。また、表示素子201の画素201aの下の画素201bに対しては、合成画像2900の置き換えられた画素1901aから1画素とばした下の同様に置き換えられた画素1901bが画素201bのサンプリング画素となる。したがって、画素1901bの画素情報が画素1901bに対応する表示素子201の画素201dへ引き継がれる。ここで、画素1901a及び画素1901bは処理済み画素であるため、画素201c及び画素201dも処理済み画素となる。すなわち、間引き画像3001の画素201c及び画素201dは処理済み画素からなる処理済みオブジェクト1801をなす。

0115

次に、合成画像2900に対して表示素子201が右に1画素分ずれ且つ下に1画素分ずれた状態であるサブフレーム3の間引き画像3002を、基準位置を合成画像2900中の画素2900−(2,2)に置き、サンプリング位相3に従って作成する。作成の過程を図31(C)に示す。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する合成画像2900の置き換えられた画素1902aが画素201aのサンプリング画素となる。したがって、画素1902aの画素情報が画素1902aに対応する表示素子201の画素201eへ引き継がれる。また、表示素子201の画素201aの下の画素201bに対しては、合成画像2900の置き換えられた画素1902aから1画素とばした下の同様に置き換えられた画素1902bが画素201bのサンプリング画素となる。したがって、画素1902bの画素情報が画素1902bに対応する表示素子201の画素201fへ引き継がれる。ここで、画素1902a及び画素1902bは処理済み画素であるため、画素201e及び画素201fも処理済み画素となる。すなわち、間引き画像3002の画素201e及び画素201fは処理済み画素からなる処理済みオブジェクト1801をなす。

0116

次に、合成画像2900に対して表示素子201が下に1画素分ずれた状態であるサブフレーム4の間引き画像3003を、基準位置を合成画像2900中の画素2900−(1,2)に置き、サンプリング位相4に従って作成する(図31(D))。処理済みオブジェクト1801に対応する部分について詳しく見ると、表示素子201における処理済みオブジェクト1801に対応する画素201aの左上に対応する合成画像2900の置き換えられた画素1903aが画素201aのサンプリング画素となる。したがって、画素1903aの画素情報が画素1903aに対応する表示素子201の画素201gへ引き継がれる。また、表示素子201の画素201aの下の画素201bに対しては、合成画像2900の置き換えられた画素1903aから1画素とばした下の同様に置き換えられた画素1903bが画素201bのサンプリング画素となる。したがって、画素1903bの画素情報が画素1903bに対応する表示素子201の画素201hへ引き継がれる。ここで、画素1903a及び画素1903bは処理済み画素であるため、画素201g及び画素201hも処理済み画素となる。すなわち、間引き画像3003の画素201g及び画素201hは処理済み画素からなる処理済みオブジェクト1801をなす。

0117

このように、間引き画像3000〜3003は処理済みオブジェクト1801の動きの補間が反映された画素1900a〜1903bに基づいて作成されるため、間引き画像3000〜3003が含む処理済みオブジェクト1801にも動きの補間が反映される。

0118

図29に戻り、間引き画像保持部301a〜301dは作成された間引き画像3000〜3003を保持する(S2808)。具体的に、間引き画像保持部301aは間引き画像3000を保持し、間引き画像保持部301bは間引き画像3001を保持し、間引き画像保持部301cは間引き画像3002を保持し、間引き画像保持部301dは間引き画像3003を保持する。

0119

その後、画像表示部307が作成された間引き画像3000〜3003を投影面102へ順次投影表示する(S2809)。間引き画像3000〜3003は、動きオブジェクト701の代わりに処理済みオブジェクト1801が含まれること以外は動き補間画像800〜803と同じ形態を有する。したがって、動きベクトル1700の絶対値が所定値以上である場合の表示形態は、図11の表示形態と同じになる。

0120

本実施の形態によれば、合成画像2900に含まれる画素1900a〜1903bは処理済み画素であるため、画素1900a〜1903bを用いて作成された間引き画像3000〜3003から折り返し雑音が消去される。したがって、間引き画像3000〜3003を順次投影表示しても、オブジェクトが、例えば、青色又は黄色に変色しながら移動することがない。これにより、元画像に含まれて移動するオブジェクト202が不自然に投影表示されるのを抑制することができる。

0121

また、本実施の形態でも、第2の実施の形態と同様に、動きベクトル1700の算出や動きオブジェクト1800の抽出を第1の実施の形態に比して精度よく行うことができる。さらに、本実施の形態では、合成画像2900には処理済みオブジェクト1801の動きの補間が反映される。したがって、合成画像2900からサンプリングによって作成される間引き画像3000〜3003では処理済みオブジェクト1801の動きを補間する必要が無い。これにより、本実施の形態では、間引き画像を動き補間画像に置き換える表示画像作成部を必要とせず、画像投影システムの構成を簡素化することができる。

0122

また、本実施の形態では、動き補間画像1900〜1901に基づいて元画像のサンプリングされる画素を処理済み画素で置き換えて合成画像2900を作成し、この合成画像をサンプリング部300へ受け渡す。したがって、投影装置101が従来の画素ずらし技術のみに対応するプロジェクターであっても、合成画像2900の作成までを信号処理装置で実行すれば、本発明を実施することができる。すなわち、本実施の形態では、調達容易で安価な従来のプロジェクターを用いることができるという利点がある。さらに、合成画像2900の作成を行った後、合成画像2900を直ちに投影表示することなく、一旦、DVD等のメディアハードディスク等の記憶装置に保存してもよい。この場合、保存された合成画像2900を読み出し装置再生するが、動画の投影表示と同時に合成画像2900を作成する必要がないため、合成画像2900を作成する信号処理装置の処理能力制約緩和することができる。その結果、信号処理装置として高性能なものから低性能なものまで幅広く用いることができる。

0123

例えば、図32に示すように、本実施の形態では、画像投影システム3100が、投影装置3101と、投影面102と、信号処理装置3102と、信号処理装置3102へ動画である元画像を供給する出力装置103とを備えてもよい。この場合、信号処理装置3102が、動きベクトル1700の算出、ローパスフィルタリング処理やサンプリングされる画素の処理済み画素との置き換えによる合成画像2900の作成を行う。ここでは、投影装置3101が処理済みオブジェクト1801の動きを補間する必要がないため、上述したように、従来の画素ずらし技術のみに対応するプロジェクターを信号処理装置3102として用いることができる。その結果、投影装置3101のコストを低減することができ、引いては画像投影システム全体のコストを低減することができる。

0124

また、合成画像2900を一旦メディアに保存する場合には、図33に示すように、画像投影システム3200が、投影装置3101と、投影面102と、信号処理装置3102と、出力装置103と、メディア3201と、読取装置3202とを備えてもよい。この場合、信号処理装置3102が作成した合成画像2900はメディア3201に保存され、読取装置3202がメディア3201に保存された合成画像2900を読み出して投影装置3101へ受け渡す。ここでは、動画の投影表示と同時に合成画像2900を作成する必要がないため、信号処理装置3102として高性能なものから低性能なものまで幅広く用いることができ、より実現性が高いという利点がある。

0125

上述した第1の実施の形態では、オブジェクト202の動きが大きいとき(S405でYES)、動き補間画像800〜803の動きオブジェクト701が、間引き画像500〜503のオブジェクト202の各画素の平均化によって作成される。間引き画像500〜503のオブジェクト202は元画像のオブジェクト202の画素情報を引き継いでいるため、結果として、動きオブジェクト701では元画像におけるオブジェクト202の各画素の情報が平均化される。一方、オブジェクト202の動きが小さいとき(S405でNO)、動き補間画像800〜803が作成されず、オブジェクト202の各画素の平均化も行われず、背景においても各画素の情報の平均化が行われない。ここで、各画素の情報の平均化は異なる画素の情報の混合であるとも言える。したがって、第1の実施の形態では、動きの大きいオブジェクトにおける元画像の異なる画素の情報の混合の程度が、動きの小さいオブジェクトや背景における元画像の異なる画素の情報の混合の程度よりも強いとも言える。

0126

上述した第2の実施の形態では、オブジェクト202の動きが大きいとき(S1602でYES)、間引き画像2000〜2003の処理済みオブジェクト1801が、オブジェクト202へローパスフィルタリング処理を施すことによって作成される。一方、オブジェクト202の動きが小さいとき(S1602でNO)、間引き画像2000〜2003が作成されず、オブジェクト202へローパスフィルタリング処理が施されることもない。また、背景へもローパスフィルタリング処理が施されることがない。

0127

上述した第3の実施の形態では、オブジェクト202の動きが大きいとき(S2202でYES)、動き補間画像2500〜2503の処理済みオブジェクト1801が、オブジェクト202へローパスフィルタリング処理を施すことによって作成される。一方、オブジェクト202の動きが小さいとき(S2202でNO)、動き補間画像2500〜2503が作成されず、オブジェクト202へローパスフィルタリング処理が施されることもない。また、背景へもローパスフィルタリング処理が施されることがない。

0128

上述した第4の実施の形態では、オブジェクト202の動きが大きいとき(S2802でYES)、動き補間画像1900〜1903の処理済みオブジェクト1801が、オブジェクト202へローパスフィルタリング処理を施すことによって作成される。一方、オブジェクト202の動きが小さいとき(S2802でNO)、動き補間画像1900〜1903が作成されず、オブジェクト202へローパスフィルタリング処理が施されることもない。また、背景へもローパスフィルタリング処理が施されることがない。ここで、ローパスフィルタリング処理は異なる画素の情報の混合であるとも言える。

0129

したがって、第2乃至第4の実施の形態でも、動きの大きいオブジェクトにおける元画像の異なる画素の情報の混合の程度が、動きの小さいオブジェクトや背景における元画像の異なる画素の情報の混合の程度よりも強いとも言える。

0130

すなわち、第1乃至第4の実施の形態では、動きが大きいオブジェクト202から間引き画像や動き補間画像を作成しても、オブジェクト202における元画像の異なる画素の情報の混合の程度が強いため、折り返し雑音を消失させることができる。

0131

ここで、情報が混合される元画像の異なる複数の画素は、位相の異なるサンプリングによって異なる間引き画像へ画素情報が引き継がれる複数の画素であるのが好ましい。元画像においてサンプリング画素を1つずつずらしながら間引き画像を作成する場合、情報が混合される元画像の異なる複数の画素は、元画像において互いに隣接する画素であるのが好ましい。

0132

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の1以上の機能を実現するプログラムを、ネットワーク記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0133

上述した各実施の形態では、元画像中の基準画素から一定の画素間隔で各画素をサンプリングする単純サンプリング法を用い、基準位置を置く画素を変更しながら複数の間引き画像を作成する手法へ本発明を適用した場合について説明した。しかしながら、間引き画像を含む縮小画像を作成する手法はこれに限られず、他の手法へ本発明を適用してもよい。

0134

例えば、一定の画素間隔で各画素を単純にサンプリングして縮小するのではなく、サンプリング位置周辺の画素の情報を加味して縮小する、バイリニア法バイキュービック法等の手法を用いて縮小してもよい。このような手法へ本発明を適用する場合、まず、一旦、元画像の外側にダミーの画素を追加して拡張画像を作成する。例えば、元画像の右端の右外側にダミーの画素を1列追加し、さらに、ダミーの画素が1列追加された画像の下端下外側にダミーの画素を1行追加して、拡張画像を作る。このとき、ダミーの画素の画素値(画素情報)は、元画像の適当な画素の画素値をコピーすることによって生成してもよく、一律に白色、黒色又は灰色等の画素値を設定してもよい。このように作成された拡張画像の、左上隅において互いに隣接する4画素に、各基準位置を置き、当該画素から右下側に元画像と同じ大きさの画像を切り出すことにより、4つの異なる切り出し画像を得る。そして、これら4つの異なる切り出し画像を、バイリニア法やバイキュービック法等の手法を用いて縮小し、互いに基準位置が異なる4つの縮小画像を得る。このように、単純サンプリング法以外の他の手法へ本発明を適用してもよい。

0135

上述した各実施の形態では、左上隅において互いに隣接する4画素に、各基準位置を置いたが、基準位置を置く方法は、これに限られない。基準位置を置く互いに隣接する4画素は、元画像の右上隅左下隅右下隅、若しくは中央付近に置かれてもよい。また、基準位置を置く方法に応じて、サンプリングの方向や切り出しの方向等は適宜変えてよい。

0136

また、上述した各実施の形態では、理解を容易にするために、元画像が青色の画素と黄色の画素が一画素おきに配置された市松模様をなすオブジェクト202を有する場合について説明した。しかしながら、間引き画像を作成する際に折り返し雑音が発生する元画像は、市松模様をなすオブジェクトを含む元画像に限られない。これに対応して、本発明では、上述したように、間引き画像の作成において元画像における異なる画素の情報が強く混合されるため、オブジェクトがどのような形態であっても、折り返し雑音の発生を抑制することができる。すなわち、各種の元画像に対して折り返し雑音の発生を抑制することができる。

0137

なお、上述した各実施の形態では、背景には平均化やローパスフィルタリング処理等の元画像における異なる画素の情報を混合する処理を施していない。しかしながら、背景にも元画像における異なる画素の情報を混合する処理を施す場合もある。例えば、縮小画像を作成する際に、元画像において隣接する複数画素重み平均を行うことがあり、この場合、縮小画像の背景にも元画像における異なる画素の情報が弱く混在されるが、本発明を適用することができる。

0138

上述したように、本発明では、元画像の動きの大きいオブジェクトに対して画像の異なる画素の情報を強く混合する処理を施す。より詳細には、元画像の動きの大きいオブジェクトに対して、動きの小さいオブジェクトや背景によりも画像の異なる画素の情報が強く混合される。これにより、動きの小さいオブジェクトや背景に関しては高い先鋭度を維持しつつ、動きの大きいオブジェクトに関しては折り返し雑音の発生を抑制することができる。その結果、画素ずらし技術を用いた動画の投影表示において、違和感の少ない動きの表現を実現することができる。

0139

なお、上述した各実施の形態では、間引き画像を作成する際、元画像に対して表示素子201が上下左右に1画素ずつずらされたが、元画像に対して表示素子201を斜め上下の二方向にずらして間引き画像を作成してもよい。

0140

100,2600,3100,3200画像投影システム
101,3101投影装置
200,1200元画像
201表示素子
202,1201オブジェクト
300,1504サンプリング部
302平均化画像作成部
305,1503補間画像作成部
307画像表示部
500〜503,2000〜2003,2400〜2403,3000〜3003間引き画像
506 平均化オブジェクト
700動きベクトル
701動きオブジェクト
800〜803,1900〜1903,2500〜2503動き補間画像
1502ローパスフィルタリング部
1801処理済みオブジェクト
2100 画像置き換え部
2300合成画像
2602,3102信号処理装置
2700 補間画像合成部
2900 合成画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ