図面 (/)

技術 投影装置、投影システム、制御方法、プログラム、記憶媒体

出願人 キヤノン株式会社
発明者 中原生就
出願日 2018年12月10日 (2年0ヶ月経過) 出願番号 2018-230717
公開日 2020年6月18日 (6ヶ月経過) 公開番号 2020-096217
状態 未査定
技術分野 電気信号の光信号への変換
主要キーワード 境界ベクトル 画質要素 各投影装置 減光処理 画像処理タイミング マルチ投影 水平位 未処理状態
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年6月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

マルチ投影において補間フレーム投影を行う場合に、ユーザの視認性を向上させる。

解決手段

重畳可能に設定された領域である重畳領域に対して、非重畳領域に対してよりも減光して投影する投影装置は、第1フレームと第2フレームとを含む画像信号を取得する取得手段と、第1フレームと第2フレームとから動きベクトルを検出する検出手段と、動きベクトルに基づいた補間によって、第1フレームと第2フレームとの投影の間に投影する補間フレームを生成する生成手段と、補間フレームの補間の信頼度を決定する信頼度決定手段と、他の投影装置から、補間フレームと重畳させて投影する画像に対する補間の第2信頼度を取得する通信手段と、信頼度と第2信頼度に基づいて、補間フレームを投影する場合の、重畳領域の減光の度合いを決定する決定手段とを備える。

概要

背景

近年、動画ぼやけやフリッカなどの視認性を改善するために、あるフレームF0とその次のフレームF1との間に、2つのフレームのオブジェクト動きを補間する1以上のフレーム(補間フレーム中間画像)を挿入して画像を表示する技術がある。

しかしながら、フレームF0に存在したオブジェクトが、フレームF1では存在しない場合、フレームF0に存在したオブジェクトに対応するオブジェクトを補間フレーム(補完フレーム)で適切に表示できないことがある。このような課題に対して、特許文献1には、画像の端部では、補間フレームの画像生成処理強度を小さくすることにより、補間フレームの端部付近において、乱れや歪みが生じることによる画質劣化の視認の可能性を抑制する技術が開示されている。

一方で、投影装置を複数備えて、各投影装置を並べて投影することで1つの投影画像(以降、統合画像と呼ぶ)を形成し、高解像度の表示を実現するマルチ投影と呼ばれる技術がある。このマルチ投影を行う際には、それぞれの投影装置の投影画像の一部分が重ね合わさった重畳領域を設けて投影を行う。

概要

マルチ投影において補間フレームの投影を行う場合に、ユーザの視認性を向上させる。重畳可能に設定された領域である重畳領域に対して、非重畳領域に対してよりも減光して投影する投影装置は、第1フレームと第2フレームとを含む画像信号を取得する取得手段と、第1フレームと第2フレームとから動きベクトルを検出する検出手段と、動きベクトルに基づいた補間によって、第1フレームと第2フレームとの投影の間に投影する補間フレームを生成する生成手段と、補間フレームの補間の信頼度を決定する信頼度決定手段と、他の投影装置から、補間フレームと重畳させて投影する画像に対する補間の第2信頼度を取得する通信手段と、信頼度と第2信頼度に基づいて、補間フレームを投影する場合の、重畳領域の減光の度合いを決定する決定手段とを備える。

目的

本発明は、マルチ投影において補間フレームの投影を行う場合に、ユーザの視認性を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

他の投影装置投影する画像の一部と重畳可能に設定された領域である重畳領域に対して、重畳領域ではない領域である非重畳領域に対してよりも減光して投影する投影装置であって、第1フレームと、前記第1フレームの次のフレームである第2フレームとを含む画像信号を取得する取得手段と、前記第1フレームと前記第2フレームとから、動きベクトルを検出する検出手段と、前記動きベクトルに基づいた補間によって、前記第1フレームと前記第2フレームとの投影の間に投影する補間フレームを生成する生成手段と、前記補間フレームに対する補間の信頼度を決定する信頼度決定手段と、前記他の投影装置から、前記補間フレームと重畳させて投影する画像に対する補間の第2信頼度を取得する通信手段と、前記信頼度と前記第2信頼度に基づいて、前記補間フレームを投影する場合の、前記重畳領域の前記減光の度合いを決定する決定手段と、を備えることを特徴とする投影装置。

請求項2

前記決定手段は、前記第2信頼度に対する前記信頼度の比が大きいほど、前記補間フレームを投影する場合の前記減光の度合いを少なく決定する、ことを特徴とする請求項1に記載の投影装置。

請求項3

前記信頼度決定手段は、前記動きベクトルのうち前記重畳領域と前記非重畳領域との境界と交わるベクトルの数に基づいて、前記信頼度を決定する、ことを特徴とする請求項1または請求項2に記載の投影装置。

請求項4

前記信頼度決定手段は、前記補間フレームにおいて前記生成手段が生成するオブジェクト階調値と、前記オブジェクトの周囲の階調値との差に基づいて、前記信頼度を決定し、前記オブジェクトは、前記動きベクトルのうち前記重畳領域と前記非重畳領域との境界と交わるベクトルに基づいて生成されたものである、ことを特徴とする請求項1から3のいずれか1項に記載の投影装置。

請求項5

前記検出手段は、前記動きベクトルの検出精度を決定し、前記信頼度決定手段は、前記検出精度に基づいて、前記信頼度を決定することを特徴とする請求項1から4のいずれか1項に記載の投影装置。

請求項6

前記検出精度は、前記動きベクトルのうち前記重畳領域に始点および終点が含まれるベクトルの検出精度であり、前記第1フレームにおける当該ベクトルに対応するオブジェクトと前記第2フレームにおける当該オブジェクトとの階調値の相関が高いほど高い値である、ことを特徴とする請求項5に記載の投影装置。

請求項7

前記重畳領域が複数ある場合には、前記信頼度決定手段は、前記重畳領域ごとに前記信頼度を決定し、前記通信手段は、前記重畳領域ごとに前記第2信頼度を取得し、前記決定手段は、前記重畳領域ごとの前記信頼度および前記第2信頼度に基づいて、前記重畳領域ごとの前記減光の度合いを決定する、ことを特徴とする請求項1から6のいずれか1項に記載の投影装置。

請求項8

前記決定手段は、前記信頼度が前記第2信頼度よりも大きい場合には、前記第2信頼度に対する前記信頼度の比が大きいほど、前記重畳領域の範囲において前記投影装置が前記減光をしない領域を大きな範囲に決定する、ことを特徴とする請求項1から7のいずれか1項に記載の投影装置。

請求項9

前記決定手段は、前記信頼度が前記第2信頼度よりも小さい場合には、前記第2信頼度に対する前記信頼度の比が小さいほど、前記重畳領域の範囲において前記投影装置が投影しない領域を大きな範囲に決定する、ことを特徴とする請求項1から8のいずれか1項に記載の投影装置。

請求項10

前記重畳領域は、他の投影装置のうち1つの投影装置の投影画像と重畳する第1重畳領域と、他の投影装置のうち2以上の投影装置の投影画像と重畳する第2重畳領域との2種類を含み、前記信頼度決定手段は、前記動きベクトルのうちの、前記第2重畳領域と前記第1重畳領域との複数の境界を跨ぐベクトルと、前記第2重畳領域に始点または終点の一方が存在し、他方が前記非重畳領域に存在するベクトルと、の合計数に基づいて、前記信頼度を決定する、ことを特徴とする請求項1に記載の投影装置。

請求項11

請求項1から10のいずれか1項に記載の投影装置を複数備え、1つの画像信号を分配することによって、複数の前記投影装置にそれぞれ異なる画像信号を出力する画像送出器をさらに備える、ことを特徴とする投影システム

請求項12

他の投影装置が投影する画像の一部と重畳可能に設定された領域である重畳領域に対して、重畳領域ではない領域である非重畳領域に対してよりも減光して投影する投影装置の制御方法であって、第1フレームと、前記第1フレームの次のフレームである第2フレームとを含む画像信号を取得する取得工程と、前記第1フレームと前記第2フレームとから、動きベクトルを検出する検出工程と、前記動きベクトルに基づいた補間によって、前記第1フレームと前記第2フレームとの投影の間に投影する補間フレームを生成する生成工程と、前記補間フレームに対する補間の信頼度を決定する信頼度決定工程と、前記他の投影装置から、前記補間フレームと重畳させて投影する画像に対する補間の第2信頼度を取得する通信工程と、前記信頼度と前記第2信頼度に基づいて、前記補間フレームを投影する場合の、前記重畳領域の前記減光の度合いを決定する決定工程と、を備えることを特徴とする投影装置の制御方法。

請求項13

請求項12に記載の制御方法の各工程をコンピュータに実行させるためのプログラム

請求項14

請求項13に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体

技術分野

0001

本発明は、投影装置投影システム制御方法プログラム記憶媒体に関する。

背景技術

0002

近年、動画ぼやけやフリッカなどの視認性を改善するために、あるフレームF0とその次のフレームF1との間に、2つのフレームのオブジェクト動きを補間する1以上のフレーム(補間フレーム中間画像)を挿入して画像を表示する技術がある。

0003

しかしながら、フレームF0に存在したオブジェクトが、フレームF1では存在しない場合、フレームF0に存在したオブジェクトに対応するオブジェクトを補間フレーム(補完フレーム)で適切に表示できないことがある。このような課題に対して、特許文献1には、画像の端部では、補間フレームの画像生成処理強度を小さくすることにより、補間フレームの端部付近において、乱れや歪みが生じることによる画質劣化の視認の可能性を抑制する技術が開示されている。

0004

一方で、投影装置を複数備えて、各投影装置を並べて投影することで1つの投影画像(以降、統合画像と呼ぶ)を形成し、高解像度の表示を実現するマルチ投影と呼ばれる技術がある。このマルチ投影を行う際には、それぞれの投影装置の投影画像の一部分が重ね合わさった重畳領域を設けて投影を行う。

先行技術

0005

特開2008−118620号公報

発明が解決しようとする課題

0006

特許文献1が示す技術を、マルチ投影を構成する各投影装置の投影画像の端部に適用する場合、マルチ投影における重畳領域は、各投影装置の投影画像にとっては端部であるが、統合画像としては端部ではなく中央部である。従って、マルチ投影において補間フレームの投影を行う場合において、ユーザの視認性を向上させる効果が小さい。

0007

そこで、本発明は、マルチ投影において補間フレームの投影を行う場合に、ユーザの視認性を向上させることを目的とする。

課題を解決するための手段

0008

本発明の第1の態様は、
他の投影装置が投影する画像の一部と重畳可能に設定された領域である重畳領域に対して、重畳領域ではない領域である非重畳領域に対してよりも減光して投影する投影装置であって、
第1フレームと、前記第1フレームの次のフレームである第2フレームとを含む画像信号を取得する取得手段と、
前記第1フレームと前記第2フレームとから、動きベクトルを検出する検出手段と、
前記動きベクトルに基づいた補間によって、前記第1フレームと前記第2フレームとの投影の間に投影する補間フレームを生成する生成手段と、
前記補間フレームに対する補間の信頼度を決定する信頼度決定手段と、
前記他の投影装置から、前記補間フレームと重畳させて投影する画像に対する補間の第2信頼度を取得する通信手段と、
前記信頼度と前記第2信頼度に基づいて、前記補間フレームを投影する場合の、前記重畳領域の前記減光の度合いを決定する決定手段と、
を備えることを特徴とする投影装置である。

0009

本発明の第2の態様は、
他の投影装置が投影する画像の一部と重畳可能に設定された領域である重畳領域に対して、重畳領域ではない領域である非重畳領域に対してよりも減光して投影する投影装置の制御方法であって、
第1フレームと、前記第1フレームの次のフレームである第2フレームとを含む画像信号を取得する取得工程と、
前記第1フレームと前記第2フレームとから、動きベクトルを検出する検出工程と、
前記動きベクトルに基づいた補間によって、前記第1フレームと前記第2フレームとの投影の間に投影する補間フレームを生成する生成工程と、
前記補間フレームに対する補間の信頼度を決定する信頼度決定工程と、
前記他の投影装置から、前記補間フレームと重畳させて投影する画像に対する補間の第2信頼度を取得する通信工程と、
前記信頼度と前記第2信頼度に基づいて、前記補間フレームを投影する場合の、前記重畳領域の前記減光の度合いを決定する決定工程と、
を備えることを特徴とする投影装置の制御方法である。

発明の効果

0010

本発明によれば、マルチ投影において補間フレームの投影を行う場合に、ユーザの視認性を向上させることができる。

図面の簡単な説明

0011

実施形態1に係る投影システムの外観図
実施形態1に係る投影装置の内部構成図
実施形態1に係る画像処理部の内部構成部
実施形態1に係るブロックマッチングを説明する図
実施形態1に係る補間フレームの投影フロー
実施形態1に係る補間フレームの生成を説明する図
実施形態1に係るエッジブレンド処理を説明する図
変形例2に係る処理領域を説明する図
実施形態2に係る投影システムの外観図
実施形態2に係る補間フレームの投影フロー
実施形態2に係る動きベクトルを説明する図
実施形態3に係る補間フレームの投影フロー
実施形態3に係る効果を説明する図

実施例

0012

以下、添付図面を参照して本発明の実施形態を説明するが、この発明は、以下の実施の形態に限定されるものではない。

0013

<実施形態1>
本実施形態では、2台の投影装置を左右に並べることにより、2つの投影画像によってマルチ投影を実現する。以下では、各投影装置が補間フレームの生成(補間;補完)をし、当該補間フレームの生成(補間)の信頼度に応じて、各投影画像の重畳領域における明るさを制御することによって、ユーザの視認性を向上させるマルチ投影システム1について説明する。なお、本実施形態では、重畳領域は、2つの投影装置が重畳して投影することのできる領域(重畳可能領域)を示す。

0014

[マルチ投影システムの構成]
本実施形態に係るマルチ投影システム1は、図1が示すように、投影装置100と投影装置200との2台の投影装置と、画像送出器900とを有することによって画像を表示する。ここで、投影装置100が投影画像1001を投影して、投影装置200が投影画像2001を投影することによって、投影面上に1つの画像(統合画像)を表示する。

0015

投影装置100と投影装置200とは、それぞれ画像送出器900から入力される画像信号に基づいた画像をスクリーンなどに投影する。ここで、投影装置100と投影装置200とは互いに通信を行うため、通信ケーブル500によって接続されている。

0016

なお、本実施形態では、投影装置100と投影装置200とは通信ケーブル500を介して通信を行うものとして説明を行うが、投影装置100と投影装置200が通信可能なように構成されていればよい。例えば、投影装置100と投影装置200とが、シリアル通信ケーブルやEthernetケーブルにより通信を行う構成としてもよい。また、赤外線やBluetooth(登録商標)などのように、光や電波を用いた無線による通信方式を用いてもよい。また、投影装置100と投影装置200が通信可能なように構成されていれば、直接接続されている必要はなく、スイッチやルータサーバ、PCなどの機器を介して通信を行う構成であってもよい。

0017

画像送出器900は、投影装置100および投影装置200のそれぞれに対して、画像信号を出力する。ここで、画像送出器900は、1つの画像信号を分配することによって、投影画像1001を投影するための画像信号を投影装置100に出力して、投影画像2001を投影するための画像信号を投影装置200に出力する。なお、画像送出器900は、画像信号を出力できればよいため、例えば、PC、スマートフォンカメラ撮像装置)など任意の情報処理装置でよい。なお、画像送出器900と各投影装置との通信は、2つの投影装置間の通信と同様に任意の方法で行われてよい。

0018

[投影装置の内部構成]
本実施形態における投影装置100および投影装置200の内部構成について図2を用いて説明する。なお、投影装置200の内部構成は投影装置100と同様であるため説明は省略する。

0019

投影装置100は、CPU110、RAM111、ROM112、操作部113、通信部114、画像取得部120、画像処理部140を有する。また、投影装置100は、素子制御部150、光変調素子170R,170G,170B、光源制御部130、光源160、色分離部161、色合成部180、投影光学系183、光学系制御部184を有する。なお、CPU110、RAM111、ROM112、操作部113、通信部114、画像取得部120、光源制御部130、画像処理部140、素子制御部150、光学系制御部184は、バス199によりそれぞれ相互に接続されている。

0020

CPU110は、投影装置100の各機能部を制御する。また、CPU110は、通信部114より受信した静止画データや動画データを一時的に記憶し、ROM112に記憶されたプログラムを用いて、それぞれの画像(映像)を再生したりすることもできる。また、CPU110は、操作部113や、通信部114から入力される信号を受信して、投影装置100の各機能部を制御する。

0021

ROM112には、CPU110の処理手順記述した制御プログラムが記憶されており、RAM111には、ワークメモリとして一時的に制御プログラムやデータが格納される。

0022

操作部113は、ユーザからの指示を受け付け、CPU110に指示信号を送信するものであり、例えば、スイッチやダイヤルなどから構成される。また、操作部113は、例えば、リモコンからの信号を受信する信号受信部(赤外線受信部など)によって受信した信号に基づいて所定の指示信号をCPU110に送信するものであってもよい。

0023

通信部114は、制御信号や静止画データ、動画データなどを外部機器送受信する。通信部114は、例えば、USBケーブル、Bluetooth(登録商標)などを用いた通信を行うものであってよく、通信方式を特に限定するものではない。また、画像取得部120の端子が、例えば、HDMI(登録商標)端子であれば、通信部114は、当該端子を介してCEC(Consumer Electronics Control)通信を行うものであってもよい。ここで、外部装置は、投影装置100と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダゲーム機、リモコンなど、任意のものであってもよい。

0024

画像取得部120は、外部装置から送信される画像信号(画像データ)を取得する。ここで、外部装置は、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、任意のものであってよい。なお、本実施形態では、外部装置は、画像送出器900である。さらには、画像取得部120は、USBフラッシュメモリSDカードのようなメディアに記憶された画像信号を読み込むこともできる。画像取得部120は、取得した画像信号を画像処理部140へ出力する。また、画像取得部120は、CPU110からの指示に基づき取得した画像信号をRAM111に格納することも可能である。

0025

光源制御部130は、光源160のオンオフの制御や光量の制御を行うものであり、制御用マイクロプロセッサなどから構成される。光源制御部130は、光源160に印加する電圧または電流を変更することにより光量を制御してもよいし、アイリスメカシャッターを駆動することにより光量を制御してもよい。また、光源制御部130は、専用のマイクロプロセッサである必要はなく、例えば、ROM112に記憶されたプログラムによって、CPU110が光源制御部130と同様の処理を実行してもよい。

0026

光源160は、不図示のスクリーンに画像を投影するための光を出力する。光源160は、例えば、ハロゲンランプキセノンランプ高圧水銀ランプレーザーLED、蛍光体、またそれらを組み合わせたものであってもよい。

0027

画像処理部140は、画像取得部120から受信した画像信号にフレーム数画素数画像形状などの変更処理を施して、素子制御部150に送信する。画像処理部140は、例えば、画像処理用のマイクロプロセッサから構成される。また、画像処理部140は、専用のマイクロプロセッサである必要はなく、例えば、ROM111に記憶されたプログラムによって、CPU110が画像処理部140と同様の処理を実行してもよい。

0028

なお、画像処理部140は、拡大処理縮小処理フレーム間引き処理フレーム補間処理解像度変換処理歪み補正処理キーストン補正処理)といった処理を実行することも可能である。また、マルチ投影の際には、各投影装置からの投影画像の表示輝度や色に連続性を持たせるために、重畳領域に所定の減光処理を施すエッジブレンド処理や、重畳領域とそれ以外の領域の黒表示輝度レベルを合わせるための黒レベル補正処理なども実行可能である。また、画像処理部140は、画像取得部120から受信した画像信号以外にも、CPU110によって再生された画像に対して上述の変更処理を施すこともできる。さらに、画像処理部140は、CPU110の制御に基づき、GUIのような任意のOSD(On Screen Display)やテストパターンを画像信号に重畳して出
力することもできる。画像処理部140の処理の詳細については後述する。

0029

素子制御部150は、画像処理部140から出力される画像信号に基づいて、光変調素子170R,170G,170Bの画素の光変調素子に印可する電圧を制御して、光変調素子170R,170G,170Bの光変調率を制御する。

0030

光変調素子170Rは、赤色に対応する光変調素子であって、光源160から出力された光のうち、色分離部161で赤色(R)、緑色(G)、青色(B)に分離された光のうち、赤色の光の光変調率を制御する。

0031

光変調素子170Gは、緑色に対応する光変調素子であって、光源160から出力された光のうち、色分離部161で赤色(R)、緑色(G)、青色(B)に分離された光のうち、緑色の光の光変調率を制御する。

0032

光変調素子170Bは、青色に対応する光変調素子であって、光源160から出力された光のうち、色分離部161で赤色(R)、緑色(G)、青色(B)に分離された光のうち、青色の光の光変調率を制御する。

0033

色分離部161は、光源160から出力された光を、赤色(R)、緑色(G)、青色(B)に分離するものであり、例えば、ダイクロイックミラープリズムなどからなる。なお、光源160として、各色に対応するLED等を使用する場合には、色分離部161は不要である。

0034

色合成部180は、光変調素子170R,170G,170Bによって変調された赤色(R)、緑色(G)、青色(B)の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。

0035

投影光学系183は、色合成部180で合成された光をスクリーンに投影する。投影光学系183は、複数のレンズレンズ駆動用のアクチュエータから構成される。レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小焦点調整などを行うことができる。なお、投影光学系183が投影する対象は、スクリーンに限らず、バルーン建物など任意の投影対象物でよい。本実施形態での、投影光学系183は、違和感を少なく2つの投影画像を重畳させるために、重畳領域に対して非重畳領域よりも減光してスクリーンに画像を投影する。

0036

光学系制御部184は、投影光学系183を制御する。光学系制御部184は、制御用のマイクロプロセッサから構成される。また、光学系制御部184は、専用のマイクロプロセッサである必要はなく、例えば、ROM112に記憶されたプログラムによって、CPU110が光学系制御部184と同様の処理を実行してもよい。

0037

[画像処理部の内部構成]
次に、図3を用いて画像処理部140の内部構成について詳細に説明する。画像処理部140は、前処理部141、検出部142、補間フレーム生成部143、倍速部144、信頼度決定部145、決定部146、ブレンド処理部147から構成される。なお、画像処理部140を構成する各機能部は、バス199を介してCPU110と接続されている。

0038

前処理部141は、画像取得部120から入力される画像信号に対して、光変調素子170R,170G,170Bに適するように色空間、解像度を変換する処理を施す。具体的には、前処理部141は、色空間変換拡大縮小処理を含む表示レイアウト変換処理
を画像信号に施す。また、前処理部141は、歪み補正処理(キーストン補正処理)を行うことも可能である。前処理部141は、処理を施した画像信号を検出部142および倍速部144へ出力する。

0039

検出部142は、前処理部141からの入力された画像信号に基づき、動きベクトルの検出を行う。検出部142は、検出した動きベクトルを示す情報である動きベクトル情報を、補間フレーム生成部143および信頼度決定部145へ出力する。また、検出部142は、補間フレーム生成部143に対して、前処理部141から入力される画像信号もあわせて出力する。なお、本実施形態では、検出部142は、画像信号中のn番目のフレームであるnフレームと、nフレームの次のフレームであるn+1フレームから動きベクトルを検出する。具体的には、検出部142は、nフレームとn+1フレームとから、nフレームを基準とする動きベクトルを検出する。以下では、nフレームとn+1フレームとから検出した動きベクトルを、「nフレームにおける動きベクトル」と呼ぶ。本実施形態では、動きベクトルを検出する手段としてブロックマッチングを用いるが、動きベクトルを検出することができる手段であれば任意の手段を用いてよい。ブロックマッチングについては、後述にて詳細に説明する。

0040

補間フレーム生成部143は、検出部142から入力される動きベクトル情報とnフレームに基づいた補間(補完)を行うことによって、補間フレーム(中間画像;補完フレーム)を生成する。具体的には、補間フレーム生成部143は、あるブロック(画素群)のnフレームにおける動きベクトルと、nフレームにおける当該ブロックの位置を取得する。そして、補間フレーム生成部143は、当該動きベクトルの1/2だけ、nフレームにおける当該ブロックの位置から移動した位置に当該ブロックを生成(補間)することによって補間フレームを生成する。なお、補間フレーム生成部143は、当該動きベクトルの逆ベクトルの1/2だけ、n+1フレームにおける当該ブロックの位置から移動した位置に当該ブロックを生成することによって補間フレームを生成してもよい。補間フレーム生成部143は、生成した補間フレームを倍速部144へ出力する。

0041

倍速部144は、補間フレーム生成部143から入力される補間フレームを、画像信号のnフレームとn+1フレームとの間に挿入して補間画像信号としてブレンド処理部147へ出力する。また、倍速部144は、補間画像信号の周波数を、画像信号の周波数の2倍にして(倍速化して)出力する。さらに、倍速部144は、他の画像処理とのタイミングを揃えるため、後述する遅延調整も行う。

0042

信頼度決定部145は、検出部142から入力される動きベクトル情報に基づいて、補間フレームにおける補間の信頼度を示す信頼度情報を決定し、決定部146へ出力する。また、信頼度決定部145は、投影装置200に信頼度情報を送信するために、通信部114に対しても信頼度情報を出力する。信頼度情報の決定方法については、後述する。

0043

決定部146は、信頼度決定部145から入力された信頼度情報と通信部114を介して投影装置200から入力された信頼度情報とに基づいて、エッジブレンド幅を決定する。ここで、エッジブレンド幅は、エッジブレンドによる投影装置の減光処理を行う開始位置を示す。また、本実施形態では、エッジブレンド幅は、予め定められた重畳領域の幅(重畳領域幅)のうち、ある投影装置のみから画像を投影する幅である。つまり、決定部146は、重畳領域に対する減光の度合いをエッジブレンド幅として決定しているといえる。

0044

具体的には、決定部146は、投影装置100が決定した信頼度と投影装置200が決定した信頼度のうち高い信頼度を決定した投影装置を決定する。そして、決定部146は、2つの信頼度に基づいて、予め定められた重畳領域幅のうち、決定された投影装置のみ
から画像を投影する幅であるエッジブレンド幅を決定する。エッジブレンド幅の決定方法については、後述する。決定部146は、決定したエッジブレンド幅をブレンド処理部147へ出力する。

0045

ブレンド処理部147は、決定部146から入力されたエッジブレンド幅に基づいて、倍速部144から入力された補間画像信号の重畳領域に該当する部分にエッジブレンド処理を実行する。ここで、エッジブレンド処理とは、当該重畳領域とその他の領域との明るさや色合いが大きく異ならないようにするために、各投影装置の投影画像の明るさや色合いを制御する処理である。ブレンド処理部147は、エッジブレンド処理した補間画像信号を、素子制御部150へ出力する。

0046

(ブロックマッチングについて)
以下では、図4(A)および図4(B)を用いて、検出部142が行うブロックマッチングについて説明を行う。図4(A)および図4(B)の横方向が画像信号の水平座標を表し、縦方向垂直座標を表す。ここで、図4(A)は、nフレームを示し、図4(B)はn+1フレームを示す。また、ここでは、nフレームに含まれるオブジェクト5100が、n+1フレームにおいてオブジェクト5110の位置に動いている場合の動きベクトルを検出する例を説明する。

0047

まず、本実施形態における検出部142は、図4(A)において一点鎖線で示すように、nフレームを16×16画素のブロックに分割する。次に、検出部142は、図4(B)が示すようなn+1フレームのうちから、nフレームにおける各ブロックと相関が最も高い領域を探索する。本実施形態では、検出部142は、nフレームにおけるブロックと階調値の差が最小の領域を探索する。

0048

具体的には、まず、検出部142は、nフレームの探索ブロック5000の位置と同じ位置の領域5000’を、n+1フレームにおいて決定する。そして、検出部142は、領域5000’の位置を基準として所定の範囲(探索範囲5010)内において、探索ブロック5000と比較する選択領域を1画素ずつ移動させながら階調値を比較する。これにより、検出部142は、探索ブロック5000との階調値の差が最小の領域の探索を行う。なお、選択領域と探索ブロック5000は同じ大きさである。

0049

なお、本実施形態において、階調値の差を評価する評価関数として、差分絶対値和(SAD:Sum of Absolute Differences)を使用するものとして説明を行う。ここで、本実施形態でのSADとは、具体的には、2つの領域に含まれる互いに対応する画素同士の階調値の差分の絶対値を合計した値である。その他の評価関数として、平均二乗誤差(MSE:Mean Square Error)、平均絶対誤差(MAD:Mean Absolute Difference)を使用する構成としてもよい。また、n+1フレームの各ブロックとnフレームにおける選択領域との相関係数相互相関係数)を決定し、相関係数が高い選択領域を相関が最も高い位置としてもよい。

0050

また、探索ブロックのサイズは16×16画素として説明したが、この限りではない。さらに探索範囲は任意の領域でよく、上記では、図4(B)が示すように176×48画素の範囲とする場合の例を説明した。

0051

そして、検出部142は、探索ブロック5000と選択領域5020の階調値のSADが所定の閾値より小さい場合、領域5000’の位置から選択領域5020の位置に向かうベクトルを、探索ブロック5000の動きベクトル5200として検出する。なお、当該SADが所定の閾値より小さい値をとるような選択領域5020が探索範囲内で複数あ
る場合は、最小のSADに対応する選択領域5020の位置と領域5000’の位置の差から動きベクトルを決定するとよい。また、探索範囲5010における各領域と探索ブロック5000との階調値のSADが全て所定の閾値以上の場合には、検出部142は、探索ブロック5000に対し“動きベクトル無し”と判定する。なお、ブロックの位置は、ブロックの中心位置など、ブロックの位置を特定することのできる位置であれば任意の位置であってもよい。

0052

なお、検出部142は、同様の処理を、nフレームの全てのブロックに対して行うことにより、ブロックごとの動きベクトルを検出する。

0053

投影処理フロー]
次に、図5を用いて、重畳領域における投影画像の明るさを決定するための、投影装置100の投影処理のフローを説明する。なお、投影装置200は投影装置100と同様の処理フローを実行するため、投影装置200における処理フローの説明は省略する。なお、本フローのS400からS460までの処理を、CPU110は画像信号のフレームごとに繰り返す。以下では、nフレームとn+1フレームとの間に投影される補間フレームの投影処理を説明する。

0054

S400において、CPU110は、検出部142を制御して、nフレームおよびn+1フレームから動きベクトルを検出する。

0055

S410において、CPU110は、投影装置100の投影画像1001が他の投影画像と重畳する領域に関する重畳領域情報をRAM111から取得する。重畳領域情報としては、投影画像1001の左右上下の端部のうちいずれが重畳領域であるかを示す情報と重畳領域の幅の情報とを含む。従って、重畳領域情報としては、例えば、重畳領域の方向を示す「右方向」という情報と、重畳領域の幅(重畳領域幅)を示す「50画素」といった情報が含まれる。本実施形態では、重畳領域情報は、ユーザにより予め設定されているが、投影装置100がスクリーンを撮像することによって決定してもよい。

0056

S420において、CPU110は、信頼度決定部145を制御して、重畳領域と非重畳領域の境界を跨ぐ動きベクトル(境界ベクトル)の個数を決定する。ここで、境界ベクトルは、始点が重畳領域に位置し、かつ、終点が非重畳領域に位置する動きベクトルである。または、境界ベクトルは、動きベクトルの終点が重畳領域に位置し、かつ、始点が非重畳領域に位置する動きベクトルである。つまり、境界ベクトルとは、重畳領域と非重畳領域との境界と交わる動きベクトルである。

0057

S430において、CPU110は、信頼度決定部145を制御して、境界ベクトルの個数に基づいて信頼度R1を決定する。本実施形態では、信頼度R1は、境界ベクトルの個数であるとして説明する。ここで、信頼度R1が大きな値であるほど、補間フレームの補間の精度が高い。なお、例えば、重畳領域から非重畳領域への動きベクトルと、重畳領域から非重畳領域への動きベクトルとを重み付け加算したものを、信頼度R1としてもよい。

0058

S440において、CPU110は、通信部114を介して投影装置200が決定した信頼度R2を含む信頼度情報を取得する。すなわち、本実施形態では、CPU110は、投影面において上述の補間フレームと重畳する画像に対して投影装置200が決定した補間の信頼度を取得する。

0059

S450において、CPU110は、決定部146を制御して、エッジブレンド幅CWを決定する。本実施形態では、次の式1により投影装置100のエッジブレンド幅CWを
決定することができる。

0060

上記の式1において、EBWは、S410において取得された重畳領域幅を示す。このように、信頼度R2に対する信頼度R1の比が大きいほど、エッジブレンド幅CWが大きく決定される。つまり、信頼度R2に対する信頼度R1の比が大きいほど、重畳領域における減光の度合いが小さく決定される。なお、上述のように、本実施形態では、信頼度R1,R2は、境界ベクトルの個数を示す。なお、決定部146は、信頼度R1と信頼度R2との和が0の場合は、エッジブレンド幅CWを0に決定する。

0061

また、信頼度R1と信頼度R2との比率に応じたエッジブレンド幅CWをテーブルデータとしてROM112に予め記憶させておくことにより、決定部146は、当該テーブルデータを参照して、エッジブレンド幅CWを決定してもよい。

0062

S460において、CPU110は、ブレンド処理部147を制御して、エッジブレンド処理を行う。

0063

本実施形態では、エッジブレンド幅CWが正の値である場合(R1>R2の場合)には、ブレンド処理部147は、投影画像1001の中央側(左側)の重畳領域の幅CW分だけエッジブレンドゲインを100%とする。一方、ブレンド処理部147は、重畳領域内の他の領域に対しては、投影画像1001の右端に近づくつれ徐々にエッジブレンドゲインを減少させる。ここで、エッジブレンドゲインとは、投影光学系183からの発光量を制御するものであり、非表示領域に対する発光量を100%とする発光量である。例えば、非重畳領域と重畳領域とで画像の階調値が同じであった場合に、重畳領域のエッジブレンドゲインが40%であれば、重畳領域の表示輝度は非重畳領域の表示輝度の40%である。

0064

また、エッジブレンド幅CWが負の値である場合(R1<R2の場合)は、ブレンド処理部147は、投影画像1001の右端側の重畳領域の幅CWの絶対値の分だけエッジブレンドゲインを0%とする。一方、ブレンド処理部147は、重畳領域内の残りの領域に対して投影画像1001の中央に行くにつれ徐々にエッジブレンドゲインを増加させる。

0065

なお、決定部146がエッジブレンド幅CWを減光度合いとして決定する。このため、決定部146は、信頼度R1が信頼度R2よりも大きい場合には、重畳領域の範囲から、信頼度R2に対する信頼度R1の比が大きいほど、減光をしない領域を大きな範囲に決定しているといえる。一方、決定部146は、信頼度R1が信頼度R2よりも小さい場合には、重畳領域の範囲から、信頼度R2に対する信頼度R1の比が小さいほど、投影装置100が投影しない領域を小さな範囲に決定しているといえる。

0066

[フレームの画像処理のタイミング]
次に、図6(A)および図6(B)を用いて、投影装置100,200が、画像信号の各フレームに対して施す処理のタイミングを説明する。なお、以下では、投影装置100における画像処理のタイミングについて説明し、投影装置200における画像処理タイミ
ングは投影装置100と同様であるため説明を省略する。

0067

なお、図6(A)が投影装置100の画像処理タイミングを示し、図6(B)が投影装置200の画像処理タイミングを示している。ここで、時刻t0において、フレームF0が投影装置100に入力され、フレームG0が投影装置200に入力される。なお、時刻t0〜t7はそれぞれ、新たにフレームが投影装置100,200に入力されるタイミングを示している。つまり、時刻t0〜t7の各時刻の間隔は、1フレームである。また、以下では、フレームF0,F1を用いて、画像処理をする例を示す。

0068

まず、投影装置100は、検出部142によって、時刻t0から1フレームの期間経過した時刻t1以降に、取得したフレームF0とフレームF1を比較して、動きベクトル検出を行う。ここで、画像信号の2つのフレームを比較することによって動きベクトルを検出するため、時刻t1以降に動きベクトルの検出が行われる。

0069

次に、投影装置100は、補間フレーム生成部143によって、検出した動きベクトルに基づいて、フレームF0,F1の間を補間する補間フレームF0.5を生成する。また、投影装置100は、信頼度決定部145によって、検出した動きベクトルに基づいて、補間フレームF0.5における補間の信頼度R1を決定する。また、投影装置100は、補間フレームF0.5と重畳して投影される補間フレームG0.5における補間の信頼度R2を投影装置200から取得する。

0070

次に、投影装置100は、決定部146によって、投影装置100と投影装置200のそれぞれが決定する信頼度R1,R2に応じてエッジブレンド幅CWを決定する。従って、投影装置100と投影装置200との投影画像の全ての領域に関して、信頼度R1,R2の決定が完了している必要がある。例えば、左上の画素から右下の画素に向かって順に画像信号が入力されると仮定する。すると、本実施形態の投影画像1001の重畳領域は右側であるため、信頼度R1の決定が完了するのは、左上の画素が入力されてから1フレームの期間が経過した後である。そのため、投影装置100は、信頼度R1を決定するための処理が開始されてから1フレームの期間、遅延させて(待機して)エッジブレンド幅を決定する処理を開始する。

0071

次に、投影装置100は、倍速部144によって、倍速処理を行う。具体的には、投影装置100は、画像信号の信号周波数を倍速化し、生成した補間フレームF0.5をフレームF0とF1の間に挿入することにより補間画像信号を生成(出力)する。なお、投影装置100は、0.5フレーム以上、画像信号が倍速部144に入力されてから遅延させて補間画像信号を出力する。これは、当該遅延を行わない場合には、フレームF0の全ての画素が入力され終わるタイミングで、投影装置100は、倍速後のフレームF0の全ての画素を出力し終えることができないためである。最後に、投影装置100は、ブレンド処理部147によって、決定したエッジブレンド幅に基づいてエッジブレンド処理を行う。

0072

[エッジブレンド処理の比較]
以下では、図7(A)〜図7(D)を用いて、従来のエッジブレンド処理について説明した後に、本実施形態に係るエッジブレンド処理について説明する。

0073

図7(A)、図7(B)、図7(C)が示すグラフ71,72は、投影装置100と投影装置200がそれぞれ適用するエッジブレンドゲインを示している。ここで、各グラフの横軸は、投影の水平位置を示し、縦軸はエッジブレンドゲインを示している。ここで、投影装置100の投影領域の右端が水平位置H3であり、投影装置200の投影領域の左端が水平位置H1であり、水平位置H2は、水平位置H1と水平位置H3との中間位置を
示す。ここで、図7(A)、図7(B)、図7(C)が示す、グラフ71が、投影装置100のエッジブレンドゲインを示すグラフである。一方、グラフ72が、投影装置200のエッジブレンドゲインを示すグラフである。また、図7(A)、図7(B)、図7(C)が示す各グラフ71,72は、投影画像1001と投影画像2001との重畳領域が水平位置H1からH3の領域であるとして示している。

0074

図7(D)は、投影装置100および投影装置200に対して分配される前の画像信号に含まれるフレームFG0,FG1,FG2と、補間フレームFG0.5,FG1.5とが順に表示される様子を示している。また、投影装置100および投影装置200には、図6(A)および図6(B)を用いて説明した画像信号がそれぞれ入力されている。ここで、補間フレームFG0.5および補間フレームFG1.5は、投影装置100が生成する補間フレームF0.5,F1.5と投影装置200が生成する補間フレームG0.5,G1.5によって表示される画像である。また、図7(D)では、フレームFG0にオブジェクト6100が存在し、フレームFG1にオブジェクト6110が存在し、フレームFG2にオブジェクト6120がそれぞれ存在することを示している。なお、これらは同一のオブジェクトであり、当該オブジェクトは時間の経過とともに右に移動している。

0075

(従来のエッジブレンド処理について)
従来のエッジブレンド処理におけるエッジブレンドゲインを示す図7(A)を用いながら、図7(D)が示すような各フレームが、投影装置100,200によって投影される際の、従来技術によるエッジブレンド処理について説明する。

0076

まず、補間フレームFG0.5に対する補間に着目して説明する。投影装置100は、フレームF0,F1のオブジェクトの位置に基づいて動きベクトル6200の検出を行い、補間オブジェクト6105を有する補間フレームF0.5を生成する。一方、投影装置200に入力されるフレームG0はオブジェクト6100を含んでいないため、投影装置200は、動きベクトル6200を検出することができない。よって、投影装置200は、補間フレームG0.5においてオブジェクト6105を生成することができない。そのため、補間フレームFG0.5におけるオブジェクト6105は、投影装置100が生成する補間フレームF0.5からのみ表示されることとなる。

0077

ここで、従来のエッジブレンドの技術を用いると、図7(A)が示すように、オブジェクト6105の位置における投影装置100のエッジブレンドゲインは85%程度である。このことから、投影面上においてオブジェクト6105は、フレームFG0で表示されるオブジェクト6100やフレームFG1で表示されるオブジェクト6110とは異なる表示輝度で投影される。これが、画質劣化としてユーザに視認される。

0078

なお、フレームFG0,FG1,FG2が投影される場合には、重畳領域の全ての範囲において、投影装置100,200はそれぞれ、50%,50%のエッジブレンドゲインで投影している。しかし、これに限らず、2つの投影装置100,200のエッジブレンドゲインの合計が100%であれば、任意の組合わせでよい。

0079

また、補間フレームFG1.5に対する補間に着目して説明すると、動きベクトル6300については、投影装置200では検出できるものの、投影装置100では検出できない。従って同様に、投影面上におけるオブジェクト6115は、フレームF1に含まれるオブジェクト6110やフレームF2に含まれるオブジェクト6120とは異なる表示輝度で投影される。

0080

このように、重畳領域を構成する一方の投影装置が適切な補間フレームを生成できても、他方の投影装置が適切な補間フレームを生成できるとは限らず、そのような場合に、画
劣化としてユーザに視認される可能性がある。

0081

(本実施形態によるエッジブレンド処理について)
次に、本実施形態のエッジブレンド処理におけるエッジブレンドゲインを示す図7(B)、図7(C)を用いて、図7(D)が示すような各フレームが、投影装置100,200によって投影される際のエッジブレンド処理を説明する。

0082

((補間フレームFG0.5を投影する場合))
図7(B)は、本実施形態での、補間フレームFG0.5に適用するエッジブレンドゲインを示す。投影装置100は、補間フレームF0.5の生成時において、重畳領域と非重畳領域の境界を跨ぐ動きベクトル6200(境界ベクトル6200)を検出するため、投影装置100が重畳領域に投影する画像を明るく投影するように動作する。

0083

具体的には、投影装置100と投影装置200は、境界ベクトルの個数を信頼度R1,R2としてそれぞれ決定する。ここで、補間フレームF0.5,G0.5を生成するタイミングにおいて、投影装置100は境界ベクトルを1つ検出するのでR1=1であり、投影装置200は境界ベクトルを検出しないのでR2=0である。このとき、投影装置100の決定部146は、エッジブレンド幅CW1を上述の式1により決定するため、”CW1=0.5×EBW”と決定することができる。すなわち、エッジブレンド幅CW1は、重畳領域幅EBWの半分である。一方、投影装置200が決定するエッジブレンド幅CW2は、エッジブレンド幅CW1から符号が反転するため、”CW2=−0.5×EBW”である。

0084

投影装置100のブレンド処理部147は、エッジブレンド幅CW1の符号が正であるため、重畳領域の水平位置H1からCW1分だけエッジブレンドゲインを100%する。また、投影装置100のブレンド処理部147は、水平位置H2からH3までの領域は水平位置H3に近づくにつれて徐々に減少するエッジブレンドゲインを決定する。

0085

一方、投影装置200のブレンド処理部147は、エッジブレンド幅CW2の符号が負であるため、重畳領域の水平位置H1からCW2の絶対値分だけエッジブレンドゲインを0%とする。また、投影装置200のブレンド処理部147は、水平位置H2からH3までの領域は水平位置H3に近づくにつれ徐々に増加するエッジブレンドゲインを決定する。

0086

従って、オブジェクト6105の位置の投影装置100のエッジブレンドゲインは100%である。ここで、オブジェクト6105は、投影装置100が生成する補間フレームF0.5からのみ表示される。つまり、投影面上においてオブジェクト6105は、フレームFG0に含まれるオブジェクト6100やフレームFG1に含まれるオブジェクト6110と変わらない明るさで投影される。従って、ユーザに画像劣化が視認されることを抑制できる。

0087

((補間フレームFG1.5を投影する場合))
図7(C)は、本実施形態での、補間フレームFG1.5に適用するエッジブレンドゲインを示す。図7(C)に示すように、投影装置200における重畳領域と非重畳領域とをオブジェクトが跨ぐ場合にも、上記と同様の効果を得ることができる。

0088

具体的には、投影装置200は、動きベクトル6300に対して、重畳領域と非重畳領域の境界を跨いだと判定し、信頼度R2=1と決定する。一方、投影装置100は境界ベクトルを検出しないため、信頼度R1=0と決定する。従って、投影装置100と200が決定するエッジブレンド幅はそれぞれ、CW1=−0.5×EBW、CW2=0.5×
EBWである。

0089

投影装置200のブレンド処理部147は、エッジブレンド幅CW2の符号が正であるため、重畳領域の水平位置H3からCW2分だけエッジブレンドゲインを100%とする。また、投影装置200のブレンド処理部147は、重畳領域内の水平位置H1からH2までの領域はH1に近づくにつれ徐々に減少するエッジブレンドゲインとする。

0090

一方、投影装置100のブレンド処理部147は、エッジブレンド幅CW1の符号が負であるため、重畳領域の水平位置H3からCW1の絶対値分だけエッジブレンドゲインを0%とする。また、投影装置100のブレンド処理部147は、重畳領域内の水平位置H1からH2までの領域は、水平位置H1に近づくにつれ徐々に増加するエッジブレンドゲインとする。

0091

従って、オブジェクト6115の位置の投影装置200のエッジブレンドゲインは100%である。ここで、オブジェクト6115は、投影装置200が生成する補間フレームG1.5からのみ表示される。つまり、投影面上においてオブジェクト6115は、フレームFG1に含まれるオブジェクト6110やフレームFG1に含まれるオブジェクト6120と変わらない明るさで投影される。従って、ユーザに画像劣化が視認されることを抑制できる。

0092

このように、本実施形態では、オブジェクト6105とオブジェクト6115のいずれにおいても、前後のフレームの画像から補間したオブジェクトが適切な表示輝度で表示されるため、視認性を向上させる効果が低減することはない。従って、重畳領域において、いずれかの投影装置によるオブジェクトの動き検出が困難な場合であっても、画質劣化の視認を抑制することによって視認性を向上することができる。

0093

なお、投影装置100,200がフレームFG0,FG1,FG2に適用するエッジブレンドゲインは、補間フレームFG0.5,FG1.5に適用するエッジブレンドゲインと同じであってもよい。または、図7(A)が示すエッジブレンドゲインを用いてもよい。

0094

(式1を用いることの効果)
なお、上述のエッジブレンド幅CWを決定する式1を用いることによれば、信頼度R2に対する信頼度R1の比が大きいほど、エッジブレンド幅CWの値が重畳領域幅EBWの半分に近づく。これには減光処理を行う際のエッジブレンド幅CWの絶対値が大きくなりすぎないようにする効果がある。

0095

例えば、エッジブレンド幅CWの絶対値の最大値が重畳領域幅EBWをとるような計算式を式1の代わりに用いても、画質劣化の視認を抑制して視認性を向上させる効果が得られる。しかし、実際にエッジブレンドを行う幅(EBW−|CW|)が著しく小さいと位置ずれ等の影響により重畳領域において表示輝度ムラが視認される可能性がある。

0096

ここで、補間フレームにおける境界ベクトルによって生成されるオブジェクトは、重畳領域の半分(EBW/2)の領域には生成されない。これは、補間フレームの前のフレームのオブジェクトから動きベクトルの1/2離れた位置に、補間フレームにおけるオブジェクトが生成されることに起因する。例えば、図7(D)が示すオブジェクト6105は、フレームFG0のオブジェクト6100とフレームFG1のオブジェクト6110との中間位置に形成される。そして、オブジェクト6100とオブジェクト6110のうち一方は重畳領域に存在して、他方は非重畳領域に存在する。このため、投影装置100が生成する補間フレームにおけるオブジェクト6105は、必ず平行位置H1とH3との中間
地点H2よりも平行位置H1側に存在する。

0097

従って、式1のように、信頼度R2に対する信頼度R1の比が大きいほど、エッジブレンド幅CWの値が重畳領域幅EBWの半分に近づく。このことによれば、減光処理を行う幅が小さいことに起因する重畳領域における表示輝度ムラが視認される可能性を低減することができる。

0098

(その他の構成)
また、本実施形態では上述の式1により補間の信頼度からエッジブレンド幅を決定する構成を例にとって説明したが、重畳領域において補間の信頼度が高い投影装置が投影する投影画像が明るくされるように設計されていれば、この限りではない。例えば、当該投影画像が明るく投影されるように、エッジブレンドゲインを曲線状に変化させる構成としてもよい。また、境界ベクトルの数が信頼度であるとしたが、例えば、境界ベクトルの数の平方根二乗を信頼度としてもよい。

0099

また、本実施形態では、2台の投影装置からの投影画像が左右に並ぶ場合を例にとって説明したが、上下に2台並べて投影する場合でも、実現可能である。具体的には、上に位置する投影画像の下端と下に位置する投影画像の上端に対して、上述と同様の処理が行われることで、同様の効果を得ることができる。

0100

また、本実施形態では、各投影装置が信頼度情報を通信し、自投影装置と他の投影装置の信頼度情報を基に各投影装置がエッジブレンド幅を決定する場合を例にとって説明したが、この限りではない。例えば、マスターである投影装置を設定し、マスターが全ての投影装置のエッジブレンド幅を決定し、スレーブである他の投影装置へ送信する構成としてもよい。

0101

以上、本実施形態によれば、補間フレームの投影を行うマルチ投影システムにおいて、重畳領域におけるオブジェクトの動き検出が困難な投影装置が存在する場合であっても、画質劣化の視認を抑制することにより視認性を向上させることができる。

0102

[変形例1]
実施形態1では、補間の信頼度を、重畳領域と非重畳領域を跨ぐ動きベクトル(境界ベクトル)の個数とする構成を例にとって説明したが、これに限定するものではなく、視認性に影響を与える画質要素も考慮して決定する構成としてもよい。

0103

本変形例に係る信頼度決定部145は、補間フレームにおけるオブジェクトの階調値とオブジェクトの周囲の領域(オブジェクトの背景)の階調値に基づいて信頼度を決定する。なお、本変形例において用いられるオブジェクトは、境界ベクトルが検出されたオブジェクトである。具体的には、信頼度決定部145は、当該境界ベクトルを検出した投影装置に対する補間の信頼度を、当該2つの階調値の差が大きいほど高く決定する。これは、オブジェクトの階調値と周囲の階調値の差が大きい場合には、投影面でのオブジェクトの表示輝度変化が大きく、画質劣化の視認の可能性があるためである。

0104

以下では、図7(A)が示すような、従来のエッジブレンドゲインを例として、オブジェクトの階調値とオブジェクトの周囲の階調値の差分による、投影面におけるオブジェクトの表示輝度への影響を説明する。例えば、図7(D)が示すように、補間フレームF0.5におけるオブジェクト6105の階調値が100%であり、その周囲の階調値が0%であるとする。このとき、補間フレームG0.5では、オブジェクト6105が生成できないため、オブジェクト6105が生成されるべき位置には、その周囲の階調値0%の領域が生成される。すると、オブジェクト6105の位置に対応する投影装置100,20
0のエッジブレンドゲインはそれぞれ85%,15%であるから、投影面におけるオブジェクト6105の表示輝度は、100×0.85+0×0.15=85%である。つまり、フレームFG0,FG1においては、表示輝度100%で表示されるオブジェクト6105が、補間フレームFG1.5においては、表示輝度85%で表示されてしまう。

0105

一方、補間フレームF0.5におけるオブジェクト6105の階調値が100%であり、その周囲の階調値が90%であるとする。このとき、補間フレームG0.5では、オブジェクト6105が生成できないため、オブジェクト6105が生成されるべき位置には、その周囲の階調値90%の領域が生成される。すると、オブジェクト6105の位置に対応する投影装置100,200のエッジブレンドゲインはそれぞれ85%,15%であるから、投影面におけるオブジェクト6105の表示輝度は、100×0.85+90×0.15=97.5%である。

0106

このように、投影装置は、補間フレームにおける境界ベクトルが検出されたオブジェクトの階調値とオブジェクトの周囲の領域の階調値の差分が大きいほど、投影面におけるオブジェクトの表示輝度が前後のフレームの表示輝度から変化する。従って、差分が大きいほど、当該境界ベクトルを検出した投影装置に対して高い信頼度を決定して、当該信頼度に基づいて投影する構成が望ましいことが分かる。

0107

なお、オブジェクトの階調値とオブジェクトの周囲の階調値の差分は、当該補間フレームを生成するために用いた2つのフレームのいずれかにおけるオブジェクトとその周囲の階調値から決定してもよい。また、複数の境界ベクトルが検出されている場合には、当該複数の境界ベクトルそれぞれに対応するオブジェクトから決定された複数の階調値の差分の平均値に基づいて、信頼度が決定されてもよい。なお、投影装置は、境界ベクトルの数から求めた信頼度と、オブジェクトの階調値および周囲の階調値との差から求めた信頼度の双方の信頼度から1つの信頼度を生成してもよい。

0108

[変形例2]
実施形態1では、重畳領域において1つの信頼度を決定し、信頼度に基づきエッジブレンド幅を決定し、エッジブレンド処理を行うマルチ投影システムについて説明した。しかし、これに限らず、重畳領域をさらに小さな領域に分割し、分割した領域ごとに、信頼度およびエッジブレンド幅の決定やエッジブレンド処理を行うマルチ投影システムであってもよい。

0109

図8を用いて、本変形例に係るマルチ投影システムの処理を説明する。図8は、投影画像1001と投影画像2001の重畳領域を、垂直方向に並ぶような4つの処理領域1010,1011,1012,1013に分割している様子を示している。つまり、本変形例では、処理領域1010,1011,1012,1013という4つの重畳領域が存在するように設定されているといえる。

0110

ここで、投影装置100が境界ベクトル1300を検出し、投影装置200が境界ベクトル1301を検出する。投影装置100と投影装置200はそれぞれ、分割した処理領域ごとに信頼度を決定する。つまり、投影装置100,200は、分割した処理領域それぞれと非重畳領域の境界を跨ぐ動きベクトルの数を決定する。そのため、処理領域1011においては投影装置100が決定する信頼度が高く、処理領域1013においては投影装置200が決定する信頼度が高い。従って、処理領域1011においては、投影装置100の生成する補間フレームが明るく表示され、処理領域1013においては、投影装置200の生成する補間フレームが明るく表示される。

0111

このように、本変形例では、各投影装置は、分割された処理領域ごとに、信頼度および
エッジブレンド幅を決定して、エッジブレンド処理を行う。これによれば、境界ベクトル1300,1301のそれぞれから補間されたオブジェクトを、それぞれ適切な明るさで表示することができるため、より視認性を向上させることができる。

0112

<実施形態2>
次に、本発明の実施形態2に係るマルチ投影システム2について説明する。実施形態1では、2台の投影装置によってマルチ投影システムを構成していたが、マルチ投影システムは、2台の投影装置に限らす、投影装置が複数備えられていれば実現可能である。本実施形態では、それぞれ上下左右に投影を行う4台の投影装置によってマルチ投影システム2が構成される。

0113

本実施形態に係るマルチ投影システム2は、図9が示すように、投影装置100と投影装置200と投影装置300と投影装置400との4台の投影装置と、画像送出器900を有することによって投影面上(スクリーン上)に画像を表示する。ここで、投影装置100は投影画像1101を左上に投影し、投影装置200は投影画像2101を右上に投影する。投影装置300は投影画像3101を右下に投影し、投影装置400は投影画像4101を左下に投影する。投影装置100,200,300,400は、それぞれ互いに通信を行うため、通信ケーブル500を介して接続されている。

0114

投影装置100,200,300,400の内部構成はそれぞれ、実施形態1において図2を用いて説明した投影装置100の内部構成と同じであるため説明は省略する。

0115

なお、画像処理部140の内部構成については、信頼度決定部145、決定部146、ブレンド処理部147が、後述する重畳領域を分割した領域ごとに個別に動作できるように構成されている点が実施形態1とは異なる。実施形態2における信頼度決定部145、決定部146、ブレンド処理部147の動作については後述する。

0116

[投影処理フロー]
次に、図10を用いて、重畳領域におけるエッジブレンドゲインを決定するための、投影装置100の投影処理のフローを説明する。なお、投影装置200,300,400は投影装置100と同様の処理フローを実行するため、投影装置200,300,400における処理フローの説明は省略する。なお、下記のフローの処理は、画像信号のフレームごとに行われるものとし、S400からS990までの処理を、CPU110は画像信号のフレームごとに繰り返す。以下では、nフレームとn+1フレームとの間に投影される補間フレームの投影処理を説明する。また、図10が示すS400およびS410は、実施形態1において説明した同符号の処理と同様であるため説明は省略する。

0117

S920において、CPU110は、重畳領域内の未処理状態の処理領域を選択する。具体的には、投影装置100のCPU110は、右側重畳領域と下側重畳領域と右下重畳領域との3つの処理領域のうち、nフレームにおいて未処理の処理領域を選択する。ここで、右側重畳領域は、図11において縦線で示されている領域であって、投影画像1101と投影画像2101のみが重畳する領域である。下側重畳領域は、図11において横線で示されている領域であって、投影画像1101と投影画像4101のみが重畳する領域である。右下重畳領域は、図11において斜線で示されている領域であって、投影画像1101と投影画像2101と投影画像3101と投影画像4101との重畳領域である。つまり、本実施形態では、投影画像1101と1つの投影画像のみが重畳する領域と、投影画像1101と2以上の投影画像が重畳する領域との2種類の処理領域が存在する。

0118

S930において、CPU110は、S920で選択した領域が「角領域」であるか否かを判定する。ここで、角領域とは、4台の投影装置が重畳して投影している領域である
図11においては、角領域とは、斜線によって示されている領域である。すなわち、投影装置100の投影画像1101の右下重畳領域である。S920において選択された領域が角領域である場合には、処理工程はS935に遷移する。また、S920において選択された領域が角領域でない場合には、処理工程はS940に遷移する。

0119

S935において、CPU110は、信頼度決定部145を制御して、「第2境界ベクトル」を決定する。ここで、第2境界ベクトルは、角領域以外の処理領域と角領域との複数の境界を跨ぐ動きベクトルである。以降、このように角領域以外の処理領域と角領域との複数の境界を跨ぐ動きベクトルを「第2境界ベクトル」と呼び、実施形態1と同様に非重畳領域と処理領域(重畳領域)の境界を跨ぐ動きベクトルを「第1境界ベクトル」と呼ぶ。

0120

ここで、第1境界ベクトルおよび第2境界ベクトルについて、図11を用いて具体的に説明する。また、本実施形態では、第1境界ベクトルを、処理領域と非重畳領域との境界を垂直方向に跨ぐ「垂直方向の第1境界ベクトル」と処理領域と非重畳領域との境界を水平方向に跨ぐ「水平方向の第1境界ベクトル」との2つに分類する。

0121

まず、図11における動きベクトル6500のように、投影画像1101の右側重畳領域と非重畳領域の境界を水平方向に1か所跨ぐ動きベクトルは、右側重畳領域にとって「水平方向の第1境界ベクトル」である。同様に、動きベクトル6501のように、投影画像1101の下側重畳領域と非重畳領域の境界を垂直方向に1か所跨ぐ動きベクトルは、下側重畳領域にとって「垂直方向の第1境界ベクトル」である。一方、動きベクトル6502のように、投影画像1101の右側重畳領域と右下重畳領域と下側重畳領域との3つの処理領域を跨ぐ動きベクトルは、右下重畳領域にとって「第2境界ベクトル」である。さらに、動きベクトル6503のように、投影領域1101の右下重畳領域の境界を跨がないものの、処理領域と非重畳領域を2回跨ぐ動きベクトルが存在する場合がある。この場合、動きベクトル6503は、下側重畳領域にとっては「垂直方向の第1境界ベクトル」であり、右側重畳領域にとっては「水平方向の第1境界ベクトル」である。

0122

なお、右側重畳領域は、投影画像1101と投影画像2101との関係においては重畳領域であるが、投影画像1101と投影画像3101,4101との関係においては非重畳領域である。従って、4つの投影領域が重畳する右下重畳領域から見て、右側重畳領域は非重畳領域でもあるため、動きベクトル6504を、右下重畳領域6504にとって「垂直方向の第1境界ベクトル」とするとよい。一方、動きベクトル6504のように、投影領域1101の右側重畳領域と右下重畳領域との境界のみを跨ぐ動きベクトルは、重畳領域(処理領域)と非重畳領域との境界を跨がないとして、第1境界ベクトルでもなく、第2境界ベクトルでもないとしてもよい。

0123

なお、ある投影装置がある第2境界ベクトルを検出した場合、その他の投影装置では、当該第2境界ベクトルの始点または終点のどちらかは必ず投影領域の外に存在するため当該第2境界ベクトルを検出することができない。つまり、ある投影装置がある第2境界ベクトルを検出した場合、当該第2境界ベクトルに基づいて生成される補間フレームの精度は、その他の投影装置が生成する補間フレームよりも高い。

0124

従って、CPU110は、第2境界ベクトルの個数に基づいて、角領域に対してエッジブレンド幅を決定して補間フレームを投影することにより、画質劣化の視認を抑制でき、視認性を向上させることができる。なお、本実施形態におけるエッジブレンド幅の決定方法については後述する。

0125

S940において、CPU110は、信頼度決定部145を制御して、S920におい
て選択された処理領域に対して第1境界ベクトルの個数を決定する。より詳細には、信頼度決定部145は、水平方向の第1境界ベクトルの個数SH1と垂直方向の第1境界ベクトルの個数SV1を決定する。

0126

S950において、CPU110は、全ての処理領域に対して、S930からS940の処理を実行したか否か判定する。CPU110が、全ての処理領域に対してS930からS940の処理を実行したと判定した場合は、処理工程はS960に遷移する。CPU110が、全ての処理領域に対してS930からS940の処理を実行していないと判定した場合は、処理工程はS920に遷移する。

0127

S960において、CPU110は、通信部114を介して他の投影装置に決定した信頼度R1を信頼度情報として送信する。本実施形態では、信頼度R1は、処理領域ごとの、第2境界ベクトルの個数D1と水平方向の第1境界ベクトルの個数SH1と垂直方向の第1境界ベクトルの個数SV1を示す情報である。つまり、本実施形態における信頼度R1は、処理領域ごとの、3種類の動きベクトルの個数の情報を有する。

0128

S970において、CPU110は、通信部114を介して他の投影装置が決定した信頼度情報を取得する。すなわち、フローでは、投影装置100のCPU110が、投影装置200,300,400が決定した信頼度R2,R3,R4を取得する。具体的には、信頼度R2,R3,R4はそれぞれ、領域ごとの、第2境界ベクトルの個数D2,D3,D4、水平方向の第1境界ベクトルの個数SH2,SH3,SH4、垂直方向の第1境界ベクトルの個数SV2,SV3,SV4を示す。

0129

S980において、CPU110は、決定部146を制御して、エッジブレンド幅を決定させる。本実施形態では、次の式2および式3によりエッジブレンド幅を決定する。なお、角領域以外の処理領域に対するエッジブレンド幅の決定方法については、2つの投影画像が重畳する領域に対するエッジブレンド幅の決定であり実施形態1(変形例2)と同様であるため説明は省略する。

0130

以下、角領域におけるエッジブレンド幅の決定方法について説明する。まず、第2境界ベクトルの個数D1,D2,D3,D4のいずれかが0でない場合、決定部146は、下記式2および式3により、水平方向のエッジブレンド幅CWHと垂直方向のエッジブレンド幅CWVをそれぞれ決定する。ここで、EBWHは水平方向の重畳領域幅を示し、EBWVは垂直方向の重畳領域幅を示す。なお、Max()は、引数のうち最も大きな値を返す関数である。

0131

また、D1、D2、D3、D4がいずれも0の場合、下記式4および式5により、決定部146は、水平方向のエッジブレンド幅CWHと垂直方向のエッジブレンド幅CWVをそれぞれ決定する。

0132

ここで、ES1はSH1とSV1との合計であり、ES2はSH2とSV2との合計であり,ES3,ES4も同様である。つまり、ES1〜ES4は、各投影装置が角領域に対して検出した第1境界ベクトルの数の合計である。また、ES1,ES2,ES3,ES4がいずれも0の場合、エッジブレンド幅CWH=0,CWV=0に決定される。以上のようにして、全ての処理領域のエッジブレンド幅を決定する。

0133

なお、下記のような式4および式5ではなく、式6および式7によって、水平方向のエッジブレンド幅CWHと垂直方向のエッジブレンド幅CWVをそれぞれ決定してもよい。つまり、水平方向の第1境界ベクトルの個数に基づいて水平方向のエッジブレンド幅CWHが決定され、垂直方向の第1境界ベクトルの個数に基づいて垂直方向のエッジブレンド幅CWVが決定されてもよい。

0134

S990において、CPU110は、ブレンド処理部147を制御して、エッジブレンド処理を行う。本実施形態では、ブレンド処理部147は、各処理領域のエッジブレンド幅CWH,CWVに基づいて、各処理領域に対してエッジブレンド処理を施す。角領域以外の処理領域のエッジブレンド幅CWに基づいたエッジブレンド処理方法については、実施形態1と同様であるため説明を省略する。

0135

角領域については、いずれかの投影装置が、第2境界ベクトルを検出した場合には、下記のようにエッジブレンド処理を行う。なお、いずれの投影装置も第2境界ベクトルを検出しなかった場合には、下記のエッジブレンド処理における「第2境界ベクトルの個数D1〜D4」のそれぞれを「第1境界ベクトルの個数ES1〜ES4」のそれぞれに読み替えたエッジブレンド処理が行われる。

0136

第2境界ベクトルの個数D1がD2,D3,D4のどれよりも多い場合には、投影装置100は、角領域における投影画像1101の中心に最も近い頂点から水平方向にCWH、垂直方向にCWV分だけエッジブレンドゲインを100%にする。また、投影装置100は、角領域内の残りの領域に対して当該中心から離れるにつれ徐々にエッジブレンドゲインを減少させる。

0137

また、第2境界ベクトルの個数D1とD2〜D4との関係がそれ以外の場合には、投影装置100は、角領域における投影画像1101の中心に最も遠い頂点から水平方向にCWH、垂直方向にCWV分だけエッジブレンドゲインを0%とする。投影装置100は、角領域内の残りの領域は当該中心に近づくにつれて徐々にエッジブレンドゲインを増加させる。

0138

なお、角領域における各投影装置のエッジブレンドゲインは、水平方向のエッジブレ
ドゲインと垂直方向のエッジブレンドゲインの積により決定するとよい。

0139

なお、始点または終点の一方が角領域に存在し、他方が非重畳領域に存在するような動きベクトルについても、同様に「第2境界ベクトル」であるとしてもよい。従って、一部が角領域上に存在する動きベクトルであって、投影装置100においてのみ検出される動きベクトルが「第2境界ベクトル」であるといえる。この場合、上述のフローにおいて、第2境界ベクトルの個数D1は、さらに、始点または終点の一方が角領域に存在し、他方が非重畳領域に存在するような動きベクトルの数を加えた合計値(合計数)とするとよい。

0140

以上、説明したように、4台の投影装置を使用し投影を行う場合であっても、重畳領域付近における画質劣化の視認を抑制することができるため、視認性を向上させることができる。また、本実施形態では、ある投影装置が第2境界ベクトルを検出した場合に、重畳領域において、その投影装置の投影画像を明るく投影されるように構成し、他の投影装置の投影画像が暗く投影される構成とする。このことにより、4台投影時の4台が重畳して投影する角領域付近においても、補間精度の高い補間フレームを明るく投影することができる。従って、当該角領域付近においても、画質劣化の視認を抑制することができるため、視認性を向上させることができる。

0141

<実施形態3>
実施形態1に係るマルチ投影システムは重畳領域の境界を跨ぐ動きベクトルの数に基づいて信頼度を決定したが、本実施形態に係るマルチ投影システムは、動きベクトル検出時に決定する検出精度に基づいて信頼度を決定する。

0142

本実施形態に係るマルチ投影システム3は、投影装置100および投影装置200とを有する。ここで、マルチ投影システム3における各投影装置間の接続と投影状態、内部構成については、実施形態1の図1図3が示すマルチ投影システム3のものと同様であるため説明は省略する。

0143

[投影処理フロー]
次に、図12を用いて、重畳領域におけるエッジブレンドゲインを決定するための、投影装置100の投影処理のフローを説明する。なお、投影装置200は投影装置100と同様の処理フローを実行するため、投影装置200における処理フローの説明は省略する。なお、下記のフローの処理は、画像信号のフレームごとに行われるものとし、S400からS460までの処理を、CPU110は画像信号のフレームごとに繰り返す。以下では、nフレームとn+1フレームとの間に投影される補間フレームの投影処理を説明する。また、S400,S410,S440〜S460は実施形態1において図5を用いて説明した処理と同様であるため、説明は省略する。

0144

S1120において、CPU110は、S410で検出された各動きベクトルについて重畳領域に含まれているか判定する。ここで、動きベクトルが重畳領域に含まれているとは、動きベクトルの始点と終点がともに重畳領域内に存在するということである。CPU110が、動きベクトルが一つでも重畳領域に含まれていると判定した場合には、処理工程はS1130に遷移する。一方、CPU110が、動きベクトルが重畳領域に一つも存在しないと判定した場合、処理工程はS1160に遷移する。

0145

S1130において、CPU110は、S1120で重畳領域に含まれていると判定された動きベクトルについて、検出部142から動きベクトルの検出精度を取得し、信頼度決定部145へ送信する。本実施形態では、検出精度は、検出部142が行うブロックマッチングにおいて決定される差分絶対値和(SAD)に基づいた値である。例えば、検出
部142は、ある動きベクトルの検出精度Aを、下記の式8を用いることにより決定することができる。

0146

ここで、SADは動きベクトル決定時の差分絶対値和を示し、MaxTLは画像信号における画素データがとりうる最大階調値を示す。BlWは探索ブロックの水平方向の画素数を示し、BlHは探索ブロックの垂直方向の画素数を示す。つまり、図4(A)が示す探索ブロック5000を用いて信頼度Aを決定する場合には、BlW=16、BlH=16である。検出精度Aは、2つのフレームのオブジェクト間の相関の度合いを示している。すなわち、CPU110は、差分絶対値和が小さいほど、相関が高いと考えられるため、値の大きな検出精度を決定する。なお、ブロックマッチングに相関係数を用いる場合には、相関係数をそのまま検出精度として使用してもよい。

0147

S1140において、CPU110は、信頼度決定部145を制御して、S1130で決定した各動きベクトルの検出精度に基づいて、信頼度R1を決定する。本実施形態では、重畳領域に含まれていると判定された動きベクトルの平均検出精度を信頼度R1とする。例えば、N個の動きベクトルが重畳領域に含まれていると判定されている場合、信頼度R1は、下記の式9により決定できる。なお、Anはある動きベクトルの検出精度を示す。

0148

S1150において、CPU110は、通信部114を介して、投影装置200に対して信頼度R1を信頼度情報として出力する。

0149

なお、本実施形態では、重畳領域に含まれている動きベクトルに基づいて、S1130およびS1140の処理が行われるが、重畳領域に含まれている動きベクトルと境界ベクトルに基づいてS1130およびS1140の処理が行われてもよい。つまり、重畳領域に含まれているまたは境界ベクトルである、動きベクトルの検出精度(平均検出精度)がS1140において決定されてもよい。

0150

[効果]
次に、本実施形態の効果について図13を用いて説明する。図13は、投影装置100の投影画像1001と投影装置200の投影画像2001が左右に並んで投影されている様子を模式的に示している。図13おいて、横線によって示されている領域が、投影画像1001と投影画像2001との重畳領域である。

0151

オブジェクト1210を含むnフレームが投影装置100,200にそれぞれ入力され、オブジェクト1220を含むn+1フレームが投影装置100,200に入力されているものとする。これに対して、上述のように、投影装置100,200はそれぞれ、オブジェクト1210とオブジェクト1220に対する動きベクトル1200をそれぞれの投影装置が検出する。

0152

ここで、図13が示すように、投影装置100に入力される画像信号には、オブジェクト1210とオブジェクト1220とが欠けることなく含まれているため、投影装置10
0は、精度の高い補間オブジェクトを生成することができる。しかしながら、投影装置200に入力される画像信号には、nフレームがオブジェクト1210を完全に含むものの、n+1フレームはオブジェクト1220の左端を含まない。従って、投影装置200の生成する補間オブジェクトは、投影装置100が生成する補間オブジェクトより精度の低い。ここで、投影面上では、投影装置100が生成した精度の高い補間オブジェクトと、投影装置200が生成した精度の低い補間オブジェクトがほぼ同じ位置に投影されてしまう。このため、二重像として視認される可能性がある。また、表示されるオブジェクトの一部の表示輝度が、当該オブジェクトの他の部分の表示輝度と異なってしまうことが発生し得るため、画質劣化として視認される可能性もある。

0153

これを解消するために、本実施形態では、各投影装置は、動きベクトルの検出精度に基づいて信頼度を決定する。具体的には、投影装置200において、オブジェクト1220の一部は画像信号には含まれないため、上述の2つのオブジェクト間の階調値の差分絶対値和(相関)が低い値に決定される。従って、投影装置200の動きベクトル1200の検出精度は、投影装置100の検出精度と比較して低く決定される。このため、投影装置200における補間の信頼度も低く決定される。

0154

そして、信頼度の高い方の投影画像が重畳領域において明るく投影されるように、エッジブレンド幅が決定されるため、投影装置100の投影画像の方が明るく投影される。従って、投影面上では、投影装置100が生成した精度の高い補間オブジェクトが明るく表示されるため、二重像や上述のような画質劣化を視認される可能性を低減できる。

0155

以上説明したように、動きベクトルの検出精度に基づいて信頼度を決定し、エッジブレンド幅を決定することにより、重畳領域付近における画質劣化の視認を抑制することができるため、画像の視認性を向上することができる。

0156

なお、本実施形態では、差分絶対値和(SAD)に基づいて動きベクトルの検出精度を決定する構成を例にとって説明を行ったが、動きベクトル検出の確からしさを評価できる指標であればこれに限定するものではない。例えば、平均二乗誤差、平均絶対誤差を使用する構成としてもよい。

0157

また、本実施形態は、実施形態1における境界ベクトルの個数に基づいて信頼度を決定する方法と組み合わせて用いることもできる。例えば、境界ベクトルの個数に基づいた信頼度と、動きベクトルの検出精度に基づいた信頼度をそれぞれ決定し、それぞれを所定の係数重みづけ加算することにより総合的な信頼度を決定する構成としてもよい。これにより、さらに重畳領域付近における画質劣化の視認を抑制できるため、画像の視認性をさらに向上させることができる。

0158

なお、上記の各実施形態や各変形例の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASICFPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

0159

(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は
記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0160

1:投影システム、100:投影装置、200:投影装置
120:画像取得部、142:検出部、143:補間フレーム生成部
145:信頼度決定部、114:通信部、146:決定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ