図面 (/)

技術 投影制御装置、投影制御方法、及び、プログラム

出願人 キヤノン株式会社
発明者 鈴木幸一郎
出願日 2018年9月7日 (2年2ヶ月経過) 出願番号 2018-167980
公開日 2020年3月19日 (8ヶ月経過) 公開番号 2020-042099
状態 未査定
技術分野 電気信号の光信号への変換
主要キーワード 目標エリア 変形位置 変形ステップ 四角型 投影制御装置 投影エリア 変形情報 糸巻き型
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

画像を所望の形状で容易に投影できる技術を提供する。

解決手段

本発明の投影制御装置は、投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出手段と、前記複数のマーカーの種類と数と位置に基づいて第1画像を変形する処理を少なくとも行うことにより、前記第1画像から第2画像を生成する変形手段と、前記第2画像を前記投影面に投影するように制御する制御手段と、を有することを特徴とする。

概要

背景

画像を投影面(スクリーンなど)に投影する投影装置プロジェクタ)は広く知られている。ユーザ操作(ユーザによるボタン操作など)により、投影面の形状に合わせて画像を変形して投影する投影装置も広く知られている。また、投影面に照射されたマーカーを検出して、そのマーカーに合わせて画像をスケーリングして投影する投影装置が提案されている(特許文献1)。

概要

画像を所望の形状で容易に投影できる技術を提供する。本発明の投影制御装置は、投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出手段と、前記複数のマーカーの種類と数と位置に基づいて第1画像を変形する処理を少なくとも行うことにより、前記第1画像から第2画像を生成する変形手段と、前記第2画像を前記投影面に投影するように制御する制御手段と、を有することを特徴とする。

目的

本発明は、画像を所望の形状で容易に投影できる技術を提供することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出手段と、前記複数のマーカーの種類と数と位置に基づいて第1画像を変形する処理を少なくとも行うことにより、前記第1画像から第2画像を生成する変形手段と、前記第2画像を前記投影面に投影するように制御する制御手段と、を有することを特徴とする投影制御装置

請求項2

前記検出手段は、前記複数のマーカーを繰り返し検出し、前記変形手段は、前記検出手段による今回の検出結果と前回の検出結果とに基づいて、前記複数のマーカーの少なくともいずれかが検出されなくなった場合に、そのマーカーが前回検出された位置に存在するとみなして、前記第1画像を変形することを特徴とする請求項1に記載の投影制御装置。

請求項3

前記変形手段は、第1の種類のマーカーが頂点となり且つ前記第1の種類のマーカー同士が直線で繋がれ且つ前記第1の種類のマーカーと第2の種類のマーカーとが曲線で繋がれるように前記複数のマーカーを繋いで形成されるエリアに対応して前記第2画像が投影されるように、前記第1画像を変形することを特徴とする請求項1または2に記載の投影制御装置。

請求項4

前記第1の種類の4つのマーカーが前記複数のマーカーとして検出された場合に、前記変形手段は、当該4つのマーカーを頂点とする四角形のエリアに対応して前記第2画像が投影されるように、前記第1画像を変形することを特徴とする請求項3に記載の投影制御装置。

請求項5

前記第1の種類の6つのマーカーが前記複数のマーカーとして検出された場合に、前記変形手段は、当該6つのマーカーを頂点とする六角形のエリアに対応して前記第2画像が投影されるように、前記第1画像を変形することを特徴とする請求項3または4に記載の投影制御装置。

請求項6

前記第1の種類の4つのマーカーと、当該4つのマーカーを頂点とする四角形の内側に配置された前記第2の種類の2つのマーカーとを含む6つのマーカーが前記複数のマーカーとして検出された場合に、前記変形手段は、当該6つのマーカーに接する糸巻き形のエリアに対応して前記第2画像が投影されるように、前記第1画像を変形することを特徴とする請求項3〜5のいずれか1項に記載の投影制御装置。

請求項7

前記変形手段は、前記投影面における所定のエリアの外側に配置されたマーカーを考慮しないことを特徴とする請求項1〜6のいずれか1項に記載の投影制御装置。

請求項8

前記変形手段は、所定の閾値以下の間隔で配置されたマーカーを考慮しないことを特徴とする請求項1〜7のいずれか1項に記載の投影制御装置。

請求項9

前記複数のマーカーは、前記投影面に不可視光で投影されることを特徴とする請求項1〜8のいずれか1項に記載の投影制御装置。

請求項10

前記投影面を撮像する撮像手段、をさらに有することを特徴とする請求項1〜9のいずれか1項に記載の投影制御装置。

請求項11

前記投影制御装置は、前記投影面に前記第2画像を投影可能な投影装置であることを特徴とする請求項1〜10のいずれか1項に記載の投影制御装置。

請求項12

投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出ステップと、前記複数のマーカーの種類と数と位置に基づいて第1画像を変形する処理を少なくとも行うことにより、前記第1画像から第2画像を生成する変形ステップと、前記第2画像を前記投影面に投影するように制御する制御ステップと、を有することを特徴とする投影制御方法

請求項13

コンピュータを請求項1〜11のいずれか1項に記載の投影制御装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、投影制御装置投影制御方法、及び、プログラムに関する。

背景技術

0002

画像を投影面(スクリーンなど)に投影する投影装置プロジェクタ)は広く知られている。ユーザ操作(ユーザによるボタン操作など)により、投影面の形状に合わせて画像を変形して投影する投影装置も広く知られている。また、投影面に照射されたマーカーを検出して、そのマーカーに合わせて画像をスケーリングして投影する投影装置が提案されている(特許文献1)。

先行技術

0003

特開2005−39518号公報

発明が解決しようとする課題

0004

しかしながら、従来技術では、投影面の形状に合わせて画像を変形して投影するために、ユーザは操作を繰り返さなければならないことがある。例えば、ユーザは、画像の頂点を選択して移動するという操作を、各頂点に対して個別に行わなければならないことがある。また、外的要因(温度の変化、投影装置のずれ、投影面の変形など)により画像が変形する度に、ユーザは画像の形状を再調整しなければならない。また、特許文献1に開示の投影装置でも、画像のスケーリングが行われるに過ぎず、上述した課題は発生する。

0005

本発明は、画像を所望の形状で容易に投影できる技術を提供することを目的とする。

課題を解決するための手段

0006

本発明の第1の態様は、
投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出手段と、
前記複数のマーカーの種類と数と位置に基づいて第1画像を変形する処理を少なくとも行うことにより、前記第1画像から第2画像を生成する変形手段と、
前記第2画像を前記投影面に投影するように制御する制御手段と、
を有することを特徴とする投影制御装置である。

0007

本発明の第2の態様は、
投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出ステップと、
前記複数のマーカーの種類と数と位置に基づいて第1画像を変形する処理を少なくとも行うことにより、前記第1画像から第2画像を生成する変形ステップと、
前記第2画像を前記投影面に投影するように制御する制御ステップと、
を有することを特徴とする投影制御方法である。

0008

本発明の第3の態様は、コンピュータを上述した投影制御装置の各手段として機能させるためのプログラムである。

発明の効果

0009

本発明によれば、画像を所望の形状で容易に投影できる。

図面の簡単な説明

0010

本実施形態に係るプロジェクタの構成例を示すブロック図である。
本実施形態に係る投影の様子の一例を示す模式図である。
本実施形態に係るマーカー検出処理に関するフロー図および模式図である。
本実施形態に係るマーカー補完処理に関するフロー図および模式図である。
本実施形態に係るマーカーエリアの一例を示す模式図である。
本実施形態に係る変形決定処理の一例を示すフロー図である。
本実施形態に係る変形処理タイルの一例を示す模式図である。
本実施形態の効果の一例を示す模式図である。
本実施形態の効果の一例を示す模式図である。
本実施形態の効果の一例を示す模式図である。

実施例

0011

以下、本発明の実施形態について説明する。以下では、本実施形態に係る投影制御装置が、投影面に画像を投影可能な投影装置(プロジェクタ)である例について説明するが、投影制御装置は、プロジェクタとは別体の装置であってもよい。例えば、投影制御装置は、プロジェクタを制御可能なパーソナルコンピュータ(PC)であってもよい。

0012

図1は、本実施形態に係るプロジェクタ100の構成例を示すブロック図である。制御部150は、プロジェクタ100の各部を制御する。

0013

画像入力端子111は、プロジェクタ100の外部から画像データ(画像信号)を取得し、当該画像データを入力処理部112へ出力する。入力処理部112は、画像入力端子111から出力された画像データを、所定の画像処理を施して、画像処理部113へ出力する。入力処理部112で行われる画像処理は、例えば、画像処理部113で処理可能な画素数解像度)やフレームレートを有する画像データへの変換処理などである。画像処理部113は、入力処理部112から出力された画像データを、所定の画像処理を施して、画像変形部114へ出力する。画像処理部113で行われる画像処理は、例えば、投影に適した階調や色を有する画像データへの変換処理などである。

0014

画像変形部114は、画像処理部113から出力された画像データを、後述の変形情報に基づいて画像を変形する画像処理(変形処理)を施して、光変調器駆動部115へ出力する。なお、画像変形部114は、変形処理の前や後に他の画像処理(階調変換輝度変換色変換など)をさらに行って、光変調器駆動部115へ出力する画像データを生成してもよい。他の画像処理は、画像変形部114とは異なる処理部によって行われてもよい。光変調器駆動部115は、画像変形部114から出力された画像データに基づいて、光変調器122を駆動する。

0015

光源121は、光変調器122に光を照射する。光変調器122は、光変調器駆動部115によって駆動され、光源121から発せられた光を変調する。光変調器122において光源121からの光が画像変形部114からの画像データに応じた光(画像を表す光)に変調されるように、光変調器駆動部115は光変調器122を駆動する。光変調器122は、例えば、1つ以上の液晶パネルを有し、光源121からの光を画像変形部114からの画像データに応じた透過率で透過する。投影光学系123は、1つ以上の投影レンズを有し、光変調器122による変調後の光を、投影レンズで光学的な変化を与えて、不図示の投影面(スクリーンなど)に投影する。これにより、画像変形部114からの画像データによって表された画像が投影面に投影される。投影レンズは、例えば、投影画像(投影面に投影(表示)された画像)を拡大するためのズームレンズや、投影画像の焦点を調整するためのフォーカスレンズなどである。

0016

撮像部131は、撮像素子撮像センサ;CCDやCMOS素子など)や撮像レンズなどを有し、投影面を撮像することにより撮像画像データを生成し、撮像画像データをマーカー検出部132へ出力する。なお、撮像部131は、プロジェクタ100や投影制御装置とは別体の撮像装置であってもよい。マーカー検出部132は、撮像部131から出力された撮像画像(撮像画像データによって表された画像)から、投影面に配置された複数のマーカーを検出する。そして、マーカー検出部132は、複数のマーカーの検出結果(検出された複数のマーカーの種類、数、位置など)を示すマーカー情報を、マーカー補完部133へ出力する。なお、マーカーの検出方法は特に限定されない。例えば、マーカー検出部132は、パターンマッチングなどによって撮像画像からマーカーを検出する。

0017

マーカー補完部133は、マーカー検出部132から出力されたマーカー情報に情報の一時的な欠落などがある場合に、マーカー情報を補完し、補完後のマーカー情報を変形決定部135へ出力する。また、マーカー補完部133は、マーカー情報の補完を行わない場合には、マーカー検出部132から出力されたマーカー情報をそのまま変形決定部135へ出力する。マーカー記憶部134は、マーカー情報の補完のためにマーカー補完部133によって使用される補完用情報を記憶する。変形決定部135は、マーカー補完部133から出力されたマーカー情報に基づいて、投影画像の目標エリア(形状を含む)に関する変形情報を生成する。そして、変形決定部135は、変形情報を画像変形部114へ出力する。このように、変形情報は、検出された複数のマーカーの種類、数、位置などを示すマーカー情報に基づいて生成される。そのため、変形情報に基づいて画像を変形する処理(画像変形部114によって行われる変形処理)は、「検出された複数のマーカーの種類、数、位置などに基づいて画像を変形する処理」と言える。

0018

なお、マーカーは、所定の形状、所定のサイズ、所定の色(波長)、所定の模様などによって、投影面に描かれた画像(投影画像や他の画像など)と区別されることが好ましい。これにより、マーカーが高精度に検出できるようになる。また、マーカーは、磁石粘着テープシールなどであってもよいが、コーナーキューブ不可視画像赤外線などの不可視光で投影された画像)などであることが好ましい。例えば、マーカーとして不可視画像を用いることにより、マーカーによる投影画像の視認性の低下を抑制できる。また、複数のマーカーにおいて、種類の異なる2つ以上のマーカーが混在していてもよい。また、撮像部131が撮像を行うタイミングは特に限定されないが、撮像部131が投影画像のブランキング期間に撮像を行うようにしてもよい。

0019

図2は、プロジェクタ100がホワイトボード211に画像を投影している様子の一例を示す。範囲251は、撮像部131によって撮像される撮像範囲であり、範囲252は、プロジェクタ100が投影可能な投影可能範囲(プロジェクタ100が投影する上限範囲)であり、範囲253は、プロジェクタ100が投影する投影範囲である。図2の例では、ホワイトボード211(投影可能範囲252)に、4つのマーカー221〜224が配置されている。撮像範囲251は投影可能範囲252を含むため、撮像部131は4つのマーカー221〜224を撮像する。そして、プロジェクタ100は、4つのマーカー221〜224(マーカーの種類と数と位置)に基づいて、投影範囲253を決定する。なお、撮像範囲251は投影可能範囲252と一致してもよい。

0020

図3(A)は、マーカー検出部132のマーカー検出処理の一例を示すフローチャートであり、図3(B)は、撮像部131によって生成された撮像画像350の一例を示す模式図である。撮像画像350には、6つのマーカー351〜356が写っている。図3(A),3(B)を用いて、マーカー検出処理の一例について説明する。

0021

ステップS301にて、マーカー検出部132は、撮像画像350から6つのマーカー
351〜356を検出する。

0022

ステップS302にて、マーカー検出部132は、ステップS301で検出した6つのマーカー351〜356のそれぞれを、採用マーカーまたは不採用マーカーに選別する。採用マーカーは、画像変形部114の変形処理で考慮されるマーカーであり、不採用マーカーは、変形処理で考慮されないマーカーである。なお、ステップS302の処理は省略されてもよいが、ステップS302の処理により変形処理の精度を向上できる。具体的には、意図せぬマーカーによる画像の変形を抑制できる。

0023

本実施形態では、マーカー検出部132は、マーカーの間隔に基づいて、採用マーカーや不採用マーカーを決定する。具体的には、変形処理で考慮すべきでない予備のマーカーなどは、短い間隔で配置されている可能性が高いため、マーカー検出部132は、所定の閾値以下の間隔で配置されたマーカーを不採用マーカーとして選択する。図3(B)において、マーカー351〜354の間隔は比較的長く、マーカー355,356の間隔は比較的短い(マーカー355とマーカー356は互いに隣接する)。そのため、マーカー351〜354のそれぞれが採用マーカーとして選択され、マーカー355,356のそれぞれが不採用マーカーとして選択される。

0024

なお、マーカー検出部132は、投影面における所定のエリアや、現在の投影範囲などに基づいて、採用マーカーや不採用マーカーを決定してもよい。例えば、マーカー検出部132は、所定のエリアの外側に配置されたマーカーを不採用マーカーとして選択してもよい。所定のエリアは、予備のマーカーなどが配置される可能性の高いエリアであり、例えば、撮像画像(撮像範囲)の縁部、投影可能範囲の縁部、現在の投影範囲の縁部などである。また、ステップS301で多数のマーカーが検出された場合などにおいて、マーカー検出部132は、現在の投影範囲の縁に近いマーカーを、当該縁から遠いマーカーよりも優先して採用マーカーとして選択してもよい。そして、マーカー検出部132は、所定の条件を満たす複数の採用マーカーが決定された場合に、残りのマーカーを不採用マーカーとして選択してもよい。

0025

ステップS303にて、マーカー検出部132は、ステップS302で決定された採用マーカー351〜354の数と位置(座標)と種類を示すマーカー情報を生成して出力する。

0026

マーカー検出部132は、上述したマーカー検出処理(ステップS301〜S303の処理)を繰り返し実行する。

0027

図4(A)は、マーカー補完部133のマーカー補完処理の一例を示すフローチャートである。図4(B)は、前回のマーカー検出処理で使用された撮像画像450の一例を示す模式図であり、図4(C)は、今回のマーカー検出処理で使用された撮像画像460の一例を示す模式図である。前回のマーカー検出処理では4つのマーカー451〜454が検出されるが、今回のマーカー検出処理では、マーカー454が撮像画像460に写っていないため、マーカー454は検出されず、3つのマーカー451〜453のみが検出される。例えば、撮像部131と投影面の間の障害物の発生などによって、マーカー454が撮像画像460に写らなくなる。なお、撮像画像450,460から検出されたマーカーは全て採用マーカーであり、後述するマーカーは全て採用マーカーである。

0028

図4(A)〜4(C)を用いて、マーカー補完処理の一例について説明する。ここでは、マーカー記憶部134が、前回のマーカー検出処理で生成されたマーカー情報を補完用情報として記憶しているとする。

0029

ステップS401にて、マーカー補完部133は、マーカー検出部132からのマーカー情報(今回のマーカー情報)と、マーカー記憶部134が記憶している補完用情報(前回のマーカー情報)とを比較し、マーカー数が減少したか否かを判定する。マーカー数(検出されたマーカーの数)が減少したと判定された場合はステップS402へ進み、そうでない場合はステップS403へ進む。

0030

ステップS402にて、マーカー補完部133は、今回のマーカー情報と前回のマーカー情報とを比較し、前回は検出されたが今回は検出されていないマーカーを特定する。そして、マーカー補完部133は、特定したマーカーの座標と種類を示す情報を、前回のマーカー情報から今回のマーカー情報に転記することにより、今回のマーカー情報を補完する。このように、本実施形態では、検出された複数のマーカーの少なくともいずれかが検出されなくなった場合に、そのマーカーが前回検出された位置に存在するとみなされる。具体的には、撮像画像460において、マーカー454が、撮像画像450におけるマーカー454の位置と同じ位置に存在するとみなされる。

0031

ステップS403にて、マーカー補完部133は、今回のマーカー情報を次回のマーカー補完処理の補完用情報として使用するために、マーカー記憶部134が記憶している補完用情報を今回のマーカー情報で更新する。ここで、マーカーが投影面から意図的に除かれたことにより、当該マーカーが非一時的に検出されなくなることがある。そして、そのような場合には、検出されなくなったマーカーが存在するとみなすべきではない。そのため、マーカー情報の補完(ステップS402の処理)が行われた場合に、マーカー補完部133は、補完前のマーカー情報で補完用情報を更新する。なお、マーカー補完部133は、補完用情報で示されたマーカーが検出されない状況が同じマーカーについて所定回数継続した場合に、補完前のマーカー情報で補完用情報を更新し、そうでない場合に、補完後のマーカー情報で補完用情報を更新してもよい。

0032

ステップS404にて、マーカー補完部133は、今回のマーカー情報を出力する。ステップS402の処理が行われた場合には、マーカー補完部133は、補完後のマーカー情報を出力する。

0033

マーカー補完部133は、上述したマーカー補完処理(ステップS401〜S404の処理)を繰り返し実行する。マーカー補完処理は省略されてもよいが、マーカー補完処理により変形処理の精度を向上できる。具体的には、マーカーが一時的に(意図せず)検出されないことによる画像の変形を抑制できる。

0034

図5(A)〜5(C)は、検出された複数のマーカーを繋いで形成されるエリア(マーカーエリア)の一例を示す。マーカーエリアの形成方法は特に限定されないが、本実施形態では、マーカーエリアは、少なくとも以下の条件1〜3を満たすように形成されたエリアである。
条件1:第1の種類のマーカー(円形のマーカー)が頂点となる。
条件2:第1の種類のマーカー同士が直線で繋がれる。
条件3:第1の種類のマーカーと第2の種類のマーカー(四角形のマーカー)とが曲線で繋がれる。

0035

本実施形態では、マーカーエリアに対応して画像が投影されるように、変形決定部135が変形情報を生成し、画像変形部114が画像を変形する。そして、本実施形態では、マーカーエリアに対応するような投影は、投影エリア(投影範囲)がマーカーエリアに一致するような投影である。そのため、マーカーエリアは「投影画像の目標エリア」とも言える。

0036

なお、マーカーエリアに対応するような投影は、投影エリアがマーカーエリアに一致するような投影でなくてもよい。即ち、目標エリアはマーカーエリアと異なってもよい。例えば、マーカーエリアに対応するような投影は、投影エリアとマーカーエリアの間で位置と向きと形状が一致するような他の投影であってもよい。マーカーエリアに対応するような投影は、マーカーエリアの輪郭と投影エリアの輪郭と間隔が略均一となるような他の投影であってもよい。マーカーに投影画像が重ならないように、マーカーエリアの内側に目標エリアが設定されてもよい。

0037

また、マーカーの種類の違いは、マーカーの形状の違いでなくてもよい。例えば、マーカーの種類の違いは、マーカーのサイズの違い、マーカーの色の違い、マーカーの模様の違い、等の少なくともいずれかを含んでもよい。

0038

図5(A)では、第1の種類の6つのマーカーが配置されている。この場合には、変形決定部135は、6つのマーカーを頂点とする六角形のエリアを、目標エリア(マーカーエリア)として設定する。以後、図5(A)に示す目標エリアのタイプを「二面型」と記載する。二面型の目標エリアは、例えば、部屋などの角を形成する2つの壁にわたって画像を投影する場合に設定される。

0039

図5(B)では、第1の種類の4つのマーカーと、当該4つのマーカーを頂点とする四角形の内側に配置された第2の種類の2つのマーカーとを含む6つのマーカーが配置されている。この場合には、変形決定部135は、6つのマーカーに接する糸巻き形のエリアを、目標エリアとして設定する。以後、図5(B)に示す目標エリアのタイプを「糸巻き型」と記載する。糸巻き型の目標エリアは、例えば、或る方向(横方向など)に湾曲する曲面に画像を投影する場合に設定される。

0040

図5(C)では、第1の種類の4つのマーカーが配置されている。この場合には、変形決定部135は、4つのマーカーを頂点とする四角形のエリアを、目標エリアとして設定する。以後、図5(C)に示す目標エリアのタイプを「四角型」と記載する。四角型の目標エリアは、例えば、平面に画像を投影する場合に設定される。

0041

画像変形部114による画像の変形方法は特に限定されない。画像変形部114による画像の変形方法として、従来提案された様々な方法を使用できる。例えば、特開2014−192688号公報に開示の方法を用いて、二面型の目標エリアに画像を投影するための変形が行われてもよい。特開2013−077988号公報に開示の方法を用いて、糸巻き型の目標エリアに画像を投影するための変形が行われてもよい。特開2010−250041号公報に開示の方法を用いて、四角型の目標エリアに画像を投影するための変形が行われてもよい。

0042

図6は、変形決定部135の変形決定処理の一例を示すフローチャートである。変形決定部135は変形決定処理を繰り返し実行する。変形決定処理を省略し、画像変形部114が、マーカー情報を使って画像を変形してもよい。

0043

ステップS610にて、変形決定部135は、マーカー補完部133から出力されたマーカー情報を用いて、検出された複数のマーカーが第1の種類の6つのマーカーであるか否かを判定する。検出された複数のマーカーが第1の種類の6つのマーカーであると判定された場合はステップS611へ進み、そうでない場合はステップS620へ進む。

0044

ステップS611にて、変形決定部135は、目標エリアのタイプが二面型であると判断し、目標エリアの6つの位置(マーカーが存在する位置;目標位置)を決定し、撮像画像から投影画像の6つの位置(座標;投影位置)を検出する。投影位置は、投影画像の複
数の位置のうち、最終的に目標位置に一致させる位置である。ステップS612にて、変形決定部135は、6つの目標位置と6つの投影位置とから、6つの変形位置を算出する。変形位置は、1回の変形で投影位置を移動させる位置である。本実施形態では、変形決定部135は、目標位置と投影位置の加重平均を変形位置として算出する。また、変形決定処理の繰り返しにおいて、変形決定部135は、変形位置が目標位置に一致するまで、目標位置の重みを徐々に上げる。これにより、変形位置が目標位置に徐々に近づき、投影エリアが目標エリアに徐々に近づくようになる。なお、目標位置が更新された場合には、変形決定部135は重みを初期値に戻す。ステップS613にて、変形決定部135は、目標エリアのタイプとして二面型を示し且つステップS612で算出した6つの変形位置を示す変形情報を生成して出力する。

0045

ステップS620にて、変形決定部135は、マーカー補完部133から出力されたマーカー情報を用いて、検出された複数のマーカーが図5(B)に示すような6つのマーカーであるか否かを判定する。即ち、変形決定部135は、検出された複数のマーカーが、第1の種類の4つのマーカーと、当該4つのマーカーを頂点とする四角形の内側に配置された第2の種類の2つのマーカーとを含む6つのマーカーであるか否かを判定する。検出された複数のマーカーが図5(B)に示すような6つのマーカー(第1の種類の4つのマーカーと第2の種類の2つのマーカー)であると判定された場合はステップS621へ進み、そうでない場合はステップS630へ進む。

0046

ステップS621にて、変形決定部135は、目標エリアのタイプが糸巻き型であると判断し、6つの目標位置を決定し、撮像画像から6つの投影位置を検出する。ステップS622にて、変形決定部135は、6つの目標位置と6つの投影位置とから、6つの変形位置を算出する。算出方法は、ステップS612と同じである。ステップS623にて、変形決定部135は、目標エリアのタイプとして糸巻き型を示し且つステップS622で算出した6つの変形位置を示す変形情報を生成して出力する。

0047

ステップS630にて、変形決定部135は、マーカー補完部133から出力されたマーカー情報を用いて、検出された複数のマーカーが第1の種類の4つのマーカーであるか否かを判定する。検出された複数のマーカーが第1の種類の4つのマーカーであると判定された場合はステップS631へ進み、そうでない場合はステップS690へ進む。

0048

ステップS631にて、変形決定部135は、目標エリアのタイプが四角型であると判断し、4つの目標位置を決定し、撮像画像から4つの投影位置を検出する。ステップS632にて、変形決定部135は、4つの目標位置と4つの投影位置とから、4つの変形位置を算出する。算出方法は、ステップS612と同じである。ステップS633にて、変形決定部135は、目標エリアのタイプとして四角型を示し且つステップS632で算出した4つの変形位置を示す変形情報を生成して出力する。

0049

ステップS690にて、変形決定部135は、目標エリアのタイプとして標準型を示し且つ複数の変形位置として複数の標準位置を示す変形情報を出力する。それにより、例えば、投影可能範囲の全体に画像が投影されるようになる。なお、変形決定部135は、変形を行わないことを示す変形情報を出力してもよい。

0050

なお、ステップS611,S621,S631において、マーカーの位置から投影画像の中心方向に所定距離だけ移動させた位置が、目標位置として決定されてもよい。これにより、マーカーに重ならないように投影画像を変形できる。また、1回の変形で投影エリアが目標エリアに一致するように、ステップS612,S622,S632において、目標位置と投影位置の加重平均ではなく、目標位置と同じ位置が変形位置として決定されてもよい。

0051

図7(A)は、画像変形部114による変形処理の一例を示す。画像700は変形前の画像(元画像)であり、画像710は変形後の画像(変形画像)である。ここでは、元画像700の解像度も、変形画像710の解像度も、水平方向1920ドット×垂直方法1080ドット(水平方向1920画素×垂直方法1080画素)であるとする。そして、変形画像の全体エリアを構成する複数のタイル(分割エリア)が予め定められており、各タイルのサイズは水平方向120ドット×垂直方法120ドットであるとする。そのため、複数のタイルは、水平方向17個×垂直方向10個の合計170個の頂点(タイル頂点)により構成される。図7(B)は複数のタイルの一例を示す。点X0Y0〜X16Y10は、複数のタイルを構成する頂点である。

0052

画像変形部114は、変形決定部135から出力された変形情報に基づいて、タイルを構成する4つの頂点(変形画像710の座標)に対応する元画像700の4つの座標を算出する。そして、画像変形部114は、タイルの他の各座標について、算出した4つの座標(元画像700の座標)を用いた補間処理により、タイルの座標に対応する元画像700の座標を算出する。これにより、1つのタイルについての変形が実現される。例えば、図7(A)に示すように、元画像700のエリア701が変形画像710のエリア711に変形(変換)される。エリア711は1つのタイルと同じである。

0053

なお、上記補間処理では、目標エリアのタイプが考慮される。例えば、図5(A)に示すような目標エリア(二面型)の場合には、元画像の上辺下辺のそれぞれが3点を繋いだ折れ線となるように補間処理が行われる。図5(B)に示すような目標エリア(糸巻き型)の場合には、元画像の上辺と下辺のそれぞれが3点を繋いだ曲線となるように補間処理が行われる。

0054

画像変形部114は、全てのタイルについて同様の変形を行うことで画像全体を変形し、変形後の画像を出力する。なお、タイル間で頂点が共通することがある。画像変形部114は、タイルについての変形を行う際に、他のタイルについての変形で算出済みの座標(元画像の座標)を改めて算出しなくてもよい。

0055

本実施形態の効果の一例について、図8(A),8(B),9(A),9(B),10(A),10(B)を用いて説明する。

0056

図8(A)では、プロジェクタ100がホワイトボード810に画像820を投影している。ホワイトボード810には、第1の種類の4つのマーカー831〜834が配置されている。ここで、図8(B)に示すように、ホワイトボード810が後方に移動するなどした場合を考える。本実施形態によれば、プロジェクタ100は、ホワイトボード810が後方に移動するなどした場合に、ホワイトボード810の移動(具体的にはマーカー831〜834の移動)に追従するように画像820を画像840に自動で変形できる。換言すれば、プロジェクタ100は、マーカー831〜834との位置関係が維持されるように、画像820を画像840に自動で変形できる。

0057

図9(A)では、プロジェクタ100が曲面の黒板910に画像920を投影している。黒板910には、第1の種類の4つのマーカー931〜934が配置されており、画像920は、マーカー931〜934に合わせて投影されている。しかしながら、画像920には垂直方向(上下方向)の歪みが発生している。本実施形態によれば、図9(B)に示すように、第2の種類の2つのマーカー941,942を追加するだけで、プロジェクタ100は、マーカー941,942を検出して、歪みが低減するように画像920を画像950に変形できる。

0058

図10(A)では、プロジェクタ100が、部屋の角を形成する2つの壁1010,1011にわたって画像1020を投影している。壁1010,1011には、第1の種類の4つのマーカー1031〜1034が配置されており、画像1020は、マーカー1031〜1034に合わせて投影されている。しかしながら、画像1020には垂直方向(上下方向)の歪みが発生している。本実施形態によれば、図10(B)に示すように、部屋の角に第1の種類の2つのマーカー1041,1042を追加するだけで、プロジェクタ100は、マーカー1041,1042を検出して、歪みが低減するように画像1020を画像1050に変形できる。

0059

なお、制御部150は、以下の3つの方法1〜3の少なくともいずれかを含む複数の方法の間で、投影方法切り替えてもよい。これにより利便性が向上する。方法3において、画像を変形して投影する処理は、例えば、所定時間だけ行わたり、投影エリアが目標エリアに一致するまで行われたり、ユーザによる操作が行われている期間にだけ行われたりする。
方法1:画像を変形せずに投影する方法(変形オフ状態
方法2:画像を変形して投影する処理を常に行うことで、マーカーの移動や変更に追従して画像を投影する方法(変形オン状態
方法3:画像を変形して投影する処理を一時的に行う方法(一時的変形オン状態)

0060

以上述べたように、本実施形態によれば、所望の形状に対応する種類と数と位置でマーカーを配置するだけで、画像を所望の形状で容易に投影できる。また、マーカーに追従して画像を変形できるため、画像を所望の形状で投影し続けることができる。
上記4つ調整モードとは異なる調整モードを含んでもよい。

0061

なお、上述した各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

0062

なお、本実施形態はあくまで一例であり、本発明の要旨の範囲内で本実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。

0063

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0064

100:プロジェクタ114:画像変形部 115:光変調器駆動部
132:マーカー検出部 150:制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ソニー株式会社の「 受信装置および受信方法」が 公開されました。( 2020/09/10)

    【課題】HDR光電変換特性を用いて得られた伝送ビデオデータに対する電光変換の処理をHDR対応受信機で適切に行い得るようにする。【解決手段】光電変換部は、HDRビデオデータにHDR光電変換を行ってHDR... 詳細

  • セイコーエプソン株式会社の「 照明装置及びプロジェクター」が 公開されました。( 2020/09/10)

    【課題】光源部を効率よく冷却できる光源装置、照明装置及びプロジェクターを提供すること。【解決手段】光源装置5は、光を出射する光源部51と、光源部にて生じた熱を受熱する受熱部52と、受熱部から伝導された... 詳細

  • 日本放送協会の「 パノラマ映像処理システム及び映像送出装置」が 公開されました。( 2020/09/10)

    【課題】ビットレートの低下を抑制し、映像処理が容易なパノラマ映像処理システムを提供する。【解決手段】パノラマ映像処理システム1は、サッカー試合映像を撮影する固定カメラ2と、複数のサッカー試合映像から生... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ