図面 (/)

この項目の情報は公開日時点(2017年8月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

画像がどこに投影されるかに依存して、投影画像活用するユーザインタフェースのモードを適応的に変化させること。

解決手段

プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えるUI制御部と、を備える制御装置を提供する。

概要

背景

従来、画像を投影面へ投影するプロジェクタが知られている。特許文献1は、画像を単に投影面へ投影してユーザに見せるだけでなく、ユーザにより投影面上に書き加えられる情報をカメラを通じて取得し、投影画像に取得した情報をリンク付けして記録する手法を提案している。

概要

画像がどこに投影されるかに依存して、投影画像を活用するユーザインタフェースのモードを適応的に変化させること。プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えるUI制御部と、を備える制御装置を提供する。

目的

本開示に係る技術によれば、投影面に対するプロジェクタの位置関係に合わせた望ましい方式のユーザインタフェースをユーザに提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えるUI制御部と、を備える制御装置

請求項2

前記UI制御部は、前記投影面が前記プロジェクタの下方で略水平に位置する場合に、前記投影面へのタッチ入力を検出する第1ユーザ入力検出系を主たる入力インタフェースとして利用する第1のUIモードを選択する、請求項1に記載の制御装置。

請求項3

前記プロジェクタは、前記プロジェクタの近傍の探査領域へ向けて射出される探査光を用いて、ユーザによるタッチ位置を検出する第1ユーザ入力検出系、を備える、請求項1に記載の制御装置。

請求項4

前記UI制御部は、前記第1ユーザ入力検出系があるレベルタッチ検出精度を達成できると前記位置関係から判定される場合に、前記第1ユーザ入力検出系を主たる入力インタフェースとして利用する第1のUIモードを選択する、請求項3に記載の制御装置。

請求項5

前記プロジェクタの第1の設置姿勢において、前記探査領域は、前記プロジェクタの設置面と略平行な探査面を形成し、前記UI制御部は、前記プロジェクタが前記投影面上に前記第1の設置姿勢で設置されている場合に、前記第1ユーザ入力検出系が前記レベルのタッチ検出精度を達成できると判定する、請求項4に記載の制御装置。

請求項6

前記UI制御部は、前記プロジェクタの姿勢センサからの第1の測定結果に基づいて、前記投影面に対する前記プロジェクタの前記位置関係を判定する、請求項3に記載の制御装置。

請求項7

前記UI制御部は、前記姿勢センサからの前記第1の測定結果が前記探査領域により形成される探査面が略水平であることを示す場合に、前記第1ユーザ入力検出系を主たる入力インタフェースとして利用する第1のUIモードを選択する、請求項6に記載の制御装置。

請求項8

前記プロジェクタの第2の設置姿勢において、前記探査領域は、前記プロジェクタの設置面と略直交する探査面を形成し、前記UI制御部は、前記プロジェクタが前記第2の設置姿勢で設置されている場合において、前記投影面の深度閾値よりも大きいときに、前記第1ユーザ入力検出系が前記レベルのタッチ検出精度を達成しないと判定する、請求項5に記載の制御装置。

請求項9

前記UI制御部は、前記プロジェクタの深度センサからの第2の測定結果に基づいて、前記投影面の深度を取得する、請求項8に記載の制御装置。

請求項10

前記プロジェクタは、前記第1ユーザ入力検出系よりも粗いタッチ検出精度を有し又はタッチ検出不能な第2ユーザ入力検出系、をさらに備え、前記UI制御部は、前記第1ユーザ入力検出系が主として利用されない第2のUIモードにおいて、前記第2ユーザ入力検出系を主たる入力インタフェースとして利用する、請求項2に記載の制御装置。

請求項11

前記第2ユーザ入力検出系は、ユーザのジェスチャ音声及び視線のうちの1つ以上をユーザ入力として検出する、請求項10に記載の制御装置。

請求項12

前記プロジェクタは、前記第2のUIモードが選択される場合にユーザが存在すると想定される方向へ向かう画角を有するカメラ、をさらに備え、前記第2ユーザ入力検出系は、前記カメラからの画像入力に基づいてユーザ入力を検出する、請求項11に記載の制御装置。

請求項13

前記プロジェクタは、選択的に実行されるタッチ入力適応型ソフトウェア又はタッチ入力非適応型ソフトウェアの前記画像を前記投影面へ投影し、前記第1ユーザ入力検出系が主として利用される第1のUIモードにおいて、前記タッチ入力適応型ソフトウェアが実行される、請求項2に記載の制御装置。

請求項14

前記タッチ入力適応型ソフトウェアは、タッチ入力適応型の基本ソフトウェア及びタッチ入力適応型のアプリケーションソフトウェアのうちの1つ以上を含む、請求項13に記載の制御装置。

請求項15

前記タッチ入力非適応型ソフトウェアは、ユーザ入力に依存しない入力条件に基づいて、投影画像を変化させる、請求項13に記載の制御装置。

請求項16

ユーザ入力に依存しない前記入力条件は、日付、時刻天候、前記プロジェクタの設置場所、及び認識されたユーザ、のうちの少なくとも1つに関連する、請求項15に記載の制御装置。

請求項17

前記UI制御部は、前記投影面が略水平であると判定される場合に、投影画像を回転させるためのUIを有効化する、請求項1に記載の制御装置。

請求項18

前記投影画像を回転させるための前記UIは、前記画像と共に表示されるGUI及び音声UIのうちの1つ以上を含む、請求項17に記載の制御装置。

請求項19

プロジェクタによる投影面への画像の投影を制御する投影制御装置において、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えること、を含む制御方法

請求項20

投影制御装置のプロセッサを、プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えるUI制御部と、として機能させるためのプログラム

技術分野

0001

本開示は、制御装置制御方法及びプログラムに関する。

背景技術

0002

従来、画像を投影面へ投影するプロジェクタが知られている。特許文献1は、画像を単に投影面へ投影してユーザに見せるだけでなく、ユーザにより投影面上に書き加えられる情報をカメラを通じて取得し、投影画像に取得した情報をリンク付けして記録する手法を提案している。

先行技術

0003

特開2003−044839号公報

発明が解決しようとする課題

0004

本開示に係る技術の発明者らは、引用文献1により提案された手法が投影画像を介するユーザインタフェースにも応用可能であることを認識している。しかしながら、画像がどこに投影されるかに依存して、どのような方式のユーザインタフェースが望ましいかは様々である。

課題を解決するための手段

0005

本開示によれば、プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えるUI制御部と、を備える制御装置が提供される。

0006

また、本開示によれば、プロジェクタによる投影面への画像の投影を制御する投影制御装置において、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えること、を含む制御方法が提供される。

0007

また、本開示によれば、投影制御装置のプロセッサを、プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えるUI制御部と、として機能させるためのプログラムが提供される。

発明の効果

0008

本開示に係る技術によれば、投影面に対するプロジェクタの位置関係に合わせた望ましい方式のユーザインタフェースをユーザに提供することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

図面の簡単な説明

0009

一実施形態に係る投影制御装置の外観を示す概略図である。
投影制御装置の第1の設置姿勢について説明するための説明図である。
投影制御装置の第2の設置姿勢について説明するための説明図である。
第1ユーザ入力検出系において採用され得るタッチ入力検出方式概要について説明するための説明図である。
第1ユーザ入力検出系の詳細な構成の一例を示すブロック図である。
図4に示した偏光ビームスプリッタの作用について説明するための説明図である。
探査画像を用いたタッチ位置の検出について説明するための説明図である。
一実施形態に係る投影制御装置の構成の一例を示すブロック図である。
投影面に対するプロジェクタの位置関係に基づくUIモードの切り替えの第1の例について説明するための説明図である。
投影面に対するプロジェクタの位置関係に基づくUIモードの切り替えの第2の例について説明するための説明図である。
投影面に対するプロジェクタの位置関係に基づくUIモードの切り替えの第3の例について説明するための説明図である。
第1ユーザ入力検出系により検出され得るユーザ入力の一例を示す説明図である。
第2ユーザ入力検出系により検出され得るユーザ入力の第1の例を示す説明図である。
第2ユーザ入力検出系により検出され得るユーザ入力の第2の例を示す説明図である。
投影画像を回転させるためのユーザインタフェースの一例について説明するための説明図である。
ユーザ入力に依存しない入力条件に基づいて変化する投影画像の一例について説明するための説明図である。
一実施形態に係るユーザインタフェース制御処理の流れの一例を示すフローチャートである。
UIモード選択処理の詳細な流れの第1の例を示すフローチャートである。
UIモード選択処理の詳細な流れの第2の例を示すフローチャートである。
UIモード選択処理の詳細な流れの第3の例を示すフローチャートである。
UIモード選択処理の詳細な流れの第4の例を示すフローチャートである。
UIモード選択処理の詳細な流れの第5の例を示すフローチャートである。

実施例

0010

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0011

また、以下の順序で説明を行う。
1.装置の概要
1−1.装置の外観
1−2.様々な設置姿勢
1−3.タッチ入力検出系の仕組
2.装置の構成
2−1.全体的な構成
2−2.UIモードの切り替え
2−3.ユーザ入力の例
2−4.ユーザ入力に依存しない入力条件
3.処理の流れ
3−1.UI制御処理
3−2.UIモード選択処理
4.まとめ

0012

<1.装置の概要>
[1−1.装置の外観]
図1は、一実施形態に係る投影制御装置100の外観を示している。投影制御装置100は、画像を装置の外部に存在する投影面へと投影する、いわゆるプロジェクタである。図1の例では、投影制御装置100は、直方体の形状をしており、いずれかの面を底面として何らかの平面上に載置されることができる。なお、図1に示した投影制御装置100の形状は、一例に過ぎない。投影制御装置100は、実空間内で安定的に設置されることが可能である限り、いかなる形状をしていてもよい。

0013

投影制御装置100の筐体の一面は射出面10aである。射出面10aには、投影光用の開口11及び探査光用の開口12が設けられる。投影制御装置100は、さらに、カメラ13、マイクロフォン14及びスピーカ15を有する。投影制御装置100は、投影光用の開口11を通じて投影光を投影面へ投影することにより、投影面上に投影画像を形成する。また、投影制御装置100は、後に詳しく説明するように、探査光用の開口12を通じてプロジェクタ近傍の探査領域へ向けて探査光を射出することにより、ユーザによるタッチ入力を検出する。

0014

本実施形態において、投影制御装置100は、2つのユーザ入力検出系17、18を備える。第1ユーザ入力検出系17は、上述した探査光を用いて、ユーザによるタッチ入力を相対的に高い検出精度で検出する。第2ユーザ入力検出系18は、第1ユーザ入力検出系よりも粗いタッチ検出精度を有し、又はタッチ検出不能であってもよい。第2ユーザ入力検出系18は、例えば、カメラ13により撮像される画像に基づきユーザからのジェスチャ入力を検出してもよく、又はマイクロフォン14により集音される音声に基づきユーザからの音声入力を検出してもよい。

0015

[1−2.様々な設置姿勢]
投影制御装置100は、様々な設置姿勢で実空間内に設置されることができる。本項では、投影制御装置100の典型的な2つの設置姿勢について説明する。

0016

図2Aは、投影制御装置100の第1の設置姿勢について説明するための説明図である。図2Aを参照すると、投影制御装置100は、テーブル表面3a上に第1の設置姿勢で載置されている。第1の設置姿勢において、投影制御装置100の射出面10aは、設置面であるテーブル表面3aと略直交する。即ち、テーブル表面3aが水平面である場合には、射出面10aは鉛直面となる。第1の設置姿勢において、投影制御装置100は、テーブル表面3a上に投影画像2aを投影することができる。この場合、投影制御装置100の下方において、テーブル表面3aが投影面となる。図2Aの例では、3人のユーザがテーブルを囲んでおり、各ユーザはテーブル表面3a上の投影画像2aを見ることができる。

0017

図2Bは、投影制御装置100の第2の設置姿勢について説明するための説明図である。図2Bを参照すると、投影制御装置100は、床面上に第2の設置姿勢で設置されている。第2の設置姿勢において、投影制御装置100の射出面10aは、投影制御装置100の上面となる。即ち、床面が水平面である場合には、射出面10aもまた水平面となる。第2の設置姿勢において、投影制御装置100は、壁面3b上に投影画像2bを投影することができる。図2Bの例では、投影制御装置100を基準として壁面3bの反対側にユーザが位置しており、当該ユーザは壁面3b上の投影画像2bを見ることができる。

0018

図2Aの第1の設置姿勢と図2Bの第2の設置姿勢とを比較すると、第1の設置姿勢では、ユーザにとって、投影面であるテーブル表面3aへのタッチをより行い易いのに対し、第2の設置姿勢では、投影面である壁面3bへのタッチを行うことはそれほど簡単ではない。他の設置姿勢の例として、投影制御装置100が第1の設置姿勢とは天地逆さまに設置されると、投影制御装置100は、天井面へ投影画像を投影することができる。この場合にも、ユーザにとって、投影面である天井面へのタッチを行うことはそれほど簡単ではない。

0019

このように、投影面に対するプロジェクタの位置関係に依存して、投影面へのタッチ入力がユーザインタフェース(UI)のために適しているケースもあれば、そうしたタッチ入力がUIのために適していないケースもある。そこで、本開示に係る技術は、本明細書において詳しく説明するように、画像がどこに投影されるかに依存して、投影画像を活用するユーザインタフェースの方式を適応的に変化させる仕組みを取り入れる。

0020

[1−3.タッチ入力検出系の仕組み]
ここでは、投影面へのタッチ入力を検出するためのタッチ検出方式の一例を説明する。なお、ここで説明する方式は一例に過ぎず、他のタッチ検出方式が使用されてもよい。

0021

(1)タッチ入力検出方式の概要
図3は、第1ユーザ入力検出系17において採用され得るタッチ入力検出方式の概要について説明するための説明図である。図3では、図2Aの例と同様に、投影制御装置100がテーブル表面3a上に第1の設置姿勢で載置されている。投影制御装置100は、投影光用の開口11を通じて投影光を射出することにより、投影画像21をテーブル表面3a上へ投影する。さらに、投影制御装置100は、探査光用の開口12を通じてプロジェクタ近傍の探査領域へ向けて探査光を射出することにより、探査面22を形成する。探査光は、例えば、赤外光などの非可視光であってよい。

0022

探査光用の開口12は、例えば、第1の設置姿勢における投影制御装置100の底面からわずかに上方に設けられる(例えば、底面からの高さは数mm〜数10mm程度であってよい)。探査光の軌跡により形成される探査面22は、例えば投影制御装置100の底面に対して略平行であってよく、この場合、探査面22は投影面であるテーブル表面3aに対してわずかな距離だけ離れて略平行な平面となる。こうした探査面22は、投影画像21を覆う、探査光の軌跡からなるバリア膜であると理解されてもよい。通常、投影面は平坦である(但し、投影面が必ずしも平坦でないケースにも、本開示に係る技術は適用可能である)。投影面上又はその近傍に遮蔽物が無ければ、探査光は遮蔽されることなく投影画像21上を通過する。しかし、ユーザが指又はその他の操作子で投影画像をタッチすると、探査光は当該操作子により拡散反射され、四方八方へ向かう。投影制御装置100の第1ユーザ入力検出系17は、このように反射される探査光を、投影光用の開口11を通じて受け入れ、プロジェクタのライトバルブ光学的に共役の位置に配設されるイメージセンサで検出する。それにより、投影制御装置100は、投影画像上のどこがタッチされたか(ポインティングされたか)を、例えば抵抗膜型又は静電容量型といった一般的なタイプのタッチセンサに近い精度で検出することができる。

0023

(2)検出系の構成
図4は、第1ユーザ入力検出系17の詳細な構成の一例を示すブロック図である。図4の例において、第1ユーザ入力検出系17は、プロジェクタモジュール110の一部である。プロジェクタモジュール110は、画像投影系16、第1ユーザ入力検出系17、偏光ビームスプリッタ46、投影レンズ47、及びプロジェクタコントローラ55を有する。画像投影系16は、第1光源41、ライトバルブ42及び第1信号処理部43を含む。
第1ユーザ入力検出系17は、第2光源31、検出用レンズユニット51、イメージセンサ52及び第2信号処理部53を含む。第2光源31は、探査光用の開口12に連接するプロジェクタサブモジュール110a内に配設される一方、図4に示したプロジェクタモジュール110の残りの構成要素は、投影光用の開口11に連接するプロジェクタサブモジュール110b内に配設される。

0024

第1光源41は、可視光を生成する光源であり、生成した可視光を偏光ビームスプリッタ46を介してライトバルブ42へ向けて照射する。第1光源41により生成される可視光は、例えば、赤、緑及び青という3つの色成分を含むレーザ光であってよい。ライトバルブ42は、例えばLCOS(Liquid Crystal On Silicon)などの反射型液晶デバイスであってよい。ライトバルブ42は、例えば、第1光源41から入射する可視光の第1偏光成分(例えば、後述のs偏光成分Ls1)を、第1信号処理部43から入力される画像信号に基づいて変調し、第2偏光成分(例えば、後述のp偏光成分Lp2)へと回転させる。そして、第2偏光成分を有する可視光(変調光)が、偏光ビームスプリッタ46を介して投影レンズ47に向けて出射する。なお、ライトバルブ42は、入射する可視光の第1偏光成分をそのままの偏光状態で反射することにより、黒色表現することもできる。

0025

投影レンズ47は、ライトバルブ42から偏光ビームスプリッタ46を介して入射する変調光21aを、投影光用の開口11を通じて投影面へ向けて投影することにより、投影面に投影画像21を形成する。さらに、投影レンズ47には、変調光21aの進行方向とは逆方向から、(何らかの操作子において反射した)探査光22bが投影光用の開口11を通じて入射する。探査光22bは、投影レンズ47を介して偏光ビームスプリッタ46へとさらに入射する。

0026

偏光ビームスプリッタ46は、入射した探査光を第1偏光成分(例えばs偏光成分)及び第2偏光成分(例えばp偏光成分)へと分離し、それぞれを互いに異なる方向へ向かわせる。例えば、探査光の第1偏光成分は、偏光ビームスプリッタ46において選択的に反射され、検出用レンズユニット51へ入射する。一方、探査光の第2偏光成分は、偏光ビームスプリッタ46において選択的に透過され、ライトバルブ42へと入射する。なお、偏光ビームスプリッタ46の代わりに、ワイヤーグリッドなどの他のタイプの偏光分離素子が使用されてもよい。

0027

図5を用いて、図4に示した偏光ビームスプリッタの作用についてさらに説明する。偏光ビームスプリッタ46は、第1光学面46a、第2光学面46b、第3光学面46c及び第4光学面46d、並びに偏光分離面46eを有する。第1光学面46aと第3光学面46cとは図中で左右方向において背中合わせに配置され、第2光学面46bと第4光学面46dとは図中で上下方向において背中合わせに配置されている。第1光学面46aは、第1光源41(図5には示さず)に対面する。第2光学面46bは、ライトバルブ42に対面する。第3光学面46cは、検出用レンズユニット51に対面する。第4光学面46dは、投影レンズ47(図5には示さず)に対面する。

0028

第1光源41から照射される可視光L1は、第1光学面46aへと入射し、可視光L1の第1偏光成分(s偏光成分Ls1)が偏光分離面46eにおいて反射して第2光学面46bから出射する。可視光L1の第2偏光成分(p偏光成分Lp1)は、偏光分離面46eを通過して第3光学面46cから出射する。ライトバルブ42からの変調光Lp2は、第2光学面46bへと入射し、変調光Lp2の第2偏光成分(p偏光成分Lp2)が第4光学面46dから出射する。

0029

一方、探査光L3は第4光学面46dへと入射し、探査光L3の第1偏光成分(s偏光成分Ls3)が偏光分離面46eにおいて反射して第3光学面46cから出射する。探査光L3の第2偏光成分(p偏光成分Lp3)は、偏光分離面46eを通過して第2光学面46bから出射する。探査光L3の第1偏光成分Ls3は、検出用レンズユニット51のリレーレンズ51a及び51b、並びに図示しない可視光カットフィルタ及びバンドパスフィルタを通過して、イメージセンサ52へと到達する。バンドパスフィルタは、(探査光の波長を含む)特定の波長領域の光を選択的に通過させる。

0030

再び図4を参照すると、第2光源31は、タッチ入力のために使用される操作子を探査するための探査光22aを生成する光源であり、生成した探査光をプロジェクタの近傍の探査領域へ向けて照射する。上述したように、探査光22aは、赤外光(例えば、近赤外光)などの非可視光であってよい。第2光源31からの探査光22aは、例えば、探査光用の開口12を通じて、図3の例における投影制御装置100の底面と略平行な探査面22を形成するように、放射状に射出される。そして、投影画像21にタッチした操作子において反射した探査光22bの第1偏光成分が、上述したように、偏光ビームスプリッタ46においてさらに反射して検出用レンズユニット51へと到達する。

0031

検出用レンズユニット51は、ライトバルブ42と光学的に共役な位置に探査光22bの像を結像させる1つ以上のリレーレンズを含む。イメージセンサ52を小型化する目的で、検出用レンズユニット51は、探査光22bの像を縮小して、探査光22bの像を等価的に縮小してもよい。イメージセンサ52は、ライトバルブ42と光学的に共役な位置に結像される探査光22bの像を撮像して、探査画像信号を生成する。イメージセンサ52は、例えばCMOS(Complementary Metal-Oxide Semiconductor)又はCCD(Charge Coupled Device)などのいかなるタイプの撮像素子であってもよい。

0032

第2信号処理部53は、イメージセンサ52から出力される探査画像信号について、現像及びノイズ除去といった所定の信号処理を実行する。そして、第2信号処理部53は、処理後の探査画像信号をプロジェクタコントローラ55へ出力する。

0033

第1信号処理部43は、プロジェクタコントローラ55を介して入力される投影画像信号に従って、ライトバルブ42のドライバ回路にライトバルブ42の各画素へと電圧を供給させる。その結果、上述した可視光(投影光)の変調が行われ、投影面上で投影画像21が再生される。

0034

プロジェクタコントローラ55は、プロジェクタモジュール110の外部から供給される投影画像信号を第1信号処理部43へ出力し、画像投影系16を通じて投影面上に投影画像21を投影させる。プロジェクタコントローラ55は、オートフォーカス及び台形補正といった、一般的な投影制御機能を実行してもよい。さらに、本実施形態において、プロジェクタコントローラ55は、第1ユーザ入力検出系17から入力される探査画像信号により表現される探査画像に基づいて、投影画像上へのタッチ入力を検出する。

0035

図6は、探査画像を用いたタッチ位置の検出について説明するための説明図である。図6の例においても、投影画像21を覆うように探査面22が形成されている。ユーザは、例えば指で投影画像21上の位置Pprjをタッチする。位置Pprjをタッチした指において反射した探査光は、イメージセンサ52により捕捉され、探査画像23内で操作子像Rfinを形成する。プロジェクタコントローラ55は、例えば、こうした操作子像Rfinについて公知の特徴点検出法を実行し、探査画像23内のタッチ位置Ptouを検出する。特徴点位置(即ち、タッチ位置)は、例えば、指の先端の位置又は操作子像Rfinの重心位置などであってよい。上述したように、探査画像は、ライトバルブ42と実質的に光学的に共役な位置に配置されるイメージセンサ52により撮像されるため、探査画像23におけるタッチ位置Ptouの座標は、投影画像21におけるタッチ位置Pprjの座標に整合する。

0036

上述したような第1ユーザ入力検出系17を用いることで、投影面上へのタッチ入力を高い検出精度で検出することができる。特に、図2Aに示した第1の設置姿勢においては、通常、投影面のごく近傍でのみ操作子が探査光を反射するため、一般的なタイプのタッチセンサに近いレベルのタッチ入力の検出精度が達成され得る。一方、図2Bに示した第2の設置姿勢においては、探査面は必ずしも投影面の近傍に無く、ユーザが仮に投影面上をタッチしたとして、そのタッチ位置を第1の設置姿勢のケースと同等の精度で検出することは容易ではない。操作子以外の障害物(例えば、ユーザの体の一部)が、投影面とプロジェクタとの間に介在する結果として、タッチ検出が阻害されてしまうかもしれない。次節で詳細に説明する実施形態では、こうした事情を考慮して、投影面に対するプロジェクタの位置関係が動的に判定され、その判定結果に基づいて、ユーザインタフェースのモードが、2つ以上のUIモードの間で切り替えられる。

0037

<2.装置の構成>
[2−1.全体的な構成]
図7は、一実施形態に係る投影制御装置100の構成の一例を示すブロック図である。図7を参照すると、投影制御装置100は、図1に示したカメラ13、マイクロフォン14及びスピーカ15に加えて、プロジェクタモジュール110、認識モジュール120、センサモジュール130、ソフトウェアモジュール140、通信インタフェース150及び統合制御部160を備える。プロジェクタモジュール110は、上述した画像投影系16及び第1ユーザ入力検出系17を有する。カメラ13、マイクロフォン14及びスピーカ15は、認識モジュール120と共に、第2ユーザ入力検出系18を構成する。

0038

(1)プロジェクタモジュール
プロジェクタモジュール110は、投影面への画像の投影と、その投影の制御とを行うモジュールである。プロジェクタモジュール110の詳細な構成の一例は、図4及び図5を用いて説明した通りである。プロジェクタモジュール110は、例えば、統合制御部160による制御の下で、後述するソフトウェアモジュール140により生成される画像を、画像投影系16を通じて投影面へ向けて投影する。投影される画像は、静止画であってもよく、又は動画を構成するフレームの各々であってもよい。

0039

プロジェクタモジュール110の第1ユーザ入力検出系17は、上述したように、投影制御装置100の近傍の探査領域へ向けて射出される探査光を用いて、ユーザによるタッチ位置を検出することができる。探査領域は、投影制御装置100が上述した第1の設置姿勢で設置されている場合、設置面と略平行な探査面を形成する。一方、投影制御装置100が上述した第2の設置姿勢で設置されている場合、探査領域は、設置面と略直交する探査面を形成する。投影面が探査面に対して略平行であって、投影面と探査面との間の距離が小さい場合、第1ユーザ入力検出系17は、十分なレベルのタッチ検出精度を達成することができる。投影面が探査面に対して略平行とは、それら面が互いに厳密に平行であることに加えて、それら面がなす角度に起因するタッチ検出誤差が(例えば、後述するタッチ入力適応型ソフトウェアにとって)許容し得る範囲内であることを含む。第1ユーザ入力検出系17は、タッチ入力を検出すると、タッチイベントの発生を統合制御部160へ通知する。タッチイベント情報は、タッチ、タップダブルタップフリックピンチイン又はピンチアウトなどのイベントタイプと、当該イベントに関連付けられる1つ以上のタッチ位置座標とを含み得る。あるUIモードにおいて、第1ユーザ入力検出系17は、主たる入力インタフェースとして利用され得る。他のUIモードにおいて、第1ユーザ入力検出系17は、補助的な入力インタフェースとして利用されてもよく、又は無効化されてもよい。

0040

(2)認識モジュール
認識モジュール120は、第2ユーザ入力検出系18におけるユーザ入力を検出するための認識処理を実行するモジュールである。認識モジュール120は、例えば、カメラ13からの画像入力に基づいてユーザ入力を検出してもよい。カメラ13は、典型的には、投影制御装置100の第2の設置姿勢においてユーザが存在すると想定される方向へ向かう画角を有するように、投影制御装置100に配設される。図2Bの例では、カメラ13は、投影制御装置100を基準として投影面とは反対側の面に配設されている。他の例において、カメラ13は、投影面に対して直角をなす側面に配設されてもよい。また、カメラ13は、全天周カメラ又は半天周カメラであってもよい。認識モジュール120は、例えば、カメラ13から入力される撮像画像に映るユーザのジェスチャを認識することにより、ユーザ入力としてジェスチャ入力を検出してもよい。また、認識モジュール120は、カメラ13から入力される撮像画像に映るユーザの眼の動きを認識することにより、ユーザ入力として視線入力を検出してもよい。こうした画像入力に基づいてユーザ入力が検出される場合、ユーザ入力によって投影画像上の点を仮想的にタッチ(又はポインティング)することが仮に可能であるとしても、そのタッチ検出精度(ポインティング精度)は第1ユーザ入力検出系17と比較して相対的に粗いものとなる。状況によっては、タッチ検出(所望の点のポインティング)は不能である。

0041

追加的に又は代替的に、認識モジュール120は、例えば、マイクロフォン14からの音声入力に基づいてユーザ入力を検出してもよい。認識モジュール120は、例えば、マイクロフォン14により集音される音声に含まれる所定の音声パターンを認識することにより、ユーザ入力として音声コマンドを検出し得る。こうした音声入力に基づいてユーザ入力が検出される場合、投影面上の所望の点のポインティングは不能である。

0042

認識モジュール120は、ジェスチャ入力、視線入力又は音声コマンドに相当し得るユーザ入力を検出すると、ユーザ入力イベントの発生を統合制御部160へ通知する。なお第2ユーザ入力検出系18において検出され得るユーザ入力の種類は、上述した例に限定されない。例えば、第2ユーザ入力検出系18は、装置上に配設されるボタン、スイッチ若しくはレバーといった機械式インタフェースを介してユーザ入力を検出してもよく、又は装置の振動若しくはユーザの呼気などの認識を通じてユーザ入力を検出してもよい。

0043

(3)センサモジュール
センサモジュール130は、投影面に対する投影制御装置100の位置関係を判定するために利用される1つ以上のセンサを含む。一例として、センサモジュール130は、投影制御装置100の姿勢を測定する姿勢センサ131を含み得る。姿勢センサ131は、例えば、加速度センサ又はジャイロセンサであってよい。姿勢センサ131は、投影制御装置100の基準姿勢に対する、その時点の投影制御装置100の傾き角を測定し、その測定結果を統合制御部160へ出力する。

0044

他の例として、センサモジュール130は、姿勢センサ131の代わりに又は姿勢センサ131に加えて、投影制御装置100から投影面までの距離(以下、投影面の深度という)を測定する深度センサ133を含み得る。深度センサ133は、例えば、ステレオカメラ型又はTOF(Time of Flight)型などのいかなるタイプの深度センサであってもよい。深度センサ133は、典型的には、投影制御装置100の位置を基準として、投影面の深度を測定し、その測定結果を統合制御部160へ出力する。

0045

(4)ソフトウェアモジュール
ソフトウェアモジュール140は、CPU(Central Processing Unit)などのプロセッサと、ROM(Read Only Memory)及びRAM(Random Access Memory)を含み得るメモリとを有し、投影されるべき画像を生成するソフトウェアを実行する。一例として、ソフトウェアモジュール140は、統合制御部160による制御の下で、タッチ入力適応型ソフトウェア141及びタッチ入力非適応型ソフトウェア143を選択的に実行する。タッチ入力適応型ソフトウェア141は、タッチ入力適応型の基本ソフトウェア(例えば、Android(登録商標)、iOS又はWindows Mobile(登録商標)などのモバイル向けオペレーティングシステム)を含んでもよい。また、タッチ入力適応型ソフトウェア141は、タッチ入力適応型のアプリケーションソフトウェアを含んでもよい。タッチ入力適応型のアプリケーションソフトウェアは、例えば、スマートフォン又はタブレットPC(Personal Computer)といったモバイルデバイス上で動作するように設計された、Webブラウザメーラテキストエディタ又はインスタントメッセンジャなどといった様々なソフトウェアを含んでよい。

0046

タッチ入力非適応型ソフトウェア143は、動作するために精細なポインティングを要しない、いかなるソフトウェアであってもよい。タッチ入力非適応型ソフトウェア143もまた、基本ソフトウェア及びアプリケーションソフトウェアのいかなる組合せを含んでもよい。タッチ入力非適応型ソフトウェア143のいくつかの例について、後にさらに説明する。

0047

(5)通信インタフェース
通信インタフェース150は、投影制御装置100と他の装置との間の通信仲介する。通信インタフェース150は、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)若しくはBluetooth(登録商標)などのその他の無線通信プロトコル実装してもよい。また、通信インタフェース150は、USB(Universal Serial Bus)又はHDMI(High-Definition Multimedia Interface)などの有線通信プロトコルを実装してもよい。プロジェクタモジュール110は、ソフトウェアモジュール140において生成される画像の代わりに、通信インタフェース150を介して他の装置から受信される画像を投影面へ投影してもよい。

0048

(6)統合制御部
統合制御部160は、CPUなどのプロセッサと、ROM及びRAMを含み得るメモリとを有し、投影制御装置100の動作全般を制御する。例えば、統合制御部160は、投影制御装置100が起動されると、ソフトウェアモジュール140にいずれかのソフトウェアを実行させる。また、統合制御部160は、実行されたソフトウェアにより生成される画像(例えば、オペレーティングシステムの画像又はアプリケーションの画像)を、プロジェクタモジュール110に投影面へと投影させる。また、統合制御部160は、第1ユーザ入力検出系17又は第2ユーザ入力検出系18から何らかのユーザ入力イベントが通知されると、そのユーザ入力イベントを、実行中のソフトウェアへ受け渡す。統合制御部160は、通知されたユーザ入力イベントが特定のユーザ入力を示す場合には、ユーザ入力イベントをソフトウェアへ受け渡す代わりに、自らユーザ入力イベントを処理してもよい(例えば、動作停止を指示する音声コマンドに応じて、投影制御装置100の電源オフするなど)。

0049

本実施形態において、統合制御部160は、投影面に対する投影制御装置100の位置関係を判定し、その判定結果に基づいて、投影される画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替える。第1のUIモードは、第1ユーザ入力検出系17を主たる入力インタフェースとして利用するモードである。第2のUIモードは、第1ユーザ入力検出系17を主たる入力インタフェースとして利用しないモードである。以下の説明では、第1のUIモードを「タッチモード」、第2のUIモードを「非タッチモード」という。

0050

統合制御部160は、タッチモード及び非タッチモードのいずれを選択したかに依存して、ソフトウェアモジュール140に異なるソフトウェアを実行させてもよい。例えば、統合制御部160は、タッチモードを選択した場合、ソフトウェアモジュール140にタッチ入力適応型ソフトウェア141を実行させ得る。また、統合制御部160は、非タッチモードを選択した場合、ソフトウェアモジュール140にタッチ入力非適応型ソフトウェア143を実行させ得る。

0051

[2−2.UIモードの切り替え]
統合制御部160は、典型的には、投影面に対する投影制御装置100の位置関係から、第1ユーザ入力検出系17があるレベルのタッチ検出精度を達成できると判定される場合に、タッチモードを選択する。例えば、図2Aに例示したように、投影制御装置100が第1の設置姿勢でテーブル表面上に載置されており、テーブル表面へと画像が投影される場合、探査面が投影画像の近傍で投影画像を覆うように形成されるため、第1ユーザ入力検出系17は、タッチ入力適応型ソフトウェア141にとって十分なレベルのタッチ検出精度を達成することができる。そこで、統合制御部160は、この場合、タッチモードを選択し得る。こうした選択は、投影面が投影制御装置100の下方で略水平に位置するという、姿勢センサ131又は深度センサ133を用いた簡易な判定に基づいてなされてもよい。一方、図2Bに例示したように、投影制御装置100が第2の設置姿勢で設置されている場合、投影制御装置100の探査面と投影面との間にはある程度の距離があり、第1ユーザ入力検出系17は十分なレベルのタッチ検出精度を達成しないと推定され得る。そこで、統合制御部160は、この場合、非タッチモードを選択し得る。

0052

位置関係の判定の第1の例として、統合制御部160は、姿勢センサ131から入力される投影制御装置100の姿勢の測定結果が、探査面が略水平であることを示す場合に、投影制御装置100が投影面上に上述した第1の設置姿勢で設置されていると推定してもよい。図8Aは、投影面に対するプロジェクタの位置関係に基づくUIモードの切り替えの第1の例について説明するための説明図である。ここでは、図1を用いて説明した射出面10aと直交する投影制御装置100の筐体の面のうち、探査光用の開口12に最も近い(図中で下側の)面10bが、姿勢測定の基準面であるものとする。基準面10bは、探査面に対して略平行である。図8Aの左において、姿勢センサ131から入力される測定結果は、基準面10bが水平であること、及び基準面10bの法線重力方向を向いていることを示す。この測定結果は、投影制御装置100がテーブル表面のような水平面上に第1の設置姿勢で設置されていることを意味し得る。そこで、統合制御部160は、この測定結果に基づいてタッチモードを選択し得る。一方、図8Aの右において、姿勢センサ131から入力される測定結果は、基準面10bが水平面に対して垂直であることを示す。この測定結果は、投影制御装置100が第1の設置姿勢で設置されていないことを意味し得る。そこで、統合制御部160は、この測定結果に基づいて非タッチモードを選択し得る。表1は、こうしたプロジェクタの姿勢に基づくUIモードの選択の枠組みを示している。

0053

0054

位置関係の判定の第2の例として、統合制御部160は、深度センサ133から入力される投影面の深度を示す測定結果が探査面と投影面との間の距離が小さいことを示す場合に、投影制御装置100が投影面上に上述した第1の設置姿勢で設置されていると簡易に判定してもよい。図8Bは、投影面に対するプロジェクタの位置関係に基づくUIモードの切り替えの第2の例について説明するための説明図である。ここでは、深度センサ133は、基準面10bの法線方向の深度を測定する。図8Bの左において、深度センサ133から入力される測定結果は、基準面10bの直下にテーブル表面のような設置面が存在することを意味する、ある閾値よりも小さい深度を示す。そこで、統合制御部160は、この測定結果に基づいてタッチモードを選択し得る。一方、図8Bの右において、深度センサ133から入力される測定結果は、基準面10bがいかなる物体にも接していないため、ある閾値よりも大きい深度を示す。そこで、統合制御部160は、この測定結果に基づいて非タッチモードを選択し得る。表2は、こうした投影面の深度に基づくUIモードの選択の枠組みを示している。

0055

0056

なお、上述した第2の例によれば、例えば図8Bに示した状況において基準面10bに他のオブジェクト偶然にも接しているような場合に、深度センサ133の測定結果が閾値よりも小さい深度を示し、統合制御部160が誤ってタッチモードを選択してしまう可能性がある。しかし、ユーザは、意図しないUIモードが選択された場合、障害となったオブジェクトを移動させることにより簡単に投影制御装置100にUIモードを再選択させることができる。よって、こうした誤選択の可能性は、上述した手法の有用性を損なうものではない。

0057

第3の例として、統合制御部160は、姿勢センサ131からの第1の測定結果及び深度センサ133からの第2の測定結果の双方に基づいて、投影面に対する投影制御装置100の位置関係を判定してもよい。図9は、投影面に対するプロジェクタの位置関係に基づくUIモードの切り替えの第3の例について説明するための説明図である。図9の左において、姿勢センサ131から入力される第1の測定結果は、基準面10bが水平であること、及び基準面10bの法線が重力方向を向いていることを示す。そこで、統合制御部160は、この測定結果に基づいてタッチモードを選択し得る。図9の右上において、姿勢センサ131から入力される測定結果は、基準面10bが水平面に対して垂直であることを示す。そこで、統合制御部160は、投影面の深度を示す深度センサ133からの第2の測定結果をさらに取得する。そして、統合制御部160は、取得した第2の測定結果がある閾値よりも小さい深度を示しているため、投影制御装置100の探査面は投影面の十分に近傍にあり、第1ユーザ入力検出系17は十分なレベルのタッチ検出精度を達成できると判定し得る。そこで、統合制御部160は、この場合、タッチモードを選択し得る。一方、図9の右下のように、深度センサ133から取得した第2の測定結果が閾値よりも大きい深度を示している場合、統合制御部160は、第1ユーザ入力検出系17は十分なレベルのタッチ検出精度を達成しないと判定し得る。そこで、統合制御部160は、この場合、非タッチモードを選択し得る。表3は、こうしたプロジェクタの姿勢及び投影面の深度の双方に基づくUIモードの選択の枠組みを示している。

0058

0059

なお、表3に示したUIモードの選択の枠組みは、一例に過ぎない。他の例において、統合制御部160は、投影面の深度を示す深度センサ133からの第2の測定結果がある閾値よりも大きい深度を示している場合に、基準面の姿勢に関わらず非タッチモードを選択してもよい。そして、統合制御部160は、当該第2の測定結果が閾値よりも小さい深度を示している場合に、姿勢センサ131から第1の測定結果を取得し、基準面の法線が重力方向を向いていることを第1の測定結果が示す場合にタッチモードを、そうではない場合に非タッチモードを選択してもよい。このような例によれば、投影制御装置100が設置されている面と投影面との間に段差があり、投影面の近傍に探査面が形成されないような状況において、十分なタッチ検出精度が達成されないにも関わらずタッチモードが選択されてしまうという不都合事態を回避することができる。また、投影面の深度が小さくても、壁面に画像を投影すると指の影が大きくなりタッチ入力の操作性が低下するという状況において、タッチモードではなく非タッチモードが選択されるという利点もあり得る。表4は、表3とは異なるこうしたUIモードの選択の枠組みを示している。

0060

0061

ここまで、2つのUIモードの間でモードが切り替えられる例を説明したが、統合制御部160は、投影面に対する投影制御装置100の位置関係に基づいて、3つ以上のUIモードの間でモードを切り替えてもよい。例えば、テーブル表面が投影面である場合の「テーブルモード」、壁面が投影面である場合の「壁モード」、及び天井面が投影面である場合の「天井モード」という3つのUIモードが存在してもよい。テーブルモード及び壁モードは、上述したタッチモード及び非タッチモードにそれぞれ対応し得る。天井モードもまた非タッチモードに対応し得る。但し、「天井モード」においてはユーザ入力に基づく投影画像の回転が有効化されるのに対し、「壁モード」においては投影画像の回転が無効化され得る。統合制御部160は、例えば、姿勢センサ131から入力される測定結果が、基準面10bが水平であり、但し基準面10bの法線が重力方向とは逆方向を向いていることを示す場合、こうした天井モードを選択してよい。

0062

[2−3.ユーザ入力の例]
上述したように、統合制御部160は、タッチモードにおいて、第1ユーザ入力検出系17を主たる入力インタフェースとして利用する。即ち、統合制御部160は、タッチモードにおいて、第1ユーザ入力検出系17を有効化する。そして、統合制御部160は、第1ユーザ入力検出系17によりタッチ入力が検出されると、第1ユーザ入力検出系17から通知されるタッチイベントを実行中のソフトウェアへ受け渡す。

0063

図10は、第1ユーザ入力検出系17により検出され得るユーザ入力の一例を示す説明図である。図10を参照すると、3人のユーザに囲まれたテーブルの上に、投影制御装置100が載置されている。投影制御装置100は、投影画像Im10をテーブル表面3a上へ投影している。投影画像Im10は、モバイル向けオペレーティングシステム上で動作する、タッチ入力適応型のWebブラウザの画像である。例えば、ユーザUaは、Webブラウザにより表示されるページを所望のリンク先Webページへと遷移させるために、投影画像Im10上の位置P10をタップする。すると、第1ユーザ入力検出系17は、位置P10をタップしたユーザUaの像を探査光により捕捉し、位置P10がタップされたことを示すタッチイベントを統合制御部160へ通知する。統合制御部160は、通知されたタッチイベントを(オペレーティングシステムを介して)実行中のWebブラウザへと受け渡し、その結果、ユーザUaの所望のリンク先のWebページがWebブラウザにより表示される。タッチモードにおいて、第1ユーザ入力検出系17は十分なタッチ検出精度を達成するため、ユーザは、あたかもスマートフォン又はタブレットPCのタッチセンサ上で操作を行っているかのような感覚で、投影画像を介して、実行中のソフトウェアと自在にインタラクションすることができる。

0064

統合制御部160は、非タッチモードにおいては、第2ユーザ入力検出系18を主たる入力インタフェースとして利用する第2のUIモードを選択する。そして、統合制御部160は、第2ユーザ入力検出系18により何らかのユーザ入力が検出されると、第2ユーザ入力検出系18から通知されるユーザ入力イベントを実行中のソフトウェアへ受け渡す。

0065

図11は、第2ユーザ入力検出系18により検出され得るユーザ入力の第1の例を示す説明図である。図11を参照すると、壁面3bとユーザUbとの間に、投影制御装置100が設置されている。投影制御装置100は、投影画像Im11を壁面3b上へ投影している。投影画像Im11は、タッチ入力非適応型のコンテンツビューワの画像である。例えば、ユーザUbは、手を右又は左へと動かすジェスチャG1を演じる。ジェスチャG1は、いわゆるスワイプとして解釈されてもよい。すると、第2ユーザ入力検出系18の認識モジュール120は、カメラ13から入力される撮像画像に映るジェスチャG1を認識し、ジェスチャ入力イベントを統合制御部160へ通知する。統合制御部160は、通知されたジェスチャ入力イベントをコンテンツビューワへと受け渡し、その結果、投影画像におけるコンテンツの表示がジェスチャ入力に対応する方向へとスクロールされる。

0066

認識モジュール120は、上述したスワイプに加えて(又はその代わりに)、手を挙げる、手を振る、両手を合わせる及び両手を離すなど、いかなる種類のジェスチャを認識してもよい。こうしたジェスチャインタフェースにおいて、第2ユーザ入力検出系18は、例えば撮像画像内の手の位置及び面積の変化に基づいて、タッチ(又はポインティング)を検出することができるかもしれない。しかし、その検出精度は、第1ユーザ入力検出系17により達成可能なレベルの精度よりも粗い。撮像画像から認識されるユーザの視線がユーザ入力として用いられる場合にも、タッチ(又はポインティング)は不能であるか、又は不能ではないとしても粗いタッチ検出精度しか達成されない。

0067

図12は、第2ユーザ入力検出系18により検出され得るユーザ入力の第2の例を示す説明図である。図12においても、壁面3bとユーザUbとの間に、投影制御装置100が設置されている。例えば、ユーザUbは、カレンダー呼び出すための音声コマンドC1を発声する。すると、第2ユーザ入力検出系18の認識モジュール120は、マイクロフォン14から入力される音声に含まれる音声コマンドC1を認識し、音声入力イベントを統合制御部160へ通知する。統合制御部160は、通知された音声入力イベントに応じてソフトウェアモジュール140にカレンダーアプリケーションを起動させる。その結果、カレンダーアプリケーションにより生成されるカレンダーを表示する投影画像Im12が、壁面3b上へ投影される。カレンダーアプリケーションは、タッチ入力非適応型のアプリケーションソフトウェアであり、例えばジェスチャ入力又は音声入力を通じてユーザにより操作され得る。認識モジュール120は、いかなる種類の音声コマンドを認識してもよい。音声コマンドを用いるユーザインタフェースは、通常、タッチ検出不能である。

0068

なお、図11及び図12の例に限定されず、第2ユーザ入力検出系18は、いかなる種類のユーザ入力手段を含んでもよい。例えば、数10cmのレンジ内の人体の存在を検出する人感センサが、オン/オフの2値でユーザ入力を検出するユーザ入力手段として第2ユーザ入力検出系18に含まれてもよい。

0069

図11及び図12では、タッチ入力非適応型ソフトウェアの画像として、コンテンツビューワ及びカレンダーアプリケーションの画像が示されている。しかしながら、タッチ入力非適応型ソフトウェアは、かかる例に限定されない。例えば、時計予定表又はホームエネルギー管理など、様々な目的を有するタッチ入力非適応型ソフトウェアが実装されてもよく、そうしたソフトウェアのどのような画像が非タッチモードにおいて投影されてもよい。

0070

統合制御部160は、タッチモードを選択した場合に、第1ユーザ入力検出系17に加えて、図11及び図12を用いて説明したような第2ユーザ入力検出系18をも入力インタフェースとして利用してよい。一方、統合制御部160は、非タッチモードを選択した場合に、ユーザが意図しない誤ったタッチ操作を防止するために、第1ユーザ入力検出系17を無効化してもよい(例えば、探査光の照射を停止するなど)。また、統合制御部160は、非タッチモードを選択した場合に、第2ユーザ入力検出系18に加えて、第1ユーザ入力検出系17をも入力インタフェースとして利用してもよい。非タッチモードにおいては、投影面と探査面との間の距離の大きさに起因して、タッチ入力を通じた精細なポインティングは困難であり得る。しかし、手で探査光を遮るか否かといった簡易なユーザ入力手段(例えば、オン/オフの2値を検出する)として第1ユーザ入力検出系17を利用することは、依然として可能である。

0071

統合制御部160は、投影面が略水平であると判定される場合に、投影画像を回転させるためのユーザインタフェース(以下、回転UIという)を有効化し、投影面が略垂直であると判定される場合に、回転UIを無効化してもよい。回転UIは、投影画像と共に表示されるGUI((Graphical User Interface)及び音声UIのうちの1つ以上を含み得る。

0072

図13は、回転UIの一例について説明するための説明図である。図13の左を参照すると、2人のユーザに囲まれたテーブルの上に、投影制御装置100が載置されている。投影制御装置100は、投影画像Im13aをテーブル表面3a上へ投影している。投影画像Im13aは、モバイル向けオペレーティングシステム上で動作する、タッチ入力適応型のWebブラウザの画像である。投影画像Im13aの四隅には、ボタンJ1a、J1b、J1c及びJ1dが表示されている。これらボタンJ1a、J1b、J1c及びJ1dは、投影画像を回転させるためのGUIアイテムである。例えば、ユーザUcがボタンJ1bをタップすると、第1ユーザ入力検出系17は、ボタンJ1bの位置がタップされたことを示すタッチイベントを統合制御部160へ通知する。統合制御部160は、通知されたタッチイベントに応じて、Webブラウザの表示を時計回りに90°回転させる。その結果、図13の右に示したように、ユーザUcによる閲覧に適する向きでWebページを表示する投影画像Im13bが投影される。

0073

回転UIが音声UIである場合、その音声(sound)は、音響であってもよく又はユーザの発話であってもよい。例えば、ユーザがテーブルを叩いた際に生じる音響が、投影画像を回転させるための音声入力として利用されてもよい。また、第2ユーザ入力検出系18は、アレイ型マイクロフォンを用いて認識される音声の到来方向から、投影画像をどの方向へと回転させるべきかを判定してもよい。

0074

[2−4.ユーザ入力に依存しない入力条件]
非タッチモードにおいては、粗いタッチ検出精度でのタッチしか可能ではなく、又はタッチ入力が不能である。そこで、統合制御部160は、非タッチモードにおけるユーザ体験をよりリッチにするために、ユーザ入力に依存しない入力条件に基づいて投影画像を変化させるタッチ入力非適応型ソフトウェアを、ソフトウェアモジュール140に実行させてもよい。ここでのユーザ入力に依存しない入力条件とは、例えば、日付、時刻天候、プロジェクタの設置場所、及び認識されたユーザ、のうちの少なくとも1つに関連する条件であってよい。

0075

図14は、ユーザ入力に依存しない入力条件に基づいて変化する投影画像の一例について説明するための説明図である。図14を参照すると、投影制御装置100は、壁面3bの手前に第2の設置姿勢で設置されている。図14の左において、時計は昼の時刻を示し、天候は晴れであるものとする。統合制御部160は、例えば、通信インタフェース150を介して外部サーバから取得される天候データから、天候を知得し得る。統合制御部160は、こうした入力条件に基づいて、日中の晴れの屋外の様子を表現する背景を表示する投影画像を壁面3bへ投影させる。図14の右において、時計は夜の時刻を示し、天候は曇りであるものとする。統合制御部160は、時刻及び天候データにより示されるこうした入力条件に基づいて、夜間の曇りの屋外の様子を表現する背景を表示する投影画像を壁面3bへ投影させる。

0076

認識モジュール120は、顔認識指紋認証又は虹彩認証などの公知の個人認識技術を用いて、投影画像を閲覧するユーザを識別してもよい。非タッチモードにおいてカレンダーアプリケーション又は時計アプリケーションが実行される場合、それらアプリケーションは、識別されたユーザについて事前に登録済みの予定の情報を、カレンダー又は時計の画像に重畳してもよい。また、認識モジュール120は、GPS(Global Positioning System)センサ又はPlaceEngine(登録商標)などの測位センサから入力される位置測定結果に基づいて、プロジェクタの設置場所を認識してもよい。非タッチモードにおいて、例えば、投影制御装置100が家庭内リビングに位置する場合には、カレンダー又は時計の画像が投影され、一方で投影制御装置100がキッチンに位置する場合には推薦される料理レシピの情報が投影されてもよい。

0077

<3.処理の流れ>
本節では、上述した投影制御装置100により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップ記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

0078

[3−1.UI制御処理]
図15は、一実施形態に係るユーザインタフェース制御処理の流れの一例を示すフローチャートである。ここでは、投影制御装置100のプロジェクタモジュール110が既に起動済みであるものとする。

0079

図15を参照すると、まず、統合制御部160は、投影面に対する投影制御装置100の位置関係に基づいてUIモードを選択するために、UIモード選択処理を実行する(ステップS110)。ここで実行されるUIモード選択処理のより詳細ないくつかの例について、後にさらに説明する。その後の処理は、UIモード選択処理においてタッチモードが選択されたか否かに依存して分岐する(ステップS130)。

0080

UIモードとしてタッチモードが選択された場合、ソフトウェアモジュール140において、タッチ入力適応型ソフトウェア141が実行され、タッチ入力適応型ソフトウェア141の画像が生成される(ステップS140)。プロジェクタモジュール110は、生成されたタッチ入力適応型ソフトウェア141の画像を投影面へ投影する(ステップS140)。

0081

次に、統合制御部160は、プロジェクタモジュール110の第1ユーザ入力検出系17によりタッチ入力が検出されたか否かを判定する(ステップS145)。第1ユーザ入力検出系17によりタッチ入力が検出された場合、統合制御部160は、第1ユーザ入力検出系17から通知されるタッチイベントを、実行中のタッチ入力適応型ソフトウェア141へ受け渡す(ステップS150)。その結果、タッチ入力適応型ソフトウェア141は、タッチイベントに応じた処理(例えば、タップされたリンクの先のWebページの読み込みなど)を実行し、新たな投影画像を生成し得る。タッチ入力が検出されなかった場合には、処理はステップS165へ進み得る。

0082

ステップS110においてUIモードとして非タッチモードが選択された場合、ソフトウェアモジュール140において、タッチ入力非適応型ソフトウェア143が実行され、タッチ入力非適応型ソフトウェア143の画像が生成される(ステップS155)。プロジェクタモジュール110は、生成されたタッチ入力非適応型ソフトウェア143の画像を投影面へ投影する(ステップS160)。

0083

次に、統合制御部160は、プロジェクタモジュール110の第2ユーザ入力検出系18により何らかのユーザ入力が検出されたか否かを判定する(ステップS165)。第2ユーザ入力検出系18により何らかのユーザ入力が検出された場合、統合制御部160は、第2ユーザ入力検出系18から通知されるユーザ入力イベントを、実行中のソフトウェアへ受け渡す(ステップS170)。その結果、実行中のソフトウェアによりユーザ入力イベントに応じた処理が実行され、新たな投影画像が生成され得る。

0084

次に、統合制御部160は、UIモードを変更するか否かを判定する(ステップS180)。例えば、センサモジュール130から入力される測定結果が投影制御装置100の姿勢若しくは投影面の深度が変化したことを示す場合、又はUIモードの変更を指示するユーザ入力が検出された場合には、統合制御部160は、UIモードを変更すると判定してよい。統合制御部160がUIモードを変更すると判定した場合、図15のユーザインタフェース制御処理は、ステップS110へ戻る。統合制御部160がUIモードを変更しないと判定した場合、図15のユーザインタフェース制御処理はステップS130へ戻り、上述したソフトウェア画像の生成及び投影、並びにユーザ入力のモニタリングが繰り返される。

0085

[3−2.UIモード選択処理]
(1)第1の例
図16は、図15に示したUIモード選択処理の詳細な流れの第1の例を示すフローチャートである。図16を参照すると、まず、統合制御部160は、投影面に対する投影制御装置100の位置関係についての測定結果を、センサモジュール130から取得する(ステップS113)。次に、統合制御部160は、取得した測定結果に基づいて、投影面が投影制御装置100の下方で略水平に位置するか否かを判定する(ステップS115)。

0086

そして、統合制御部160は、投影面が投影制御装置100の下方で略水平に位置すると判定した場合、UIモードとしてタッチモードを選択する(ステップS120)。一方、統合制御部160は、そうではない場合、UIモードとして非タッチモードを選択する(ステップS128)。

0087

(2)第2の例
図17Aは、図15に示したUIモード選択処理の詳細な流れの第2の例を示すフローチャートである。図17Aを参照すると、まず、統合制御部160は、投影制御装置100の姿勢についての測定結果を、姿勢センサ131から取得する(ステップS114)。次に、統合制御部160は、取得した測定結果に基づいて、投影制御装置100が投影面上に設置されているか否かを判定する(ステップS116)。

0088

例えば、統合制御部160は、基準面10bが水平であることを姿勢センサ131からの測定結果が示す場合、投影制御装置100が投影面上に第1の設置姿勢で設置されていると判定し得る。統合制御部160は、このように投影制御装置100が投影面上に設置されていると判定した場合、UIモードとしてタッチモードを選択する(ステップS120)。

0089

一方、統合制御部160は、例えば基準面10bが水平ではないことを姿勢センサ131からの測定結果が示す場合、投影面の深度を示す測定結果をさらに深度センサ133から取得する(ステップS122)。次に、統合制御部160は、取得した測定結果に基づいて、第1ユーザ入力検出系17の探査面と投影面との間の距離(即ち、投影面の深度)が閾値を下回るか否かを判定する(ステップS124)。そして、統合制御部160は、投影面の深度が閾値を下回ると判定した場合、UIモードとしてタッチモードを選択する(ステップS120)。一方、統合制御部160は、投影面の深度が閾値を下回らないと判定した場合、非タッチモードを選択する(ステップS128)。

0090

(3)第3の例
図17Bは、図15に示したUIモード選択処理の詳細な流れの第3の例を示すフローチャートである。図17Bを参照すると、まず、統合制御部160は、投影面の深度を示す測定結果を深度センサ133から取得する(ステップS122)。次に、統合制御部160は、取得した測定結果に基づいて、投影面の深度が閾値を下回るか否かを判定する(ステップS124)。統合制御部160は、投影面の深度が閾値を下回らないと判定した場合、非タッチモードを選択する(ステップS128)。

0091

一方、統合制御部160は、投影面の深度が閾値を下回ると判定した場合、投影制御装置100の姿勢についての測定結果を、姿勢センサ131からさらに取得する(ステップS125)。次に、統合制御部160は、姿勢センサ131からの測定結果に基づいて、投影制御装置100の基準面10bが水平であるか否かを判定する(ステップS126)。

0092

そして、統合制御部160は、基準面10bが水平であることを姿勢センサ131からの測定結果が示す場合、UIモードとしてタッチモードを選択する(ステップS127)。一方、統合制御部160は、基準面10bが水平ではないことを姿勢センサ131からの測定結果が示す場合、UIモードとして非タッチモードを選択する(ステップS128)。

0093

(4)第4の例
図18は、図15に示したUIモード選択処理の詳細な流れの第4の例を示すフローチャートである。図18を参照すると、まず、統合制御部160は、投影面の深度を示す測定結果をセンサモジュール130の深度センサ133から取得する(ステップS122)。次に、統合制御部160は、取得した測定結果に基づいて、探査面と直交する方向に投影面が存在するか否かを判定する(ステップS123)。統合制御部160は、探査面と直交する方向に投影面が存在しない場合、UIモードとして非タッチモードを選択する(ステップS128)。

0094

一方、探査面と直交する方向に投影面が存在する場合、統合制御部160は、深度センサ133から取得した測定結果に基づいて、投影面の深度が閾値を下回るか否かを判定する(ステップS124)。そして、統合制御部160は、投影面の深度が閾値を下回ると判定した場合、UIモードとしてタッチモードを選択する(ステップS127)。一方、統合制御部160は、投影面の深度が閾値を下回らないと判定した場合、非タッチモードを選択する(ステップS128)。

0095

(5)第5の例
ここまでに説明した第1、第2、第3及び第4の例はいずれも、統合制御部160がセンサデータを用いて自律的にUIモードを選択することを前提としている。しかしながら、ユーザが明示的にUIモードを指定した場合には、自律的に選択されるUIモードよりもユーザにより指定されたUIモードが優先されてよい。

0096

図19は、図15に示したUIモード選択処理の詳細な流れの第5の例を示すフローチャートである。図19を参照すると、まず、統合制御部160は、自律的にUIモードを選択するか否かを判定する(ステップS111)。統合制御部160は、例えば、UIモードを指定するユーザ入力が検出されていない場合には、自律的にUIモードを選択すると判定し得る。

0097

統合制御部160は、自律的にUIモードを選択すると判定した場合、センサモジュール130の姿勢センサ131から、投影制御装置100の姿勢についての測定結果を取得する(ステップS114)。次に、統合制御部160は、取得した測定結果に基づいて、投影制御装置100が投影面上に設置されているか否かを判定する(ステップS116)。統合制御部160は、投影制御装置100が投影面上に設置されていると判定した場合、UIモードとしてタッチモードを選択する(ステップS120)。一方、統合制御部160は、投影制御装置100が投影面上に設置されていないと判定した場合、UIモードとして非タッチモードを選択する(ステップS128)。

0098

また、統合制御部160は、ステップS111において自律的にUIモードを選択しないと判定した場合、第1ユーザ入力検出系17又は第2ユーザ入力検出系18を介して検出され得るユーザ入力に基づいて、UIモードを選択する(ステップS129)。なお、このようなユーザ入力に基づくUIモードの選択は、上述したUIモード選択処理の第1〜第4の例のいずれと組み合わされてもよい。

0099

<4.まとめ>
ここまで、図1図19を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、プロジェクタにより投影面へ画像が投影される場合に、投影面に対するプロジェクタの位置関係に基づいて、投影画像に関連するUIモードが2つ以上のUIモードの間で切り替えられる。従って、投影面に対するプロジェクタの位置関係に合わせた望ましい方式のユーザインタフェースをユーザに提供することが可能となる。例えば、ユーザが投影面へタッチしようとすると操作子ではない障害物がタッチ検出を阻害する可能性が高い場合には、タッチ入力以外のユーザ入力を主として利用することで、円滑なユーザインタラクションを確保することができる。

0100

また、ある実施例によれば、投影面がプロジェクタの下方で略水平に位置する場合に、投影面へのタッチ入力を検出する第1ユーザ入力検出系が主たる入力インタフェースとして利用され得る。例えば、ポータブル型のプロジェクタがテーブル表面のような水平面に載置されてテーブル表面へ画像を投影する場合、こうした位置関係がプロジェクタに内蔵される姿勢センサを用いて簡易に推定され得る。この場合、プロジェクタ及び投影面がタッチ入力に適した位置関係にあるか否かを判定する仕組みを、小型な姿勢センサを用いて低コスト構築することができる。

0101

また、ある実施例によれば、上記プロジェクタは、プロジェクタ近傍の探査領域へ向けて射出される探査光を用いてユーザによるタッチ位置を検出する第1ユーザ入力検出系、を備える。こうした探査光を用いる方式は、投影面に対してプロジェクタが特定の位置関係にある場合に、投影画像の近傍で投影画像を覆うように探査面を形成して高いタッチ検出精度を達成し得る。よって、当該方式は、投影面に対するプロジェクタの位置関係に基づいてUIモードを切り替える上述した手法に適している。例えば、第1ユーザ入力検出系が十分なレベルのタッチ検出精度を達成できると上記位置関係から判定される場合にのみ第1ユーザ入力検出系を主として利用することで、探査光を用いる方式の利便性をできる限り活用しつつ、タッチ検出精度低下に起因するユーザ体験の劣化をも回避することができる。

0102

また、ある実施例によれば、上述した探査光を用いる方式において形成される探査面がプロジェクタの設置面と略直交する場合(この場合、設置面が水平であるとすれば、探査面は垂直であり、投影面もまた垂直である)、プロジェクタを基準とする投影面の深度に基づくさらなる判定が行われ得る。そして、投影面の深度が閾値よりも大きいときには、第1ユーザ入力検出系が十分なレベルのタッチ検出精度を達成しないと判定され、第1ユーザ入力検出系の代わりに第2ユーザ入力検出系が主として利用され得る。従って、例えば部屋の壁面に大画面状に大きくコンテンツを投影してユーザがコンテンツを視聴するような用途において、ユーザが投影面をタッチすることが困難であることを的確に判定し、そうした用途にふさわしいユーザインタフェース(例えば、ジェスチャUI、音声UI又は視線UIなど)をユーザに提供することができる。

0103

また、ある実施例によれば、上記プロジェクタは、選択されるUIモードに依存して、タッチ入力適応型ソフトウェア及びタッチ入力非適応型ソフトウェアを選択的に実行し得る。従って、第1ユーザ入力検出系が十分なレベルのタッチ検出精度を達成できると判定される場合には、例えばスマートフォン又はタブレットPCのようなモバイルデバイス上で動作するように設計されたソフトウェアの実行を許容しつつ、そうではない場合には代替的なソフトウェアを自動的に実行することが可能である。

0104

なお、本明細書において説明した様々な処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。

0105

また、本明細書において説明した装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図7に例示した通信インタフェースを介して送信され又は受信され得る。

0106

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

0107

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

0108

なお、以下のような構成も本開示の技術的範囲に属する。
(1)
プロジェクタによる投影面への画像の投影を制御する投影制御部と、
前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えるUI制御部と、
を備える制御装置。
(2)
前記UI制御部は、前記投影面が前記プロジェクタの下方で略水平に位置する場合に、前記投影面へのタッチ入力を検出する第1ユーザ入力検出系を主たる入力インタフェースとして利用する第1のUIモードを選択する、前記(1)に記載の制御装置。
(3)
前記プロジェクタは、前記プロジェクタの近傍の探査領域へ向けて射出される探査光を用いて、ユーザによるタッチ位置を検出する第1ユーザ入力検出系、を備える、前記(1)又は前記(2)に記載の制御装置。
(4)
前記UI制御部は、前記第1ユーザ入力検出系があるレベルのタッチ検出精度を達成できると前記位置関係から判定される場合に、前記第1ユーザ入力検出系を主たる入力インタフェースとして利用する第1のUIモードを選択する、前記(3)に記載の制御装置。
(5)
前記プロジェクタの第1の設置姿勢において、前記探査領域は、前記プロジェクタの設置面と略平行な探査面を形成し、
前記UI制御部は、前記プロジェクタが前記投影面上に前記第1の設置姿勢で設置されている場合に、前記第1ユーザ入力検出系が前記レベルのタッチ検出精度を達成できると判定する、
前記(4)に記載の制御装置。
(6)
前記UI制御部は、前記プロジェクタの姿勢センサからの第1の測定結果に基づいて、前記投影面に対する前記プロジェクタの前記位置関係を判定する、前記(3)〜(5)のいずれか1項に記載の制御装置。
(7)
前記UI制御部は、前記姿勢センサからの前記第1の測定結果が前記探査領域により形成される探査面が略水平であることを示す場合に、前記第1ユーザ入力検出系を主たる入力インタフェースとして利用する第1のUIモードを選択する、前記(6)に記載の制御装置。
(8)
前記プロジェクタの第2の設置姿勢において、前記探査領域は、前記プロジェクタの設置面と略直交する探査面を形成し、
前記UI制御部は、前記プロジェクタが前記第2の設置姿勢で設置されている場合において、前記投影面の深度が閾値よりも大きいときに、前記第1ユーザ入力検出系が前記レベルのタッチ検出精度を達成しないと判定する、
前記(5)に記載の制御装置。
(9)
前記UI制御部は、前記プロジェクタの深度センサからの第2の測定結果に基づいて、前記投影面の深度を取得する、前記(8)に記載の制御装置。
(10)
前記プロジェクタは、前記第1ユーザ入力検出系よりも粗いタッチ検出精度を有し又はタッチ検出不能な第2ユーザ入力検出系、をさらに備え、
前記UI制御部は、前記第1ユーザ入力検出系が主として利用されない第2のUIモードにおいて、前記第2ユーザ入力検出系を主たる入力インタフェースとして利用する、
前記(2)〜(9)のいずれか1項に記載の制御装置。
(11)
前記第2ユーザ入力検出系は、ユーザのジェスチャ、音声及び視線のうちの1つ以上をユーザ入力として検出する、前記(10)に記載の制御装置。
(12)
前記プロジェクタは、前記第2のUIモードが選択される場合にユーザが存在すると想定される方向へ向かう画角を有するカメラ、をさらに備え、
前記第2ユーザ入力検出系は、前記カメラからの画像入力に基づいてユーザ入力を検出する、
前記(11)に記載の制御装置。
(13)
前記プロジェクタは、選択的に実行されるタッチ入力適応型ソフトウェア又はタッチ入力非適応型ソフトウェアの前記画像を前記投影面へ投影し、
前記第1ユーザ入力検出系が主として利用される第1のUIモードにおいて、前記タッチ入力適応型ソフトウェアが実行される、
前記(2)〜(12)のいずれか1項に記載の制御装置。
(14)
前記タッチ入力適応型ソフトウェアは、タッチ入力適応型の基本ソフトウェア及びタッチ入力適応型のアプリケーションソフトウェアのうちの1つ以上を含む、前記(13)に記載の制御装置。
(15)
前記タッチ入力非適応型ソフトウェアは、ユーザ入力に依存しない入力条件に基づいて、投影画像を変化させる、前記(13)又は前記(14)に記載の制御装置。
(16)
ユーザ入力に依存しない前記入力条件は、日付、時刻、天候、前記プロジェクタの設置場所、及び認識されたユーザ、のうちの少なくとも1つに関連する、前記(15)に記載の制御装置。
(17)
前記UI制御部は、前記投影面が略水平であると判定される場合に、投影画像を回転させるためのUIを有効化する、前記(1)〜(16)のいずれか1項に記載の制御装置。
(18)
前記投影画像を回転させるための前記UIは、前記画像と共に表示されるGUI及び音声UIのうちの1つ以上を含む、前記(17)に記載の制御装置。
(19)
プロジェクタによる投影面への画像の投影を制御する投影制御装置において、
前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えること、
を含む制御方法。
(20)
投影制御装置のプロセッサを、
プロジェクタによる投影面への画像の投影を制御する投影制御部と、
前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース(UI)のモードを、2つ以上のUIモードの間で切り替えるUI制御部と、
として機能させるためのプログラム。

0109

2a,2b投影画像
3a,3b投影面
11投影光用の開口
12探査光用の開口
13カメラ
14マイクロフォン
15スピーカ
16画像投影系
17 第1ユーザ入力検出系
18 第2ユーザ入力検出系
21 投影画像
21a 投影光
22探査面
22a,22b 探査光
23探査画像
100投影制御装置
110プロジェクタモジュール
120認識モジュール
130センサモジュール
131姿勢センサ
133深度センサ
140ソフトウェアモジュール
141タッチ入力適応型ソフトウェア
143 タッチ入力非適応型ソフトウェア
150通信インタフェース
160統合制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ