図面 (/)

技術 操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体

出願人 シャープ株式会社
発明者 神原正義伊藤愛中本周平
出願日 2012年2月3日 (7年5ヶ月経過) 出願番号 2012-022464
公開日 2013年8月19日 (5年11ヶ月経過) 公開番号 2013-161247
状態 未査定
技術分野 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス イメージ処理・作成 表示による位置入力 位置入力装置
主要キーワード Y座標 網点模様 装置関連情報 多機能端末装置 インチ数 位置点 X座標 網目模様
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年8月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

応答性に優れた遠隔操作システムを実現する。

解決手段

本発明のタブレット100は、テレビ200を撮像した画像データを自身の表示部に表示し、画像データからテレビ200の表示部を表す第1領域の位置を特定する位置特定部20と、第1領域の位置に基づき、自身の表示部に対する操作の操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理部21と、変換された操作位置座標をテレビ200の入力信号として出力する信号出力部22とを備えている。

概要

背景

従来、手元操作装置を操作して、離れたところにある表示装置遠隔操作する技術が広く使われている。

特許文献1には、表示装置に対するポインティングデバイスとして機能する携帯端末装置(表示装置を操作する側の装置、以下、操作装置と称する)が開示されている。具体的には、操作装置は自装置で作成した地図画像を表示装置に転送して、地図画像を表示装置に表示させる。操作装置は、地図画像が表示された表示装置をカメラ撮影し、撮影した画像と、自装置で作成した地図画像とを比較する。操作装置は、カメラで撮影した画像が、表示装置に表示された地図画像のどの部分に対応するのかを判定する。こうして、操作装置は、上記判定結果を表示装置上での入力位置座標の指定として扱うことができる。これにより、操作装置(携帯電話)を表示装置に対するポインティングデバイスとして使用することを可能にしている。

概要

応答性に優れた遠隔操作システムを実現する。本発明のタブレット100は、テレビ200を撮像した画像データを自身の表示部に表示し、画像データからテレビ200の表示部を表す第1領域の位置を特定する位置特定部20と、第1領域の位置に基づき、自身の表示部に対する操作の操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理部21と、変換された操作位置座標をテレビ200の入力信号として出力する信号出力部22とを備えている。

目的

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、表示装置を遠隔操作する操作装置において、装置間の通信負荷を軽減し、応答性に優れた操作装置を実現する操作装置、表示装置、遠隔操作システム、操作装置の制御方法制御プログラム、および、記録媒体を実現することにある

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示装置遠隔操作する操作装置であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御手段と、上記操作装置の表示部における、上記表示装置の表示部を表す第1領域の位置を、表示された上記画像データから特定する位置特定手段と、上記第1領域に対して入力された操作信号を受け付け入力受付手段と、上記位置特定手段によって特定された上記第1領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理手段と、上記表示装置に対する入力信号として、上記座標処理手段によって変換された操作位置座標を出力する信号出力手段とを備えていることを特徴とする操作装置。

請求項2

上記操作装置の上記表示部は、上記操作信号を入力するための入力部と一体に形成され、タッチパネルを構成し、上記入力受付手段は、上記タッチパネルに対する接触操作によって入力された操作信号を受け付け、上記座標処理手段は、上記接触操作の上記タッチパネルにおける操作位置座標を、上記表示装置の表示部における操作位置座標に変換することを特徴とする請求項1に記載の操作装置。

請求項3

上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択することを上記表示装置に対して指示する入力信号を出力することを特徴とする請求項1または2に記載の操作装置。

請求項4

上記信号出力手段は、上記表示装置の表示部に表示されている選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する入力信号を出力することを特徴とする請求項1から3までのいずれか1項に記載の操作装置。

請求項5

上記入力受付手段は、上記第1領域に加えて、さらに、上記操作装置の表示部における、上記第1領域以外の第2領域に対して入力された操作信号を受け付け、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを、上記操作装置に送信することを上記表示装置に対して指示する入力信号、および、上記操作装置の表示部の上記第2領域において、上記操作信号によって選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する入力信号、の少なくともいずれか一方を出力することを特徴とする請求項1から4までのいずれか1項に記載の操作装置。

請求項6

上記入力受付手段は、上記第1領域から上記第2領域へのドラッグ操作によって入力された操作信号を受け付けることを特徴とする請求項5に記載の操作装置。

請求項7

上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段が、上記第1領域において操作信号を受け付けている間、上記座標処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標を、上記表示装置の画面における操作位置座標に変換し、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択し、上記操作装置に送信することを上記表示装置に対して指示する第1入力信号を出力し、上記表示装置の表示部に表示されている選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第2入力信号を出力し、上記入力受付手段が、上記第2領域において操作信号を受け付けている間、上記オブジェクト処理手段は、上記第1入力信号に応答した上記表示装置から受信したオブジェクトを、上記操作装置の表示部における上記ドラッグ操作の操作位置座標が示す位置に表示し、移動させることを特徴とする請求項6に記載の操作装置。

請求項8

上記入力受付手段が、上記第2領域において操作信号を受け付けなくなったときに、上記信号出力手段は、上記第1入力信号にしたがって選択されたオブジェクトに関連付けられた実体データを、上記操作装置に送信することを上記表示装置に対して指示する第3入力信号を出力することを特徴とする請求項7に記載の操作装置。

請求項9

上記入力受付手段は、上記第2領域から上記第1領域へのドラッグ操作によって入力された操作信号を受け付けることを特徴とする請求項5に記載の操作装置。

請求項10

上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段と、当該操作装置に記憶されているオブジェクトを、上記表示装置に送信する送信手段とを備え、上記入力受付手段が、上記第2領域において操作信号を受け付けている間、上記オブジェクト処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標に重なるオブジェクトを選択して、該選択したオブジェクトを、上記操作装置の表示部における上記ドラッグ操作の操作位置座標が示す位置に移動させ、上記送信手段は、上記オブジェクト処理手段によって選択されたオブジェクトを、上記表示装置に送信し、上記入力受付手段が、上記第1領域において操作信号を受け付けている間、上記座標処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標を、上記表示装置の表示部における操作位置座標に変換し、上記信号出力手段は、上記選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す、上記表示装置の表示部の位置に表示することを上記表示装置に対して指示する第4入力信号を出力し、上記第4入力信号にしたがって表示されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第5入力信号を出力することを特徴とする請求項9に記載の操作装置。

請求項11

上記入力受付手段が、上記第1領域において操作信号を受け付けなくなったときに、上記送信手段は、上記オブジェクト処理手段によって選択されたオブジェクトに関連付けられた実体データを、上記表示装置に送信することを特徴とする請求項10に記載の操作装置。

請求項12

上記入力受付手段は、上記第1領域上で開始される第1ドラッグ操作によって入力された操作信号を受け付けるとともに、上記第2領域上で開始される第2ドラッグ操作によって入力された操作信号を受け付けることを特徴とする請求項5に記載の操作装置。

請求項13

上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段と、当該操作装置に記憶されているオブジェクトを、上記表示装置に送信する送信手段とを備え、上記位置特定手段は、上記第1ドラッグ操作に伴って上記第1領域から上記第2領域へと移動する第1オブジェクトの、上記操作装置の表示部における位置を特定するとともに、上記第2ドラッグ操作に伴って上記第2領域から上記第1領域へと移動する第2オブジェクトの、上記操作装置の表示部における位置を特定し、上記位置特定手段が、上記第1オブジェクトと上記第2オブジェクトとが重なったと判定するまでの間に、上記信号出力手段は、上記座標処理手段によって変換された上記第1ドラッグ操作の操作位置座標に重なる、上記表示装置の表示部に表示された第1オブジェクトを、上記操作装置に送信することを上記表示装置に対して指示する第6入力信号を出力し、上記表示装置の表示部に表示されている選択された第1オブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第7入力信号を出力し、上記送信手段は、上記第2ドラッグ操作によって選択された第2オブジェクトを、上記表示装置に送信し、上記位置特定手段が、上記第1オブジェクトと上記第2オブジェクトとが重なったと判定した場合に、上記信号出力手段は、上記操作装置の表示部に表示されていた上記第2オブジェクトを、上記表示装置の表示部に表示することを上記表示装置に対して指示する第8入力信号を出力し、上記オブジェクト処理手段は、上記第6入力信号に応答した上記表示装置から受信した第1オブジェクトを、上記操作装置の表示部に表示することを特徴とする請求項12に記載の操作装置。

請求項14

上記入力受付手段が、上記第1領域および上記第2領域において操作信号を受け付けなくなったときに、上記信号出力手段は、上記第1オブジェクトに関連付けられた実体データを、上記操作装置に送信することを上記表示装置に対して指示する第9入力信号を出力し、上記送信手段は、上記第2オブジェクトに関連付けられた実体データを、上記表示装置に送信することを特徴とする請求項13に記載の操作装置。

請求項15

上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段が、上記第2領域に対して入力された操作信号を受け付けた場合には、上記オブジェクト処理手段は、上記操作装置の表示部の上記第2領域において、上記操作信号によって選択されたオブジェクトを非表示にし、上記信号出力手段は、上記選択されたオブジェクトを上記表示装置の表示部に表示することを上記表示装置に対して指示する第10入力信号を出力することを特徴とする請求項5から14までのいずれか1項に記載の操作装置。

請求項16

上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段は、上記第1領域上のオブジェクトに対する操作によって入力された操作信号を受け付け、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択し、上記操作装置に送信することを上記表示装置に対して指示する第1入力信号を出力し、上記表示装置の表示部に表示されている選択されたオブジェクトに対して、形状を変化または縮小する視覚的効果を付与することを上記表示装置に対して指示する第11入力信号を出力し、上記オブジェクト処理手段は、上記第1入力信号に応答した上記表示装置から受信したオブジェクトを、上記操作装置の表示部における上記操作の操作位置座標が示す位置に表示し、形状を変化または拡大する視覚的効果を付与することを特徴とする請求項1から15までのいずれか1項に記載の操作装置。

請求項17

請求項1から16までのいずれか1項に記載の操作装置から出力される入力信号にしたがって動作することを特徴とする表示装置。

請求項18

請求項1から16までのいずれか1項に記載の操作装置と、上記操作装置から出力される入力信号にしたがって動作する表示装置とを含むことを特徴とする遠隔操作システム

請求項19

表示装置を遠隔操作する操作装置の制御方法であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御ステップと、上記操作装置の表示部における、上記表示装置の表示部を表す第1領域の位置を、上記表示制御ステップにて表示された上記画像データから特定する位置特定ステップと、上記第1領域に対して入力された操作信号を受け付ける入力受付ステップと、上記位置特定ステップにて特定された上記第1領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理ステップと、上記表示装置に対する入力信号として、上記座標処理ステップにて変換された操作位置座標を出力する信号出力ステップとを含むことを特徴とする制御方法。

請求項20

コンピュータを、請求項1から16までのいずれか1項に記載の操作装置の各手段として機能させるための制御プログラム

請求項21

請求項20に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体

技術分野

0001

本発明は、操作装置表示装置遠隔操作するための、操作装置、表示装置、遠隔操作システム、操作装置の制御方法制御プログラム、および、記録媒体に関するものである。

背景技術

0002

従来、手元の操作装置を操作して、離れたところにある表示装置を遠隔操作する技術が広く使われている。

0003

特許文献1には、表示装置に対するポインティングデバイスとして機能する携帯端末装置(表示装置を操作する側の装置、以下、操作装置と称する)が開示されている。具体的には、操作装置は自装置で作成した地図画像を表示装置に転送して、地図画像を表示装置に表示させる。操作装置は、地図画像が表示された表示装置をカメラ撮影し、撮影した画像と、自装置で作成した地図画像とを比較する。操作装置は、カメラで撮影した画像が、表示装置に表示された地図画像のどの部分に対応するのかを判定する。こうして、操作装置は、上記判定結果を表示装置上での入力位置座標の指定として扱うことができる。これにより、操作装置(携帯電話)を表示装置に対するポインティングデバイスとして使用することを可能にしている。

先行技術

0004

特開2008−191868号公報(2008年8月21日公開

発明が解決しようとする課題

0005

しかしながら、上述の従来の構成では、操作装置が表示装置のポインティングデバイスとして機能するためには、操作装置が内部で保持する映像(地図画像)を表示装置に複製しなければならない。あるいは、表示装置に表示されている映像(ユーザインターフェース)を操作装置に複製する必要がある。このように映像を共有するためのデータの送受信は、装置間の通信負荷を増大させるという問題がある。共有すべき映像が動画などの容量の大きいデータであればその分通信負荷が一層増大し、さらに応答性が悪化するため上記問題は特に深刻である。

0006

また、上述の従来の構成では、表示装置に表示されている映像の所定位置を指定するために、操作装置自体を動かさなければならず、操作はユーザにとって煩わしいものになる。この問題は、操作装置が携帯可能な小型の装置でなければ、特に深刻な問題である。

0007

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、表示装置を遠隔操作する操作装置において、装置間の通信負荷を軽減し、応答性に優れた操作装置を実現する操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体を実現することにある。

課題を解決するための手段

0008

本発明の操作装置は、上記課題を解決するために、表示装置を遠隔操作する操作装置であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御手段と、上記操作装置の表示部における、上記表示装置の表示部を表す第1領域の位置を、表示された上記画像データから特定する位置特定手段と、上記第1領域に対して入力された操作信号を受け付け入力受付手段と、上記位置特定手段によって特定された上記第1領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理手段と、上記表示装置に対する入力信号として、上記座標処理手段によって変換された操作位置座標を出力する信号出力手段とを備えていることを特徴としている。

0009

上記構成によれば、操作装置の表示制御手段は、通信相手である表示装置を撮像した画像データを操作装置の表示部に表示する。上記画像データには、表示装置の表示部が写っているはずである。画像データ中の表示装置の表示部を写している領域を第1領域と称する。位置特定手段は、表示された画像データに基づいて、操作装置の表示部における(タブレット座標系における)、第1領域の位置を特定する。これにより、入力受付手段が表示部に表示されている内容に関し、ユーザ操作を受け付けた場合には、操作された位置が、第1領域内であるのか、第1領域外であるのかを、操作装置が判断することができる。

0010

入力受付手段が、上記第1領域に対するユーザ操作によって入力された操作信号を受け付けるとする。この場合、座標処理手段は、画像データから特定された第1領域のうち、どの位置が、ユーザ操作によって指定されたのかを特定する。

0011

そして、座標処理手段は、操作装置の表示部において特定した操作位置座標を、表示装置の表示部における操作位置座標に変換する。座標処理手段は、ユーザ操作によって指定された位置と、画像データから特定された第1領域(表示装置の表示部の領域)との位置関係を把握しているので、上記の変換を実行することができる。

0012

最後に、信号出力手段は、座標処理手段によって変換された、表示装置の表示部における操作位置座標を、表示装置の入力信号として、表示装置に対して出力する。

0013

表示装置の表示部における操作位置座標を参照すれば、表示装置は、表示装置の表示部のどの位置が操作されたのかを理解することができる。つまり、操作装置から上記入力信号を受け取った表示装置は、上記表示装置の表示部における操作位置座標が示す位置が、ユーザによって操作されたということを理解する。そして、理解した入力信号の内容に応じて動作することが可能となる。

0014

このように、操作装置は、操作位置座標を表示装置に対して送信するだけで、表示装置に対して、当該表示装置の表示部における所定の位置が操作されたことを伝達し、それに応答する何らかの動作を表示装置に実行させることができる。つまり、操作装置から入力信号を出力することにより表示装置を遠隔操作することが可能になる。操作装置は、表示装置を遠隔操作するに際し、表示装置に何が表示されているのかを理解する必要がない。反対に、表示装置も、操作を受け付けたときの操作装置に何が表示されていたのかを理解する必要がない。つまり、遠隔操作を実現するために、表示装置と操作装置との間で、表示内容に関して容量の大きいデータを共有する必要がない。

0015

結果として、装置間の通信負荷を軽減し、応答性に優れた操作装置、および、遠隔操作システムを実現することができる。

0016

本発明の操作装置において、上記操作装置の上記表示部は、上記操作信号を入力するための入力部と一体に形成され、タッチパネルを構成し、上記入力受付手段は、上記タッチパネルに対する接触操作によって入力された操作信号を受け付け、上記座標処理手段は、上記接触操作の上記タッチパネルにおける操作位置座標を、上記表示装置の表示部における操作位置座標に変換することが好ましい。

0017

上記構成によれば、ユーザが、表示部に表示されている画像データ上の、表示装置の表示部をタッチ操作すると、座標処理手段が、そのタッチ位置に対応する、表示装置の表示部における操作位置の操作位置座標を求める。そして、操作位置座標が、入力信号として表示装置に出力される。

0018

つまり、ユーザは、表示装置の表示部の画面上を直接タッチするかのような感覚で、表示装置を遠隔操作することができる。このように、タッチパネル対応の操作装置を用いることによって、表示装置がタッチパネル非対応の機器であっても、表示装置に対して、より自然な疑似タッチ操作を行うことが可能となる。

0019

上記操作装置の上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択することを上記表示装置に対して指示する入力信号を出力してもよい。

0020

上記構成によれば、表示装置に対して、操作位置座標を入力信号として送信すると、表示装置が表示中の、ユーザが操作した位置に対応するオブジェクトを、表示装置に選択させることができる。

0021

さらに、上記操作装置の上記信号出力手段は、上記表示装置の表示部に表示されている選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する入力信号を出力してもよい。

0022

上記構成によれば、表示装置が選択中のオブジェクトをユーザが操作した位置に移動させるという処理を、表示装置に行わせることができる。

0023

さらに、上記操作装置の上記入力受付手段は、上記第1領域に加えて、さらに、上記操作装置の表示部における、上記第1領域以外の第2領域に対して入力された操作信号を受け付け、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを、上記操作装置に送信することを上記表示装置に対して指示する入力信号、および、上記操作装置の表示部の上記第2領域において、上記操作信号によって選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する入力信号、の少なくともいずれか一方を出力してもよい。

0024

ユーザは、表示装置の表示部を写している第1領域と、それ以外の第2領域との両方に対して操作する。上記第2領域は、画像データのうち、表示装置の表示部の外の周辺環境を写している領域であったり、操作装置の表示部に何らかの情報が表示されている領域あったりする。ユーザにとって、直感的に、第1領域は、上記表示装置を操作するための領域と理解され、第2領域は、表示装置の外、すなわち、当該操作装置を操作するための領域と理解されるのが自然である。したがって、上記の両方の領域に対する操作によって、操作装置と表示装置との間の情報の送受信が起きるということは、ユーザにとって自然に理解しやすい。

0025

上記構成によれば、上記の両方の領域に対するユーザ操作を入力受付手段が受け付けると、第1に、信号出力手段は、ユーザ操作によって指定された位置に対応する、表示装置の表示部上のオブジェクトを操作装置に送信するように、表示装置に対して要求する。これにより、操作装置が表示装置から上記オブジェクトを受信することができる。つまり、上記の両方の領域に対するユーザ操作によって、表示装置から操作装置へオブジェクトの送受信が実行される。また、第2に、信号出力手段は、操作装置の表示部で表示しているオブジェクトのうち、ユーザ操作によって選択されたオブジェクトを、ユーザ操作によって指定された位置に対応する、表示装置の表示部の位置に表示するように、表示装置に対して指示する。これにより、表示装置は、操作装置に表示されていたオブジェクトを、表示装置の表示部に表示することができる。つまり、上記の両方の領域に対するユーザ操作によって、操作装置から表示装置へオブジェクトの送受信が実行される。信号出力手段は、上述の第1の要求、および、上述の第2の指示の両方を行うことができてもよいし、いずれか一方のみ行うことができる構成であってもよい。

0026

以上のとおり、操作装置は、ユーザが直感的に理解しやすい操作を受け付けて、表示装置を遠隔操作し、その操作に合ったオブジェクトの送受信を実現することができる。ここで、遠隔操作を実現するためには、入力信号(操作位置座標)が必要なだけであり、表示装置と操作装置との間で、表示内容に関して容量の大きいデータを共有する必要がない。オブジェクトの送受信は、遠隔操作のタイミングとは関係なく適宜実施されればよいものである。

0027

結果として、装置間の通信負荷を軽減し、応答性に優れた操作装置、および、遠隔操作システムを実現することができる。

0028

なお、上記入力受付手段は、上記の両方の領域に対するユーザ操作として、上記第1領域から上記第2領域へのドラッグ操作によって入力された操作信号を受け付けることができる。

0029

この操作は、表示装置から操作装置へのオブジェクトの送受信を連想させる操作である。上記操作を受け付けることにより、操作装置は、表示装置を遠隔操作して、表示装置から操作装置へのオブジェクトの送受信を実現すればよい。

0030

具体的には、例えば、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段が、上記第1領域において操作信号を受け付けている間、上記座標処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標を、上記表示装置の画面における操作位置座標に変換し、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択し、上記操作装置に送信することを上記表示装置に対して指示する第1入力信号を出力し、上記表示装置の表示部に表示されている選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第2入力信号を出力し、上記入力受付手段が、上記第2領域において操作信号を受け付けている間、上記オブジェクト処理手段は、上記第1入力信号に応答した上記表示装置から受信したオブジェクトを、上記操作装置の表示部における上記ドラッグ操作の操作位置座標が示す位置に表示し、移動させることが考えられる。

0031

さらに、上記入力受付手段が、上記第2領域において操作信号を受け付けなくなったときに、上記信号出力手段は、上記第1入力信号にしたがって選択されたオブジェクトに関連付けられた実体データを、上記操作装置に送信することを上記表示装置に対して指示する第3入力信号を出力してもよい。

0032

あるいは、上記入力受付手段は、上記の両方の領域に対するユーザ操作として、上記第2領域から上記第1領域へのドラッグ操作によって入力された操作信号を受け付けることができる。

0033

この操作は、操作装置から表示装置へのオブジェクトの送受信を連想させる操作である。上記操作を受け付けることにより、操作装置は、表示装置を遠隔操作して、操作装置から表示装置へのオブジェクトの送受信を実現すればよい。

0034

具体的には、例えば、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段と、当該操作装置に記憶されているオブジェクトを、上記表示装置に送信する送信手段とを備え、上記入力受付手段が、上記第2領域において操作信号を受け付けている間、上記オブジェクト処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標に重なるオブジェクトを選択して、該選択したオブジェクトを、上記操作装置の表示部における上記ドラッグ操作の操作位置座標が示す位置に移動させ、上記送信手段は、上記オブジェクト処理手段によって選択されたオブジェクトを、上記表示装置に送信し、上記入力受付手段が、上記第1領域において操作信号を受け付けている間、上記座標処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標を、上記表示装置の表示部における操作位置座標に変換し、上記信号出力手段は、上記選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す、上記表示装置の表示部の位置に表示することを上記表示装置に対して指示する第4入力信号を出力し、上記第4入力信号にしたがって表示されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第5入力信号を出力することが考えられる。

0035

さらに、上記入力受付手段が、上記第1領域において操作信号を受け付けなくなったときに、上記送信手段は、上記オブジェクト処理手段によって選択されたオブジェクトに関連付けられた実体データを、上記表示装置に送信してもよい。

0036

あるいは、上記入力受付手段は、上記第1領域上で開始される第1ドラッグ操作によって入力された操作信号を受け付けるとともに、上記第2領域上で開始される第2ドラッグ操作によって入力された操作信号を受け付けることができる。

0037

両方の領域で同時に開始されるドラッグ操作は、操作装置と表示装置との間における、双方向のオブジェクトの送受信(オブジェクトの交換)を連想させる操作である。上記操作を受け付けることにより、操作装置は、表示装置を遠隔操作して、操作装置と表示装置との間のオブジェクトの交換を実現すればよい。

0038

具体的には、例えば、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段と、当該操作装置に記憶されているオブジェクトを、上記表示装置に送信する送信手段とを備え、上記位置特定手段は、上記第1ドラッグ操作に伴って上記第1領域から上記第2領域へと移動する第1オブジェクトの、上記操作装置の表示部における位置を特定するとともに、上記第2ドラッグ操作に伴って上記第2領域から上記第1領域へと移動する第2オブジェクトの、上記操作装置の表示部における位置を特定し、上記位置特定手段が、上記第1オブジェクトと上記第2オブジェクトとが重なったと判定するまでの間に、上記信号出力手段は、上記座標処理手段によって変換された上記第1ドラッグ操作の操作位置座標に重なる、上記表示装置の表示部に表示された第1オブジェクトを、上記操作装置に送信することを上記表示装置に対して指示する第6入力信号を出力し、上記表示装置の表示部に表示されている選択された第1オブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第7入力信号を出力し、上記送信手段は、上記第2ドラッグ操作によって選択された第2オブジェクトを、上記表示装置に送信し、上記位置特定手段が、上記第1オブジェクトと上記第2オブジェクトとが重なったと判定した場合に、上記信号出力手段は、上記操作装置の表示部に表示されていた上記第2オブジェクトを、上記表示装置の表示部に表示することを上記表示装置に対して指示する第8入力信号を出力し、上記オブジェクト処理手段は、上記第6入力信号に応答した上記表示装置から受信した第1オブジェクトを、上記操作装置の表示部に表示することが考えられる。

0039

さらに、上上記入力受付手段が、上記第1領域および上記第2領域において操作信号を受け付けなくなったときに、上記信号出力手段は、上記第1オブジェクトに関連付けられた実体データを、上記操作装置に送信することを上記表示装置に対して指示する第9入力信号を出力し、上記送信手段は、上記第2オブジェクトに関連付けられた実体データを、上記表示装置に送信してもよい。

0040

さらに、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段が、上記第2領域に対して入力された操作信号を受け付けた場合には、上記オブジェクト処理手段は、上記操作装置の表示部の上記第2領域において、上記操作信号によって選択されたオブジェクトを非表示にし、上記信号出力手段は、上記選択されたオブジェクトを上記表示装置の表示部に表示することを上記表示装置に対して指示する第10入力信号を出力してもよい。

0041

あるいは、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段は、上記第1領域上のオブジェクトに対する操作によって入力された操作信号を受け付け、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択し、上記操作装置に送信することを上記表示装置に対して指示する第1入力信号を出力し、上記表示装置の表示部に表示されている選択されたオブジェクトに対して、形状を変化または縮小する視覚的効果を付与することを上記表示装置に対して指示する第11入力信号を出力し、上記オブジェクト処理手段は、上記第1入力信号に応答した上記表示装置から受信したオブジェクトを、上記操作装置の表示部における上記操作の操作位置座標が示す位置に表示し、形状を変化または拡大する視覚的効果を付与してもよい。

0042

操作装置の表示部上で、第1領域または第2領域が十分に確保されていないために、第1領域から第2領域へ、あるいは、第2領域から第1領域へと移動する操作が受け付けられないような状況が考えられる。

0043

上記構成によれば、上記のような状況であっても、一方の領域についてユーザ操作を受け付けるだけで、操作装置は、表示装置を遠隔操作して、操作装置と表示装置の間のオブジェクトの送受信を実施することができる。

0044

本発明の操作装置によって遠隔操作される表示装置は、本発明の操作装置から受信した入力信号にしたがって動作する。このような表示装置も本発明の範疇に入る。

0045

上述した本発明の操作装置と上述した本発明の表示装置とによって構築される遠隔操作システムも本発明の範疇に入る。

0046

本発明の操作装置の制御方法は、上記課題を解決するために、表示装置を遠隔操作する操作装置の制御方法であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御ステップと、上記操作装置の表示部における、上記表示装置の表示部を表す第1領域の位置を、上記表示制御ステップにて表示された上記画像データから特定する位置特定ステップと、上記第1領域に対して入力された操作信号を受け付ける入力受付ステップと、上記位置特定ステップにて特定された上記第1領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理ステップと、上記表示装置に対する入力信号として、上記座標処理ステップにて変換された操作位置座標を出力する信号出力ステップとを含むことを特徴としている。

0047

なお、上記操作装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記操作装置をコンピュータにて実現させる操作装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、上記表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを表示装置の各手段として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

発明の効果

0048

本発明の操作装置は、上記課題を解決するために、表示装置を遠隔操作する操作装置であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御手段と、上記操作装置の表示部における、上記表示装置の表示部を表す第1領域の位置を、表示された上記画像データから特定する位置特定手段と、上記第1領域に対して入力された操作信号を受け付ける入力受付手段と、上記位置特定手段によって特定された上記第1領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理手段と、上記表示装置に対する入力信号として、上記座標処理手段によって変換された操作位置座標を出力する信号出力手段とを備えていることを特徴としている。

0049

本発明の操作装置の制御方法は、上記課題を解決するために、表示装置を遠隔操作する操作装置の制御方法であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御ステップと、上記操作装置の表示部における、上記表示装置の表示部を表す第1領域の位置を、上記表示制御ステップにて表示された上記画像データから特定する位置特定ステップと、上記第1領域に対して入力された操作信号を受け付ける入力受付ステップと、上記位置特定ステップにて特定された上記第1領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理ステップと、上記表示装置に対する入力信号として、上記座標処理ステップにて変換された操作位置座標を出力する信号出力ステップとを含むことを特徴としている。

0050

結果として、装置間の通信負荷を軽減し、応答性に優れた操作装置、および、遠隔操作システムを実現できるという効果を奏する。

図面の簡単な説明

0051

本発明の一実施形態におけるタブレットの要部構成を示すブロック図である。
本発明の一実施形態における遠隔操作システムの概要を示す図である。
本発明のタブレット背面の外観を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
本発明の一実施形態におけるタブレットの処理の流れを示すフローチャートである。
本発明の一実施形態におけるタブレットの要部構成を示すブロック図である。
本発明の一実施形態におけるテレビの要部構成を示すブロック図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。
タブレットの表示部に表示される表示画面の一例を示す図である。

実施例

0052

≪実施形態1≫
本発明の一実施形態について、図1図9に基づいて説明すると以下の通りである。

0053

以下で説明する実施形態では、一例として、本発明の操作装置がタブレットPCなどの多機能端末装置(タブレットと称する)であって、本発明の操作装置によって遠隔操作される表示装置がデジタルテレビである場合について説明する。しかし、本発明の操作装置は、タブレットに限定されず、スマートフォン携帯電話機、PDA(Personal Digital Assistant)、ゲーム機電子辞書ノートパソコンなど、比較的小型のあらゆる情報処理装置に適用可能である。また、本発明の操作装置は、デジタルテレビに限定されず、デスクトップパソコン、ノートパソコン、ゲーム機、デジタルフォトフレームなど、情報を表示する表示部と、操作装置と通信する通信部とを備えたあらゆる表示装置を遠隔操作することができる。本発明の操作装置において、入力機構タッチパネル式であることは必須の構成ではない。

0054

なお、以下の図面において同一または相当する部分には、同一の参照符号を付すものとし、それらの説明は重複して行なわない。また、図面における長さ、大きさおよび幅などの寸法関係ならびに形状は、図面の明瞭化と簡略化のために適宜に変更されており、実際の寸法および形状を表してはいない。

0055

〔遠隔操作システムの概要〕
本発明の遠隔操作システムは、互いに通信可能な複数の装置によって構成されている。複数の装置とは、1つは、オブジェクトを表示する機能を備えた表示装置であり、もう1つは、当該表示装置を遠隔操作する操作装置である。遠隔操作システムにおいて、表示装置は、1または複数存在する。操作装置もオブジェクトを表示する機能を備えており、他に操作装置が存在する場合には、その操作装置に対して、表示装置として機能してもよい。

0056

図2は、本実施形態における遠隔操作システムの概要を示す図である。図2に示すとおり、本発明の遠隔操作システムは、少なくとも1台の操作装置(ここでは、タブレット100)と、1または複数の表示装置(ここでは、テレビ200、ノートパソコン200a、および、デジタルフォトフレーム200b)とを含む構成である。タブレット100と、各表示装置とは、IrDA、IrSSなどの赤外線通信、Bluetooth(登録商標)通信、WiFi(登録商標)通信、非接触型ICカードなどの適宜の無線通信手段を介して、互いに通信可能である。本実施形態では、図示しないアクセスポイントおよび家庭内LAN(Local Area Network)を介して、各装置は、互いに無線通信を行うことができる。

0057

以下では、本発明の表示装置としての構成および機能について、テレビ200を例に挙げて説明するが、他の表示装置も同様の構成および機能を備えているものとする。テレビ200は、表示装置として、オブジェクトを表示するための表示部42を備えている。

0058

タブレット100は、いわゆる拡張現実感(AR;Augmented Reality)を実現する機能を備えている。具体的には、例えば図3に示すように、タブレット100は、背面に設けられた撮像部13によって撮像された周辺環境の画像データ(ライブビュー画像)をリアルタイムで表示部12に表示する。そして、タブレット100は、画像データから認識された通信相手の装置と、無線通信手段を介して識別した各装置との対応付けを行って、画像データ内の通信相手となる装置に関する装置関連情報(装置名など)を重畳表示する。図2に示す例では、タブレット100は、表示部12にライブビュー画像を表示するとともに、例えば、当該ライブビュー画像に写る各装置の装置関連情報を重畳させてもよい。なお、装置関連情報を重畳させる構成は、本発明のタブレット100において必須の構成ではない。ライブビュー画像に写る各装置とは、図2に示す例では、テレビ200、BD(Blu-ray Disc(登録商標))レコーダおよびノートパソコン200aである。装置関連情報は、ここでは、装置名であるが、他にも、その装置が実行できる機能を一覧表示したメニューリストなどが装置関連情報として重畳されてもよい。上記のARを実現するための技術は、公知の適宜の技術を採用することができる。

0059

なお、ライブビュー画像に写っている表示装置が複数であったり、通信相手としてタブレット100が認識している表示装置が複数存在したりする場合には、タブレット100は、予め登録された表示装置の情報を参照して、ライブビュー画像に写っている表示装置と、通信相手としてタブレット100が認識している表示装置とを紐付けることができる。例えば、タブレット100は、表示装置のモデル画像と、表示装置のネットワーク上のホスト名(またはネットワークアドレス)とを対応付けたテーブルを保持し、ライブビュー画像に写っている表示装置をモデル画像と比較して類似するモデル画像を検索することにより通信相手を認識することができる。

0060

図2は、撮像部13がタブレット100の奥に広がる現実空間を撮影して得た画像データを、表示部12に表示している例を示している。したがって、表示部12に表示されている画像データと、奥に広がる現実空間とは、ユーザから見て必ずしもシームレスにつながらない。一方、タブレット100が透明の表示部12を備えており、表示部12の奥に広がる現実空間を透かして見ることも考えられる。この場合には、タブレット100の前面に設けられた別の撮像部(フロントカメラ)によって、ユーザの目の位置を検出し、ユーザが透かして見ている映像を、撮像部13(メインカメラ)の映像を併せて用いて推定し、現実空間にマッチしたオブジェクトの表示を実現してもよい。

0061

なお、以降、説明に用いる各図において、黒塗りのオブジェクトは、テレビ200の表示部42に表示されているオブジェクトを表す。網点模様のオブジェクトは、タブレット100の表示部12に表示されているオブジェクトを表す。黒塗りのオブジェクトのうち、白の網目模様が施されたオブジェクトは、テレビ200の表示部42に表示されているオブジェクトであって、それが、タブレット100の撮像部13で撮影され、タブレット100の表示部12に表示されている状態のオブジェクトを表す。つまり、オブジェクトに施された模様および色は、オブジェクトの異同を示さない。オブジェクトの異同は符号によって示される。

0062

図2に示す例では、オブジェクトは、例えば、アイコン画像である。しかし、タブレット100およびテレビ200が表示するオブジェクトは、アイコン画像に限定されない。写真、動画、図形、GUI(graphical user interface)部品など、ユーザが入力部11を用いて選択できるあらゆる表示対象物がオブジェクトに含まれる。

0063

ユーザは、タブレット100に表示されたオブジェクト(網点模様)を選択するときには、従来どおり、入力部11上の目的のオブジェクトが表示されている領域をタッチすればよい(図2のタッチシーン3aなど)。また、上記オブジェクトをタッチしたままドラッグすれば、表示部12上の他の位置にオブジェクトを移動させることができる。本発明のタブレット100は、入力部11において、テレビ200の表示部42の画面が表示されている領域が、ユーザによってタッチされること(図2のタッチシーン3bなど)に応じて、テレビ200に対して所定の遠隔操作を行う点に特徴がある。テレビ200を遠隔操作するためのタブレット100の構成については、後に詳述する。

0064

〔タブレットの構成〕
図1は、本発明の一実施形態におけるタブレットの要部構成を示すブロック図である。タブレット100は、本発明の操作装置として機能するために、少なくとも、制御部10、入力部11、表示部12、撮像部13、通信部14および記憶部15を備えている構成である。また、図示しないが、タブレット100は、多機能端末装置として従来備わっている機能を実現するために、外部インターフェース音声出力部、音声入力部、通話処理部、放送受像部(チューナ復調部など)、GPS、センサ加速度センサ傾きセンサなど)、および、電源を入れるスイッチ・キーなどの操作部、他、タブレットPCが標準的に備えている各種部品を備えていてもよい。その他にも、タブレット100について、タブレットPCの一般的な機能であって、本発明に直接関係の無い部分については記載を省略した。

0065

制御部10は、タブレット100が備える各部を統括制御するものである。制御部10は、機能ブロックとして、少なくとも、位置特定部20、座標処理部21および信号出力部22を備えている構成である。制御部10は、さらに必要に応じて、入力受付部23および表示制御部24を備えている。

0066

上述した制御部10の各機能ブロックは、CPU(central processing unit)等が、ROM(read only memory)、NVRAM(non-Volatile random access memory)等で実現された記憶装置(記憶部15)に記憶されているプログラムをRAM(random access memory)等に読み出して実行することで実現できる。制御部10の各機能ブロックについての詳細は後述する。

0067

記憶部15は、(1)タブレット100の制御部10が実行する制御プログラム、(2)制御部10が実行するOSプログラム、(3)制御部10が、タブレット100が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを非一時的に記憶するものである。あるいは、(5)制御部10が各種機能を実行する過程演算に使用するデータおよび演算結果等を一時的に記憶するものである。例えば、上記の(1)〜(4)のデータは、ROM(read only memory)、フラッシュメモリEPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの不揮発性記憶装置に記憶される。例えば、上記の(5)のデータは、RAM(Random Access Memory)などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、タブレット100の使用目的、利便性コスト、物理的な制約などから適宜決定される。例えば、撮像部13によって撮像されたライブビュー画像は、揮発性記憶装置にて実現された記憶部15に一時的に保存される。あるいは、表示部12に表示されるオブジェクト(アイコン画像)、および、当該オブジェクトに対応付けられた実体データなどは、不揮発性記憶装置にて実現された記憶部15に非一時的に保存される。実体データとは、例えば、オブジェクトが、動画コンテンツアイコンであるならば、その動画データそのものを表す。

0068

入力部11は、ユーザがタブレット100を操作するための指示信号を、タッチパネルを介して入力するためのものである。入力部11は、タッチ面タッチセンサとで構成されている。タッチ面は、指示体(表示部12の画面位置を指示するもの、ここでは、例えば、指またはペンなど)の接触を受け付けるものである。タッチセンサは、指示体とタッチ面との間の接触/非接触(接近/非接近)、および、その接触(接近)位置を検知するためものである。タッチセンサは、指示体とタッチ面との接触/非接触を検知できればどのようなセンサで実現されていてもかまわない。例えば、圧力センサ静電容量センサ光センサなどで実現される。

0069

表示部12は、タブレット100が情報処理するオブジェクト、撮像部13が撮像した周辺環境の画像データ(ライブビュー画像)、および、ユーザがタブレット100を操作するためのGUI(Graphical User Interface)画面などを表示するものである。表示部12は、例えば、LCD(液晶ディスプレイ)などの表示装置で実現される。

0070

本実施形態では、入力部11と表示部12とは一体に成形されており、これらがタッチパネルを構成している。

0071

例えば、本発明のタブレット100のタッチパネルを投影型静電容量方式のタッチパネルで実現する場合、具体的には、上記タッチセンサは、ITO(Indium Tin Oxide)などによるマトリクス状透明電極パターンを、ガラスプラスチックなどの透明基板上に形成したものとなる。タッチセンサに指示体(ユーザの指またはペン等)が接触または接近すると、その付近の複数の透明電極パターンにおける静電容量が変化する。従って、制御部10は、上記透明電極パターンの電流または電圧の変化を検出することにより、上記指示体が接触または接近した位置を検出することができる。

0072

以下では、「接触」または「タッチ」という用語は、指示体とタッチ面とが完全に接する(接している)状態のみならず、指示体とタッチ面とが、タッチセンサが検知可能な程度に接近する(接近している)状態も含んでいる。

0073

撮像部13は、動画または静止画を撮像するものであり、レンズミラー機構撮像素子、A/Dコンバータ画像表示回路などの各種機構および回路で構成されている。なお、ライブビュー画像は、上記レンズを介して上記撮像素子において受光された像として取得される。本実施形態では、図3に示すとおり、撮像部13は、タブレット100の背面(タッチパネルがある側と反対の面)に設けられる。

0074

通信部14は、通信網を介して外部の装置と通信を行うものである。通信部14は、通信網を介して各装置(ここでは特に、テレビ200)に接続し、データの送受信を実現する。なお、通信部14は、さらに、近距離無線通信部を含んでいてもよい。この場合、近距離無線通信部としての通信部14は、無線で近距離の外部の装置との通信を行う。通信部14は、特に限定されないが、IrDA、IrSSなどの赤外線通信、Bluetooth(登録商標)通信、WiFi(登録商標)通信、非接触型ICカードのいずれかの無線通信技術を実現するものであってもよいし、これらの技術を複数実現するものであってもよい。

0075

〔タブレットの機能構成-詳細〕
制御部10の入力受付部23は、タッチパネルに対するユーザのタッチ操作によってタブレット100に入力される操作信号を受け付けるものである。入力受付部23は、入力部11のタッチセンサから出力される操作信号を取得して、表示部12に表示されている各種情報に対して、どの位置でどのようなタッチ操作(タップフリックピンチ、ドラッグなど)がなされたのかを認識する。入力受付部23は、認識結果、すなわち、入力部11(表示部12)におけるタッチ位置の情報を座標処理部21に供給する。

0076

表示制御部24は、制御部10の各部が情報処理した結果得られた情報を、表示部12の画面に配置して映像信号に変換し、表示部12に供給するものである。例えば、表示制御部24は、撮像部13が取得したライブビュー画像を表示部12の画面の所定位置に配置して、その映像信号を表示部12に出力する。これにより、表示部12にライブビュー画像が表示される。

0077

図4は、タブレット100の表示部12に表示されるライブビュー画像の一例(1コマ)を表す図である。図4に示す例では、テレビ200の表示部42は、5つのオブジェクト2a〜2eを表示している。そして、その様子がタブレット100の撮像部13によって撮影され、ライブビュー画像に写っており、表示制御部24は、該ライブビュー画像を全画面配置で表示部12に表示している。

0078

位置特定部20は、様々な情報が表示される表示部12において、表示された各種情報の位置を特定するものである。具体的には、本実施形態では、位置特定部20は、撮像部13によって撮影されたライブビュー画像が表示部12に表示されたとき、当該ライブビュー画像に写っているテレビ200の表示部42の画面領域の位置を特定する。さらに、位置特定部20は、ライブビュー画像の中の表示部42の画面領域上に表示されている各オブジェクトの位置を特定してもよい。位置特定部20は、ライブビュー画像中の表示部42の画面の領域またはオブジェクトの領域を特定するために、画像認識処理を実施する。本実施形態では、位置特定部20は、さらに、表示部12に表示される各種情報の位置を特定することができる。

0079

図5は、位置特定部20が扱う座標系の情報の一例を示す図である。図5は、表示部12が図4に示すライブビュー画像を表示している時点において、位置特定部20が、表示部42の画面領域および該画面領域に表示されているオブジェクトの位置を特定した例を示している。以下では、ライブビュー画像において、表示部42の画面を表している領域をテレビ領域420と称する。

0080

位置特定部20は、まず、タブレット100の表示部12の画面領域であるタブレット領域120を定義する。本実施形態では、タブレット100は、このタブレット領域120の左上端Pを原点(X、Y=0、0)とするタブレット座標系を予め記憶部15に保持している。位置特定部20は、上記タブレット座標系における座標値によってタブレット領域120を定義することができる。

0081

次に、位置特定部20は、テレビ200の表示部42の画面領域、すなわち、テレビ領域420の位置を特定する。位置特定部20は、図4に示すライブビュー画像の1コマに対して、画像認識処理を実行し、テレビの画面に特徴的な領域(図5のテレビ領域420)を検出する。位置特定部20は、例えば、テレビ200のモデル画像とのマッチングや、特徴量(エッジ検出による長方形または台形の形状)の抽出などを行うことにより、テレビ領域420を検出することができる。

0082

位置特定部20は、検出したテレビ領域420の位置を、タブレット座標系における座標値によって特定することができる。

0083

図5に示すとおり、位置特定部20は、図4に示すライブビュー画像から、さらに、表示部42に表示されているオブジェクト2a〜2eの位置を特定してもよい。なお、この構成は、本実施形態では必須の構成ではない。

0084

位置特定部20は、各種情報の位置をタブレット座標系において特定した後、この位置特定の結果を座標処理部21に供給する。

0085

座標処理部21は、入力受付部23を介してユーザから受け付けられたタッチ操作の、入力部11(表示部12)における操作位置の座標値を、遠隔操作対象である他の表示装置の画面における操作位置の座標値に変換するものである。

0086

本実施形態では、具体的には、座標処理部21は、入力部11上で受け付けたタッチ操作の操作位置座標(以下では、特に、タッチ操作による操作位置座標を、タッチ位置座標呼称する)を、テレビ200が理解可能なように、テレビ200の表示部42の画面における操作位置座標に変換する。

0087

例えば、図4に示すとおり、入力部11の任意の位置に対して、ユーザによるタッチ操作が行われたとする。図4に示す例では、ライブビュー画像の、テレビ200によって表示されているオブジェクト2cの中央あたりがタッチされたとする。

0088

入力受付部23は、受け付けたタッチ操作のタッチ位置座標を座標処理部21に通知する。例えば、図5に示すとおり、入力受付部23は、タブレット座標系における点Rの座標値(Xtab_r、Ytab_r)を座標処理部21に供給する。

0089

座標処理部21は、位置特定部20によって特定されたテレビ領域420に基づいて、操作位置(点R)のタッチ位置座標(Xtab_r、Ytab_r)を、テレビ座標系における操作位置座標(Xtv_r、Ytv_r)に変換する。テレビ座標系は、表示部42の画面の左上端Qを原点とする、テレビ200が理解可能な座標系である。

0090

座標処理部21は、タブレット座標系において、テレビ領域420、点Q、および、点Rの位置を把握することができる。そのため、座標処理部21は、点Rの点Qとの相対的な位置関係、および、点Rのテレビ領域420との位置関係を把握することができる。これにより、座標処理部21は、点Qを原点とした場合の、テレビ領域420における点Rの操作位置座標(Xtv_r、Ytv_r)を求めることが可能となる。

0091

なお、座標処理部21は、テレビ座標系にて求める操作位置座標(Xtv_r、Ytv_r)について、テレビ200が、操作位置座標(Xtv_r、Ytv_r)に基づいて、テレビ200の表示部42における操作位置を特定できる座標値であれば、どのような座標値を求めても構わない。

0092

例えば、点Rのテレビ座標系におけるX座標(Xtv_r)は、点QのX座標と点RのX座標との差分の、テレビ領域420の長辺の長さに対する比率によって明らかになる。また、点Rのテレビ座標系におけるY座標(Ytv_r)は、点QのY座標と点RのY座標との差分の、テレビ領域420の短辺の長さに対する比率によって明らかになる。つまり、座標処理部21は、テレビ200の画素数などの具体的な単位を無視して比率に基づいて操作位置座標(Xtv_r、Ytv_r)を求めることができる。

0093

座標処理部21は、受け付けたタッチ操作のテレビ座標系における操作位置座標(Xtv_r、Ytv_r)を信号出力部22に供給する。

0094

信号出力部22は、座標処理部21によって変換されたテレビ座標系における操作位置座標を含む信号を、遠隔操作対象の表示装置に対する入力信号として生成するものである。信号出力部22は、生成した入力信号を、通信部14を介してテレビ200に送信する。

0095

信号出力部22から送信された入力信号を受け付けたテレビ200は、入力信号において指定された操作位置座標に基づいて、ユーザが操作を行った位置が、テレビ200の表示部42の画面のどの位置かを特定することできる。そして、テレビ200は、特定した位置がユーザによって仮想的に操作されたものと理解することができ、実際にその位置が操作されたときと同様の動作を行うことができる。

0096

例えば、図4および図5に示す例では、テレビ200は、操作位置点Rを特定して、点Rに重なるオブジェクト2cに対して、ユーザ操作が行われたものとみなし、タブレット100から受信した入力信号に応じてオブジェクト2cに対する処理を実行する。

0097

このように、タブレット100は、操作位置座標をテレビ200に対して送信するだけで、テレビ200に対して所定のオブジェクトの処理するように遠隔操作することができる。結果として、操作位置座標を送信するだけであるので、装置間の通信負荷を軽減し、応答性に優れたタブレット100を実現することができる。

0098

さらに、タブレット100のように、操作装置の入力および表示機構がタッチパネルにて実現されている場合には、以下のようなメリットがある。

0099

タブレット100は、タブレット100上でタッチ操作されたライブビュー画像上のテレビ200の画面の位置に対応する、実際のテレビ200の画面の位置に、上記タッチ操作に応じた処理結果を反映させることができる。したがって、テレビ200が、タッチ操作非対応の機器であっても、そのような機器に対して、疑似的にタッチ操作を行える操作装置を実現することができる。テレビ200などは、通常構造的に制約が多いリモコン装置などを使って操作することが多い。そのため、タブレット100を用いて、テレビ200に対して疑似的にタッチ操作を実現できるということは、テレビ200に対する操作性および操作の自由度を格段に向上させることが可能となり、特に効果が大きい。

0100

〔疑似タッチ操作を実現するための動作説明−具体例〕
図4図8を参照しながら、タブレット100を用いて、テレビ200に表示されているオブジェクトを選択し、移動させるための方法について説明する。

0101

ユーザは、図4に示すライブビュー画像を見ながら、テレビ200に表示されているオブジェクトの中で、動かしたいオブジェクトをタッチする(タッチシーン3c)。タブレット100の入力受付部23は、このタッチ操作を受け付ける。上述したとおり、入力受付部23は、タブレット領域120におけるタッチ位置点R(図5)のタッチ位置座標を座標処理部21に通知する。

0102

一方、位置特定部20は、入力部11がタッチされた時点のライブビュー画像の1コマに基づいて、図5に示すとおり、テレビ領域420の位置(タブレット座標系における座標値)を特定し、座標処理部21に通知する。

0103

座標処理部21は、特定されたテレビ領域420の位置に基づいて、タブレット座標系における点Rのタッチ位置座標(Xtab_r、Ytab_r)を、テレビ座標系における操作位置座標(Xtv_r、Ytv_r)に変換する。

0104

信号出力部22は、操作位置座標(Xtv_r、Ytv_r)を含む入力信号を生成し、テレビ200に送信する。これにより、テレビ200は、表示部42の画面のどの位置が操作されたのかを理解することができる。テレビ200は、この入力信号にしたがって、オブジェクト2cを選択する。

0105

ここで、さらに、図6のタッチシーン3dなどのように、ユーザのタッチ操作(ドラッグ)が続いている間は、座標処理部21は、図7に示すように、ドラッグ開始点Rからの、現在のタッチ位置である点R’の相対座標をテレビ座標系における座標値に変換し、これを信号出力部22が逐次送信する。

0106

図7に、点Rから点R’まで移動するタッチ位置の軌跡を記す。上記構成によれば、テレビ200は、逐次受け付けた入力信号に基づいて、テレビ200に対する操作位置が、上記軌跡のとおり移動していると理解することができ、この軌跡にしたがって、オブジェクト2cを移動させる。

0107

あるいは、座標処理部21は、ドラッグの軌跡を構成するタッチ位置を、逐次タブレット座標系からテレビ座標系に変換することを避けるために、タッチ位置について、テレビ領域420における移動方向および移動距離を求める構成であってもよい。テレビ200は、最初に特定された点Rを始点として、指定された移動方向および移動距離にしたがって始点にて選択したオブジェクト2cを移動させることができる。

0108

ユーザは、オブジェクト2cを所望の位置に移動させることができたらタッチ操作を終了する。これに伴い、座標処理部21は、タブレット100におけるタッチ位置座標をテレビ座標系における操作位置座標に変換することを止める。これにより、信号出力部22は、入力信号の送信を停止する。テレビ200は、入力信号の停止にしたがって、オブジェクト2cの移動を止める。図8に示すとおり、テレビ200は、ユーザによって選択されたオブジェクト2cを、ユーザが所望する移動先にて表示することができる。

0109

〔疑似タッチ操作を実現するための処理の流れ〕
図9は、本発明の一実施形態におけるタブレットの処理の流れを示すフローチャートである。

0110

位置特定部20は、表示部12に表示されたライブビュー画像からテレビ領域420を特定し、これを追尾する(S101)。すなわち、タブレット座標系におけるテレビ領域420の位置座標を逐次(あるいは、所定コマごとに、所定ミリ秒ごとに)、記憶部15に一時的に記憶する。ここでは、テレビ領域420の位置座標は、タブレット座標系における座標値によって表される。

0111

入力受付部23が、入力部11に対するタッチ操作を受け付けると(S102においてYES)、位置特定部20は、S102においてタッチ操作を受け付けた時点(またはその時点に最も近い時点)で特定されたテレビ領域420の位置座標を記憶部15から取得する(S103)。

0112

座標処理部21は、S102にて受け付けられたタッチ操作のタッチ位置を示すタッチ位置座標を入力受付部23から取得する(S104)。タッチ位置座標は、タブレット座標系における座標値によって表される。

0113

次に、座標処理部21は、S101およびS103にて特定されたテレビ領域420の位置座標に基づいて、タブレット座標系におけるタッチ位置座標(Xtab_r、Ytab_r)を、テレビ座標系における操作位置座標(Xtv_r、Ytv_r)に変換する(S105)。テレビ座標系における操作位置座標は、タブレット100がタッチ操作されることによって、テレビ200が表示部42の画面のどの位置が仮想的に操作されたのかを理解するための位置情報である。

0114

上記操作位置座標が示す位置は、ユーザがタブレット100の入力部11をタッチした位置であって、表示部12に表示されたテレビ200のテレビ領域420がタッチされた位置に対応している。

0115

信号出力部22は、座標処理部21によって変換されたテレビ座標系における操作位置座標(Xtv_r、Ytv_r)をテレビ200に対する入力信号として生成し、これを、テレビ200に送信する(S106)。これにより、例えば、図4に示すとおり、タブレット100においてタッチシーン3cのタッチ操作が発生した場合には、テレビ200において、テレビ200の表示部42に表示されているオブジェクト2cを選択するという動作が行われる。

0116

入力受付部23が、引き続き、タッチ操作を受け付けている場合には(S107においてYES)、座標処理部21および信号出力部22は、テレビ200に対する入力信号出力の動作を継続する(S108)。具体的には、座標処理部21は、タッチ操作が開始された時のタッチ位置(例えば、図7の点R)を始点として、S107にて現在ドラッグ操作が行われているタッチ位置(例えば、図7の点R’)を、上記始点からの相対座標で表現する。座標処理部21は、上記相対座標を、テレビ領域420の位置および大きさの比率に基づいてテレビ座標系における相対座標に変換する。そして、信号出力部22が、上記テレビ座標系における相対座標を、テレビ200の入力信号として、テレビ200に対し出力する。ドラッグ操作が継続されている間は(S107においてYES)、座標処理部21および信号出力部22は、S108を逐次繰り返し実行する。なお、座標処理部21は、初回タッチ操作に伴う座標変換を行い、次のドラッグ位置での座標変換を行った後、以降継続するドラッグ位置の座標変換を行う場合には、上記始点からの相対座標ではなく、直前のドラッグ位置(例えば、図7の点R”)からの相対座標によって、現在のドラッグ位置(例えば、図7の点R’)を表現してもよい。

0117

ユーザが、S107において継続していたドラッグ操作を終了させて入力部11から指を離した場合、入力受付部23は、タッチ操作の終了を検出する(S107においてNO)。これにより、座標処理部21は、S108における座標変換を停止し、信号出力部22は、S108における信号出力を停止する(S109)。

0118

結果として、例えば、図8に示すとおり、テレビ200は、選択したオブジェクト2cを、ユーザのドラッグ操作に伴ってユーザの所望の位置に移動させて表示させることができる。

0119

≪実施形態2≫
本発明の操作装置に関する他の実施形態について、図10図19に基づいて説明すれば、以下のとおりである。

0120

実施形態1では、オブジェクトに対する一連のタッチ操作が、テレビ領域420の領域内で完結するケースにおける、タブレット100およびテレビ200の動作について説明した。実施形態2では、タッチ操作がテレビ領域420内からテレビ領域420外へまたがるケースにおけるタブレット100およびテレビ200の動作について説明する。

0121

〔タブレットの構成〕
図10は、本発明の一実施形態におけるタブレットの要部構成を示すブロック図である。図10に示す本実施形態におけるタブレット100が、図1に示すタブレット100と異なる点は、制御部10が、さらに、機能ブロックとして、オブジェクト送受信部25およびオブジェクト処理部26を備えている点である。

0122

オブジェクト送受信部25は、オブジェクトまたはオブジェクトに対応する実体データを、遠隔操作対象の表示装置との間で送受信するものである。例えば、本実施形態では、アイコン画像または当該アイコン画像に関連付けられている実体データ(動画、静止画など)を、テレビ200との間で送受信する。

0123

より詳細には、オブジェクト送受信部25は、入力受付部23がユーザのタッチ操作を検出した場合に、所定のタイミングで、当該タッチ操作によって操作されたオブジェクトをテレビ200から受信する。本実施形態では、上記タッチ操作には、テレビ領域420内からテレビ領域420外へまたがるドラッグ操作が含まれる。

0124

また、オブジェクト送受信部25は、入力受付部23が、テレビ領域420外にて、ユーザのタッチ操作の完了を検出した場合に、所定のタイミングで、選択されたオブジェクトの実体データをテレビ200から受信する。タッチ操作の完了は、例えば、ドラッグ操作の後のドロップ操作などである。

0125

オブジェクト処理部26は、オブジェクトに対する処理を実行するものである。オブジェクト処理部26が行う処理の具体例をいくつか列挙するがオブジェクト処理部26の機能は下記に限定されない。

0126

オブジェクト処理部26は、表示部12におけるオブジェクトの表示/非表示を制御する。オブジェクト処理部26は、表示部12に表示されたオブジェクトの選択/選択解除を制御する。オブジェクト処理部26は、入力部11を介して入力されたオブジェクトに対する操作に応じて、表示されているオブジェクトの移動を制御する。オブジェクト処理部26は、オブジェクトの表示/非表示、移動、選択/非選択などに伴い、当該オブジェクトに対して視覚的効果を付与して表示部12に表示させる。

0127

より詳細には、オブジェクト処理部26は、テレビ200の表示部42に表示されていたオブジェクトが、テレビ200からタブレット100へと送受信されたことを、表示部12上で視覚的に演出する。そのために、オブジェクト処理部26は、ユーザの上記タッチ操作に伴ってオブジェクト送受信部25によってテレビ200から取得されたオブジェクトを、表示部12に表示する。具体的には、オブジェクト処理部26は、表示部12の画面上に、上記オブジェクトを、必要に応じて視覚的効果を付与して配置し、この処理結果を表示制御部24に供給する。表示制御部24は、オブジェクト処理部26の処理結果に応じて映像信号を生成し、表示部12に表示する。

0128

本実施形態では、ユーザのタブレット100に対するタッチ操作に伴って、所定のタイミングでテレビ200からオブジェクトまたは当該オブジェクトの実体データが供給されるように、テレビ200に対してオブジェクトまたは実体データを要求しなければならない。本実施形態では、信号出力部22は、オブジェクトまたは当該オブジェクトの実体データをテレビ200に対して要求するための入力信号を生成し、通信部14を介して、テレビ200に送信する。

0129

〔テレビの構成〕
図11は、本発明の一実施形態におけるテレビの要部構成を示すブロック図である。なお、図11に示すテレビ200について、デジタルテレビの一般的な機能であって、本発明に直接関係の無い部分については記載を省略した。

0130

テレビ200は、本発明の表示装置として機能するために、少なくとも、制御部40、記憶部41、表示部42および通信部43を備えている構成である。

0131

制御部40は、テレビ200が備える各部を統括制御するものである。制御部40は、本発明の表示装置として機能するための機能ブロックとして、オブジェクト送受信部50、信号受付部51、オブジェクト処理部52、オブジェクト位置判定部53および表示制御部54を備えている。

0132

上述した制御部40の各機能ブロックは、CPU(central processing unit)等が、ROM(read only memory)、NVRAM(non-Volatile random access memory)等で実現された記憶装置(記憶部41)に記憶されているプログラムをRAM(random access memory)等に読み出して実行することで実現できる。制御部40の各機能ブロックについての詳細は後述する。

0133

記憶部41は、テレビ200の制御部40によって読み出しまたは書き込みが行われるデータを記憶するものであり、既述のタブレット100における記憶部15とほぼ同様の構成である。

0134

表示部42は、テレビ200が処理する各種情報を表示したり、ユーザがテレビ200を操作するための操作画面をGUI(Graphical User Interface)画面として表示したりするものである。表示部42は、例えば、LCD(液晶ディスプレイ)などの表示装置で実現される。本実施形態では、図2に示すとおり、表示部42には、オブジェクト(アイコン画像)などが表示される。

0135

通信部43は、通信網を介して外部の装置と通信を行うものである。タブレット100の通信部14と同様に、通信部43は、さらに、近距離無線通信部を含んでいてもよい。本実施形態では、通信部43は、通信網を介してタブレット100と接続し、データの送受信を実現する。例えば、通信部43は、タブレット100から出力された入力信号を受信する。また、通信部43は、タブレット100との間で、オブジェクトまたはオブジェクトに関連付けられた実体データを送受信する。

0136

〔テレビの機能構成-詳細〕
制御部40のオブジェクト送受信部50は、オブジェクトまたはオブジェクトに対応する実体データを、遠隔操作主の操作装置との間で送受信するものである。例えば、本実施形態では、アイコン画像または当該アイコン画像に関連付けられている実体データ(動画、静止画など)を、タブレット100との間で送受信する。オブジェクト送受信部50は、タブレット100からの要求に応じてオブジェクトまたは実体データを送信してもよいし、テレビ200が所定の情報処理を行っている間の所定のタイミングでオブジェクトまたは実体データを送信してもよい。

0137

信号受付部51は、通信部43によって受信された、タブレット100から送信された入力信号を受け付けるものである。入力信号には、少なくとも、テレビ座標系における操作位置座標が含まれている。信号受付部51は、上記入力信号を通信部43から取得して、テレビ200の表示部42におけるどの位置に対してどのようなユーザ操作が仮想的に行われたのかを認識する。実際のユーザ操作は、タップ、フリック、ピンチ、ドラッグなどであるが、これらは、テレビ200の表示部42に対して直接なされた操作ではなく、信号受付部51は、上述の各種タッチ操作がテレビ200に対して仮想的になされたものとして認識する。信号受付部51は、認識結果、すなわち、ユーザの仮想的な操作位置の情報を制御部40の各部に供給する。

0138

オブジェクト処理部52は、オブジェクトに対する処理を実行するものである。オブジェクト処理部52は、信号受付部51によって受け付けられた入力信号の指示にしたがって、オブジェクトを処理することができる。オブジェクト処理部52が行う処理は、タブレット100のオブジェクト処理部26と同様に、例えば、オブジェクトの表示/非表示、オブジェクトの選択/選択解除、オブジェクトの移動、オブジェクトに対する視覚的効果の付与などである。

0139

オブジェクト位置判定部53は、オブジェクト処理部52によって処理されているオブジェクトについて、テレビ座標系における位置を特定するものである。また、オブジェクト位置判定部53は、表示部42の画面すなわち、テレビ領域420をテレビ座標系に定義し、テレビ領域420内外に配置されるオブジェクトの位置を特定することができる。つまり、オブジェクト位置判定部53は、処理されているオブジェクトが、表示部42の画面上に表示されているか、画面からはみ出ているのかを判定することができる。

0140

表示制御部54は、制御部40の各部(例えば、オブジェクト処理部52など)が情報処理した結果得られた情報を、表示部42の画面に配置して映像信号に変換し、表示部42に供給するものである。

0141

なお、実施形態1におけるテレビ200の制御部40は、機能ブロックとして、少なくとも、信号受付部51、オブジェクト処理部52、および、表示制御部54を備えていればよい。

0142

〔疑似タッチ操作を実現するための動作説明−具体例〕
図4〜6、ならびに、図12〜18を参照しながら、タブレット100を用いて、テレビ200に表示されているオブジェクトを、タブレット100に移動、表示させるための方法について説明する。

0143

タブレット100は、テレビ領域420上でドラッグ操作を受け付けると、実施形態1と同様に、ドラッグ操作位置に合わせて入力信号をテレビ200に対して出力する。図4および図6に示す例では、タブレット100は、テレビ200に対して入力信号を出力することによって、テレビ200に、オブジェクト2cを選択させて、ドラッグ方向へ移動させる。

0144

ここで、実施形態1と異なる点は、以下の点である。タブレット100の座標処理部21は、位置特定部20によって特定された、テレビ領域420内のオブジェクトの位置に基づいて、タッチ位置座標(例えば、図5の点R)が、テレビ領域420内のオブジェクトに重なることを検知する。そして、座標処理部21は、何らかのオブジェクトに対して行われた当該タッチ操作のタッチ位置座標を、テレビ座標系における操作位置座標に変換する。

0145

これを受けて、信号出力部22は、座標処理部21によって変換された操作位置座標を入力信号として生成し、テレビ200に対して出力する。本実施形態では、信号出力部22は、上記入力信号を、上記操作位置座標によって指定される表示部42の位置に配置されているオブジェクトを、タブレット100に対して送信することを要求する信号として出力する。

0146

テレビ200の信号受付部51が、上記入力信号を受け付けると、まず、オブジェクト処理部52が、図5に示すとおり、上記操作位置座標(Xtv_r、Ytv_r)によって指定される位置に配置されているオブジェクト2cを特定し、これを選択する。さらに、オブジェクト送受信部50は、上記入力信号の要求にしたがって、オブジェクト(アイコン画像)をタブレット100に送信する。図5に示す例では、オブジェクト処理部52によって選択されたオブジェクト2cを、記憶部41から読み出し、通信部43を介してタブレット100に送信する。

0147

上述のとおり、本実施形態では、タブレット100の信号出力部22は、ユーザによって選択されたテレビ200側のオブジェクトを要求する入力信号を出力している。上記要求する入力信号は、上述の説明では、ドラッグ操作が開始された時点で出力されている。

0148

しかし、信号出力部22が、上記要求する入力信号を出力するタイミングは上記に限定されない。例えば、信号出力部22は、オブジェクト2cがテレビ領域420内にある間に移動を続け、オブジェクト2cの端が、テレビ領域420の端に内側で接触した時点で、上記要求する入力信号を出力してもよい。あるいは、信号出力部22は、オブジェクト2cの約半分の面積がテレビ領域420外にはみ出した時点(図12参照)で、上記要求する入力信号を出力してもよい。あるいは、信号出力部22は、ユーザのドラッグ操作におけるタッチ位置(図13の点R)が、テレビ領域420の境界にさしかかった時点(図13参照)で上記要求する入力信号を出力してもよい。あるいは、信号出力部22は、オブジェクト2cが、完全にテレビ領域420外に出た時点(図16および図17参照)で上記要求する入力信号を出力してもよい。なお、オブジェクト2cの約半分の面積がテレビ領域420外にはみ出した時点(図12)と、ドラッグ操作のタッチ位置Rが、テレビ領域420の境界にさしかかった時点(図13)とは必ずしも一致しない。

0149

ここで、ドラッグ操作が継続しており、オブジェクト2cがテレビ領域420外へ向かって移動を継続しているとする。

0150

本実施形態では、テレビ200のオブジェクト処理部52がタブレット100からの入力信号にしたがって、オブジェクト2cを移動させている間、オブジェクト位置判定部53は、テレビ座標系のテレビ領域420に対するオブジェクト2cの位置を監視している。そして、オブジェクト位置判定部53は、オブジェクト2cがテレビ領域420の枠をはみ出ることによって、オブジェクト2cを適切に表示できない位置にオブジェクト2cが到達したと判定する。そして、オブジェクト位置判定部53は、通信部43を介して、タブレット100に対して、オブジェクト2cを適切に表示できない旨を通知する。例えば、オブジェクト位置判定部53が、オブジェクトを適切に表示できないと判定し、通知するタイミングは、オブジェクト2cの約半分の面積がテレビ領域420外にはみ出した時点(図12および図13参照)であるとする。

0151

しかし、オブジェクト位置判定部53が、上記通知を行うタイミングは上記に限定されない。例えば、オブジェクト位置判定部53は、オブジェクト2cの端が、テレビ領域420の端に内側で接触した時点で、上記判定および通知を行ってもよい。あるいは、オブジェクト位置判定部53は、ユーザのドラッグ操作におけるタッチ位置(図13の点R)が、テレビ領域420の境界にさしかかった時点(図13参照)で、上記判定および通知を行ってもよい。あるいは、オブジェクト位置判定部53は、オブジェクト2cが、完全にテレビ領域420外に出た時点(図16および図17参照)で、上記判定および通知を行ってもよい。ただし、信号出力部22によって、上記要求する入力信号が、上記判定および通知に先立って出力されていることが望ましい。

0152

タブレット100の信号出力部22は、通信部14が、上記通知をテレビ200から受信すると、入力受付部23が受け付けたタッチ操作の操作位置座標、すなわち、入力信号を出力することを停止する。これは、テレビ200が、オブジェクトを適切に表示できないと通知してきているのに、そのオブジェクトに対するドラッグ操作の入力信号を送信することに意味がないと考えられるためである。しかし、オブジェクトを適切に表示できないと判定されたタイミングでも、オブジェクトの一部がまだテレビ200の表示部42に表示されている可能性もある。

0153

そこで、信号出力部22は、図12および図13の時点で、上記通知をテレビ200から受け取ったとしても、オブジェクトが一部でもテレビ領域420に表示されている間(例えば、図15など参照)は、タッチ位置の相対座標(テレビ座標系の座標値)を逐次送信することを継続してもよい。そして、信号出力部22は、オブジェクト2cが、完全にテレビ領域420外に出る時点(図16および図17参照)の直前まで、上記送信を継続すればよい。

0154

なお、オブジェクト処理部52は、オブジェクト位置判定部53と同様に、テレビ領域420の左上端を原点とするテレビ座標系において、テレビ領域420外のオブジェクト位置および操作位置を把握することができる。すなわち、テレビ領域420をはみ出した装置位置およびそれに伴うオブジェクトの配置を理解することができる。

0155

よって、オブジェクト処理部52は、継続して出力される入力信号(相対座標)にしたがって、オブジェクトが表示部42の画面から完全にはみ出るまでオブジェクトの移動および表示の処理を継続することができる。

0156

タブレット100のオブジェクト処理部26は、通信部14が、上記通知をテレビ200から受信すると、予めテレビ200から取得しておいたオブジェクト2c(アイコン画像)を表示部12の画面に配置する処理を実行する。そして、図14に示すとおり、表示制御部24が、オブジェクト処理部26によって処理されたオブジェクト2cをタブレット100の表示部12に表示する(図14の網点模様のオブジェクト2c)。こうして、ドラッグ操作が、テレビ領域420内からテレビ領域420外へとまたがるケースにおいて、テレビ200において適切に表示できなくなったオブジェクト2cの表示をタブレット100が引き継ぐことが可能となる。

0157

ここで、オブジェクト処理部26が、オブジェクト2cの表示を開始するタイミングは、上記に限定されない。例えば、テレビ200から通知を受けずとも、オブジェクト処理部26は、オブジェクト2cが完全にテレビ領域420の外に出た時点(図16および図17参照)で、表示部12での表示を開始してもよい。あるいは、オブジェクト処理部26は、オブジェクト2cの端が、テレビ領域420の端に内側で接触した時点で、表示部12での表示を開始してもよい。あるいは、オブジェクト処理部26は、オブジェクト2cの約半分の面積がテレビ領域420外にはみ出した時点(図12および図13参照)で、表示部12での表示を開始してもよい。当然のことながら、オブジェクト処理部26によるオブジェクト2cの表示に先立って、信号出力部22がオブジェクト2cをテレビ200に対して要求し、オブジェクト送受信部25がオブジェクト2cをテレビ200から受信している。

0158

オブジェクト2cが表示部12に表示された後は、オブジェクト処理部26は、ユーザのドラッグ操作にしたがって、オブジェクト2cの移動を継続する(例えば、図14図15)、図16図17)、図18参照)。

0159

入力受付部23が、タッチ操作(ドラッグ操作)を検出しなくなったとき、入力受付部23は、これをドラッグ操作の終了、すなわち、ドロップ操作として受け付ける。

0160

ここで、図18に示すとおり、入力部11におけるユーザのドラッグ操作が、テレビ領域420(表示部42)の外で終了したとする。オブジェクト処理部26は、入力受付部23によって受け付けられたドロップ操作に応じて、オブジェクト2cの移動を止めて、ドラッグ操作が終了した位置にオブジェクト2cを表示する(図18参照)。一方、信号出力部22は、オブジェクト2cに関連付けられている実体データ(例えば、アイコン画像に対応する動画)を送信するようテレビ200に要求する入力信号を生成し、出力する。

0161

テレビ200の信号受付部51が上記入力信号を受け付けると、オブジェクト送受信部50は、オブジェクト2cに対応する実体データを記憶部41から読み出して、タブレット100に対して送信する。

0162

タブレット100のオブジェクト送受信部25が上記実体データを受信し、記憶部15に格納すれば、ユーザのドロップ操作に伴う、オブジェクト2cの実体データの送受信が完了することになる。

0163

〔疑似タッチ操作を実現するための処理の流れ〕
図19は、本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。

0164

タブレット100は、ユーザによるタッチ操作(ドラッグ操作)が、テレビ領域420内で開始されると、実施形態1と同様の座標変換処理を実行する(S201)。すなわち、S101〜S105を実行する。続いて、信号出力部22は、ドラッグ開始位置座標を示す、テレビ座標系における操作位置座標を、オブジェクトを要求する入力信号(第1入力信号)として、テレビ200に対して送信する(S202)。

0165

テレビ200の信号受付部51が、上記入力信号を受信すると、オブジェクト処理部52は、該入力信号にしたがって、上記操作位置座標によって指定されたオブジェクト(例えば、オブジェクト2c)を選択する。一方、オブジェクト送受信部50は、上記入力信号にしたがって、選択されたオブジェクト2cをタブレット100に対して送信する(S203)。

0166

タブレット100のオブジェクト送受信部25は、送信されたオブジェクト2cを受信し、記憶部15に記憶する(S204)。

0167

一方、座標処理部21および信号出力部22は、ドラッグ操作がテレビ領域420内で行われている間、実施形態1と同様に、入力信号(第2入力信号)の出力を継続する(S205)。すなわち、S107〜S109を実行する。

0168

テレビ200のオブジェクト処理部52は、タブレット100から継続して出力されている上記入力信号にしたがってオブジェクト2cを移動させる(S206)。オブジェクト位置判定部53は、オブジェクト2cの配置を監視する。

0169

そして、オブジェクト2cがテレビ領域420内で表示されている間であって(S207においてNO)、タブレット100からの入力信号の出力が継続されている間は(S208においてNO)、オブジェクトの移動が継続する(S206)。一方、オブジェクト2cがテレビ領域420内で表示されている間に(S207においてNO)、タブレット100からの入力信号の出力が停止した場合は(S208においてYES)、オブジェクト処理部52は、実施形態1と同様に、ドラッグ操作が完了した位置にてオブジェクト2cの移動を完了する(S209)。

0170

一方、S207において、オブジェクト位置判定部53は、オブジェクト2cの移動に伴いオブジェクト2cがテレビ領域420外へはみ出るなどして表示部42に表示できなくなったと判断したとする。この場合には(S207においてYES)、オブジェクト位置判定部53は、オブジェクト2cの表示を適切に行えなくなった旨を、タブレット100に対して通知する(S210)。オブジェクト処理部52は、この時点でオブジェクト2cを非表示にする(S211)、あるいは、オブジェクト2cが完全にテレビ領域420外に出るまで移動させる。

0171

信号出力部22は、表示不可の通知をテレビ200から受信するまでは(S212においてNO)、S205の信号出力処理を継続する。一方、表示不可の通知をテレビ200から受信した場合には(S212においてYES)、信号出力部22は、信号出力を停止してもよい。あるいは、オブジェクト2cが完全にテレビ領域420外に出るまで信号出力を継続してもよい。

0172

表示不可の通知をテレビ200から受信した場合、オブジェクト処理部26は、S204にて受信しておいた、オブジェクト2cを表示部12に表示する(S213)。オブジェクト処理部26は、現時点のタッチ位置(例えば、図15の点R)に基づいて、オブジェクト2cを配置する(図14参照)。

0173

このようにして、テレビ領域420の境界をまたぐドラッグ操作に伴って、オブジェクト2cの表示は、テレビ200からタブレット100へと引き継がれる。

0174

表示部12側で表示されるようになったオブジェクト2cに対して、継続してドラッグ操作が行われる場合には(S214においてYES)、オブジェクト処理部26は、ドラッグ位置に応じて、オブジェクト2cを移動させる(S215)。

0175

一方、テレビ領域420外にてドラッグ操作が完了したこと(ドロップ操作が行われたこと)を入力受付部23が検知した場合には(S214においてNO)、信号出力部22は、実体データを要求する入力信号(第3入力信号)を生成する(S216)。詳細には、信号出力部22は、選択されているオブジェクト2cに関連付けられている実体データ(動画など)を要求する入力信号をテレビ200に対して送信する。

0176

テレビ200の信号受付部51が、上記入力信号を受け付けると、オブジェクト送受信部50は、オブジェクト2cの実体データを通信部43を介してタブレット100に送信する(S217)。

0177

タブレット100のオブジェクト送受信部25は、通信部14を介してオブジェクト2cの実体データを受信し、記憶部15に格納する(S218)。

0178

上記構成および方法によれば、テレビ領域420の境界をまたぐドラッグ操作に伴って、テレビ200とタブレット100との間でオブジェクトの送受信を実現することができる。さらに、オブジェクトの送受信を視覚的に表現するオブジェクトの表示を、タブレット100がテレビ200から引き継ぐことが可能となる。

0179

タブレット100は、操作位置座標をテレビ200に対して送信するだけで、テレビ200に対して所定のオブジェクトの処理するように遠隔操作することができる。結果として、装置間の通信負荷を軽減し、応答性に優れたタブレット100を実現することができる。

0180

さらに、タブレット100のように、操作装置の入力および表示機構がタッチパネルにて実現されている場合には、以下のようなメリットがある。

0181

ユーザは、テレビ200の画面に表示されているオブジェクトを手元のタブレット100に取り込みたい場合に、テレビ200の専用のリモコンなどを操作する必要がない。本発明における、手元のタブレット100によれば、入力部11をタッチ操作(ドラッグ操作)するだけで、テレビ200に対し、上記タッチ操作にて選択したオブジェクトをタブレット100に送信させることができるからである。具体的には、ユーザは、テレビ領域420内に表示されているオブジェクトを選択し、テレビ領域420外へとドラッグアンドドロップすればよい。

0182

このように、テレビ200が、タッチ操作非対応の機器であっても、そのような機器に対して、疑似的にタッチ操作を行える操作装置を実現することができる。しかも、オブジェクトの移動に伴うオブジェクトの表示は、テレビ200からタブレット100へと引き継がれるので、ユーザは視覚的にも自然なユーザインターフェースによって直感的にテレビ200を遠隔操作することが可能となる。

0183

≪実施形態3≫
本発明の操作装置に関する他の実施形態について、図10図11図20図27に基づいて説明すれば、以下のとおりである。

0184

実施形態2では、タッチ操作がテレビ領域420内からテレビ領域420外へまたがるケースにおけるタブレット100およびテレビ200の動作について説明した。実施形態3では、タッチ操作がテレビ領域420外からテレビ領域420内へまたがるケースにおけるタブレット100およびテレビ200の動作について説明する。

0185

〔タブレットの構成〕
本実施形態におけるタブレット100の要部構成は、図10に示すとおりである。本実施形態におけるタブレット100が、実施形態2におけるタブレット100と異なる点は、以下のとおりである。

0186

本実施形態では、オブジェクト送受信部25は、入力受付部23がユーザのタッチ操作を検出した場合に、所定のタイミングで、当該タッチ操作によって操作されたオブジェクトをテレビ200へ送信する。本実施形態では、上記タッチ操作には、テレビ領域420外からテレビ領域420内へまたがるドラッグ操作が含まれる。以下では、タブレット領域120における、テレビ領域420以外のすべての領域を非テレビ領域と称する。

0187

また、本実施形態では、オブジェクト送受信部25は、入力受付部23が、テレビ領域420内にて、ユーザのタッチ操作の完了を検出した場合に、所定のタイミングで、選択されたオブジェクトの実体データをテレビ200へ送信する。タッチ操作の完了は、例えば、ドラッグ操作の後のドロップ操作などである。

0188

本実施形態では、オブジェクト処理部26は、タブレット100の表示部12に表示されていたオブジェクトが、タブレット100からテレビ200へと送受信されたことを、表示部12上で視覚的に演出する。そのために、オブジェクト処理部26は、これまで表示部12に表示されていたオブジェクトを、ユーザの上記タッチ操作に伴ってオブジェクト送受信部25によってテレビ200へと供給された後、所定のタイミングで非表示にする。

0189

本実施形態では、ユーザのタブレット100に対するタッチ操作に伴って、タブレット100に表示されていたオブジェクトを、所定のタイミングでテレビ200の表示部42に表示させなければならない。本実施形態では、信号出力部22は、オブジェクトをテレビ200の表示部42に表示させるための入力信号を生成し、通信部14を介して、テレビ200に送信する。

0190

〔テレビの構成〕
本実施形態におけるテレビ200の要部構成は、図11に示すとおりである。本実施形態におけるテレビ200が、実施形態2におけるテレビ200と異なる点は、以下のとおりである。

0191

本実施形態では、オブジェクト送受信部50は、タブレット100から所定のタイミングで送信されたオブジェクトまたはオブジェクトの実体データを受信する。

0192

本実施形態では、信号受付部51がテレビ座標系における操作位置座標を入力信号としてタブレット100から受け付けた場合には、オブジェクト処理部52は、上記操作位置座標によって指定された、表示部42の画面上の位置に、上記オブジェクト送受信部50によって受信されたオブジェクトを表示する。それ以降、オブジェクト処理部52は、入力信号が継続して受け付けられる場合には、相対座標に応じて当該オブジェクトを移動させながら表示を継続する。

0193

〔疑似タッチ操作を実現するための動作説明−具体例〕
図20〜26を参照しながら、タブレット100を用いて、タブレット100に表示されているオブジェクトを、テレビ200に移動、表示させるための方法について説明する。

0194

タブレット100のオブジェクト処理部26は、図20に示すとおり、テレビ200が写っているライブビュー画像に重畳させて、記憶部15に記憶されているオブジェクト(例えば、オブジェクト2e〜2j)を表示することができる。

0195

オブジェクト処理部26は、図20および図21に示すとおり、オブジェクトを配置するためのオブジェクト配置領域4を設けて、オブジェクト配置領域4上にオブジェクトを表示してもよいし(例えば、オブジェクト2e〜2g)、ライブビュー画像のうちの、非テレビ領域上の任意の位置にオブジェクトを表示してもよい(例えば、オブジェクト2h〜2j)。

0196

図21に示すとおり、本実施形態では、位置特定部20は、オブジェクト配置領域4または、タブレット領域120(ライブビュー画像の領域)のうちの、テレビ領域420以外の領域を、非テレビ領域として認識する。具体的には、図21において、位置特定部20は、実線で示す領域をテレビ領域420として認識し、それ以外を非テレビ領域として認識する。つまり、図20のライブビュー画像において、表示部42の画面領域であっても、オブジェクト配置領域4が重なっている領域であれば、その領域について、位置特定部20は、テレビ領域420ではなく、非テレビ領域であると認識する構成である。

0197

なお、オブジェクト処理部26が、オブジェクト配置領域4を設けることのメリットには次のようなものがある。例えば、タブレット100を支えているユーザの手がふらふら動くと、その動きに合わせて、表示部12に表示されているライブビュー画像も小刻みに動くことになる。それによって、当然、テレビ領域420の位置も小刻みに変化することになり、非テレビ領域が安定しないために、タブレット100側にオブジェクトを表示する領域を安定して確保できないという問題がある。また、テレビ200が大きく撮像部13に写り込んでおり、タブレット領域120の大部分をテレビ領域420が占める場合、タブレット100側にオブジェクトを表示する領域を確保することが難しい。これらの場合でも、オブジェクト処理部26がオブジェクト配置領域4を設けることにより、非テレビ領域、すなわち、タブレット100側でオブジェクトを表示できる領域を安定して確保することができる。

0198

タブレット100の入力受付部23が、非テレビ領域内のオブジェクト上(例えば、図20のオブジェクト2eの上)でドラッグ操作を受け付けると、まず、オブジェクト処理部26は、ドラッグ操作開始位置にあるオブジェクト2eを選択し、次に、ドラッグ操作位置に合わせてオブジェクト2eを移動させる。

0199

位置特定部20は、選択されたオブジェクト2eの位置と、非テレビ領域の位置とを監視する。本実施形態では、オブジェクト2eが一部でも非テレビ領域にかかっている間は(図22参照)、オブジェクト処理部26は、表示部12の側で、オブジェクト2eの移動および表示を継続する。

0200

ここで、実施形態1および2と異なる点は、以下の点である。本実施形態では、表示部12上に表示されたオブジェクトが、ユーザのタッチ操作によって選択されると、オブジェクト送受信部25が、その選択されたオブジェクト2e(アイコン画像)をテレビ200に送信する。本実施形態では、オブジェクト送受信部25は、入力受付部23がオブジェクトに対するドラッグ操作の開始を検知した時点で、その選択されたオブジェクトをテレビ200に送信するものとする。

0201

しかし、オブジェクト送受信部25が、選択されたオブジェクトを送信するタイミングは上記に限定されない。例えば、オブジェクト送受信部25は、オブジェクト2eが非テレビ領域内にある間移動を続け、オブジェクト2eの端が、非テレビ領域の内側でテレビ領域420の端に接触した時点で、オブジェクト2eをテレビ200に送信してもよい。あるいは、オブジェクト送受信部25は、オブジェクト2eの約半分の面積がテレビ領域420にはみ出した時点(図22参照)で、オブジェクト2eをテレビ200に送信してもよい。あるいは、オブジェクト送受信部25は、ユーザのドラッグ操作におけるタッチ位置(図23の点R)が、テレビ領域420と非テレビ領域との境界にさしかかった時点(図23参照)で、オブジェクト2eをテレビ200に送信してもよい。あるいは、オブジェクト送受信部25は、オブジェクト2eが、完全にテレビ領域420内に入った時点(図24および図25参照)で、オブジェクト2eをテレビ200に送信してもよい。ただし、オブジェクト送受信部25は、テレビ200が、オブジェクト2eを表示する時点までにオブジェクト2eの送信を完了しておく。

0202

なお、オブジェクト2eの約半分の面積がテレビ領域420外にはみ出した時点(図22)と、ドラッグ操作のタッチ位置Rが、テレビ領域420の境界にさしかかった時点(図23)とは必ずしも一致しない。

0203

ここで、ドラッグ操作が継続しており、オブジェクト2eが、非テレビ領域(オブジェクト配置領域4)からテレビ領域420に向かって移動を継続しているとする。

0204

本実施形態では、上述したとおり、オブジェクト処理部26がユーザからのドラッグ操作にしたがって、オブジェクト2eを移動させている間、位置特定部20は、オブジェクト2eとテレビ領域420との位置関係を監視している。そして、位置特定部20は、オブジェクト2eが完全に非テレビ領域を出た時点(図24および図25参照、すなわち、オブジェクト2eが完全にテレビ領域420内に入った時点)で、オブジェクト2eを表示部42にて表示すべき位置にオブジェクト2eが到達したと判定する。

0205

ここで、タブレット100の座標処理部21は、図25に示すとおり、位置特定部20が表示不可と判定した時点のタッチ位置(点R)のタッチ位置座標(Xtab_r、Ytab_r)を取得する。そして、座標処理部21は、タッチ位置座標(Xtab_r、Ytab_r)を、テレビ座標系における操作位置座標(Xtv_r、Ytv_r)に変換する。そして、信号出力部22は、変換された操作位置座標(Xtv_r、Ytv_r)を入力信号としてテレビ200に対して出力する。ここで、オブジェクト処理部26は、タブレット100の表示部12で表示していたオブジェクト2eを非表示にしてもよい(図24参照)。

0206

なお、信号出力部22が、操作位置座標の入力信号を出力するタイミングは、上記に限定されない。例えば、信号出力部22は、図23に示すとおり、タッチ位置Rが、非テレビ領域とテレビ領域420との境界にさしかかった時点から入力信号の出力を開始してもよい。

0207

これに対し、テレビ200の信号受付部51は、図25に示すタッチ位置Rの操作位置座標(Xtv_r、Ytv_r)を入力信号として受け付ける。この入力信号に応じて、オブジェクト処理部52は、テレビ200の表示部42の画面における上記操作位置座標が指定する位置にオブジェクト2eを配置する(図24参照)。このオブジェクト2eは、事前にタブレット100のオブジェクト送受信部25によって送信されたものであり、オブジェクト送受信部50が受信して記憶部41に記憶しておいたものである。

0208

これ以降は、テレビ領域420上で、実施形態1と同様に、タブレット100およびテレビ200の連携によって、ドラッグ操作に基づくオブジェクト2eの移動が実現される。

0209

入力受付部23が、ドラッグ操作を検出しなくなったとき、入力受付部23は、これをドラッグ操作の終了、すなわち、ドロップ操作として受け付ける。

0210

ここで、図26に示すとおり、入力部11におけるユーザのドラッグ操作が、テレビ領域420(表示部42)上で終了したとする。タブレット100の信号出力部22は、入力受付部23が検知したドロップ操作に応じて、オブジェクト2eを移動させるための相対座標の入力信号出力を停止する。これにより、テレビ200の信号受付部51が、入力信号の停止を検知する。これに応じて、オブジェクト処理部52は、オブジェクト2eの移動を止めて、入力信号が停止した位置にオブジェクト2eを表示する(図26参照)。

0211

一方、タブレット100のオブジェクト送受信部25は、入力受付部23がドロップ操作を検知したとき、これまで選択されていたオブジェクト2eに関連付けられている実体データをテレビ200に送信する。テレビ200のオブジェクト送受信部50が、上記実体データを受信し、記憶部41に格納すれば、ユーザのドロップ操作に伴う、オブジェクト2eの実体データの送受信が完了することになる。

0212

〔疑似タッチ操作を実現するための処理の流れ〕
図27は、本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。

0213

ドラッグ操作が、非テレビ領域のオブジェクト上で開始されたとする。入力受付部23は、ユーザによるドラッグ操作の開始を検知し、受け付ける(S301)。受け付けられたタッチ位置座標が非テレビ領域上のオブジェクトと重なっていれば、オブジェクト処理部26は、そのタッチされたオブジェクト(例えば、オブジェクト2e)を選択する。ここで、タブレット100の位置特定部20は、選択されたオブジェクト2eと、テレビ領域420または非テレビ領域との位置関係を監視する。具体的には、オブジェクト2eが、テレビ領域420上に配置されているのか、非テレビ領域上に配置されているのかなどを監視する。

0214

続いて、オブジェクト送受信部25は、選択されたオブジェクト2e(例えば、アイコン画像)をテレビ200に送信する(S302)。テレビ200のオブジェクト送受信部50は、タブレット100から受信したオブジェクト2eを記憶部41に記憶する(S303)。

0215

ここで、ドラッグ操作が継続していれば(S304においてYES)、オブジェクト処理部26は、現在のドラッグ位置にしたがって、オブジェクト2eを移動させる(S305)。

0216

オブジェクト2eの一部でも非テレビ領域上に残っている場合には(S306においてNO)、オブジェクト処理部26は、ドラッグ操作が継続されている限り、オブジェクトの移動を継続する(S304においてYES、S305)。一方、オブジェクト2eが完全に非テレビ領域外に出てしまわないうちにドラッグ操作が完了した場合には(S304においてNO)、オブジェクト処理部26は、オブジェクト2eに対する、オブジェクトの選択または移動の処理を完了する(S315)。

0217

これに対し、位置特定部20が、オブジェクト2eが完全に非テレビ領域外へ出て、テレビ領域420内に到達したと判定した場合(S306においてYES)、座標処理部21は、実施形態1と同様の座標変換処理を実行する(S307)。信号出力部22は、オブジェクト2eがテレビ領域420内に到達した時点のタッチ位置R(図25参照)について、座標処理部21によって変換されたテレビ座標系における操作位置座標をテレビ200に対する入力信号(第4入力信号)として送信する。テレビ200にとっては、図25の上記タッチ位置Rがドラッグ開始位置となる。テレビ200の信号受付部51が上記操作位置座標を入力信号(第4入力信号)として受け付けると、オブジェクト処理部52は、上記操作位置座標によって指定された表示部42の画面の位置にオブジェクト2eを配置し、表示する(S308)。オブジェクト2eは、S303において予め取得されたものである。

0218

一方、タブレット100のオブジェクト処理部26は、完全にテレビ領域420内に到達したオブジェクト2eを非表示にする(S309)。このようして、ドラッグ操作に伴って、タブレット領域120からテレビ領域420へとオブジェクト2eが移動する際のオブジェクト2eの表示がタブレット100からテレビ200へと引き継がれる。

0219

座標処理部21および信号出力部22は、実施形態1と同様に、継続して、現在のドラッグ位置座標を、テレビ座標系における相対座標に変換し、入力信号(第5入力信号)をテレビ200に供給する(S310)。テレビ200のオブジェクト処理部52は、実施形態1と同様に、入力信号(第5入力信号)として供給された相対座標にしたがって、オブジェクト2eを移動させる(S311)。S310およびS311は、ドラッグ操作が継続されている間は(S312においてYES)、繰り返し実行される。

0220

一方、入力受付部23が、ドラッグ操作の終了、すなわち、ドロップ操作を、テレビ領域420上で受け付けると(S312においてNO)、ここで、信号出力部22は、入力信号の出力を止める。これに応じて、テレビ200のオブジェクト処理部52はオブジェクト2eの移動を止める(図26参照)。また、タブレット100のオブジェクト送受信部25は、選択されているオブジェクト2eの実体データをテレビ200に送信する(S313)。テレビ200のオブジェクト送受信部50は、タブレット100から受信した実体データを記憶部41に記憶する(S314)。

0221

上記構成および方法によれば、非テレビ領域とテレビ領域420との境界をまたぐドラッグ操作に伴って、タブレット100とテレビ200との間でオブジェクトの送受信を実現することができる。さらに、オブジェクトの送受信を視覚的に表現するオブジェクトの表示を、テレビ200がタブレット100から引き継ぐことが可能となる。

0222

オブジェクトがテレビ領域420へと移行した後は、タブレット100は、操作位置座標をテレビ200に対して送信するだけで、テレビ200に対して所定のオブジェクトの処理するように遠隔操作することができる。結果として、装置間の通信負荷を軽減し、応答性に優れたタブレット100を実現することができる。

0223

さらに、タブレット100のように、操作装置の入力および表示機構がタッチパネルにて実現されている場合には、以下のようなメリットがある。

0224

ユーザは、手元のタブレット100の画面に表示されているオブジェクトをテレビ200に取り込ませたい場合に、テレビ200の専用のリモコンなどを操作する必要がない。本発明における、手元のタブレット100によれば、入力部11をタッチ操作(ドラッグ操作)するだけで、上記タッチ操作にて選択したオブジェクトをタブレット100から送信し、テレビ200に受け取らせることができるからである。具体的には、ユーザは、テレビ領域420外に表示されているオブジェクトを選択し、テレビ領域420内へとドラッグアンドドロップすればよい。その上、ドロップの操作の後は、引き続きのドラッグ操作によって、簡易な操作で直感的に、テレビ200に受け取らせたオブジェクト(アイコン画像)の位置を、表示部42の所望の位置に移動させることができる。また、送信対象の機器が複数あるとき(例えば、テレビ200およびノートパソコン200aなど)には、送信先の機器の画面が写っている領域に向かってオブジェクトをドラッグするだけでよいので、直感的に送信先の機器を指定することができる。

0225

このように、テレビ200が、タッチ操作非対応の機器であっても、そのような機器に対して、疑似的にタッチ操作を行える操作装置を実現することができる。しかも、オブジェクトの移動に伴うオブジェクトの表示は、タブレット100からテレビ200へと引き継がれるので、ユーザは視覚的にも自然なユーザインターフェースによって直感的にテレビ200を遠隔操作することが可能となる。

0226

≪実施形態4≫
本発明の操作装置に関する他の実施形態について、図10図11図28図34に基づいて説明すれば、以下のとおりである。

0227

実施形態2、3では、タッチ操作がテレビ領域420と非テレビ領域とをまたいだことにより、オブジェクトが一方向に移動するケースにおける、タブレット100およびテレビ200の動作について説明した。実施形態4では、テレビ領域420と、非テレビ領域とのそれぞれに対して同時にタッチ操作が行われることにより、オブジェクトが双方向に移動するケースにおける、タブレット100およびテレビ200の動作について説明する。

0228

〔タブレットおよびテレビの構成〕
本実施形態におけるタブレット100の要部構成は、図10に示すとおりである。本実施形態におけるテレビ200の要部構成は、図11に示すとおりである。本実施形態におけるタブレット100およびテレビ200が、実施形態1〜3におけるタブレット100およびテレビ200と異なる点は、以下のとおりである。

0229

本実施形態では、入力受付部23は、テレビ200の表示部42に表示されている、テレビ領域420内のオブジェクト上でタッチ操作を受け付けるとともに、表示部12に表示されている非テレビ領域内のオブジェクト上でタッチ操作を受け付ける。

0230

このとき、タブレット100のオブジェクト送受信部25は、非テレビ領域内で選択されたオブジェクトをテレビ200に送信するとともに、テレビ200から、テレビ領域420内で選択されたオブジェクトを受信する。反対に、テレビ200のオブジェクト送受信部50は、テレビ領域420内で選択されたオブジェクトをタブレット100に送信するとともに、タブレット100から、非テレビ領域内で選択されたオブジェクトを受信する。すなわち、タブレット100とテレビ200は、オブジェクトを交換し合う。

0231

タブレット100の位置特定部20は、テレビ領域420と非テレビ領域とでそれぞれ同時に選択された2つのオブジェクトの重なりを監視する。本実施形態では、位置特定部20が2つのオブジェクトが一定以上重なったと判定した時点を、オブジェクト交換のタイミングとする。

0232

本実施形態では、2つのオブジェクトが重なる前に、テレビ領域420内で選択されたオブジェクトがテレビ領域420で表示しきれなくなることが考えられる。このような場合には、先の実施形態2に示すとおりに、タブレット100およびテレビ200が連携して動作することで、オブジェクトの表示をつなげることが可能である。そして、位置特定部20は、引き続き、2つのオブジェクトの重なり具合を監視することができる。

0233

〔疑似タッチ操作を実現するための動作説明−具体例〕
図28〜33を参照しながら、タブレット100を用いて、タブレット100に表示されているオブジェクトとテレビ200に表示されているオブジェクトとを交換表示させるための方法について説明する。

0234

図28に示すとおり、例えば、ユーザは、タッチシーン3eに示すように、人差し指でテレビ領域420内のオブジェクトをタッチする。それと同時に、ユーザは、タッチシーン3fに示すように、親指で非テレビ領域内のオブジェクトをタッチする。ここでは、タッチシーン3eでタッチされたオブジェクトは、オブジェクト2cであり、タッチされた時点では、実際には、テレビ200の表示部42に表示されているオブジェクトである。タッチシーン3fでタッチされたオブジェクトは、オブジェクト2hであり、タッチされた時点では、タブレット100の表示部12に表示されているオブジェクトである。

0235

入力受付部23は、図29に示すとおり、入力部11における、タッチシーン3eによるタッチ位置R1の入力と、タッチシーン3fによるタッチ位置R2の入力とを同時に受け付ける。ここで、同時とは、タッチされる瞬間が完全に同時である場合だけでなく、タッチされる瞬間がずれる場合も含む。

0236

位置特定部20によって、テレビ領域420、非テレビ領域、ならびに、各領域上の各オブジェクトの位置が把握されている。よって、制御部10の各部は、入力受付部23が検知した2つのタッチ位置R1、R2に基づいて、テレビ領域420のオブジェクトが選択されたと同時に、非テレビ領域のオブジェクト2hが選択されたことを理解することができる。なお、制御部10の各部は、テレビ200側で表示されているどのオブジェクトが選択されたのかまでは現時点で知っておく必要がない。テレビ200側のオブジェクトが選択されたことが理解できればよい。

0237

このように、テレビ200側のオブジェクト2cと、タブレット100側のオブジェクト2hとが同時に選択されると、位置特定部20は、選択されたオブジェクト2cとオブジェクト2hとの重なり具合を監視し始める。また、信号出力部22およびオブジェクト送受信部25は、テレビ200と通信して、選択されたオブジェクトをテレビ200と交換する。

0238

より詳細には、まず、座標処理部21が、タッチ位置R1のタッチ位置座標(Xtab_r1、Ytab_r1)を、テレビ座標系における操作位置座標(Xtv_r1、Ytv_r1)に変換する。信号出力部22は、変換された操作位置座標(Xtv_r1、Ytv_r1)を、入力信号としてテレビ200に送信する。この入力信号は、実施形態2と同様に、選択されたオブジェクト2c(アイコン画像)を要求する信号である。テレビ200の信号受付部51が上記入力信号を受け付けると、オブジェクト送受信部50は、オブジェクト2cをタブレット100に送信する。また、ここで、オブジェクト処理部52は、オブジェクト2cを選択する。

0239

次に、タブレット100のオブジェクト送受信部25は、タッチ位置R2と重なるオブジェクト2hをテレビ200に送信する。また、ここで、オブジェクト処理部26は、オブジェクト2hを選択する。

0240

テレビ200のオブジェクト送受信部50は、タブレット100からオブジェクト2hを受信すると、記憶部41にオブジェクト2hを記憶しておく。タブレット100のオブジェクト送受信部25は、テレビ200からオブジェクト2cを受信すると、記憶部15にオブジェクト2cを記憶しておく。これにより、オブジェクトの交換は完了する。

0241

図30に示すとおり、人差し指でドラッグ操作されるテレビ200側のオブジェクト2cは、実施形態1と同様の手順で移動する。オブジェクト2cが、オブジェクト2hと十分重なったと判定されるよりも前に、オブジェクト2cの半分の面積がテレビ領域420をはみ出る場合には、それ以降の表示は、実施形態2と同様に、タブレット100のオブジェクト処理部26が引き継げばよい。この場合でも、位置特定部20は、引き続き、オブジェクト2cの位置を監視することができる。

0242

これに対し、親指でドラッグ操作されるタブレット100側のオブジェクト2hは、オブジェクト2cと十分重なると判定されるまでの間、通常のドラッグ操作にしたがって、表示部12の画面上を移動し、表示され続ける(図30参照)。このオブジェクト2hの移動および表示の処理は、オブジェクト処理部26によって実行される。本実施形態では、実施形態3と異なり、オブジェクト2hが、オブジェクト2cと十分重なると判定されるまでに、テレビ領域420内に完全に入ったとしても、オブジェクト処理部26は、表示部12上でのオブジェクト2hの表示を継続する。すなわち、オブジェクトが重なる前の時点で、タブレット100側のオブジェクトの表示は、テレビ200へは引き継がれない。このようにすることで、タブレット100側で、オブジェクトの重なりを簡易な処理で監視し続けることができる。ただし、このような構成に限定されず、実施形態3と同様に、オブジェクト2hが、オブジェクト2cと十分重なると判定されるまでに、テレビ領域420内に完全に入った場合には、オブジェクト2hの表示および移動をテレビ200が引き継ぐ構成であってもよい。この場合でも、テレビ200の表示部42に表示されたオブジェクト同士の重なりをタブレット100側で監視することが可能である。

0243

こうして、テレビ200側のオブジェクト2cと、タブレット100側のオブジェクト2hとは、ユーザのドラッグ操作(または、ピンチイン操作)によって、互いに近づき重なるように移動する。

0244

そして、図31および図32に示すとおり、両方のオブジェクトが重なる位置に到達したとする。位置特定部20は、オブジェクト2cとオブジェクト2hとが一定面積(例えば、図32斜線領域)以上重なったことを以て、両方のオブジェクトが十分に重なったと判定する。位置特定部20が参照する重なり具合の閾値は適宜設定されればよい。

0245

位置特定部20が2つのオブジェクトの重なりを検知した場合、信号出力部22は、それまでオブジェクト2cの操作位置座標を送信していた場合にはそれを停止し、テレビ200に対して別の入力信号を送信する。別の入力信号とは、交換したオブジェクト(これまでタブレット100側に表示されていたオブジェクト2h)をテレビ200の表示部42に表示するようにテレビ200対して指示する入力信号である。

0246

テレビ200の信号受付部51が上記別の入力信号を受信すると、オブジェクト処理部52は、上記入力信号にしたがって、これまでオブジェクト2cを表示していた場合は、これを非表示にし、代わりに、事前に交換しておいたオブジェクト2hを表示部42に表示する。本実施形態では、オブジェクト処理部52は、例えば、ドラッグ操作(タッチシーン3e)が開始された時点で、交換前のオブジェクト2cが表示されていた位置(図28および図29参照)に、オブジェクト2hを表示する(図33参照)。しかし、オブジェクト処理部52の構成はこれに限定されない。例えば、オブジェクト処理部52は、オブジェクトの重なりが検知された時点(信号受付部51が上記別の入力信号を受信した時点)における、元のオブジェクト2cの位置(図31および図32参照)にオブジェクト2hを表示してもよい。あるいは、オブジェクトの重なりが検知される直前までタブレット100にて表示されていたオブジェクト2hの位置に対応する、テレビ200の表示部42の画面の位置に、オブジェクト2hを表示してもよい。ただし、この場合は、タブレット100が、オブジェクト2hを選択していた親指のタッチ位置座標を、実施形態1と同様に変換して、テレビ200に供給する必要がある。信号出力部22は、親指のタッチ位置座標に対応するテレビ座標系における操作位置座標を、上記別の入力信号としてテレビ200に送信すればよい。

0247

一方、位置特定部20が2つのオブジェクトの重なりを検知した場合、タブレット100のオブジェクト処理部26は、以下の表示処理を実行する。オブジェクト処理部26は、重なる前まで表示部12に表示していたオブジェクト2hを非表示にする。そして、オブジェクト処理部26は、代わりに、テレビ200と交換したオブジェクト2cを表示部12に表示する。本実施形態では、オブジェクト処理部26は、例えば、ドラッグ操作(タッチシーン3f)が開始された時点で、交換前のオブジェクト2hが表示されていた位置(図28および図29参照)に、オブジェクト2cを表示する(図33参照)。しかし、オブジェクト処理部26の構成はこれに限定されない。例えば、オブジェクト処理部26は、オブジェクトの重なりが検知された時点における、オブジェクト2cおよびオブジェクト2hの位置(図31および図32参照)に、オブジェクト2cを表示してもよい。

0248

さらに、ここで、位置特定部20がオブジェクトの重なりを検知した後、ドラッグ操作を行っていた人差し指および親指が入力部11を離れたとする。タブレット100の入力受付部23は、タッチシーン3eおよび3fで開始された一連のドラッグ操作が終了したことを検知する。この場合、交換されたオブジェクトの実体データが、タブレット100のオブジェクト送受信部25と、テレビ200のオブジェクト送受信部50とによって交換されてもよい。詳細には、ドラッグ操作が終了すると、信号出力部22は、オブジェクト2cの実体データを要求する入力信号をテレビ200に対して送信する。テレビ200のオブジェクト送受信部50は、上記入力信号にしたがって、オブジェクト2cの実体データを送信する。また、オブジェクト送受信部25は、オブジェクト2hの実体データをテレビ200に送信する。オブジェクト送受信部50は、オブジェクト2hの実体データをタブレット100から受信する。これにより、オブジェクトの実体データの交換が完了する。

0249

〔疑似タッチ操作を実現するための処理の流れ〕
図34は、本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。

0250

ドラッグ操作が、非テレビ領域のオブジェクト上と、テレビ領域420のオブジェクト上との両方で同時に開始されたとする。入力受付部23は、この2つのドラッグ操作の開始を検知し、受け付ける(S401)。

0251

タブレット100は、非テレビ領域にて選択されたオブジェクト2hをテレビ200に送信するとともに、テレビ領域420にて選択されたオブジェクトを要求する(S402)。詳細には、まず、オブジェクト処理部26は、入力受付部23によって受け付けられたタッチ位置座標が非テレビ領域上のオブジェクトと重なっていればそのオブジェクト2hを選択する。そして、オブジェクト送受信部25が、オブジェクト2hをテレビ200に送信する。一方、座標処理部21は、実施形態1と同様に、テレビ領域420上で受け付けたタッチ位置座標を、テレビ座標系における操作位置座標に変換する。信号出力部22は、上記操作位置座標を入力信号としてテレビ200に送信する。この入力信号が、オブジェクト(第1オブジェクト)を要求するための入力信号(第6入力信号)となる。

0252

テレビ200のオブジェクト送受信部50は、タブレット100からオブジェクト2hを受信すると、これを記憶部41に記憶する(S403)。また、テレビ200の信号受付部51が上記入力信号を受信すると、オブジェクト処理部52は、入力信号である上記操作位置座標によって指定された位置に配置されているオブジェクト2cを選択する。オブジェクト送受信部50は、選択されたオブジェクト2cを、上記入力信号にしたがって、タブレット100に送信する(S403)。タブレット100のオブジェクト送受信部25は、テレビ200から受信したオブジェクト2cを記憶部15に記憶する(S404)。これによりオブジェクトの交換が完了する。

0253

S402に続いて、位置特定部20は、非テレビ領域上で選択されたオブジェクト2hの位置と、テレビ領域420上で選択されたオブジェクト2cの位置とを特定し、これらの位置の重なり具合を監視する(S405)。

0254

S401にて受け付けられたドラッグ操作がそれぞれ継続している場合には、それぞれのドラッグ操作にしたがってタブレット100およびテレビ200が連携して選択されたオブジェクトを移動させる(S406)。信号出力部22は、テレビ領域420上にあるオブジェクト2cを移動させるための入力信号(操作位置座標および相対座標;第7入力信号)をテレビ200に対して送信する。テレビ200のオブジェクト処理部52は、上記入力信号にしたがって、オブジェクト2cを移動させる(S407)。また、タブレット100のオブジェクト処理部26は、タブレット領域120上にあるオブジェクト2hを移動させる。

0255

ここで、位置特定部20が、オブジェクト2cおよびオブジェクト2hが一定面積以上の割合で重なったと判定したとする(例えば、図32)。この場合には(S408においてYES)、信号出力部22は、交換したオブジェクト(すなわち、ここではオブジェクト2h;第2オブジェクト)をテレビ200側で表示することを指示するための入力信号(第8入力信号)をテレビ200に送信する(S409)。テレビ200の信号受付部51が上記入力信号を受信すると、オブジェクト処理部52は、S403にて受信したオブジェクト2hを、表示部42に表示する(S410)。ここで、オブジェクト処理部52は、それまでオブジェクト2cを表示していた場合には、オブジェクト2cを非表示にすることが好ましい。オブジェクト処理部52が、表示部42のどの位置にオブジェクト2hを表示するかはここでは特に限定されない。

0256

一方、タブレット100において、オブジェクトが重なったときは(S408においてYES)、オブジェクト処理部26は、これまで表示部12に表示していたオブジェクト2hを非表示にして、S404にて受信したオブジェクト2cを表示部12に表示する(S411)。オブジェクト処理部26が、表示部12のどの位置にオブジェクト2cを表示するかはここでは特に限定されない。

0257

さらに、入力受付部23が、ドラッグ(ピンチイン)操作の終了を検知すると、オブジェクト送受信部25は、交換したオブジェクト2hの実体データをテレビ200に送信する(図27のS313と同様)。テレビ200のオブジェクト送受信部50は、タブレット100から受信した実体データを記憶部41に記憶する(図27のS314と同様)。さらに、信号出力部22は、交換したオブジェクト2cに関連付けられている実体データを要求する入力信号(第9入力信号)をテレビ200に対して送信する(図19のS216と同様)。テレビ200のオブジェクト送受信部50は、オブジェクト2cの実体データをタブレット100に送信する(図19のS217と同様)。オブジェクト送受信部25は、オブジェクト2cの実体データを受信し、記憶部15に格納する(図19のS218と同様)。こうして、実体データの交換も完了する。

0258

上記構成および方法によれば、非テレビ領域とテレビ領域420とに対して同時に行われるドラッグ操作に伴って、タブレット100とテレビ200との間でのオブジェクトの交換を実現することができる。さらに、オブジェクトの双方向の送受信を視覚的に表現するオブジェクトの表示を、タブレット100とテレビ200とで連携して行うことが可能となる。

0259

非テレビ領域とテレビ領域420とにあったそれぞれのオブジェクトがドラッグ操作で重ねられた後は、タブレット100は、事前に交換しておいたオブジェクトの表示を指示するための入力信号をテレビ200に対して送信するだけよい。タブレット100は、入力信号を用いた遠隔操作によって、テレビ200との間でオブジェクトの交換を実現する。タブレット100とテレビ200とは、実際に交換が必要となるオブジェクトまたは実体データについては、データの送受信を行う。しかしながら、タッチ位置またはデータ交換のタイミングを共有する目的で容量の大きいデータ通信を行う必要がない。結果として、装置間の通信負荷を軽減し、応答性に優れたタブレット100を実現することができる。

0260

さらに、タブレット100のように、操作装置の入力および表示機構がタッチパネルにて実現されている場合には、以下のようなメリットがある。

0261

ユーザは、手元のタブレット100の画面に表示されているオブジェクトと、テレビ200の画面に表示されているオブジェクトとを交換したい場合に、テレビ200の専用のリモコンなどを操作する必要がない。本発明における、手元のタブレット100によれば、入力部11をタッチ操作(ドラッグ操作)するだけで、上記タッチ操作にて選択した2つのオブジェクトを、タブレット100とテレビ200との間で交換させることができるからである。具体的には、ユーザは、テレビ領域420内に表示されているオブジェクトを選択するとともに、非テレビ領域上に表示されているオブジェクトを選択し、それらを近づけて重ねるようにドラッグ(または、ピンチイン)すればよい。

0262

このように、テレビ200が、タッチ操作非対応の機器であっても、そのような機器に対して、疑似的にタッチ操作を行える操作装置を実現することができる。しかも、オブジェクトの移動に伴うオブジェクトの表示は、タブレット100とテレビ200とで連携して行われるので、ユーザは視覚的にも自然なユーザインターフェースによって直感的にテレビ200を遠隔操作することが可能となる。

0263

≪変形例1≫
実施形態1は、タブレット100のテレビ領域420に対するタッチ(ドラッグ)操作に伴い、タブレット100が、テレビ200を遠隔操作して、テレビ200に表示されているオブジェクトをテレビ200に処理させる構成であった。

0264

また、実施形態2、3は、タブレット100のテレビ領域420と非テレビ領域との境界をまたぐタッチ(ドラッグ)操作に伴い、タブレット100が、テレビ200を遠隔操作して、タブレット100とテレビ200との間でオブジェクトの送受信(一方向の移動)を実現する構成であった。

0265

また、実施形態4は、タブレット100のテレビ領域420と非テレビ領域とで同時に受け付けたタッチ(ドラッグ)操作に伴い、タブレット100が、テレビ200を遠隔操作して、タブレット100とテレビ200との間でオブジェクトの交換(双方向の移動)を実現する構成であった。

0266

しかし、本発明のタブレット100は、上述のいずれかの構成に加えて、タブレット100の非テレビ領域に対するタッチ操作に伴い、タブレット100に表示されているオブジェクトをテレビ200に送信し、タブレット100が、テレビ200を遠隔操作して、送信したオブジェクトをテレビ200に処理させる構成を備えていてもよい。

0267

図35は、入力受付部23が、タブレット100の非テレビ領域に対するタッチ操作を受け付けているときの、表示部12の表示画面の一例を示す図である。

0268

タブレット100の表示制御部24が、テレビ200が写っているライブビュー画像を表示している状態で、入力受付部23が、非テレビ領域上のオブジェクト(例えば、オブジェクト2h)に対する操作を受け付ける。ここでは、ユーザは、オブジェクト2hに対して、選択する意思を強調するようなジェスチャを伴うタッチ操作を行う。例えば、長押し操作、ダブルタップ操作、一定の狭い領域内を反復してスライドまたは円を描くようなタッチ操作(強く押し込むイメージの操作)などのタッチ操作を行う。

0269

このように、テレビ200のライブビュー画像が表示されているときに、入力受付部23が、非テレビ領域上でオブジェクトを強く押し込む操作を受け付けると、制御部10の各部は、押し込まれたオブジェクト2hをテレビ200に表示させるための動作を実行する。具体的には、オブジェクト送受信部25は、選択されたオブジェクト2hをテレビ200に対して送信する。信号出力部22は、オブジェクト2hをテレビ200の表示部42に表示するように指示するための入力信号(第10入力信号)を生成し、テレビ200に送信する。オブジェクト処理部26は、これまで表示していたオブジェクト2hを非表示にする。

0270

これに対し、テレビ200のオブジェクト送受信部50は、タブレット100から、オブジェクト2hを受信し、記憶部41に記憶する。そして、信号受付部51が上記入力信号を受信すると、オブジェクト処理部52は、上記入力信号にしたがって、受信されたオブジェクト2hを表示部42に表示する(図36参照)。図36は、オブジェクト処理部52が表示部42にオブジェクト2hを表示した後の、表示部12の表示画面の一例を示す図である。図36に示すように、タブレット100のオブジェクト処理部26は、選択されたオブジェクト2hを非表示にする一方、オブジェクト処理部52はオブジェクト2hをテレビ200の表示部42に表示する。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ