図面 (/)

技術 制御装置、制御装置の制御方法、サーバ、被制御装置、制御システム、制御プログラム、および記録媒体

出願人 シャープ株式会社
発明者 橋浦正樹永松孝之
出願日 2012年10月1日 (8年1ヶ月経過) 出願番号 2012-219848
公開日 2014年4月21日 (6年7ヶ月経過) 公開番号 2014-072868
状態 特許登録済
技術分野 電話通信サービス 電話機の機能 選択的呼出装置(遠隔制御・遠隔測定用)
主要キーワード 選択インターフェース 伝言板システム 処理指定情報 マスクROM 通信可否判定 実行可否判定 テープ類 画像データ受信装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年4月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

簡易な方法で外部の装置を制御可能とすることにより、ユーザの利便性を向上させる。

解決手段

スマートフォン(100)は、掃除ロボットを特定する特定情報および当該掃除ロボットに所定の処理の実行を指示する指示情報対応付けた画像を、ユーザに選択可能に表示する画像表示部(71a)と、表示された画像の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報(2)をサーバ(200)に送信することによって、当該画像に対応付けられた特定情報によって特定される掃除ロボットに、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる処理指示部(11)とを備えた。

概要

背景

所定のインターフェースを介して外部の機器を操作する方法に関する技術は、古くから研究されてきた。特に、当該外部の機器が実行可能な処理が高度化するに伴って上記操作が複雑化したため、近年では上記インターフェースを改善する試みが広く行われている。

例えば、単純なイラスト(画像)によって処理を指定できるインターフェースが開発されている。下記の特許文献1には、自装置において実行するべき処理を指定する情報(処理指定情報)が格納された画像データを外部から受信することによって、画像データ送信機能しか持たない操作装置からでも、自在に操作することができる画像データ受信装置が開示されている。

概要

簡易な方法で外部の装置を制御可能とすることにより、ユーザの利便性を向上させる。スマートフォン(100)は、掃除ロボットを特定する特定情報および当該掃除ロボットに所定の処理の実行を指示する指示情報対応付けた画像を、ユーザに選択可能に表示する画像表示部(71a)と、表示された画像の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報(2)をサーバ(200)に送信することによって、当該画像に対応付けられた特定情報によって特定される掃除ロボットに、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる処理指示部(11)とを備えた。

目的

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、操作しようとする外部の装置をユーザが指定するという明示的な操作がなくとも、当該外部の装置を制御可能とすることにより、ユーザの利便性を向上させる制御装置等を提供する

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

サーバを介して被制御装置を制御する制御装置であって、前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報対応付けた画像を、ユーザに選択可能に表示する第1の表示手段と、前記第1の表示手段によって表示された画像の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示手段とを備えたことを特徴とする制御装置。

請求項2

前記指示手段は、あらかじめ登録されたユーザの間で情報を共有可能なサービスを提供するサーバに、前記画像情報を送信し、前記ユーザの間で共有された情報として、前記指示手段によって送信された画像情報を少なくとも1つ含む情報を時系列順番に一覧可能に表示する第2の表示手段をさらに備えたことを特徴とする請求項1に記載の制御装置。

請求項3

前記被制御装置によって所定の処理が実行された結果を、前記サーバから取得する取得手段をさらに備え、前記第2の表示手段は、前記取得手段によって実行された結果が取得された場合、一覧可能に表示した情報の近傍に当該実行された結果をさらに表示することを特徴とする請求項2に記載の制御装置。

請求項4

前記指示手段は、前記画像がユーザによって複数選択された場合、当該画像をそれぞれ示す複数の画像情報を前記サーバに送信することによって、それぞれの画像に対応付けられた特定情報によって特定される被制御装置に、それぞれの画像に対応付けられた指示情報によって指示される所定の処理を順次実行させることを特徴とする請求項1から3のいずれか1項に記載の制御装置。

請求項5

前記被制御装置が前記所定の処理を実行可能か否かを判定する第1の判定手段をさらに備え、前記第1の表示手段は、前記第1の判定手段によって実行不可能と判定される場合、当該所定の処理に対応付けられた画像を表示しないことを特徴とする請求項1から4のいずれか1項に記載の制御装置。

請求項6

請求項1から5のいずれか1項に記載の制御装置と通信可能に接続されたサーバであって、ユーザによって選択された画像を示す画像情報を前記制御装置から受信する第1の受信手段と、前記第1の受信手段によって受信された画像情報が示す画像に対応付けられた特定情報によって特定される被制御装置に、前記所定の処理の実行を指示する指示情報を送信する第1の送信手段とを備えたことを特徴とするサーバ。

請求項7

請求項6に記載のサーバを介して、請求項1から5のいずれか1項に記載の制御装置によって制御される被制御装置であって、所定の処理の実行を指示する指示情報を受信する第2の受信手段と、前記第2の受信手段によって受信された指示情報にしたがって、前記所定の処理を実行する実行手段とを備えたことを特徴とする被制御装置。

請求項8

請求項1から5のいずれか1項に記載の制御装置と請求項6に記載のサーバと、請求項7に記載の被制御装置とを含むことを特徴とする制御システム

請求項9

サーバを介して被制御装置を制御する制御装置の制御方法であって、前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第1の表示ステップと、前記第1の表示ステップにおいて表示された画像の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示ステップとを含むことを特徴とする制御装置の制御方法。

請求項10

請求項1から5のいずれか1項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。

請求項11

請求項10に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体

技術分野

0001

本発明は、サーバを介して被制御装置を制御する制御装置等に関するものである。

背景技術

0002

所定のインターフェースを介して外部の機器を操作する方法に関する技術は、古くから研究されてきた。特に、当該外部の機器が実行可能な処理が高度化するに伴って上記操作が複雑化したため、近年では上記インターフェースを改善する試みが広く行われている。

0003

例えば、単純なイラスト(画像)によって処理を指定できるインターフェースが開発されている。下記の特許文献1には、自装置において実行するべき処理を指定する情報(処理指定情報)が格納された画像データを外部から受信することによって、画像データ送信機能しか持たない操作装置からでも、自在に操作することができる画像データ受信装置が開示されている。

先行技術

0004

特開2009−118448号公報(2009年5月28日公開

発明が解決しようとする課題

0005

上記の特許文献1に開示された技術では、画像データが「処理指定情報」しか含まないため、ユーザは操作しようとする外部の装置を指定しなければならない。すなわち、ユーザは操作対象となる装置を特定し、特定した装置に指示を送信するという明示的な操作(例えば、リモコン赤外線送信部をテレビに向けるなど)を強いられる。

0006

しかし、上記明示的な操作を強いるインターフェースは、ユーザフレンドリーとは言えない。ユーザが真に所望するものは外部の機器が実現する「機能」であり、当該「機能」を実現するために主体となる装置は、任意であってもよい場合があるからである。

0007

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、操作しようとする外部の装置をユーザが指定するという明示的な操作がなくとも、当該外部の装置を制御可能とすることにより、ユーザの利便性を向上させる制御装置等を提供することである。

課題を解決するための手段

0008

上記の課題を解決するために、本発明の一態様に係る制御装置は、サーバを介して被制御装置を制御する制御装置であって、前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報対応付けた画像を、ユーザに選択可能に表示する第1の表示手段と、前記第1の表示手段によって表示された画像の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示手段とを備えている。

0009

また、上記の課題を解決するために、本発明の一態様に係る制御装置の制御方法は、サーバを介して被制御装置を制御する制御装置の制御方法であって、前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第1の表示ステップと、前記第1の表示ステップにおいて表示された画像の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示ステップとを含んでいる。

発明の効果

0010

本発明の一態様によれば、制御装置および当該装置の制御方法は、制御対象である被制御装置をユーザが指定するという明示的な操作がなくとも、ユーザに当該被制御装置を制御させることができる。したがって、上記制御装置等は、ユーザの利便性を向上させることができるという効果を奏する。

図面の簡単な説明

0011

本発明の一実施の形態に係るスマートフォンの要部構成を示すブロック図である。
本発明の一実施の形態に係るサーバの要部構成を示すブロック図である。
(a)は、本発明の一実施の形態に係る掃除ロボットの要部構成を示すブロック図であり、(b)は、本発明の一実施の形態に係るテレビジョン受像機の要部構成を示すブロック図である。
本発明の一実施の形態に係る家族伝言板システム概要を示す図である。
(a)は、上記スマートフォンの外観例を表した模式図であり、(b)は、ユーザによる当該スマートフォンの操作例を表した模式図である。
(a)および(b)は、上記家族伝言板において、ユーザと上記掃除ロボットとの間で行われるメッセージおよび画像のやり取りを表す模式図である。
(a)および(b)は、ユーザによって選択可能である画像がリスト表示された画面例を示す模式図である。
ユーザが複数の画像を一度に投稿すると、当該画像によって特定される一連の処理の実行結果が、上記掃除ロボットによって投稿された家族伝言板の様子を表す模式図である。
上記家族伝言板システムにおいて実行される処理の一例を示すフローチャートである。
上記家族伝言板システムにおいて実行される異なる処理の一例を示すフローチャートである。

実施例

0012

図1図10に基づいて、本発明の実施の形態を詳細に説明する。

0013

〔家族伝言板システム400の概要〕
図4に基づいて、本発明の一実施の形態に係る家族伝言板システム400の概要を説明する。図4は、家族伝言板システム400の概要を示す図である。

0014

家族伝言板システム(制御システム)400は、あらかじめ登録されたユーザ(図4に示す例ではおさん、お母さん、子供)の間で情報を共有可能な電子伝言板(いわゆるソーシャルネットワークサービス)を提供するシステムである。家族伝言板システム400は、スマートフォン100a、100b、100c、機器制御サーバ200a、家族伝言板サーバ200b、ホームサーバ200c、掃除ロボット300a、家庭内に配置された機器(以下「家庭内機器」と称する)を含む。

0015

家族伝言板システム400では、家庭内機器の状態やユーザによって書き込まれたメッセージの内容等に応じて、掃除ロボット300aまたは家庭内機器が家族伝言板にメッセージを書き込む。また、ユーザは、それぞれが所持するスマートフォン100a、100b、100cを用いて家族伝言板にアクセスし、メッセージの書き込み、または閲覧を行うことができる。さらに、ユーザは家族伝言板に画像を投稿することによって、家庭内機器の動作を制御することができる(図6を参照して後で詳述する)。

0016

ホームサーバ200cには、掃除ロボット300aが通信可能に無線接続されている。また、家庭内機器が、通信可能にさらに無線(または有線)接続されている。なお、図4は、家庭内機器がテレビ300b、空調装置300c、照明装置300d、および録画装置300eである例を示すが、家庭内機器の種類および数は上記機器に限定されない。

0017

機器制御サーバ200aは、家庭内機器の状態、家庭内機器が取得した情報、およびユーザの書き込み内容等に応じて、掃除ロボット300aを擬人化したキャラクタとして、家族伝言板にメッセージ等を書き込む。これにより、ユーザは、家族伝言板において掃除ロボット300aとのコミュニケーション疑似体験できる。

0018

また、機器制御サーバ200aは、スマートフォン100a、100b、100cから画像の投稿を受け付け、当該画像に応じた指示情報をホームサーバ200cに送信することによって、掃除ロボット300aまたは家庭内機器の動作を制御する。

0019

なお、家族伝言板への書き込みを行う機能と掃除ロボット300aおよび家庭内機器の動作を制御する機能とを、機器制御サーバ200aが備えた例を説明するが、これらの機能は個別のサーバに搭載してもよい。

0020

家族伝言板サーバ200bは、スマートフォン100a、100b、および100cに対する家族伝言板の表示画面の提示、および書き込みの管理等の、家族伝言板に関する処理全般を行う。

0021

ホームサーバ200cは、掃除ロボット300aまたは家庭内機器と、機器制御サーバ200aとの間の情報の送受信を統括して制御する。具体的には、ホームサーバ200cは、機器制御サーバ200aから受信した指示情報にしたがって、掃除ロボット300aまたは家庭内機器の動作を制御する。また、ホームサーバ200cは、掃除ロボット300aから取得した情報、および家庭内機器から取得した情報を、機器制御サーバ200aに送信する。

0022

空調装置(被制御装置)300cは冷暖房等の空調を行う装置(以下「エアコン300c」ともいう)である。空調装置300cは温度センサを備えており、検出した室温をホームサーバ200cに送信する。

0023

照明装置(被制御装置)300dはLED等の光源を備えた照明装置である。ホームサーバ200cの制御によって、照明装置300dは点灯および消灯され得る。

0024

テレビ(被制御装置)300bはテレビジョン受像機であり(以下「テレビジョン受像機300b」ともいう)、録画装置(被制御装置)300eはテレビ300bが受信した放送番組を録画する装置である。これらの機器も、ホームサーバ200cの制御によって制御され得る。

0025

なお、図4に示される例では、すべての家庭内機器がネットワークに含まれ、ホームサーバ200cと通信可能に接続されている。しかし、掃除ロボット300aはホームサーバ200cから送信された指示情報を中継できるため、家庭内機器はホームサーバ200cと直接接続されていなくともよい。

0026

例えば、前述したテレビジョン受像機300bがネットワークに含まれていない場合であっても、掃除ロボット300aがIrDAや赤外線を当該テレビジョン受像機に送信することにより、当該テレビジョン受像機は上記指示情報に含まれる制御(例えば、電源を入れる、チャンネルを変えるなど)を実行できる。ネットワークに含まれていないテレビジョン受像機300bを制御する例を、後で詳細に説明する。

0027

また、図4に示される例では、ホームサーバ200cは、掃除ロボット300aまたは家庭内機器に搭載されたセンサによって取得されたセンシングデータ、家庭内機器の動作ログ、および家庭内機器が撮影した写真を送信しているが、送信する情報はこれらの例に限られない。さらに、家族伝言板に関与する家庭内機器が存在しない場合のように、ホームサーバ200cによる統括的な制御が必要ない場合、ホームサーバ200cを設けず、掃除ロボット300aが機器制御サーバ200aと情報を送受信する構成としてもよい。

0028

〔スマートフォン100の概要〕
図5に基づいて、スマートフォン100の外観および操作の一例を概略的に説明する。図5の(a)は、スマートフォン100の外観例を表した模式図であり、(b)は、ユーザによるスマートフォン100の操作例を表した模式図である。なお、図4に示されるスマートフォン100a、100b、または100cは、図5に示されるスマートフォン100と同じものである。

0029

スマートフォン(制御装置)100は、サーバ200を介して掃除ロボット300aやテレビジョン受像機300bなどを制御する情報端末である。

0030

図5の(a)に示すように、スマートフォン100は、入力面41、表示面72、および電源スイッチ43を備える。

0031

図5の(b)に示すように、ユーザは入力面41をタッチし、スマートフォン100に当該入力面における位置を指定することにより(入力面上の座標を与えることにより)、画像を選択するなどの情報をスマートフォン100に与えることができる。

0032

上記のように、スマートフォン100は携帯型の情報端末である。ここで、スマートフォン100と同等の機能は、携帯電話パーソナルコンピュータタブレット型端末などでも実現できることに注意する。すなわち、必要な情報を入出力可能な機器でありさえすれば、端末はスマートフォンでなくともよい。

0033

〔サーバ200の概要〕
サーバ200は、スマートフォン100、掃除ロボット300a、および家庭内機器と通信可能に接続されている。すなわち、以下では、図4に示される機器制御サーバ200a、家族伝言板サーバ200b、およびホームサーバ200cが有する本質的な機能を、「サーバ200」が統合的に備えているとして説明する。

0034

〔掃除ロボット300aの概要〕
掃除ロボット(被制御装置)300aは、サーバ200を介して、スマートフォン100によって制御される被制御装置の1つである。掃除ロボット300aは、自走しながら掃除する機能を有する。

0035

掃除ロボット300aは、動作ログの記憶機能充電残量の検出および出力機能画像撮影機能音声認識機能音声出力機能などをさらに有する。また、掃除ロボット300aは、家庭内機器に制御信号を送信してこれを操作する機能も有する。

0036

〔画像5を投稿することによる機器制御
図6に基づいて、ユーザが家族伝言板に画像5を投稿することによって、掃除ロボット300aまたは家庭内機器を制御する場合、家族伝言板システム400において実行される一連の処理の流れの概略を説明する。図6の(a)および(b)は、家族伝言板において、ユーザ(お母さん)と掃除ロボット300aとの間で行われるメッセージおよび画像5のやり取りを表す模式図である。

0037

図6の(a)に示すように、掃除ロボット300aは温度センサで室内温度計測し、人間の感覚で「暑い」ことを訴えるメッセージ8aを家族伝言板に投稿している。当該メッセージを見たユーザは、エアコン300cに冷房を入れるよう指示する画像5を、メッセージ8bとして家族伝言板に投稿している。

0038

すなわち、ユーザによって画像選択ボタン44がタッチされると、スマートフォン100はユーザによって選択可能である画像を複数表示し、選択された画像5を示す画像情報2をサーバ200に送信する。

0039

ここで、画像5には、制御対象(被制御装置)を特定する特定情報1aおよび当該制御対象に所定の処理の実行を指示する指示情報1bが対応付けられている。図6の(a)に示される例では、上記画像に対応付けられた特定情報1aは「エアコン300c」を示し、指示情報1bは「冷房を入れる」を示す。

0040

また、画像情報2は、画像5を一意識別可能な情報である。画像5を一意に識別できさえすれば、画像情報2の形式は何でもよい。例えば、画像情報2は、数字であってもよいし、文字であってもよい。スマートフォン100とサーバ200とで画像5を保存するディレクトリ構造が同じ場合、画像情報2は、当該画像を格納するパス名前であってもよい。あるいは、画像情報2は、画像5そのものであってもよい(この場合、スマートフォン100は画像5をサーバ200に送信することになる)。

0041

ここで、あるスマートフォン100から画像情報2による指示が行われたことを、他のスマートフォンのユーザに共有できるようにするために、画像情報2を受信したサーバ200は、メッセージ8bを投稿情報4cとして複数のスマートフォン100へ送信する。なお、メッセージ8b(投稿情報4c)は、画像5に加えて、サーバ200が付加したメッセージ8bに関連する情報(例えば、投稿したユーザを識別する情報や投稿日時など)を含んでよい。

0042

また、画像情報2を受信したサーバ200は、当該画像情報が示す画像5に対応付けられた特定情報1aによって特定される装置に、所定の処理の実行を指示する指示情報1bを送信する。図6の(a)に示される例では、サーバ200は、特定情報1aによって特定される「エアコン300c」に、「冷房を入れる」という指示情報1bを送信する。

0043

指示情報1bを受信したエアコン300cは、「冷房を入れる」という処理を実行する。その後、部屋が涼しくなることを喜ぶメッセージ8cを、掃除ロボット300aが家族伝言板に投稿している。

0044

図6の(b)に示すように、掃除ロボット300aはマイクで採取したペット鳴き声録音し、ペットが鳴いていることを報告するメッセージ8dとともに音声ファイルを家族伝言板に投稿している。当該メッセージを見て録音を聴いたユーザは、掃除ロボット300aに周囲の写真を撮影するよう指示する画像5を、メッセージ8eとして家族伝言板に投稿している。

0045

すなわち、上記同様に、ユーザによって画像選択ボタン44がタッチされると、スマートフォン100はユーザによって選択可能である画像を複数表示し、選択された画像5を示す画像情報2をサーバ200に送信する。

0046

サーバ200を介して「周囲の写真を撮影する」という指示情報1bを受信した掃除ロボット300aは、写真撮影の処理を実行し、撮影したことを報告するメッセージ8eとともに、撮影画像(処理を実行した結果)を家族伝言板に投稿している。

0047

ここで、スマートフォン100は、サーバ200を介して掃除ロボット300aから取得した撮影画像を、メッセージ8eの近傍に表示してよい。これにより、スマートフォン100は、メッセージ8fと撮影画像とがメッセージ8eに対する掃除ロボット300aからのレスポンスであること(メッセージ8eと処理を実行した結果との対応付け)を、ユーザに認識させることができる。

0048

以上の概略をまとめると、スマートフォン100は以下のステップで処理を実行する。
(1)掃除ロボット300aおよび家庭内機器を特定する特定情報1aおよび当該掃除ロボット等に所定の処理の実行を指示する指示情報1bを対応付けた画像5を、ユーザに選択可能に表示し、
(2)表示された画像5の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報2をサーバ200に送信することによって、特定情報1aによって特定される掃除ロボットまたは家庭内機器に、指示情報1bによって指示される所定の処理を実行させる。

0049

上記した従来の技術では、画像が指示情報しか含まないため、ユーザは操作しようとする外部の装置を指定しなければならない。すなわち、ユーザは操作対象となる装置を特定し、特定した装置に指示を送信するという明示的な操作を強いられる。

0050

しかし、ユーザが真に所望するものは外部の機器が実現する「機能」であり、当該「機能」を実現するために主体となる装置は、任意であってもよい場合があるため、一律に上記明示的な操作を強いるインターフェースは、ユーザフレンドリーとは言えない。

0051

これに対して、スマートフォン100は、特定情報1aおよび指示情報1bを対応付けた画像5を示す画像情報2を、サーバ200に送信する。すなわち、スマートフォン100は、画像情報2を常に「サーバ200」に送信するため、「外部の機器を特定する」という明示的な操作をユーザに要求しない。

0052

言い換えれば、スマートフォン100は、制御対象である掃除ロボット300aまたは家庭内機器をユーザが指定するという明示的な操作がなくとも、ユーザに当該掃除ロボットまたは家庭内機器を制御させることができる。したがって、スマートフォン100は、ユーザの利便性を向上させることができる。

0053

〔スマートフォン100の構成〕
図1に基づいて、スマートフォン100の構成を説明する。図1は、スマートフォン100の要部構成を示すブロック図である。ここで、本実施の形態に直接関係のない部分(例えば、電話回線を利用して通話を実現する部分など)を、以下に記載された構成の説明および上記ブロック図から省略した。ただし、実施の実情に則して、スマートフォン100は当該省略した構成を含んでもよい。

0054

なお、記載の簡潔性を担保する観点から、以下のブロック図の説明においては、家族伝言板システム400(図4参照)に、スマートフォン(制御装置)100、サーバ200、掃除ロボット(被制御装置)300a、およびテレビジョン受像機(被制御装置)300bのみが含まれるとする。また、テレビジョン受像機300bは、ネットワークに含まれておらず、サーバ200から指示情報1bを受信できない状況であるとする。

0055

以下、入力部40(入力面41、入力制御部42)、制御部10(処理指示部11、実行可否判定部12、実行結果取得部13、投稿情報取得部17)、通信部20a(送信部21a、受信部22a)、表示部70(表示制御部71、表示面72)の順序で各構成が担う機能を説明する。

0056

入力部40は、ユーザからの操作(ユーザ操作7a)を受け付ける。入力部40は、入力面41と入力制御部42とを含む。

0057

入力面41は、ユーザ操作7aにより指定された当該入力面上の位置を示す入力信号7bを、入力制御部42に出力する。本実施の形態では、入力面41としてマルチタッチを検出可能なタッチパネルであることが好ましい。ただし、入力面41は、ユーザ操作7aで接触位置を検知可能な入力機器でありさえすれば、ハードウェアの種類はタッチパネルに限定されない。

0058

入力制御部42は、入力面41から入力された入力信号7bに基づいて入力情報7cを生成し、当該入力情報を画像表示部71aおよび処理指示部11に出力する。ここで、入力情報7cは、ユーザによって画像選択ボタン44がタッチされたことを示す情報と、ユーザによって画像5が選択されたことを示す情報とを、少なくとも含む。

0059

制御部10は、スマートフォン100の各種機能を統括的に制御するものである。制御部10は、処理指示部11、実行可否判定部12、実行結果取得部13、および投稿情報取得部17を含む。

0060

処理指示部(指示手段)11は、画像表示部71aによって表示された画像5の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報2をサーバ200に送信することによって、当該画像に対応付けられた特定情報1aによって特定される掃除ロボット300aまたは家庭内機器に、指示情報1bによって指示される所定の処理を実行させる。

0061

具体的には、入力制御部42からユーザによって画像5が選択されたことを示す入力情報7cが入力されると、処理指示部11は、当該画像を示す画像情報2を送信部21aに出力する。

0062

なお、処理指示部11は、画像5がユーザによって複数選択された場合、当該画像をそれぞれ示す複数の画像情報2をサーバ200に送信することによって、それぞれの画像5に対応付けられた特定情報1aによって特定される掃除ロボット300aまたは家庭内機器に、それぞれの画像5に対応付けられた指示情報1bによって指示される所定の処理を順次実行させることができる。上記処理の詳細を後で説明する。

0063

実行可否判定部(第1の判定手段)12は、受信部22aから機器情報3bが入力されると、掃除ロボット300aまたは家庭内機器が所定の処理を実行可能か否かを、当該機器情報に基づいて判定し、その判定結果6aを処理指示部11および画像表示部71aに出力する。

0064

ここで、機器情報3bは、当該機器が有する機能や実行中の処理などに関する情報を含む。例えば、録画装置300eが裏番組並行して録画する機能を有していることや、エアコン300cのフィルタ汚れているため一部機能が制限されていることや、掃除ロボット300aが写真を撮影中であることなどの情報を、機器情報3bは含む。

0065

そして、実行可否判定部12は、機器情報3bによって示される当該機器の状態のもとで、画像5に対応付けられた指示情報1bによって特定される所定の処理が、当該機器によって実行可能か否かを判定する。例えば、「掃除ロボット300aが写真を撮影中である」ことを機器情報3bが示す場合、実行可否判定部12は、当該掃除ロボットが「掃除する」という処理を実行できないと判定する。

0066

実行結果取得部(取得手段)13は、掃除ロボット300aまたは家庭内機器によって所定の処理が実行された結果(実行結果3a)を、受信部22aを介してサーバ200から取得し、実行結果3aを一覧表示部71bに出力する。

0067

ここで、実行結果3aは、例えばユーザが掃除ロボット300aに「周囲の写真を撮影する」処理を実行させた場合、当該掃除ロボットによって撮影され、サーバ200を介して送信された画像である。

0068

投稿情報取得部17は、受信部22aから投稿情報4cが入力された場合、当該投稿情報を一覧表示部71bに出力する。ここで、投稿情報4cは、あるスマートフォン100から画像情報2による指示が行われたことを、他のスマートフォンのユーザに共有できるようにするために、画像情報2を受信したサーバ200から送信された、メッセージ8b(図6の(a)参照)を含む情報である。

0069

通信部20aは、所定の通信方式したがう通信網を介して外部と通信する。外部機器との通信を実現する本質的な機能が備わってさえいればよく、通信回線、通信方式、または通信媒体などは限定されない。通信部20aは、例えばイーサネット(登録商標アダプタなどの機器で構成できる。また、通信部20aは、例えばIEEE802.11無線通信、Bluetooth(登録商標)などの通信方式や通信媒体を利用できる。通信部20aは、送信部21aと受信部22aとを含む。

0070

送信部21aは、処理指示部11から入力された画像情報2を、サーバ200へ送信する。

0071

受信部22aは、サーバ200から送信された実行結果3a、機器情報3b、および投稿情報4cを受信し、それぞれ実行結果取得部13、実行可否判定部12、および投稿情報取得部17へ出力する。

0072

表示部70は、家族伝言板および当該家族伝言板に含まれるコンテンツ(メッセージや画像など)をユーザに対して表示する。表示部70は、表示制御部71と表示面72とを含む。

0073

表示制御部71は、家族伝言板および当該家族伝言板に含まれるコンテンツを表示面72に表示できるように、表示用データ7dを表示面72へ出力する。表示用データ7dは、例えばビットマップ形式の画像であってよいし、他の形式に従う画像、またはその他表示に適したデータ形式であってもよい。表示制御部71は、画像表示部71aおよび一覧表示部71bを含む。

0074

画像表示部(第1の表示手段)71aは、特定情報1aおよび指示情報1bを対応付けた画像5を、ユーザに選択可能に表示する。具体的には、ユーザによって画像選択ボタン44がタッチされたことを示す入力情報7cが入力制御部42から入力されると、画像表示部71aは、ユーザによって選択可能である画像5を複数表示する。

0075

ただし、画像5に対応付けられた指示情報1bによって特定される所定の処理は、当該装置によって実行不可能であることを示す判定結果6aが、実行可否判定部12から入力された場合、画像表示部71aは、当該所定の処理に対応付けられた画像5を非表示にする、あるいは明度を落として表示する。

0076

図7に基づいて、画像5が選択可能に表示される場合、表示面72に表示される選択インターフェースの一例を説明する。図7の(a)および(b)は、ユーザによって選択可能である画像5がリスト表示された画面例を示す模式図である。

0077

図7の(a)に示すように、スマートフォン100(画像表示部71a)は、掃除ロボット300aに指示できる内容を表現した画像5を一覧可能に表示する。前述したように、掃除ロボット300aの状態(画像5の処理を実行できるか否か)に応じて、当該リスト表示が変化する。

0078

例えば、「掃除ロボット300aが写真を撮影中である」ことを機器情報3bが示すことにより、当該掃除ロボットは「掃除する」という処理を実行できないと実行可否判定部12によって判定された場合、「掃除ロボットに掃除させる」の選択肢は、選択不可能に表示される(例えば、非表示にされる、明度を落として表示されるなど)。

0079

なお、選択不可能に表示された画像5をユーザが選択しようとした場合、掃除ロボット300aは「5分後でいい?」などのメッセージを家族伝言板に投稿することにより、当該ユーザに実行を待機するよう促してもよい。

0080

図7の(b)に示すように、スマートフォン100(画像表示部71a)は、家庭内機器(ここでは、テレビジョン受像機300b)に指示できる内容を表現した画像5を一覧可能に表示する。

0081

ここで、テレビジョン受像機300bが、(1)ネットワークに含まれており、サーバ200から指示情報1bを受信できる状況、または(2)ネットワークに含まれておらず、サーバ200から指示情報1bを受信できない状況のいずれかに依存して、一覧表示される画像は変化しない。上記(2)の状況であっても、掃除ロボット300aが当該指示情報をテレビジョン受像機300bに中継することによって、上記(1)の状況である場合と同様に、ユーザは当該テレビジョン受像機を制御できるからである。

0082

すなわち、上記(2)の状況において、ユーザがテレビジョン受像機300bの電源を入れるよう制御する場合、スマートフォン100は、「掃除ロボット300a」を特定情報1aとし、「テレビジョン受像機300bの電源を入れる」を指示情報1bとして対応付けた画像5の画像情報2を、サーバ200に送信できる。サーバ200を介して上記指示情報1bを受信した掃除ロボット300aは、IrDAや赤外線をテレビジョン受像機300bに送信できる位置まで走行し、「テレビジョン受像機300bの電源を入れる」処理を実行する。

0083

このように、サーバ200から家庭内機器に、掃除ロボット300aが指示情報1bを中継することにより、ユーザは上記(1)の状況であるか(2)の状況であるかを意識することなく、スマートフォン100から家庭内機器を制御できる。なお、状況に応じて、特定情報1aおよび指示情報1bを変更する処理は、サーバ200の情報抽出部16によって実行されてもよい(後で詳細に説明する)。

0084

一覧表示部(第2の表示手段)71bは、ユーザの間で共有された情報として、処理指示部11によって送信された画像情報2を少なくとも1つ含む情報を、時系列順番に一覧可能に表示する(図6の(a)および(b)参照)。なお、一覧表示部71bは、実行結果取得部13によって実行結果3aが取得された場合、一覧可能に表示したメッセージおよび画像5の近傍に当該実行結果をさらに表示してよい(図6の(b)参照)。

0085

表示面72は、表示制御部71から入力される表示用データ7dを表示する。本実施の形態では主に液晶ディスプレイ(Liquid Crystal Display;LCD)を想定しているが、表示機能を有する装置(例えば、表示制御部71から入力された表示用データ7dに基づき、表示素子を駆動するドライバ回路を備えた装置)でありさえすればハードウェアの種類は限定されない。

0086

なお、各構成が有する機能を明示するために、図1は入力面41と表示面72とを分離して示すが、例えば入力面41をタッチパネルで、表示面72を液晶ディスプレイで実現する場合、図5の(a)に示すように、両者は一体として構成されてよい。これにより、入力面41に対するユーザの指の接触位置と、表示面72が当該接触に応じて表示する図形等の表示位置とが一致するため、ユーザは自然な入力感覚を得ることができる。

0087

〔サーバ200の構成〕
図2に基づいて、サーバ200の構成を説明する。図2は、サーバ200の要部構成を示すブロック図である。以下、通信部20b(送信部21b、受信部22b)、通信可否判定部14、情報抽出部16の順序で各構成が担う機能を説明する。

0088

通信部20bは、通信部20aと機能が同一であるため詳細な説明を省略する。通信部20bは、送信部21bと受信部22bとを含む。

0089

送信部(第1の送信手段)21bは、受信部22bによって受信された画像情報2が示す画像5に対応付けられた特定情報1aによって特定される掃除ロボット300aまたは家庭内機器に、所定の処理の実行を指示する指示情報1bを送信する。

0090

また、家庭内機器がネットワークに含まれており、サーバ200から指示情報1bを受信できる状況(上記(1)の状況)か否か(上記(2)の状況)を調べるために、送信部21bは、応答要求4bを当該家庭内機器に送信する。さらに、受信部22bから実行結果3aまたは機器情報3bが入力された場合、送信部21bは当該実行結果または機器情報をスマートフォン100に送信する。

0091

さらに、複数のスマートフォン100でメッセージを表示可能にするために、送信部21bは、受信部22bによって受信された画像5を含むメッセージ(例えば、図6の(a)におけるメッセージ8bなど)を作成し、すべてのスマートフォン100に投稿情報4cを送信する。

0092

受信部(第1の受信手段)22bは、ユーザによって選択された画像5を示す画像情報2をスマートフォン100から受信し、当該画像情報を情報抽出部16に出力する。受信部22bは、掃除ロボット300aから実行結果3aまたは機器情報3bを受信した場合、当該実行結果または機器情報を送信部21bに出力する。また、応答情報4aを受信した場合、当該応答情報を通信可否判定部14に出力する。

0093

ここで、応答情報4aは、送信部21bから掃除ロボット300aまたは家庭内機器に送信された応答要求4bに対する応答として得られる情報である。すなわち、応答情報4aは、当該掃除ロボットまたは家庭内機器がネットワークに含まれており、サーバ200から指示情報1bを受信できる状況(上記(1)の状況)であることを示す。

0094

具体的には、上記(1)の状況である場合、当該掃除ロボットまたは家庭内機器から応答情報4aが受信されるため、受信部22bは、上記(1)の状況であることを示す応答情報4aを情報抽出部16に出力する。一方、上記(2)の状況である場合、当該掃除ロボットまたは家庭内機器から応答情報4aは受信されない。すなわち、一定時間を経過しても応答情報4aが掃除ロボット300aまたは家庭内機器から受信されないことによって、通信可否判定部14は、当該掃除ロボットまたは家庭内機器が上記(2)の状況にあると判定できる。

0095

ここでは、掃除ロボット300aは上記(1)の状況にあるため、受信部22bは当該掃除ロボットから応答情報4aを受信すると、当該応答情報を通信可否判定部14に出力する。一方、前述したように、テレビジョン受像機300bは上記(2)の状況にあることが仮定されているため、当該テレビジョン受像機から応答情報4aは受信されない。

0096

通信可否判定部(第2の判定手段)14は、情報抽出部16から特定情報1aが入力され、受信部22bから応答情報4aが入力された場合、当該特定情報によって特定される掃除ロボット300aまたは家庭内機器が、サーバ200と通信可能に接続されている(上記(1)の状況にある)ことを示す判定結果6bを、情報抽出部16に出力する。

0097

一方、通信可否判定部14は、情報抽出部16から特定情報1aが入力され、受信部22bから応答情報4aが入力されなかった場合、当該特定情報によって特定される掃除ロボット300aまたは家庭内機器が、サーバ200と通信可能に接続されていない(上記(2)の状況にある)ことを示す判定結果6bを、情報抽出部16に出力する。

0098

情報抽出部16は、受信部22bから画像情報2が入力されると、当該画像情報が示す画像5に対応付けられた特定情報1aおよび指示情報1bを、当該画像から抽出する。そして、情報抽出部16は、抽出した特定情報1aを通信可否判定部14と送信部21bとに出力し、指示情報1bを送信部21bに出力する。

0099

ここで、特定情報1aおよび指示情報1bは、次のようにそれぞれ画像5と対応付けられている。例えば、画像5のデータのメタ情報(例えばExifヘッダなど)に、特定情報1aおよび指示情報1bが格納されている。

0100

あるいは、画像5を格納するパスの名前を用いて、画像5と特定情報1aおよび指示情報1bとが対応付けられていてもよい。例えば、「/image/cleaner/photo.jpg」は掃除ロボット300aに写真を撮影させることを表し、「/image/cleaner/moveForward.jpg」は掃除ロボット300aを前進させることを表し、「/image/tv/on.jpg」はテレビジョン受像機300bの電源を入れることを表し、「/image/tv/off.jpg」テレビジョン受像機300bの電源を切ることを表す、などであってよい。

0101

特定情報1aによって特定される掃除ロボット300aまたは家庭内機器は上記(2)の状況であることを、通信可否判定部14から入力された判定結果6bが示す場合、情報抽出部16は、特定情報1aおよび指示情報1bを変更してもよい。

0102

例えば、特定情報1aが「テレビジョン受像機300b」、指示情報1bが「電源を入れる」であった場合、当該テレビジョン受像機は上記(2)の状況であると判定されるため、情報抽出部16は、特定情報1aが「掃除ロボット300a」、指示情報1bが「テレビジョン受像機300bの電源を入れる」となるように、特定情報1aおよび指示情報1bをそれぞれ変更する。

0103

すなわち、サーバ200は、家庭内機器(被制御装置)がサーバ200と通信可能に接続されているか否かを判定する通信可否判定部(第2の判定手段)14をさらに備え、送信部(第1の送信手段)21bは、通信可否判定部(第2の判定手段)14によって接続されていないと判定される場合、サーバ200と家庭内機器(被制御装置)とに通信可能に接続された掃除ロボット(他の被制御装置)300aに、所定の処理の実行を指示する指示情報1bを家庭内機器(被制御装置)へ中継させることによって、当該家庭内機器(被制御装置)に当該所定の処理の実行を指示する指示情報1bを送信できる。

0104

なお、サーバ200における画像情報2以外のメッセージ(例えば、ユーザのテキスト入力によるメッセージや写真の投稿など)の送受信を、図2は示していない。しかし、情報抽出部16により特定情報1aまたは指示情報1bを抽出できなかった場合、送信部21bは、単に受信部22bで受信したメッセージをスマートフォン100で表示可能となるように送信する。

0105

〔掃除ロボット300aの構成〕
図3の(a)に基づいて、掃除ロボット300aの構成を説明する。図3の(a)は、掃除ロボット300aの要部構成を示すブロック図である。以下、通信部20c(送信部21c、受信部22c、受信部22d)、処理実行部15aの順序で各構成が担う機能を説明する。

0106

通信部20cは、通信部20aと機能が同一であるため詳細な説明を省略する。通信部20cは、送信部21cと受信部22cとを含む。

0107

送信部(第2の送信手段)21cは、受信部22cから指示情報1bが入力された場合、家庭内機器(テレビジョン受像機300b)に当該指示情報を送信する。また、受信部22cから応答要求4bが入力された場合、送信部21cは、サーバ200に応答情報4aまたは機器情報3bを送信する。さらに、処理実行部15aから実行結果3aが入力された場合、送信部21cは、当該実行結果をサーバ200に送信する。

0108

受信部(第2の受信手段、第3の受信手段)22cは、サーバ200から所定の処理の実行を指示する指示情報1bを受信する。受信部22cは、受信した指示情報1bを処理実行部15aに出力する。指示情報1bを家庭内機器に中継する場合、受信部22cは、当該指示情報を送信部21cにも出力する。

0109

すなわち、掃除ロボット(被制御装置)300aは、所定の処理の実行を指示する指示情報1bを中継することを示す情報を受信する受信部(第3の受信手段)22cと、受信部(第3の受信手段)22cによって中継することを示す情報が受信された場合、当該情報によって示される外部のテレビジョン受像機(被制御装置)300bに、受信部(第2の受信手段)22cによって受信された所定の処理の実行を指示する指示情報1bを送信する送信部(第2の送信手段)21cとをさらに備えてよい。

0110

処理実行部(実行手段)15aは、受信部22cによって受信された指示情報1bにしたがって、所定の処理(例えば、掃除ロボット300aを1m前進させる、掃除ロボット300aを右に90°回転させるなど、図7の(a)参照)を実行する。処理実行部15aは、当該所定の処理を実行した結果(実行結果3a)を送信部21cに出力する。

0111

〔テレビジョン受像機300bの構成〕
図3の(b)に基づいて、テレビジョン受像機300bの構成を説明する。図3の(b)は、テレビジョン受像機300bの要部構成を示すブロック図である。

0112

受信部(第2の受信手段)22dは、掃除ロボット300aから所定の処理の実行を指示する指示情報1bを受信し、当該指示情報を処理実行部15bに出力する。

0113

処理実行部(実行手段)15bは、受信部22dによって受信された指示情報1bにしたがって、所定の処理(例えば、電源を入れる、電源を切るなど、図7の(b)参照)を実行する。

0114

〔複数の画像5を一度に投稿する例〕
図8に基づいて、ユーザが複数の画像5を一度に投稿することによって、掃除ロボット300aまたは家庭内機器に一連の処理を順次実行させる例を説明する。図8は、ユーザが複数の画像5を一度に投稿すると、当該画像によって特定される一連の処理の実行結果が、掃除ロボット300aによって投稿された家族伝言板の様子を表す模式図である。

0115

図8に示すように、ユーザは掃除ロボット300aに「1m前進する」、「右に90°回転する」、「周囲の写真を撮影する」ことを指示する3つの画像5を、メッセージ8gとして家族伝言板に一度に投稿できる。

0116

すなわち、ユーザによって画像選択ボタン44(図6参照)がタッチされると、スマートフォン100はユーザによって選択可能である画像を複数表示し、複数選択された画像5をそれぞれ示す複数の画像情報2をサーバ200に送信できる。これにより、スマートフォン100は、一連の処理に含まれる各処理の実行を指示するために、ユーザに何度も画像5を投稿させるという手間を省くことができる。

0117

複数の画像情報2を受信したサーバ200は、当該画像情報が示す画像5に対応付けられた特定情報1aによって特定される装置に、所定の処理の実行を指示する指示情報1bを送信する。

0118

図8に示される例では、サーバ200は、特定情報1aによって特定される「掃除ロボット300a」に、「1m前進する」、「右に90°回転する」、「周囲の写真を撮影する」という3つの指示情報1bを送信する。

0119

指示情報1bを受信した掃除ロボット300aは、上記3つの処理を順次実行する。ここで、当該掃除ロボットは、「1m前進する」および「右に90°回転する」を実行した結果をサーバ200に送信せず、「周囲の写真を撮影する」を実行した結果のみをメッセージ8hとして家族伝言板に投稿することに注意する。

0120

すなわち、ユーザが複数の画像5を一度に投稿したことによって、掃除ロボット300aが複数の指示情報1bを受信した場合、当該掃除ロボットは、最終的な結果のみを投稿し、中間的な結果を投稿しない。これにより、掃除ロボット300aは、中間的な結果を確認するというユーザの手間を省くことができる。

0121

なお、互いに矛盾する指示情報1bを受信した装置は、当該指示情報によって特定される所定の処理を実行しなくともよい。例えば、「1m前進する」、「1m後退する」という2つの指示情報1bを受信した掃除ロボット300aは、当該2つの指示情報によって特定される処理を実行せず、その場に待機してもよい。あるいは、「電源を入れる」、「電源を切る」という2つの指示情報1bを受信したテレビジョン受像機300bは、当該2つの指示情報によって特定される処理を実行せず、電源を切った状態を保ってもよい。

0122

図8に示される例では、ユーザは掃除ロボット300aのみ(すなわち同一の装置)に対して処理の実行を指示しているが、一連の処理に含まれる各処理の実行を指示する対象は、互いに異なる装置であってもよい。

0123

また、1つの画像5に複数の特定情報1aおよび指示情報1bが対応付けられており、ユーザが当該1つの画像を選択することによって、掃除ロボット300aまたは家庭内機器に一連の処理を実行させてもよい。これにより、スマートフォン100は、一連の処理に含まれる各処理の実行を指示するために、ユーザに何度も画像5を選択させるという手間を省くことができる。

0124

〔テレビジョン受像機300bから画像を投稿する例〕
テレビジョン受像機300bがネットワークに含まれる場合、ユーザは当該テレビジョン受像機から画像5を投稿することもできる。

0125

すなわち、ユーザがテレビジョン受像機300bを操作可能なインターフェース(例えばリモコン)を介して画像5を選択すると、当該テレビジョン受像機(制御装置)は、当該画像を示す画像情報2をサーバ200に送信することによって、当該画像に対応付けられた特定情報1aによって特定される装置(例えば、掃除ロボット300aや、エアコン300cなどの家庭内機器)に、当該画像に対応付けられた指示情報1bによって指示される所定の処理を実行させることができる。

0126

これにより、テレビジョン受像機300bは、例えば2階でテレビを観ているユーザが、テレビを観ながら1階にあるエアコン300cの電源を入れるなど、より利便性の高い使い方を提供できる。

0127

〔家族伝言板システム400において実行される処理〕
図9に基づいて、家族伝言板システム400において実行される処理の流れを説明する。図9は、家族伝言板システム400(スマートフォン100、サーバ200、掃除ロボット300a)において実行される処理の一例を示すフローチャートである。なお、以下の説明において、カッコ書きの「〜ステップ」は、スマートフォン100の制御方法の各ステップを表す。

0128

画像表示部71aは、特定情報1a(ここでは「掃除ロボット300a」を示す)および指示情報1b(ここでは「周囲の写真を撮影する」を示す)を対応付けた画像5を、ユーザに選択可能に表示する(ステップ1:以下「S1」のように略記する、表示ステップ)。ユーザによって画像5が選択されたことが入力部40(入力面41、入力制御部42)によって検知されると(S2においてYES)、処理指示部11は、選択された画像5を示す画像情報2をサーバ200に送信する(S3、指示ステップ)。

0129

サーバ200の受信部22bが当該画像情報を受信すると(S4)、送信部21bは、当該画像情報を含むメッセージの投稿情報4cを、複数のスマートフォン100に送信する(S24)。それぞれのスマートフォン100の受信部22aは当該投稿情報を受信し(S25)、一覧表示部71bは上記メッセージを一覧可能に表示する(S26)。

0130

サーバ200の情報抽出部16は、画像情報2によって示される画像5に対応付けられた特定情報1aおよび指示情報1bを抽出する(S5)。情報抽出部16によって画像5から特定情報1aおよび指示情報1bが抽出された場合(S27においてYES)、送信部21bは、抽出された特定情報1aによって示される装置(ここでは掃除ロボット300a)に、応答要求4bを送信する(S6)。

0131

なお、情報抽出部16によって画像5から特定情報1aおよび指示情報1bの少なくとも一方が抽出されなかった場合(S27においてNO)、サーバ200は、画像5を通常のメッセージ投稿とみなし、以降の処理をスキップして終了する。

0132

掃除ロボット300aの受信部22cが当該応答要求を受信すると(S7)、送信部21cは応答情報4aおよび機器情報3bをサーバ200に送信する(S8)。

0133

サーバ200の受信部22bが当該応答情報および機器情報を受信すると(S9)、当該掃除ロボットは通信可能(上記(1)の状況)であると通信可否判定部14が判定し(S10においてYES)、送信部21bは当該掃除ロボットに指示情報1bを送信する(S11)。また、送信部21bは、機器情報3bをスマートフォン100に送信する(S12)。スマートフォン100の受信部22aは、当該機器情報を受信する(S13)。

0134

掃除ロボット300aの受信部22cが指示情報1bを受信すると(S14)、処理実行部15aが、当該指示情報によって特定される所定の処理を実行する(S15)。そして、送信部21cが実行結果3aをサーバ200に送信する(S16)。

0135

サーバ200の受信部22bが当該実行結果を受信すると(S17)、送信部21bが当該実行結果をスマートフォン100に送信する(S18)。スマートフォン100の受信部22aは、実行結果3aを受信する(S19)。スマートフォン100は、サーバ200を介して掃除ロボット300aから取得した撮影画像を、メッセージの近傍に表示する(図6の(b)参照)。

0136

図10に基づいて、家族伝言板システム400において実行される異なる処理の流れを説明する。図10は、家族伝言板システム400(スマートフォン100、サーバ200、掃除ロボット300a、テレビジョン受像機300b)において実行される異なる処理の一例を示すフローチャートである。なお、図10において、図9を参照して説明した処理と同一の処理の説明を、先と同一の符号を振ることにより省略することがある(S1〜S5、S11〜S14、S16〜S19、S24〜S27の説明を省略した)。

0137

サーバ200の送信部21bが、抽出された特定情報1aによって示される装置(ここではテレビジョン受像機300b)に応答要求4bを送信するが(S6)、前述したように、テレビジョン受像機300bはネットワークに接続されていないため、当該応答要求は当該テレビジョン受像機によって受信されず、応答情報4aも得られない。

0138

一定時間を経過しても応答情報4aがテレビジョン受像機300bから受信されないことによって、通信可否判定部14は、当該テレビジョン受像機が上記(2)の状況にあると判定する(S10においてNO)。

0139

例えば、特定情報1aが「テレビジョン受像機300b」、指示情報1bが「電源を入れる」であった場合、情報抽出部16は、特定情報1aが「掃除ロボット300a」、指示情報1bが「テレビジョン受像機300bの電源を入れる」となるように、特定情報1aおよび指示情報1bをそれぞれ変更する(S20)。

0140

掃除ロボット300aの送信部21cは、変更された指示情報1bをテレビジョン受像機300bに送信する(S21)。テレビジョン受像機300bの受信部22dが当該指示情報を受信すると(S22)、処理実行部15bが当該指示情報によって特定される所定の処理を実行する(S23)。

0141

なお、図9および図10においては、S4においてサーバ200が画像情報2を受信した後、S6において応答要求4bを送信し、S9で応答情報4aおよび機器情報3bを受信しているが、それぞれのタイミングはこれに限られない。例えば、画像情報2の受信の有無に関わらず、サーバ200が定期的に応答要求4bを送信したり、掃除ロボット300aが定期的に応答情報4aに類する情報や機器情報3bを送信してもよい。

0142

〔スマートフォン100が奏する効果〕
スマートフォン100は、制御対象である掃除ロボット300aまたは家庭内機器をユーザが指定するという明示的な操作がなくとも、ユーザに当該掃除ロボットまたは家庭内機器を制御させることができる。したがって、スマートフォン100は、ユーザの利便性を向上させることができるという効果を奏する。

0143

〔まとめ〕
本発明の一態様に係る制御装置(スマートフォン100、テレビジョン受像機300b)は、
(1)サーバを介して被制御装置を制御する制御装置であって、
(2)前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第1の表示手段と、
(3)前記第1の表示手段によって表示された画像の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示手段とを備えている。

0144

また、本発明の一態様に係る制御装置の制御方法は、
(1)サーバを介して被制御装置を制御する制御装置の制御方法であって、
(2)前記被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を、ユーザに選択可能に表示する第1の表示ステップと、
(3)前記第1の表示ステップにおいて表示された画像の中から少なくとも1つの画像がユーザによって選択された場合、当該画像を示す画像情報を前記サーバに送信することによって、当該画像に対応付けられた特定情報によって特定される被制御装置に、当該画像に対応付けられた指示情報によって指示される所定の処理を実行させる指示ステップとを含んでいる。

0145

上記した従来の技術では、制御しようとする外部の装置(例えばテレビジョン受像機など)に関する情報を含まないため、ユーザは当該装置を指定しなければならない。すなわち、ユーザは制御しようとする外部の装置を特定し、特定した装置に指示を送信するという明示的な操作を強いられる。

0146

しかし、ユーザが真に所望するものは外部の機器が実現する「機能」であり、当該「機能」を実現するために主体となる装置は任意であってもよい場合があるため、一律に上記明示的な操作を強いるインターフェースは、ユーザフレンドリーとは言えない。

0147

これに対して、上記構成(1)〜(3)によれば、本発明の一態様に係る制御装置および当該装置の制御方法は、被制御装置を特定する特定情報および当該被制御装置に所定の処理の実行を指示する指示情報を対応付けた画像を示す画像情報を、サーバに送信する。すなわち、上記制御装置等は、画像情報を常にサーバに送信するため、「外部の機器を特定する」という明示的な操作をユーザに要求しない。

0148

言い換えれば、上記制御装置等は、制御対象である被制御装置をユーザが指定するという明示的な操作がなくとも、ユーザに当該被制御装置を制御させることができる。したがって、上記制御装置等は、ユーザの利便性を向上させることができる。

0149

また、本発明の一態様に係る制御装置では、
(1)前記指示手段は、あらかじめ登録されたユーザの間で情報を共有可能なサービスを提供するサーバに、前記画像情報を送信し、
(2)前記ユーザの間で共有された情報として、前記指示手段によって送信された画像情報を少なくとも1つ含む情報を時系列の順番に一覧可能に表示する第2の表示手段をさらに備えてもよい。

0150

上記構成(1)〜(2)によれば、本発明の一態様に係る制御装置は、ユーザの間で情報を共有可能なサービス(例えば、ソーシャル・ネットワーク・サービス)を提供するサーバに画像情報を送信するため、当該サービスを利用する複数のユーザに当該画像情報を共有させることができる。

0151

また、上記制御装置は、ユーザによって投稿されたメッセージやユーザの指示によって送信された画像情報などを時系列の順番に一覧可能に表示するため、「誰が」、「何に」、「どのような指示を」送信したかを、すべてのユーザに把握させることができる。したがって、上記制御装置は、ユーザの利便性をさらに向上させることができる。

0152

また、本発明の一態様に係る制御装置は、
(1)前記被制御装置によって所定の処理が実行された結果を、前記サーバから取得する取得手段をさらに備え、
(2)前記第2の表示手段は、前記取得手段によって実行された結果が取得された場合、一覧可能に表示した情報の近傍に当該実行された結果をさらに表示してもよい。

0153

上記構成(1)〜(2)によれば、本発明の一態様に係る制御装置は、実行された結果が一覧可能に表示した情報に対する応答であることを、ユーザに認識させることができる。したがって、上記制御装置は、ユーザの利便性をさらに向上させることができる。

0154

また、本発明の一態様に係る制御装置では、
(1)前記指示手段は、前記画像がユーザによって複数選択された場合、当該画像をそれぞれ示す複数の画像情報を前記サーバに送信することによって、それぞれの画像に対応付けられた特定情報によって特定される被制御装置に、それぞれの画像に対応付けられた指示情報によって指示される所定の処理を順次実行させてもよい。

0155

上記構成(1)によれば、本発明の一態様に係る制御装置は、一連の処理に含まれる各処理の実行を指示するために、何度も画像を選択するというユーザの手間を省くことができる。したがって、上記制御装置は、ユーザの利便性をさらに向上させることができる。

0156

また、本発明の一態様に係る制御装置は、
(1)前記被制御装置が前記所定の処理を実行可能か否かを判定する第1の判定手段をさらに備え、
(2)前記第1の表示手段は、前記第1の判定手段によって実行不可能と判定される場合、当該所定の処理に対応付けられた画像を表示しなくともよい。

0157

上記構成(1)によれば、本発明の一態様に係る制御装置は、被制御装置が所定の処理を実行可能か否かに応じて、ユーザが画像を選択する幅を制限することができる。したがって、上記制御装置は、当該選択に必要となるユーザの負担を軽減できるため、ユーザの利便性をさらに向上させることができる。

0158

本発明の一態様に係るサーバ(サーバ200)は、
(1)上記制御装置と通信可能に接続されたサーバであって、
(2)ユーザによって選択された画像を示す画像情報を前記制御装置から受信する第1の受信手段と、
(3)前記第1の受信手段によって受信された画像情報が示す画像に対応付けられた特定情報によって特定される被制御装置に、前記所定の処理の実行を指示する指示情報を送信する第1の送信手段とを備えてもよい。

0159

上記構成(1)〜(3)によれば、本発明の一態様に係るサーバは、特定情報によって特定される被制御装置に指示情報を中継する。これにより、上記サーバは、制御装置に上記明示的な操作を要求させないようにすることができる。したがって、上記サーバは、ユーザの利便性を向上させることができる。

0160

本発明の一態様に係る被制御装置(掃除ロボット300a、テレビジョン受像機300b、エアコン300c、照明装置300d、録画装置300e)は、
(1)上記サーバを介して、上記制御装置によって制御される被制御装置であって、
(2)所定の処理の実行を指示する指示情報を受信する第2の受信手段と、
(3)前記第2の受信手段によって受信された指示情報にしたがって、前記所定の処理を実行する実行手段とを備えてもよい。

0161

上記構成(1)〜(3)によれば、本発明の一態様に係る被制御装置は、上記サーバによって中継された指示情報を実行できる。これにより、上記被制御装置は、制御装置に上記明示的な操作を要求させることなく、当該制御装置から指示された所定の処理を実行できる。したがって、上記被制御装置は、ユーザの利便性を向上させることができる。

0162

本発明の一態様に係る制御システム(家族伝言板システム400)は、
(1)上記制御装置と、
(2)上記サーバと、
(3)上記被制御装置とを含んでよい。

0163

上記の構成(1)〜(3)によれば、本発明の一態様に係る制御システムは、上記制御装置、上記サーバ、または上記被制御装置と同様の効果を奏する。

0164

なお、前記制御装置、サーバ、および被制御装置は、コンピュータによって実現されてもよい。この場合、コンピュータを前記制御装置、サーバ、および被制御装置の各手段として動作させることにより、前記制御装置、サーバ、または被制御装置をコンピュータで実現させる制御プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

0165

〔各実施の形態に含まれる構成(技術的手段)の組み合わせについて〕
上述した実施の形態に含まれる構成は、適宜組み合わせられることに注意する。すなわち、上記の実施の形態で説明したすべての構成は、当該説明に係る実施の形態のみならず、他の実施の形態においても当該構成の全部または一部を組み合わせて利用でき、それによって得られる実施の形態についても本発明の技術的範囲に含まれる。

0166

ソフトウェアによる実現例〕
最後に、スマートフォン100、サーバ200、掃除ロボット300a、およびテレビジョン受像機300bの各ブロックは、集積回路ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。

0167

後者の場合、スマートフォン100、サーバ200、掃除ロボット300a、およびテレビジョン受像機300bは、各機能を実現するプログラム命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備える。そして、本発明の目的は、上述した機能を実現するソフトウェアであるスマートフォン100、サーバ200、掃除ロボット300a、およびテレビジョン受像機300bの制御プログラムのプログラムコード実行形式プログラム中間コードプログラムソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記スマートフォン100、サーバ200、掃除ロボット300a、またはテレビジョン受像機300bに供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

0168

上記記録媒体としては、一時的でない有形媒体(non-transitory tangible medium)、例えば、磁気テープカセットテープ等のテープ類フロッピー(登録商標)ディスクハードディスク等の磁気ディスクCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカードメモリカードを含む)/光カード等のカード類マスクROMEPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。

0169

また、スマートフォン100、サーバ200、掃除ロボット300a、またはテレビジョン受像機300bを通信ネットワーク接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネットイントラネットエキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網移動体通信網衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送ケーブルTV回線電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網衛星回線地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

0170

このように、本明細書においては、手段とは必ずしも物理的手段を意味せず、各手段の機能がソフトウェアによって実現される場合も含む。また、1つの手段の機能が2つ以上の物理的手段により実現されてもよいし、2つ以上の手段の機能が1つの物理的手段により実現されてもよい。

0171

本発明は、スマートフォン、タブレット端末、パーソナルコンピュータ、テレビジョン受像機など、サーバを介して被制御装置を制御可能な装置等に適用できる。

0172

1a特定情報(特定情報)
1b指示情報(指示情報)
2画像情報(画像情報)
3a 実行結果(実行された結果)
5 画像(画像)
11処理指示部(指示手段)
12実行可否判定部(第1の判定手段)
13 実行結果取得部(取得手段)
14通信可否判定部(第2の判定手段)
15a処理実行部(実行手段)
15b 処理実行部(実行手段)
21b 送信部(第1の送信手段)
21c 送信部(第2の送信手段)
22b 受信部(第1の受信手段)
22c 受信部(第2の受信手段、第3の受信手段)
22d 受信部(第2の受信手段)
71a画像表示部(第1の表示手段)
71b一覧表示部(第2の表示手段)
100スマートフォン(制御装置)
200サーバ(サーバ)
300a掃除ロボット(被制御装置)
300bテレビジョン受像機(制御装置、被制御装置)
300c空調装置(被制御装置)
300d照明装置(被制御装置)
300e録画装置(被制御装置)
400 家族伝言板システム(制御システム)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 積水ハウス株式会社の「 安否確認システム」が 公開されました。( 2020/09/24)

    【課題】居住者の異常を的確に判定し、異常が生じた場合に、より安全に、より確実に、かつ速やかに対応する。【解決手段】住居(10)に設置され、居住者(15)少なくとも心拍数および呼吸数を非接触で検知する第... 詳細

  • 西日本電信電話株式会社の「 連携システム、連携サーバ、およびアダプタ」が 公開されました。( 2020/09/24)

    【課題】住宅機器やIoTデバイスならびにクラウドサービスが利用者の行動を理解し、最適に連携して動作する連携システム、連携サーバ、およびアダプタを提供する。【解決手段】連携システムは、デバイスを連携させ... 詳細

  • 株式会社野村総合研究所の「 通信ユニット、通信システム及び通信品質評価方法」が 公開されました。( 2020/09/24)

    【課題】移動中における無線通信の通信環境に関する情報を適切に取得する。【解決手段】通信ユニット100は、筐体と、無線通信のための電波を送受信する送受信部120と、前記筐体に対する前記送受信部120の相... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ