図面 (/)

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

1台で複数の対象機器の操作を可能にする遠隔操作端末の操作性を向上させることができる遠隔操作システム、遠隔操作端末、遠隔操作プログラムを提供することである。

解決手段

実施形態の遠隔操作システムは、空間領域の種別を示す領域種別と所定の機器3を一意に示す機器IDとを対応付けて管理する管理部と、所定の空間領域における環境情報を取得する取得部と、取得された環境情報に基づいて、事前に取得された環境情報を用いた機械学習により生成された学習モデル205によって領域種別を推定する推定部202と、推定された領域種別と対応付けられた機器IDにより示される機器3を遠隔操作するためのユーザインタフェースを遠隔操作端末1において提示する提示部とを備えた。

概要

背景

従来、家電機器等を操作するユーザの利便性を向上させるため、1台で複数の機器を操作することができる遠隔操作端末(いわゆるリモコン装置)が開発されている。しかしながら、従来の遠隔操作端末では、意図しない機器が操作される場合や、遠隔操作端末と操作対象の機器(以下「対象機器」という。)との間で特殊なやり取りを必要とする場合があるなど、対象機器を必ずしも操作性良く操作することができない場合があった。

概要

1台で複数の対象機器の操作を可能にする遠隔操作端末の操作性を向上させることができる遠隔操作システム、遠隔操作端末、遠隔操作プログラムを提供することである。実施形態の遠隔操作システムは、空間領域の種別を示す領域種別と所定の機器3を一意に示す機器IDとを対応付けて管理する管理部と、所定の空間領域における環境情報を取得する取得部と、取得された環境情報に基づいて、事前に取得された環境情報を用いた機械学習により生成された学習モデル205によって領域種別を推定する推定部202と、推定された領域種別と対応付けられた機器IDにより示される機器3を遠隔操作するためのユーザインタフェースを遠隔操作端末1において提示する提示部とを備えた。

目的

本発明が解決しようとする課題は、1台で複数の対象機器の操作を可能にする遠隔操作端末の操作性を向上させることができる遠隔操作システム、遠隔操作端末、遠隔操作プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

遠隔操作端末により少なくとも1つの機器遠隔操作する遠隔操作システムであって、空間領域の種別を示す領域種別と所定の機器を一意に示す機器IDとを対応付けて管理する管理部と、所定の空間領域における環境情報を取得する取得部と、前記取得された環境情報に基づいて、事前に取得された環境情報を用いた機械学習により生成された学習モデルによって領域種別を推定する推定部と、前記推定された領域種別と対応付けられた機器IDにより示される機器を遠隔操作するためのユーザインタフェースを前記遠隔操作端末において提示する提示部とを備える遠隔操作システム。

請求項2

前記取得部は、前記遠隔操作端末による操作対象である機器の少なくともいずれか1つに備えられることを特徴とする請求項1に記載の遠隔操作システム。

請求項3

前記推定部は、前記遠隔操作端末による操作対象である機器の少なくともいずれか1つに備えられることを特徴とする請求項1または請求項2に記載の遠隔操作システム。

請求項4

前記推定部は、前記遠隔操作端末とネットワークを介して接続される推定装置に備えられることを特徴とする請求項1または請求項2に記載の遠隔操作システム。

請求項5

前記推定部は、前記遠隔操作端末に備えられることを特徴とする請求項1または請求項2に記載の遠隔操作システム。

請求項6

前記環境情報を用いた機械学習により前記学習モデルを生成または更新する学習部を更に備えることを特徴とする請求項1〜請求項5のいずれか一項に記載の遠隔操作システム。

請求項7

前記学習部は、前記遠隔操作端末とネットワークを介して接続される推定装置に備えられることを特徴とする請求項6に記載の遠隔操作システム。

請求項8

前記環境情報は、撮像画像であることを特徴とする請求項1〜請求項7のいずれか一項に記載の遠隔操作システム。

請求項9

推定装置とネットワークを介して接続され、少なくとも1つの機器を遠隔操作する遠隔操作端末であって、空間領域の種別を示す領域種別と所定の機器を一意に示す機器IDとを対応付けて管理する管理部と、所定の空間領域における環境情報を取得する取得部と、前記取得された環境情報を前記推定装置へ送信する送信部と、前記推定装置において前記送信された環境情報に基づいて推定された空間領域の種別を示す領域種別であって、前記推定装置により送信された領域種別を受信する受信部と、前記受信された領域種別と対応付けられた機器IDにより示される機器を遠隔操作するためのユーザインタフェースを提示する提示部とを備える遠隔操作端末。

請求項10

推定装置とネットワークを介して接続されるコンピュータにおいて実行され、少なくとも1つの機器を遠隔操作する遠隔操作プログラムであって、前記コンピュータを、空間領域の種別を示す領域種別と所定の機器を一意に示す機器IDとを対応付けて管理する管理部と、所定の空間領域における環境情報を取得する取得部と、前記取得された環境情報を前記推定装置へ送信する送信部と、前記推定装置において前記送信された環境情報に基づいて推定された空間領域の種別を示す領域種別であって、前記推定装置により送信された領域種別を受信する受信部と、前記受信された領域種別と対応付けられた機器IDにより示される機器を遠隔操作するためのユーザインタフェースを提示する提示部として機能させる遠隔操作プログラム。

技術分野

0001

本発明の実施形態は、遠隔操作システム遠隔操作端末遠隔操作プログラムに関する。

背景技術

0002

従来、家電機器等を操作するユーザの利便性を向上させるため、1台で複数の機器を操作することができる遠隔操作端末(いわゆるリモコン装置)が開発されている。しかしながら、従来の遠隔操作端末では、意図しない機器が操作される場合や、遠隔操作端末と操作対象の機器(以下「対象機器」という。)との間で特殊なやり取りを必要とする場合があるなど、対象機器を必ずしも操作性良く操作することができない場合があった。

先行技術

0003

特開平10−336769号公報
特開2001−142825号公報

発明が解決しようとする課題

0004

本発明が解決しようとする課題は、1台で複数の対象機器の操作を可能にする遠隔操作端末の操作性を向上させることができる遠隔操作システム、遠隔操作端末、遠隔操作プログラムを提供することである。

課題を解決するための手段

0005

実施形態の遠隔操作システムは、遠隔操作端末により少なくとも1つの機器を遠隔操作する遠隔操作システムであって、空間領域の種別を示す領域種別と所定の機器を一意に示す機器IDとを対応付けて管理する管理部と、所定の空間領域における環境情報を取得する取得部と、前記取得された環境情報に基づいて、事前に取得された環境情報を用いた機械学習により生成された学習モデルによって領域種別を推定する推定部と、前記推定された領域種別と対応付けられた機器IDにより示される機器を遠隔操作するためのユーザインタフェースを前記遠隔操作端末において提示する提示部とを備える。

図面の簡単な説明

0006

第1の実施形態に係る遠隔操作システムの構成を示す概略図である。
第1の実施形態に係る遠隔操作端末のハードウェア構成を示すブロック図である。
第1の実施形態に係る推定装置のハードウェア構成を示すブロック図である。
第1の実施形態に係る遠隔操作端末の機能構成を示すブロック図である。
第1の実施形態に係る推定装置の機能構成を示すブロック図である。
第1の実施形態に係る領域登録処理の動作を示すフローチャートである。
第1の実施形態に係る領域登録画面を示す図である。
第1の実施形態に係る機器登録処理の動作を示すフローチャートである。
第1の実施形態に係る領域選択画面を示す図である。
第1の実施形態に係る機器登録画面を示す図である。
第1の実施形態に係る機器登録画面において機器リストが表示される状態を示す図である。
第1の実施形態に係る機器選択画面を示す図である。
第1の実施形態に係る機器操作画面を示す図である。
第2の実施形態に係る機器の機能構成を示す図である。
第2の実施形態に係る登録処理の動作を示すフローチャートである。
第3の実施形態に係る学習処理の動作を示すフローチャートである。
第4の実施形態に係る操作画面表示処理の動作を示すフローチャートである。
第4の実施形態に係る機器選択画面を示す図である。
第5の実施形態に係る機器登録処理の動作を示すフローチャートである。
第5の実施形態に係る機器登録画面を示す図である。
第5の実施形態に係る機器登録画面において機器リストが表示される状態を示す図である。

実施例

0007

以下、本発明の実施形態について図面を参照しつつ説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

0008

<第1の実施形態>
(全体構成)
本実施形態に係る遠隔操作システムの全体構成について説明する。図1は、遠隔操作システムの構成を示す概略図である。

0009

図1に示すように、本実施形態に係る遠隔操作システムは、遠隔操作端末1と、遠隔操作端末1とネットワークNWを介して接続される推定装置2とを備える。また、本実施形態においては、複数の機器3が設置される室内空間または室外空間(庭、ベランダバルコニー等)を含む居住施設において遠隔操作システムが運用されるものとする。この居住施設は、ダイニングリビング脱衣室の3つの空間領域を有し、これらの空間領域は互いに環境が異なっているものとする。互いに異なる環境としては、例えば、各空間領域に設置される家具などの設備差異に起因する内観が挙げられる。また、機器3として、ダイニングには冷蔵庫31が設置され、リビングには照明機器32、エアコン33、テレビ34が設置され、脱衣室には洗濯機35が設置されるものとする。また、推定装置2は、本実施形態においては居住施設外の遠隔地に設置されるものとするが、居住施設内に設置されても良く、推定装置2により実現される機能を、遠隔操作端末1や機器3において実現するようにしても良い。また、遠隔操作システムのユーザは、居住施設の居住者または利用者を想定する。

0010

居住施設内にはネットワークNWと接続される無線ルータRTが設置され、居住施設内に設置される全ての機器3及び遠隔操作端末1は、それぞれ、無線ルータRTと無線接続されるものとする。遠隔操作端末1は、無線ルータRTを介して、推定装置2と通信可能に接続されるとともに、機器3のそれぞれと通信可能に接続される。機器3のそれぞれは、無線ネットワークを介して、その主機能を遠隔操作端末1からの遠隔操作により制御可能に構成される。また、機器3のそれぞれには、一意な識別子である機器IDが予め設定されているものとし、遠隔操作端末1は同一LANに接続される機器3の機器IDを取得可能であるものとする。また、機器IDとしてMAC(Media Access Control)アドレスを用いても良い。

0011

(ハードウェア構成)
遠隔操作端末、推定装置のハードウェア構成について説明する。図2図3は、それぞれ、遠隔操作端末、推定装置のハードウェア構成を示すブロック図である。

0012

遠隔操作端末1は、タブレット型端末であり、図2に示すように、ハードウェアとして、CPU(Central Processing Unit)10、RAM(Random Access Memory)11、ストレージ12、入出力I/F(Interface)13、ネットワークI/F14、ディスプレイ15、カメラ16、地磁気センサ17、GNSS(Global Navigation Satellite System)センサ18、環境光センサ19を備える。

0013

CPU10及びRAM11は協働して各種機能を実行し、ストレージ12は各種機能により実行される処理(遠隔操作プログラム)に用いられる各種データを記憶する。入出力I/F13は、入出力装置とのデータの入出力を行う。ネットワークI/F14は、無線ルータRTと無線通信を行うためのネットワークアダプタである。ディスプレイ15は、ディスプレイとタッチセンサとを有する入出力装置の一種である。カメラ16は、可視光による2次元画像及び映像撮像する。地磁気センサ17は、地磁気を検出することによって方角を測定する。GNSSセンサ18は、GPSなどのGNSSにより遠隔操作端末1の位置を測定する。環境光センサ19は、遠隔操作端末1の周囲の明るさを測定する。

0014

推定装置2は、図3に示すように、ハードウェアとして、CPU20、RAM21、ストレージ22、入出力I/F23、ネットワークI/F24を備える。CPU20及びRAM21は協働して各種機能を実行し、ストレージ22は各種機能により実行される処理に用いられる各種データを記憶する。入出力I/F23は、推定装置2に接続されるキーボードなどの入力装置やディスプレイなどの出力装置とのデータの入出力を行う。ネットワークI/F24は、LAN(Local Area Network)等のネットワークアダプタである。

0015

(機能構成)
遠隔操作端末、推定装置の機能構成について説明する。図4図5は、それぞれ、遠隔操作端末、推定装置の機能構成を示すブロック図である。

0016

図4に示すように、遠隔操作端末1は、取得部101、送信部102、受信部103、管理部104、提示部105、遠隔操作部106を機能として備える。取得部101は、各空間領域の特徴を示す環境情報を取得する。送信部102は、取得部101により取得された環境情報を推定装置2へ送信する。受信部103は、推定装置2により送信された環境情報に基づく空間領域の種別である領域種別を受信する。管理部104は、領域種別と、機器3を一意に示す機器IDとを対応付けて管理する。提示部105は、受信部103により受信された領域種別に対応付けられる機器3を操作するための操作画面をディスプレイ15に表示することによりユーザに提示する。遠隔操作部106は、操作画面に対するユーザ入力に基づいて、操作対象である機器3へ動作指示を送信する。なお、操作対象である機器3への動作指示を生成するための各種情報、及び機器3を操作するためのGUI(Graphical User Interface)を構成するための各種情報は、設定情報としてストレージ12に格納されているものとする。

0017

取得部101により取得される環境情報は、領域種別を推定するのに有意な情報であれば良く、例えば、対象とする空間領域を撮像した画像、対象とする空間領域において受信された全ての無線通信に係る電波の種別及び強度のパターン、地磁気センサ17により検出される地磁気のパターン、GNSSセンサ18による測定位置、環境光センサ19により測定された明るさなどを環境情報として用いることができる。また、これらを組み合わせて環境情報としても良い。なお、本実施形態においてはカメラ16により撮像された撮像画像を環境情報として用いるものとする。

0018

図5に示すように、推定装置2は、受信部201、推定部202、送信部203、学習部204を機能として備える。受信部201は、遠隔操作端末1により送信された環境情報を受信する。推定部202は、受信部201により受信された環境情報を入力として領域種別を出力する学習モデル205を用いて領域種別を推定する。送信部203は、推定部202により推定された領域種別を遠隔操作端末1へ送信する。学習部204は、学習モデル205による推定精度を向上させる。

0019

学習モデル205は、本実施形態においては、遠隔操作システムの運用に先立って、教師あり学習を用いる機械学習により予めトレーニングされる。機械学習のアルゴリズムとしてディープラーニングを用いるものとするが、既知の他のアルゴリズムを用いても良い。学習モデル205は、環境情報を入力して領域種別を出力するモデルであり、推定すべき領域種別のそれぞれに対して、領域種別について得られた環境情報群に基づく機械学習によるトレーニングがなされる。例えば、リビングに分類される部屋内を撮像した撮像画像を事前に用意し、これらを用いてリビングの撮像画像に基づいて領域種別をリビングと推定することができるように、学習モデル205が事前にトレーニングされる。

0020

学習部204は、領域種別を正解ラベルとして付した環境情報である教師データ206を学習モデル205に反映させることにより、学習モデル205による推定精度を向上させる。

0021

(領域登録処理)
領域登録処理について説明する。図6は、領域登録処理の動作を示すフローチャートである。図7は、領域登録画面を示す図である。この領域登録処理は、居住施設内にある空間領域の領域種別を遠隔操作端末による操作対象である機器が設置される場所として登録する処理である。なお、図6に示す領域登録処理に先立って、登録対象とする空間領域の撮像画像が予め取得されているものとする。

0022

図6に示すように、まず、遠隔操作端末1において、送信部102が、取得部101により取得された環境情報としての撮像画像を推定装置2へ送信する(S101)。次に、推定装置2において、受信部201が送信部102により送信された撮像画像を受信し(S102)、推定部202が受信部201により受信された撮像画像に基づいて領域種別を推定し(S103)、この領域種別を送信部203が推定領域種別として遠隔操作端末1へ送信する(S104)。

0023

次に、遠隔操作端末1において、受信部103が送信部203により送信された推定領域種別を受信し(S105)、提示部105が推定領域種別をユーザに提示する(S106)。ここで、提示部105は、図7に示すような、領域登録画面G1をディスプレイ15に表示させる。この領域登録画面G1は、推定領域種別の候補をユーザにより選択可能に示す領域表示R1と、候補以外の推定領域種別をユーザにより選択可能に示すプルダウンメニューP1、ユーザにより選択可能な登録ボタンB11及びキャンセルボタンB12とが含まれる。図7においては、領域表示R1として、リビングR11とダイニングR12とが示される。

0024

次に、管理部104は、登録指示がなされたか否かを判定する(S107)。ここで、管理部104は、登録ボタンB11が選択された場合に登録指示がなされたと判定する。登録指示がなされた場合(S107,YES)、管理部104が推定領域種別を機器3が設定される領域種別として登録し(S108)、送信部102が推定装置2に対して推定結果が正解である旨を示す正解通知を送信する(S109)。

0025

次に、推定装置2において、受信部201が送信部102により送信された正解通知を受信し(S110)、この正解通知をステップS102において受信された撮像画像に付して教師データ206としてストレージ12に記憶し(S111)、領域登録処理が終了される。

0026

一方、登録指示がなされない場合、すなわちキャンセルボタンB12が選択された場合(S107,NO)、領域登録処理が終了される。

0027

(機器登録処理)
機器登録処理について説明する。図8は、機器登録処理の動作を示すフローチャートである。図9図10は、それぞれ、領域選択画面、機器登録画面を示す図である。図11は、機器登録画面において機器リストが表示される状態を示す図である。機器登録処理は、遠隔操作端末においてなされる処理であって、遠隔操作端末による操作対象として、所定の空間領域に対して、この空間領域に設置された機器を対応付けて登録する処理である。なお、図8に示す機器登録処理に先立って、上述した領域登録処理によって、機器を対応付けるべき空間領域の領域種別が予め登録されているものとする。

0028

図8に示すように、まず、提示部105が予め登録された空間領域の領域種別をユーザに対して提示する(S201)。ここで、提示部105は、図9に示すような領域選択画面G2をディスプレイ15に表示させる。この領域選択画面G2は、管理部104により管理される全ての空間領域をユーザにより選択可能に提示するものであり、登録済みの空間領域の領域種別を選択可能に示す領域表示R2と機器登録処理の終了を指示するためのキャンセルボタンB21とを含む。図9には、領域表示R2として、リビングR21、ダイニングR22、脱衣室R23が示される。

0029

次に、提示部105は、領域選択画面G2における領域表示R2により示される領域種別のいずれかが選択されたか否かを判断する(S202)。

0030

領域種別のいずれかが選択された場合(S202,YES)、提示部105は、図10図11に示すような機器登録画面G3により、遠隔操作端末1と同一のLANに接続され、且つ他の領域種別に対応付けられていない機器3をユーザに対して提示する(S203)。図10に示す機器登録画面G3には、選択中の領域種別に対応付けるべき機器3の追加を指示するための追加ボタンB31が含まれる。この追加ボタンB31が選択されると、図11に示すように追加すべき機器3を登録するためのアイコンC3と確定ボタンB32含む機器リストL3が表示される。図11においては、アイコンC3として、アイコンC31〜C35が表示され、これらのうち少なくとも1つ以上が選択され、確定ボタンB32が選択されることによって、領域種別に対応付けるべき機器3としてアイコンC3により示される機器3が選択される。

0031

次に、管理部104は、選択中の領域種別に対応付けるべき機器3が選択されたか否かを判定する(S204)。

0032

機器3が選択された場合(S204,YES)、管理部104は、選択された機器3を選択中の領域種別に対応付けて登録し(S205)、機器登録処理の終了がユーザにより指示されたか否かを判断する(S206)。ここで、提示部105は、領域種別に機器3を対応付けた後に機器登録画面G3(図10、11)から領域選択画面G2(図9)に表示画面を遷移させ、領域選択画面G2においてキャンセルボタンB21が選択された際に登録処理を終了させるか否かの選択肢を含むポップアップを表示し、管理部104は、このポップアップ表示において終了させる選択肢が選択された場合に機器登録処理の終了が指示されたものと判定する。

0033

機器登録処理の終了が指示された場合(S206,YES)、機器登録処理が終了される。一方、機器登録処理の終了が指示されない場合(S206,NO)、提示部105は、再度、領域種別のいずれかが選択されたか否かを判断する(S202)。

0034

また、ステップS204において、機器3が選択されない場合(S204,NO)、管理部104は、機器登録処理の終了がユーザにより指示されたか否かを判断する(S206)。

0035

また、ステップS202において、領域種別が選択されない場合(S202,NO)、提示部105は、ユーザによる最後の操作がなされてからの経過時間が所定時間、例えば1時間以上であるか否かを判定する(S207)。

0036

経過時間が所定時間以上である場合(S207,YES)、機器登録処理が終了される。一方、経過時間が所定時間未満である場合(S207,NO)、提示部105は、再度、領域種別のいずれかが選択されたか否かを判断する(S202)。

0037

(操作画面表示処理)
操作画面表示処理について説明する。図12は、機器選択画面を示す図である。図13は、機器操作画面を示す図である。

0038

提示部105は、ユーザの指示に応じて、図12に示すような、機器選択画面G4をディスプレイ15に表示させる。この機器選択画面G4には、領域種別とこの領域種別と対応付けられる機器IDにより示される機器3を選択可能に示すアイコンC4と、登録された全ての機器3の電源をONに制御するための全てONボタンB41と、登録された全ての機器3の電源をOFFに制御するための全てOFFボタンB42とが含まれる。図12においては、アイコンC4として、アイコンC41〜C45が表示される。アイコンC41〜45は、それぞれ、リビングと対応付けられた照明機器、エアコン、テレビを示し、アイコンC44は脱衣室と対応付けられた洗濯機を示し、アイコンC45はダイニングと対応付けられた冷蔵庫を示す。

0039

機器選択画面G4におけるアイコンC4のいずれかが選択されると、提示部105は、選択された機器3を操作するためのGUIとして、図13に示すような操作画面G5をディスプレイ15に表示させる。図13に示す操作画面G5は、エアコン33を操作対象としたものであり、機器3の種別及び機器IDとこの機器3と対応付けられる領域種別とを示す表示領域R51、エアコン33の動作モードを示す表示領域R52、室内の温度及び湿度を示す表示領域R53、タイマに関する情報を示す表示領域R54、設定温度及び設定温度を示す表示領域R55、エアコン33をオン又はオフするための操作ボタンを含む表示領域R56、各種ステータスを示す表示領域R57、これら以外の各種機能を呼び出すためのメニューボタンB51等を含んで構成される。

0040

上述したように、機器3の名称とこの機器3に対応付けられた領域種別をユーザに選択可能に提示することによって、ユーザは操作対象としての機器3の設置場所を容易に把握することができる。

0041

<第2の実施形態>
第2の実施形態に係る遠隔操作システムについて説明する。第1の実施形態においては、空間領域の登録に係る領域種別の推定に係る環境情報の取得、領域種別の推定は、それぞれ、遠隔操作端末、推定装置においてなされるものとしたが、本実施形態に係る遠隔操作システムにおいては、機器においてなされる点が第1の実施形態とは異なる。以下、第1の実施形態とは異なる構成及び動作について説明する。

0042

本実施形態に係る機器の構成について説明する。図14は、機器の機能構成を示す図である。

0043

図14に示すように、本実施形態に係る機器3aは、ハードウェアとしてCPU、RAM、ストレージと、設置される空間領域を撮像するカメラを備えたエアコン33であり、CPU及びRAMが協働することにより実行される機能として、推定機能30を備える。この推定機能30は、取得部300、受信部301、推定部302、送信部303を備える。

0044

取得部300は、第1の実施形態における遠隔操作端末1の取得部101に相当し、各空間領域の特徴を示す環境情報として機器3aが備えるカメラによる撮像画像を取得する。受信部301は、遠隔操作端末1により送信された推定要求を受信する。推定部302は、第1の実施形態に係る推定装置2における推定部202に相当し、取得部300により取得された環境情報に基づいて、領域種別を推定する点において推定部202とは異なる。送信部303は、受信部301により受信された推定要求に対する応答として、推定部302により推定された領域種別と、自機器3aに設定された機器IDとを遠隔操作端末1へ送信する。学習モデル205については、第1の実施形態において推定装置2が備えるものと実質的に同様である。

0045

機器の動作として登録処理について説明する。この登録処理は、第1の実施形態に係る領域登録処理及び機器登録処理に相当するものである。図15は、登録処理の動作を示すフローチャートである。なお、図15においては、カメラによる撮像が予めなされているものとする。

0046

図15に示すように、まず、遠隔操作端末1において、送信部102が推定要求を送信する(S401)。次に、機器3aにおいて、受信部301が遠隔操作端末1から送信された推定要求を受信し(S402)、取得部300がカメラによる撮像画像を取得し(S403)、取得された撮像画像に基づいて領域種別を推定部302が推定し(S404)、受信された推定要求に対する応答として、推定された領域種別と自機器3aに設定された機器IDとを送信部303が遠隔操作端末1へ送信する(S405)。

0047

次に、遠隔操作端末1において、受信部103が機器3aから送信された推定領域と機器IDとを受信し(S406)、管理部104が、受信された領域種別に機器IDを対応付けて、領域種別及び機器IDを登録する(407)。

0048

このように、機器3aにおいて環境情報の取得と領域種別の推定を行うことによって、領域種別と機器3aとの対応付けに係るユーザの操作を低減させることができる。また、第1の実施形態における推定装置2による処理を機器3aに行わせるようにしても良い。

0049

<第3の実施形態>
第3の実施形態に係る遠隔操作システムについて説明する。本実施形態に係る遠隔操作システムは、運用される施設それぞれについて学習モデルを生成、更新する学習処理が実行される点において、第1の実施形態とは異なる。以下、学習処理の動作について説明する。図16は、学習処理の動作を示すフローチャートである。なお、図16に示す学習処理においては、領域登録処理に先立って実行されており、また、環境情報が予め取得されているものとする。

0050

図16に示すように、まず、遠隔操作端末1において、送信部102が対象とする空間領域についての環境情報と、この空間領域の領域種別とを推定装置2へ送信する(S501)。ここで、空間領域の領域種別は、遠隔操作端末1においてユーザにより設定されたものである。

0051

次に、推定装置2において、受信部201が、遠隔操作端末1により送信された環境情報と領域種別とを受信し(S502)、領域種別を正解ラベルと付した環境情報を教師データ206としてストレージ12に記憶し(S503)、推定部202が教師データ206により学習モデル205を生成または更新する(S504)。

0052

第1の実施形態においては、居住施設全般において共通する特徴を有する内観の撮像画像を入力として領域種別の推定を行うため、事前に学習モデルを用意することが有効である。これに対し、居住施設全般において共通しない特徴を有する環境情報を入力として領域種別の推定を行う場合、事前に学習モデルを用意することは有効ではない。上述した学習処理によれば、空間領域においてセンサにより検知される電波の強度、地磁気のパターン、測定位置、明るさなどを環境情報として用いた場合であっても、領域種別の推定を行うことができる。

0053

<第4の実施形態>
第4の実施形態に係る遠隔操作システムについて説明する。本実施形態に係る遠隔操作システムは、操作画面表示処理において領域種別の推定を行う点が第1の実施形態とは異なる。図17は、操作画面表示処理の動作を示すフローチャートである。図18は、機器選択画面を示す図である。なお、図17に示す操作画面表示処理に先立って、上述した領域登録処理及び機器登録処理によって、領域種別と機器とが予め対応付けられているものとする。また、所定の空間領域において撮像された撮像画像が予め取得されているものとする。

0054

図17に示すように、まず、遠隔操作端末1において、送信部102は、取得部101により取得された撮像画像を推定装置2へ送信する(S301)。次に、推定装置2において、受信部201が送信部102により送信された撮像画像を受信し(S302)、推定部202が受信部201により受信された撮像画像に基づいて領域種別を推定し(S303)、この領域種別を送信部203が遠隔操作端末1へ送信する(S304)。

0055

次に、遠隔操作端末1において、受信部103が送信部203により送信された領域種別を受信し(S305)、提示部105が管理部104により受信された領域種別と対応付けられる機器3をユーザに提示する(S306)。ここで、提示部105は、図18に示すような、機器選択画面G6をディスプレイ15に表示させる。この機器選択画面G6には、領域種別と対応付けられる機器IDにより示される機器3を選択可能に示すアイコンC6と、領域種別と対応付けられる全ての機器3の電源をONに制御するための全てONボタンB61と、領域種別と対応付けられる全ての機器3の電源をOFFに制御するための全てOFFボタンB62とが含まれる。図18においては、リビングに対応付けられる機器3を示すアイコンC6として、アイコンC61〜C63が表示される。

0056

次に、提示部105は、提示した機器3のいずれかが選択されたか否かを判定する(S307)。機器3が選択された場合(S307,YES)、提示部105は、選択された機器3を操作するためのGUIをユーザに提示する(S308)。一方、機器3が選択されない場合(S307,NO)、提示部105は、再度、提示した機器3のいずれかが選択されたか否かを判定する(S307)。

0057

提示部105は、第1の実施形態と同様に、選択された機器3を操作するためのGUIとして、図13に示した操作画面G5をディスプレイ15に表示させる。

0058

上述したように、空間領域において得られる環境情報により領域種別を推定し、推定した領域種別に対応付けられた機器3をユーザに提示することによって、操作対象としての機器3の選択に係る操作性を向上させることができる。

0059

<第5の実施形態>
第5の実施形態に係る遠隔操作システムについて説明する。本実施形態に係る遠隔操作システムは、機器登録処理において領域登録処理を行う点が第1の実施形態とは異なる。図19は、本実施形態に係る機器登録処理の動作を示すフローチャートである。図20、本実施形態に係る機器登録画面を示す図である。図21は、本実施形態に係る機器登録画面において機器リストが表示される状態を示す図である。

0060

図19に示すように、まず、提示部105は、ユーザにより機器3の追加が指示されたか否かを判定する(S601)。ここで、提示部105は、図20に示す機器登録画面G3aにおける追加ボタンB31が選択された場合に、ユーザにより機器3の追加が指示されたものと判定する。

0061

機器3の追加が指示された場合(S601,YES)、提示部105は、図21に示す機器登録画面G3aにより、遠隔操作端末1と同一のLANに接続され、且つ未登録である機器3をユーザに対して提示する(S602)。なお、図21に示す機器登録画面G3aに含まれるアイコンC3及び確定ボタンB32の機能は、図11に示した機器登録画面と同様である。

0062

次に、管理部104は、登録すべき機器3が選択されたか否かを判定する(S603)。

0063

機器3が選択された場合(S603,YES)、選択された機器3に対応付けるべき領域種別について、上述した領域登録処理が実行される(S604)。次に、管理部104は、この領域登録処理により登録された領域種別と、選択された機器3と、この機器3を操作するための設定情報とを対応付けて登録する(S605)。

0064

一方、機器3が選択されない場合(S603,NO)、管理部104は、再度、登録すべき機器3が選択されたか否かを判定する(S603)。

0065

また、ステップS601において、機器3の追加が指示されない場合(S601,NO)、提示部105は、ユーザによる最後の操作がなされてからの経過時間が所定時間、例えば1時間以上であるか否かを判定する(S606)。

0066

経過時間が所定時間以上である場合(S606,YES)、機器登録処理が終了される。一方、経過時間が所定時間未満である場合(S606,NO)、提示部105は、再度、ユーザにより機器3の追加が指示されたか否かを判定する(S601)。

0067

このように、遠隔操作システムによる操作対象としての機器3を登録する際に、機器3が設置される場所についての環境情報に基づいて推定された領域種別と対応付けて登録することによって、機器3と設置場所との対応付けを容易に行うことができる。

0068

本実施の形態において、遠隔操作プログラムは上述した遠隔操作端末1の内部に予めインストールされているものとして記載したが、本発明における遠隔操作プログラムは記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ磁気ディスクハードディスクドライブ等)、光ディスクCD−ROMDVDディスク等)、光磁気ディスク(MO等)、フラッシュメモリ等、遠隔操作端末1に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した遠隔操作端末1としてのコンピュータ読み取りや実行が可能な全ての媒体をいう。

0069

発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0070

1遠隔操作端末
2推定装置
3機器
101 取得部
102 送信部
103 受信部
104管理部
105提示部
106遠隔操作部
201 受信部
202推定部
203 送信部
204 学習部
205学習モデル
206 教師データ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ