図面 (/)

技術 情報処理システム、情報処理方法及び情報処理装置

出願人 株式会社リコー
発明者 中村裕寺崎圭祐
出願日 2019年11月28日 (1年10ヶ月経過) 出願番号 2019-215650
公開日 2021年6月3日 (4ヶ月経過) 公開番号 2021-086445
状態 未査定
技術分野 音声入出力 音声認識
主要キーワード 空間設備 フィードバック対象 命令実行プログラム スマート家電 共有設備 補完対象 操作音声 フロア数
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年6月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

音声入力操作によって対象装置を使用する際の利便性を向上させる。

解決手段

音声情報を取得する情報入力装置と、情報入力装置とネットワークを介して接続され、情報入力装置で取得した音声情報を処理情報に変換して、対象装置に送信する情報処理装置と、を備えた情報処理システムであって、情報処理装置は、処理情報に変換する際に、前記処理情報を補完する補完手段を備える。

概要

背景

今日において、音声により機器操作を行うAI(AI:Artificial Intelligence)音声アシスタントが知られている。また、音声によって操作可能なスマート家電も知られており、音声入力操作の分野は今後も更なる成長が見込まれている。

例えば、音声入力操作の一例として、申込内容を構成する複数項目申込者音声入力によって入力する際に、申込者自身の求める順序希望内容を入力させる申込受付装置がある(特許文献1参照)。

概要

音声入力操作によって対象装置を使用する際の利便性を向上させる。音声情報を取得する情報入力装置と、情報入力装置とネットワークを介して接続され、情報入力装置で取得した音声情報を処理情報に変換して、対象装置に送信する情報処理装置と、を備えた情報処理システムであって、情報処理装置は、処理情報に変換する際に、前記処理情報を補完する補完手段を備える。

目的

本発明は、上述の課題に鑑みてなされたものであり、音声入力操作によって対象装置を使用する際の利便性を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

音声情報を取得する情報入力装置と、前記情報入力装置とネットワークを介して接続され、前記情報入力装置で取得した前記音声情報を処理情報に変換して、対象装置に送信する情報処理装置と、を備えた情報処理システムであって、前記情報処理装置は、前記処理情報に変換する際に、前記処理情報を補完する補完手段を備えることを特徴とする情報処理システム。

請求項2

前記情報処理装置は、前記補完手段が前記音声情報から前記処理情報に変換する際に、前記情報入力装置に対して情報の取得を促す取得制御手段をさらに備えることを特徴とする請求項1に記載の情報処理システム。

請求項3

前記処理情報に前記対象装置が管理する対象の予約を実行する予約実行命令を含み、前記補完手段は、前記予約実行命令に変換する際に、前記音声情報に前記予約を実行するための日時情報が含まれていない場合、前記情報処理装置が管理する日時情報が示す日時を起点にした所定の時間を、前記対象装置が管理する対象が予約される予約時刻に補完することを特徴とする請求項1又は2に記載の情報処理システム。

請求項4

前記補完手段は、前記所定の時間を、前記予約実行命令に含まれる予約開始時刻と前記対象装置が管理する他の対象の予約を実行する予約実行命令に含まれる予約開始時刻との差分から求めることを特徴とする請求項3に記載の情報処理システム。

請求項5

前記処理情報に前記対象装置が管理する対象の予約状況を確認する予約状況確認命令を含み、前記補完手段は、前記予約状況確認命令に変換する際に、前記音声情報に含まれる前記対象装置が管理する対象が予約不可能な場合、他に予約が可能な前記対象装置が管理する対象を、前記予約が不可能な対象に代えて補完することを特徴とする請求項1又は2に記載の情報処理システム。

請求項6

前記情報処理装置は、前記予約が不可能な前記対象装置が管理する対象に代えて補完した前記対象装置が管理する他の対象の予約状況を、前記情報入力装置に通知する通知手段を更に備えることを特徴とする請求項5に記載の情報処理システム。

請求項7

前記補完手段は、前記処理情報に変換する際に、前記対象装置が管理する対象を識別するリソース識別情報、前記情報入力装置を識別する装置識別情報及び前記情報入力装置を使用する使用者を識別する使用者識別情報を含む情報を用いて補完することを特徴とする請求項1乃至6のいずれか一項に記載の情報処理システム。

請求項8

前記情報入力装置は、マイクロホン部、撮像部及びスピーカ部のうち少なくとも一つを備えたスマートスピーカであることを特徴とする請求項1乃至7のいずれか一項に記載の情報処理システム。

請求項9

音声情報を取得する情報入力装置と、前記情報入力装置とネットワークを介して接続され、前記情報入力装置で取得した前記音声情報を処理情報に変換して、対象装置に送信する情報処理装置と、を備えた情報処理システムが実行する情報処理方法であって、前記音声情報を取得する取得ステップと、前記音声情報を処理情報に変換する変換ステップと、前記処理情報に変換する際に、前記処理情報を補完する補完ステップと、を含むことを特徴とする情報処理方法。

請求項10

音声情報を取得する情報取得手段と、前記情報取得手段で取得した音声情報を処理情報に変換する変換手段と、前記処理情報に変換する際に、前記処理情報を補完する補完手段と、前記補完した処理情報を対象装置に送信する送信手段と、を備えることを特徴とする情報処理装置。

技術分野

0001

本発明は、情報処理システム情報処理方法及び情報処理装置に関する。

背景技術

0002

今日において、音声により機器操作を行うAI(AI:Artificial Intelligence)音声アシスタントが知られている。また、音声によって操作可能なスマート家電も知られており、音声入力操作の分野は今後も更なる成長が見込まれている。

0003

例えば、音声入力操作の一例として、申込内容を構成する複数項目申込者音声入力によって入力する際に、申込者自身の求める順序希望内容を入力させる申込受付装置がある(特許文献1参照)。

発明が解決しようとする課題

0004

しかしながら、特許文献1に開示された発明においては、発話による音声入力で必要な項目を入力する場合に、すべての項目を音声入力する必要があり利便性を損なうという問題があった。

0005

本発明は、上述の課題に鑑みてなされたものであり、音声入力操作によって対象装置を使用する際の利便性を向上させることを目的とする。

課題を解決するための手段

0006

上述した課題を解決し、目的を達成するために、本発明は、音声情報を取得する情報入力装置と、情報入力装置とネットワークを介して接続され、情報入力装置で取得した音声情報を処理情報に変換して、対象装置に送信する情報処理装置と、を備えた情報処理システムであって、情報処理装置は、処理情報に変換する際に、前記処理情報を補完する補完手段を備える。

発明の効果

0007

本発明の実施の形態によれば、音声入力操作によって対象装置を使用する際の利便性を向上させることが可能になる。

図面の簡単な説明

0008

図1は、実施形態に係る入力操作システムの全体構成図である。
図2は、スマートスピーカハードウェア構成図である。
図3は、情報認識サーバ装置のハードウェア構成図である。
図4は、AIアシスタントサーバ装置のハードウェア構成図である。
図5は、づけ用DBで管理される各種テーブルデータの一例を示す図である。
図6は、管理装置のハードウェア構成図である。
図7は、管理情報の一例を示す図である。
図8は、実施形態に係る入力操作システムを構成する各装置の機能ブロック図である。
図9は、第1の実施の形態における処理の流れを示すシーケンス図である。
図10は、第1の実施の形態における情報の補完及び問合せ処理フローチャートである。
図11は、第2の実施の形態における処理の流れを示すシーケンス図である。
図12は、第2の実施の形態における情報の補完及び問合せ処理のフローチャートである。
図13は、他の実施形態に係る入力操作システムの全体構成図である。

実施例

0009

以下、情報処理システム、情報処理方法及び情報処理装置、の適用例となる入力操作システムの説明をする。

0010

〔システムの概略〕
図1は、実施形態に係る入力操作システムの全体構成図である。図1に示すように、第1の実施の形態の入力操作システム1は、スマートスピーカ2、情報認識サーバ装置3、AIアシスタントサーバ装置4、管理装置6及び1以上の会議室7を、例えばLAN(Local Area Network)等のネットワーク8を介して相互に接続することで形成されている。

0011

ここで、スマートスピーカ2は、音声入力によって、例えば、音楽動画などの各種コンテンツ天気ニュース等を視聴することを可能にする人工知能を搭載した機器である。また、スマートスピーカ2は、照明家電等の各種機器を遠隔操作する機能も備える。

0012

情報認識サーバ装置3は、スマートスピーカ2で得られた音声情報を受信し、テキストデータに変換し、ユーザの意図の変換する機能を備える。AIアシスタントサーバ装置4は、情報認識サーバ装置3と連携してスマートスピーカ2から得られた音声情報を処理する機能を備える。クラウドサービス装置5(又はAIアシスタントサーバ装置4)は、情報認識サーバ装置3及びAIアシスタントサーバ装置4を一つに纏めてネットワーク8を介して相互に接続し、AIアシスタントサーバ装置4から管理装置6に対して、外部リソースの一例である会議室7に予約命令や所定の処理の実行命令等を生成して送信する。管理装置6は、クラウドサービス装置5で生成された所定の処理の実行命令等を受信し、外部リソースの予約の状況を示す管理情報を管理する。また、管理装置6は、会議室7に対して所定の処理を実行する。

0013

なお、1以上のスマートスピーカ2は、情報入力装置の一例であり、クラウドサービス装置5は、情報処理装置の一例である。さらに、入力操作システム1は、情報処理システムの一例である。

0014

但し、上述したネットワーク8は有線LAN、無線LANのいずれで構成されてもよい。なお、スマートスピーカ2は、例えば、対話型の音声入力操作に対応したAIアシスタント機能を持つスピーカを指し、内蔵されているマイクやカメラ等で音声、画像等を認識し、情報の検索や連携家電の操作等を行う機器をいう。また、スマートスピーカ2は、入力操作システム1において1以上備えられていてもよい。なお、外部リソースとは、例えば、システムやネットワークで管理及び使用される種々の要素(会議室などの空間設備電子機器共有設備等の制御対象)を指すものとして説明する。

0015

スマートスピーカ2は、ユーザ(使用者ともいう)の発話による音声入力操作を受け付ける。また、スマートスピーカ2は、音声入力操作によって得られる情報に基づいて、外部リソースに対する予約処理や所定の処理の実行命令等(以下、所定の処理ともいう)を送信、実行する入力操作システム1における情報入力装置として機能する。さらに、スマートスピーカ2は、受け付けた音声入力操作に基づく音声データ(以下、音声情報ともいう)を、ネットワーク8を介して情報認識サーバ装置3(又はクラウドサービス装置5)に送信する。さらに、スマートスピーカ2は、受け付けた音声入力操作から得られる音声情報を補完するために、ユーザにフィードバックする機能を有してもよい。本発明の実施の形態では、上述した音声情報から外部リソースを管理する対象装置(管理装置)に対して所定の処理の実行命令が送信される場合について説明する。

0016

情報認識サーバ装置3は、スマートスピーカ2から送信された音声情報をテキストデータに変換する。なお、情報認識サーバ装置3は、第1サーバ装置に相当する。

0017

AIアシスタントサーバ装置4は、ネットワーク8を介して情報認識サーバ装置3と相互に接続されることで、上述したクラウドサービス装置5を構成する。

0018

但し、クラウドサービス装置5の機能の一部又は全部を、スマートスピーカ2又は管理装置6が有していてもよい。クラウドサービス装置5の機能の全部をスマートスピーカ2又は管理装置6が有している場合、入力操作システム1にクラウドサービス装置5は含まれていなくてもよい。このような場合、スマートスピーカ2はクラウドサービス装置5を介さずに管理装置6と通信してもよく、入力操作システム1は、スマートスピーカ2、管理装置6及び外部リソースを纏めた入力応答システム9を構築してもよい。また、管理装置6は、例えば1又は複数のサーバから構成される予約管理サーバ等でもよい。なお、本実施の形態では、会議室7などの外部リソースは、管理装置6によってその使用スケジュール等が管理される対象を示す。この場合、管理装置6は対象装置としての機能も担う。一方、外部リソースは、管理装置6を介さずに自らが所定の処理の実行命令等を受信して実行可能とする会議室等の空間設備であってもよいし、複合機プロジェクタ等の電子機器であってもよい。その場合は、管理装置6及び外部リソースのいずれか又は両方が対象装置として機能してもよい。

0019

上述したように、クラウドサービス装置5は、情報認識サーバ装置3とAIアシスタントサーバ装置4を含む場合について説明したが、情報認識サーバ装置3の機能の一部又は全部をAIアシスタントサーバ装置4が有していてもよいし、AIアシスタントサーバ装置4の機能の一部又は全部を情報認識サーバ装置3が有していてもよい。つまり、情報認識サーバ装置3とAIアシスタントサーバ装置4が互いの機能を補完し合う構成でもよい。また、クラウドサービス装置5は一つのサーバによって構成されていてもよいし、3以上のサーバによって構成されていてもよい。

0020

また、AIアシスタントサーバ装置4は、管理データベース401(以下、管理DB401という)及び紐づけ用データベース402(以下、紐づけ用DB402という)を備えている。管理DB401及び紐づけ用DB402は、例えば、クラウドサービス装置5がネットワーク8上に備えるHDD等の記憶部を用いることができる。このほか、管理DB401及び紐づけ用DB402のうち、一方又は両方を、ネットワーク8を介してクラウドサービス装置5でアクセス可能な別のサーバ装置に記憶してもよい。

0021

管理DB401には、例えば、テキストデータ、画像データ及び音声データ等、AIアシスタントサーバ装置4が提供するコンテンツ(データ)が記憶されている。

0022

なお、管理DB401で管理される情報は、例えば、ネットワーク8を介して接続されるクライアントPC又はクラウドサービス装置5によって新規追加又は変更することができる。図1では、管理DB401と管理装置6は別体として図示しているが、同一のサーバとして構成してもよい。この場合、後述する管理プログラムは、管理DB401に対して管理装置6に対する所定の処理の実行命令等を送信することによって、管理DB401が管理する各種情報を取得してもよい。

0023

一方、紐づけ用DB402には、例えば、各スマートスピーカ2を特定するための情報入力装置のデバイスIDと、各スマートスピーカ2に関連付けられた外部リソース(会議室A、会議室B、等)の機器IDとが関連付けられて記憶されている。この紐づけ用DB402の詳細については、後述する。

0024

AIアシスタントサーバ装置4は、例えば、情報認識サーバ装置3によって変換されたユーザの意図(会議室7の予約実行命令等)を解析し、AIアシスタントサーバ装置4に事前登録されたユーザの情報に基づいて管理装置6に送信する情報を補完する。AIアシスタントサーバ装置4は、変換した予約実行命令等を、ネットワーク8を介して管理装置6に送信する。ここで、予約実行命令は、例えば、ユーザがスマートスピーカ2を介して音声入力操作により与えられた予約指示に基づいて生成されるものである。なお、AIアシスタントサーバ装置4は、第2サーバ装置に相当する。

0025

本実施の形態では、管理DB401及び紐づけ用DB402は、AIアシスタントサーバ装置4に含まれることを例示しているが、それぞれAIアシスタントサーバ装置4と別に設けられてもよいし、いずれか一方がAIアシスタントサーバ装置4に含まれ、他方がAIアシスタントサーバ装置4と別に設けられてもよい。

0026

管理装置6は、例えば、AIアシスタントサーバ装置4から送信された外部リソースに対する予約実行命令に基づいて外部リソースの予約の状況を示す管理情報を記憶及び更新する。また、管理装置6は管理情報に基づいて、所定の処理の実行命令等を対象の会議室7に対して実行する。なお、AIアシスタントサーバ装置4(又はクラウドサービス装置5)と管理装置6との通信は、上述したネットワーク8を介して接続される。

0027

さらに、管理装置6は対象装置としても機能し、例えば、各種外部リソースを管理する。また、各種外部リソースは、本実施の形態では、会議室7などの空間設備や建物等の設備リソースを含む。つまり、管理装置6は、リソース毎にどのようなユーザがどのような時間で予約等をしているかを示す管理情報を含む情報を記憶、管理する。なお、管理装置6が記憶、管理する管理情報は、ネットワーク8を介して接続されるクライアントPC等から閲覧及び編集できてもよい。さらに、管理情報は、クライアントPC又はクラウドサービス装置5によって新規追加、変更等がされてもよい。つまり、管理装置6はクライアントPC等から外部リソースの予約を取得し、管理情報を編集することができる。同一の外部リソースに対して、スマートスピーカ2から予約を受け付けた場合と、クライアントPCから予約を受け付けた場合とで、予約が重複しないように管理情報を編集する。つまり、AIアシスタントサーバ4が参照する管理情報とクライアントPCから参照する管理情報は同一の管理情報である。

0028

本実施の形態では、上述したように、情報認識サーバ装置3及びAIアシスタントサーバ装置4の二つのサーバ装置を一つに纏めたクラウドサービス装置5として説明する。但し、情報認識サーバ装置3、AIアシスタントサーバ装置4のそれぞれは、さらに複数のサーバ装置に分けて実現されてもよい。

0029

〔ハードウェア構成〕
<スマートスピーカのハードウェア構成>
図2は、スマートスピーカのハードウェア構成図である。情報入力装置の一例であるスマートスピーカ2は、図2に示すようにCPU21、RAM22、ROM23、インターフェイス部(I/F部)24及び通信部25を含むハードウェア資源を、内部バス26を介して相互に接続される。

0030

CPU21は、スマートスピーカ2全体を統括制御する制御デバイスである。

0031

RAM22は、例えば、ROM23等に記憶された各種プログラムダウンロードされ、CPU21によって各種処理が実行されるワークエリアとしての機能を有する。

0032

ROM23には、操作音声処理プログラム、及びその他の各種プログラムを構成するデータが記憶されている。CPU21は、これらの処理プログラムを実行することで、会議室7に対する音声入力操作等による処理を可能とする。また、CPU21は、クラウドサービス装置5から取得したデータのタッチパネル27への表示制御、スピーカ部28を介したフィードバックのための音声出力制御画像出力制御等を実行する。

0033

I/F部24には、タッチパネル27、スピーカ部28、マイクロホン部29及び撮像部(カメラ部)30が接続される。

0034

通信部25は、ユーザによる音声入力操作等によって得られた情報を、ネットワーク8を介して情報認識サーバ装置3に送信する。また、通信部25は、ネットワーク8を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。

0035

内部バス26は、CPU21、RAM22、ROM23、I/F部24及び通信部25を接続する汎用バスである。この内部バス26は、スマートスピーカ等の汎用機器で一般的に用いられるバスであればその種類は問わない。

0036

タッチパネル27は、例えば、液晶表示部(LCD:Liquid Crystal Display)とタッチセンサとが一体的に形成されたものである。タッチパネル27は、液晶表示部上に配置されたタッチキー等に対してユーザがタッチ動作等を行うことによって、所望の動作が指定される。

0037

スピーカ部28は、ユーザに対して、不足する情報の入力等を促すための音声による音声フィードバックを行う。

0038

マイクロホン部29は、例えば、会議室7を音声入力操作等によって予約するためにユーザによって与えられた音声情報を取得する。取得された音声情報は、通信部25を介して情報認識サーバ装置3に送信され、情報認識サーバ装置3でテキストデータに変換される。

0039

撮像部(カメラ部)30は、スマートスピーカ2を使用するユーザ及びその他の画像等を撮影する。撮影された画像等は、動画像データ若しくは静止画像データ(以下、単に画像データと呼ぶ)として通信部25を介して情報認識サーバ装置3に送信される。

0040

<情報認識サーバ装置のハードウェア構成>
図3は、情報認識サーバ装置のハードウェア構成図である。
情報認識サーバ装置3は、図3に示すように、CPU31、RAM32、ROM33、HDD(Hard Disk Drive)34、インターフェイス部(I/F部)35及び通信部36を含むハードウェア資源を、内部バス37を介して相互に接続される。また、I/F部35には、表示部38及び操作部39が接続される。

0041

HDD34には、以下の操作音声変換プログラムを含む各種プログラムを構成するデータが記憶されている。

0042

なお、操作音声変換プログラムは、例えば、スマートスピーカ2から受信した音声情報をテキストデータに変換する。続いて、変換したテキストデータを予め定義された辞書情報と一致するか否かを判断する。辞書情報と一致するか否かの判断において、各プログラムは、辞書情報と一致した場合にはテキストデータをユーザの意図を示すインテント
Intent)及び所定の処理の実行条件などの変数を示すパラメータに変換する。その後、操作音声変換プログラム等は、ユーザの意図を示すインテント及び所定の処理の実行条件などの変数を示すパラメータを、AIアシスタントサーバ装置4に送信する。

0043

CPU31は、操作音声変換プログラムを含む各種プログラムを実行する。また、CPU31は、ユーザから与えられた音声情報に基づく指示内容解釈するためのプログラムである操作解釈プログラムを実行することで、情報認識サーバ装置3で生成(変換)されたテキストデータから、ユーザにより与えられた指示内容を解釈する。つまり、情報認識サーバ装置3は、ユーザから与えられた音声情報に基づいて、所定の指示内容を解析する装置として機能する。

0044

なお、操作音声変換プログラム及び操作解釈プログラムは、一つのサーバ装置で実行されてもよいし、それぞれ異なるサーバ装置で実行されてもよい。さらに、複数のサーバ装置の連携によって、これらのプログラムが実行されてもよい。

0045

RAM32は、例えば、ROM33等の記憶部に記憶された各種プログラムがダウンロードされ、CPU31によって各種処理が実行されるワークエリアとしての機能を有する。

0046

ROM33には、HDD34に記憶された各種プログラム以外のその他のプログラムを構成するデータが記憶されている。CPU31は、ROM33に記憶された各種プログラムを実行することで、スマートスピーカ2及びAIアシスタントサーバ装置4との間の制御を行ってもよい。

0047

I/F部35には、表示部38及び操作部39が接続される。

0048

通信部36は、ユーザからの音声入力操作等によって得られた音声情報をスマートスピーカ2から受信する。また、通信部36は、ネットワーク8を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。

0049

内部バス37は、CPU31、RAM32、ROM33、HDD34、I/F部35及び通信部36を接続する汎用バスである。この内部バス37は、情報認識サーバ装置3がサーバ装置としての機能が実現できるものであれば、その種類は問わない。

0050

表示部38は、例えば、液晶表示部(LCD:Liquid Crystal Display)で構成され、例えば、情報認識サーバ装置3の各種状態を表示する。

0051

操作部39は、例えば、液晶表示部とタッチセンサとが一体的に形成された、いわゆるタッチパネルである。操作者(使用者)は、操作部39を用いて所望の動作の実行命令を行う場合、操作部39に表示された操作ボタンソフトウェアキー)等を接触操作することで、所望の動作を指定する。

0052

また、操作音声処理プログラムは、インストール可能な形式または実行可能な形式のファイルCD−ROMフレキシブルディスクFD)などのコンピュータ装置読み取り可能な記録媒体に記録して提供してもよい。また、CD−R、DVD(Digital Versatile Disk)、ブルーレイディスク登録商標)、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、情報認識サーバ装置3のROM等の記憶部に予め組み込んで提供してもよい。

0053

<AIアシスタントサーバ装置のハードウェア構成>
図4は、AIアシスタントサーバ装置のハードウェア構成図である。AIアシスタントサーバ装置4は、図4に示すように、CPU41、RAM42、ROM43、HDD44、インターフェイス部(I/F部)45及び通信部46を含むハードウェア資源を、内部バス47を介して相互に接続している。I/F部45には、表示部48及び操作部49が接続されている。

0054

HDD44には、AI記憶部40、管理プログラム、音声アシスタントプログラム、上述した管理DB401及び紐づけ用DB402を構成するデータが記憶されている。

0055

管理プログラムは、例えば、後述するインテントとパラメータに基づいて管理装置6が解釈可能なデータに変換した上でAIアシスタントサーバ装置4から管理装置6又はMFP等の対象装置に送信するためのプログラムである。

0056

音声アシスタントプログラムは、情報認識サーバ装置3で実行される操作音声変換プログラムとともに、例えば、ユーザによって与えられた音声情報をテキスト化し、辞書情報を用いてテキスト化した内容を解釈する処理を実行する。

0057

HDD44のAI記憶部40には、ユーザが音声入力により指示する所定の処理の実行命令を解釈するための辞書情報が記憶されている。この辞書情報には、後述するエンティティ(Entity)情報、アクション(Action)情報及びインテント(Intent)情報が含まれる。また、HDD44には、以下に示すユーザ管理テーブル402a、管理装置紐づけテーブル402b及びリソース管理テーブル402cがそれぞれ記憶されている。これらのテーブルは、予め所定の設定値が与えられているが、適宜追加や変更等が行われてもよい。ユーザ管理テーブル402a、管理装置紐づけテーブル402b及びリソース管理テーブル402cの概要については後述する。

0058

(各種テーブルデータ)
図5は、紐づけ用DBで管理される各種テーブルデータの一例を示す図である。AIアシスタントサーバ装置4のHDD44等の記憶部には、図5に示すユーザ管理テーブル402a、管理装置紐づけテーブル402b及びリソース管理テーブル402cによって構成された紐づけ用DB402が構築されている。

0059

ユーザ管理テーブル402aは、例えば、情報入力装置(スマートスピーカ2)のデバイスID毎にユーザ(使用者)を識別する使用者識別情報の一例であるユーザID及びユーザ名が関連付けられて管理されている。ここで、情報入力装置のデバイスIDは、スマートスピーカ2を識別するためのデバイス識別情報の一例である。つまり、デバイスIDは、情報入力装置を識別する装置識別情報の一例である。また、ユーザID及びユーザ名は、情報入力装置を使用するユーザを特定するための情報である。例えば、デバイスIDとして「ud1001」を有するスマートスピーカ2から予約の指示が与えられた場合、そのデバイスIDに関連付けられる情報入力装置のデバイスIDは、「ud0001」である。なお、スマートスピーカ2からユーザ名又はユーザIDを取得可能な場合、ユーザ管理テーブル402aは与えられなくてもよい。

0060

また、管理装置紐づけテーブル402bは、例えば、情報入力装置(スマートスピーカ2)のデバイスID毎に管理装置ID及び接続情報が関連付けられて管理されている。ここで、管理装置IDは、管理装置6を特定するための情報である。外部リソースを管理するためのサービスが複数ある場合、ユーザは所望のサービスを選択することができる。つまり、AIアシスタントサーバ装置4は、ユーザが使用するスマートスピーカ2と所望のサービスを提供する管理装置とを対応付けて、以下に説明するリソース管理テーブル402cに予め記憶することができる。例えば、デバイスIDとして「ud1001」を有するスマートスピーカ2から予約の指示が与えられた場合、そのデバイスIDと関連付けられる管理装置6の管理装置IDは「k0001」である。また、このときの管理装置6にアクセスするための情報であるアドレス又はURLを示す接続情報は、例えば、「AAAA」である。上述した管理装置紐づけテーブル402bに加えて、管理装置6にアクセスするためのアカウント情報及びパスワードを紐づけて記憶してもよい。

0061

さらに、リソース管理テーブル402cは、情報処理システムの一例である入力操作システム1で用いられる紐づけ用DB402で管理されるデータテーブルの一例である。外部リソースの外部リソースIDは、上述した外部リソースを識別するためのリソース識別情報の一例である。また、外部リソース名は、ユーザが使用するスマートスピーカ2によって予約や所定の処理の実行命令が実行される空間設備又は電子機器等の装置名である。この外部リソース名には、例えば、会議室、応接室レンタカータクシー及びレンタルバイク等が与えられる。備品リソースのリソースIDは、上述した備品リソースを識別するための備品リソース識別情報の一例である。さらに、備品リソース名は、外部リソースに付帯して使用される備品名である。この備品リソース名には、例えば、プロジェクタ、電子黒板(IWB:Interactive White Board。以下、単にIWBともいう)、ネットワークテレビ、スピーカ、チャイルドシート及びドライブレコーダ等が与えられる。このように、リソース管理テーブル402cは、情報入力装置(スマートスピーカ2)のデバイスID毎に、外部リソースID、外部リソース名、備品リソースID及び備品リソース名がそれぞれ関連付けられて管理されている。

0062

リソース管理テーブル402cにおいて、例えば、デバイスIDとして「ud1001」を有するスマートスピーカ2から予約指示された外部リソース名は、「会議室A」であり、その外部リソースIDは、「r0001」である。また、会議室Aに備えられる備品リソースとしては「プロジェクタ1」があり、その「プロジェクタ1」の備品リソースIDとして「ro0011」が関連付けられて管理、登録されている。以下、詳細な説明は省略するが、図5に示したリソース管理テーブル402cは、情報入力装置のデバイスIDと外部リソースのリソースIDとが関連付けられている。すなわち、紐づけ用DB402には、各スマートスピーカ2と外部リソース、備品リソース等を特定できるように、各スマートスピーカ2のデバイスIDと外部リソースのリソースID及び各外部リソースに設置されている備品リソースのリソースIDとがそれぞれ関連付けられて記憶されている。なお、図5に示したそれぞれのIDの種類や値は一例であり、上述した内容に限らない。さらに、リソース管理テーブル402cは、未登録の新たなユーザのユーザID及びそのユーザが使用する情報入力装置のデバイスID、並びにそのユーザが指定した外部リソースのリソースIDをそれぞれ関連付けて、新たに追加登録されてもよい。

0063

図4の説明に戻る。CPU41は、解釈結果を外部リソースの予約実行命令、所定の処理の実行命令等のデータに変換してネットワーク8を介して管理装置6に送信する。なお、ユーザから指示された意図は、例えば、会議室等の外部リソースの予約、会議室等の鍵の施錠及び開錠の信号、照明器具点灯及び消灯の信号、所定の処理の実行命令、等を含む。このようにして、スマートスピーカ2を介して入力された音声情報により、管理装置6に所定の要求を送信することができる。

0064

RAM42は、例えば、HDD44等の記憶部に記憶された各種プログラムがダウンロードされ、CPU41によって各種処理が実行されるワークエリアとしての機能を有する。

0065

ROM43には、例えば、HDD44に記憶されたプログラム以外の各種プログラムを構成するデータが記憶されている。

0066

またAIアシスタントサーバ装置4は、HDD44に管理DB401及び紐づけ用DB402を備えている。

0067

管理DB401には、例えば、AIアシスタントサーバ装置4がクラウドサービス装置5として提供するコンテンツを示すテキストデータ、画像データ及び音声データ等が記憶されている。

0068

また、紐づけ用DB402には、例えば、スマートスピーカ2が複数用いられることを想定して、例えば、各スマートスピーカ2を特定する各デバイスIDと管理装置6の管理装置IDとが関連付けて記憶されている。これにより、ユーザは、複数の管理装置6が存在する場合でも、スマートスピーカ2のユーザが利用する管理装置6を特定し、外部リソースの予約を行うことができる。なお、紐づけ用DB402の機能は、管理装置6を特定することができればよく、管理装置IDに代えて管理装置6にアクセスするためのURL情報などであってもよい。

0069

なお、管理DB401及び紐づけ用DB402としては、クラウドサービス装置5がネットワーク8上に有するHDD等の記憶部を用いることができる。この他、管理DB401及び紐づけ用DB402のうち、一方又は両方を、ネットワーク8を介してクラウドサービス装置5でアクセス可能な別のサーバ装置に記憶してもよい。

0070

I/F部45には、表示部48及び操作部49が接続される。

0071

通信部46は、情報認識サーバ装置3及び管理装置6に対するデータの送受信を、ネットワーク8を介して行う。また、通信部46は、ネットワーク8を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。

0072

内部バス47は、CPU41、RAM42、ROM43、HDD44、I/F部45及び通信部46を接続する汎用バスである。この内部バス47は、AIアシスタントサーバ装置4がサーバ装置の機能が実現できるものであれば、その種類は問わない。

0073

表示部48は、例えば、液晶表示部(LCD:Liquid Crystal Display)で構成され、例えば、AIアシスタントサーバ装置4の各種状態を表示する。

0074

操作部49は、例えば、液晶表示部とタッチセンサとが一体的に形成された、いわゆるタッチパネルである。操作者(使用者)は、操作部39を用いて所望の動作の実行命令を行う場合、操作部49に表示された操作ボタン(ソフトウェアキー)等を接触操作することで、所望の動作を指定する。

0075

<クラウドサービス装置のハードウェア構成>
クラウドサービス装置5は、上述したように、例えば、情報認識サーバ装置3及びAIアシスタントサーバ装置4を纏めたもので、スマートスピーカ2及び管理装置6とそれぞれネットワーク8を介して接続される。クラウドサービス装置5を構成するハードウェア構成は、情報認識サーバ装置3及びAIアシスタントサーバ装置4で説明したとおりである。

0076

<管理装置のハードウェア構成>
図6は、管理装置のハードウェア構成図である。管理装置6は、図6に示すように、CPU61、RAM62、ROM63、HDD64、インターフェイス部(I/F部)65及び通信部66を含むハードウェア資源を、内部バス67を介して相互に接続している。また、I/F部65には、表示部68及び操作部69が接続されている。

0077

CPU61は、管理装置6全体を統括制御する制御デバイスである。

0078

RAM62は、例えば、ROM63等に記憶された各種プログラムがダウンロードされ、CPU61によって各種処理が実行されるワークエリアとしての機能を有する。

0079

ROM63には、例えば、管理装置6自身を制御するプログラムを構成するデータが記憶されている。CPU61は、この管理装置6自身を制御するプログラムを実行することで、例えば、クラウドサービス装置5(又はAIアシスタントサーバ装置4)との通信制御等を実行する。

0080

HDD64は、命令実行プログラムを構成するデータが記憶されている。CPU61は、この命令実行プログラムを実行することで、例えば、外部リソースの一例である会議室7の予約処理等を実行する。また、HDD64には、外部リソースの予約状況を示す管理情報が記憶されている。

0081

I/F部65には、表示部68及び操作部69が接続される。

0082

通信部66は、クラウドサービス装置5(又はAIアシスタントサーバ装置4)からの所定の処理の実行命令等を受信する。また、所定の処理の実行命令等を、対象装置に対してネットワーク8を介して送信する。

0083

内部バス67は、CPU61、RAM62、ROM63、HDD64、I/F部65及び通信部66を接続する汎用バスである。この内部バス67は、管理装置6が命令実行プログラム等を実行することができるものであれば、その種類は問わない。

0084

(管理情報)
図7は、管理情報の一例を示す図である。管理装置6のHDD64等の記憶部には、図7に示す予約管理テーブル601が記憶されている。この予約管理テーブル601は、管理情報の一例である。但し管理情報は、AIアシスタントサーバ装置4の紐づけ用DB402を構築するデータから構築されていてもよい。

0085

この管理情報では、図7のように、外部リソースの種類毎に管理装置が割り当てられてそれぞれの外部リソースの予約状況が記憶されている。予約状況は、日時別にその外部リソースが予約されているか否か、予約されている場合には、いずれのユーザが予約をしたかを示す情報が外部リソースIDとユーザIDを含む情報と関連付けて管理されている。図7に示した管理情報では、一例として、外部リソースが予約されている場合にはその外部リソースを予約したユーザのユーザID及びユーザ名が記憶され、予約されていない場合にはそれぞれ「空き」のテキストデータが記憶されている。但し、これに限定されず、管理情報は、予約されている場合にはユーザ名に代えてユーザIDだけが記憶されていてもよいし、予約対象となる外部リソースに関連付けられたフラグデータが記憶されていてもよい。さらに、管理情報は、外部リソースが予約されていない場合は空欄や「−」のテキストデータの記憶がされてもよい。さらに、管理情報は、外部リソース毎に実行命令が対応付けて記憶されておいてもよい。例えば、図7では、管理装置6は、2019/01/01 9:00の時点で会議室Aに備えられた空調機エアコン)を起動し、2019/01/01 10:00の時点で会議室の電灯を点灯して扉を開錠するように会議室Aに対して要求を行うことができる。

0086

なお、管理情報は、未登録の新たなユーザのユーザID及びそのユーザが使用する情報入力装置(スマートスピーカ2)のデバイスIDを関連付けて、新たに追加登録されるようにしてもよい。

0087

機能構成
<入力操作システムの機能構成>
図8は、実施形態に係る入力操作システムを構成する各装置の機能ブロック図である。入力操作システム1は、図1に示したように、スマートスピーカ2、情報認識サーバ装置3、AIアシスタントサーバ装置4、クラウドサービス装置5(情報認識サーバ装置3及びAIアシスタントサーバ装置4を纏めたもの)、管理装置6及び会議室7がそれぞれネットワーク8を介して接続されている。

0088

<スマートスピーカの機能構成>
スマートスピーカ2は、クラウドサービス装置5を構成する情報認識サーバ装置3及びAIアシスタントサーバ装置4との間で、例えば音声データ、画像データ及びテキストデータ等のデータ通信を行う。

0089

図2に示したスマートスピーカ2のCPU21は、ROM23等の記憶部に記憶された操作音声処理プログラム等をRAM22に展開して実行することで、例えば、通信制御部251、取得部252、フィードバック部253、記憶・読出処理部254(以下、通信制御部251〜記憶・読出処理部254とも記載する)として機能又は機能する手段を構成する。

0090

次に、スマートスピーカ2の各機能構成について説明する。

0091

通信制御部251は、ネットワーク8を介してスマートスピーカ2と情報認識サーバ装置3又はクラウドサービス装置5との間の通信を制御し、各種データ又は情報の送受信を行う。その際、通信制御部251は、スマートスピーカ2の通信部25を制御して各種データ又は情報の送受信を行う。通信制御部251は、次に説明する取得部252が取得した当該スマートスピーカ2に対してユーザが行った所定の操作及び指示等に基づく情報を情報認識サーバ装置3(又はクラウドサービス装置5)に送信する。また、通信制御部251は、フィードバックのために、クラウドサービス装置5からテキストデータ、画像データ、音声データ等を取得する。さらに、通信制御部251は、ユーザが行った所定の操作及び指示等に係る情報を情報認識サーバ装置3(又はクラウドサービス装置5)に送信する際に、スマートスピーカ2を特定するデバイスIDもあわせて送信する。

0092

上述したように、通信制御部251は、スマートスピーカ2がLAN等のネットワーク8を介して接続される他の装置との通信を制御する。この通信を行う際の通信方式は、例えば、一般的にLANで使用されるEthernet(登録商標)等の通信プロトコルが用いられる。この通信制御部については、後述する情報認識サーバ装置3、AIアシスタントサーバ装置4、クラウドサービス装置5、管理装置6及び会議室7が有する各通信制御部についても同様の機能を有する。

0093

取得部252は、音声情報取得手段の一例である。取得部252は、マイクロホン部29を介して集音されたユーザの音声入力操作に伴う指示音声を取得する。また、取得部252は、ユーザによるタップ操作又は物理スイッチの押下などの指示操作を取得してもよい。つまり、取得部252は、指示音声及び指示操作を含む所定の指示を表す情報のうち少なくとも一つを取得する。ここで、所定の指示を表す情報は、指示情報に相当する。なお、ユーザの指示音声には、例えば、外部リソースの一例である会議室7等の各種外部リソースを予約するための実行命令や各種処理を実行するための実行命令を生成するための情報が含まれる。

0094

取得部252は、上述した操作音声処理プログラムを実行することで、ユーザによって与えられた音声情報を取得して情報認識サーバ装置3(又はクラウドサービス装置5)に送信する。さらに取得部252は、フィードバック部253と協働して、クラウドサービス装置5から取得したデータ(音声データ及びテキストデータ等)を、タッチパネル27に表示するか、又はスピーカ部28を介して音声出力してユーザに通知する。なお、タッチパネル27は、スマートスピーカ2と一体で構成されていてもよいし、別々に構成されていてもよい。スマートスピーカ2と別々に構成される場合、タッチパネル27は、スマートスピーカ2と行う無線通信等に必要な無線通信インターフェイスを備えておけばよい。

0095

フィードバック部253は、ユーザによって与えられた音声情報に基づいて外部リソースの予約や所定の処理を行う場合、必要に応じてスマートスピーカ2がユーザに対して応答するように機能する。このフィードバック部253によって、本実施の形態は対話型システムを実現している。また、この対話型システムにおける音声入力操作等を実現するため、フィードバック部253は、例えば、ユーザによって与えられた音声データに基づく指示内容に対して不足するデータを補うために音声のフィードバックを行う。さらに、フィードバック部253は、タッチパネル27の画面への表示により、フィードバック対象のテキスト及び音声をユーザに提供してもよい。なお、フィードバック部253による対話型動作及びフィードバックの詳細については、後述する。

0096

記憶・読出処理部254は、例えば、ROM23に各種データを記憶したり、ROM23に記憶された操作音声処理プログラム等の各種データを読み出したりする処理を行う。

0097

なお、本実施の形態では、通信制御部251〜記憶・読出処理部254は、ソフトウェアで実現されてもよい。また、通信制御部251〜記憶・読出処理部254は、他のプログラムに処理の一部を実行させ、又は他のプログラムを用いて間接的に処理を実行させてもよい。さらに、通信制御部251〜記憶・読出処理部254は、一部又は全部を、IC(IntegratedCircuit)等のハードウェアで実現されてもよい。

0098

<情報認識サーバ装置の機能構成>
情報認識サーバ装置3は、スマートスピーカ2から受信した音声情報を解析し、テキストデータへ変換する。また、テキストデータとAIアシスタントサーバ装置4から取得した辞書情報とに基づいてユーザの意図を解釈し、解釈結果をAIアシスタントサーバ装置4に送信する。

0099

情報認識サーバ装置3のCPU31は、スマートスピーカ2を介してユーザによって与えられた音声情報に応じて、HDD34等の記憶部に記憶された操作音声変換プログラムをRAM32に展開して実行する。この操作音声変換プログラムの実行により、CPU31は、例えば、通信制御部351、取得部352、テキスト変換部353、解釈部354、出力部355、提供部356及び記憶・読出処理部357(以下、通信制御部351〜記憶・読出処理部357とも記載する)として機能又は機能する手段を構成する。

0100

次に、情報認識サーバ装置3の各機能構成について説明する。通信制御部351は、ネットワーク8を介してスマートスピーカ2又はAIアシスタントサーバ装置4との間の通信を制御し、各種データ又は情報の送受信を行う。具体的には、通信制御部351は、ユーザによって与えられた音声データの受信及び情報入力装置2に対するテキストデータの送信等を行うように、情報認識サーバ装置3の通信部36を制御する。

0101

取得部352は、情報入力装置2から送信される所定の操作及び指示等に基づく情報を取得する。また、取得部352は、スマートスピーカ2のタッチパネル、ボタン又はスイッチ等のユーザ操作に基づく情報を取得してもよい。

0102

テキスト変換部353は、音声認識手段の一例であり、ユーザによって与えられた音声データをテキストデータに変換する。

0103

解釈部354は、テキストデータに基づいて、ユーザからの指示を解釈する。具体的には、解釈部354は、AIアシスタントサーバ装置4で実行される音声アシスタントプログラムから提供された辞書情報に基づいて、テキストデータに含まれる単語などが辞書情報と一致しているか否かを判断する。そして、辞書情報と一致している場合には、解釈部354は、ユーザの意図を示すインテントと所定の処理の実行条件などの変数を示すパラメータに変換する。解釈部354は、インテント及びパラメータをAIアシスタントサーバ装置4のHDD44等の記憶部に記憶されている管理プログラムに対して送信する。このとき、解釈部354は、音声データを取得したデバイスを特定するためのスマートスピーカ2のデバイスIDも共に、AIアシスタントサーバ装置4に送信する。

0104

出力部355は、スマートスピーカ2に対するテキストデータ、音声データ、画像データなどのデータの送信等を行うように、通信部36を制御する。

0105

さらに、CPU31は、HDD34等の記憶部に記憶された操作音声変換プログラムを実行することで、提供部356として機能する。

0106

記憶・読出処理部357は、例えば、ROM33又はHDD34に記憶された操作音声変換プログラムを含む各種プログラムを構成するデータの読出し処理を行う。

0107

なお、本実施の形態では、通信制御部351〜記憶・読出処理部357は、ソフトウェアで実現されてもよい。また、通信制御部351〜記憶・読出処理部357は、他のプログラムに処理の一部を実行させ、又は他のプログラムを用いて間接的に処理を実行させてもよい。例えば、操作音声変換プログラムが実行されることにより機能する解釈部354の機能の一部又は全てを、音声アシスタントプログラムに実行させてもよい。これらの場合、例えば、テキストデータに含まれる単語などが辞書情報と一致しているか否かの判断、及び辞書情報と一致している場合にユーザの意図を示すインテントと所定の処理の実行条件などの変数を示すパラメータへの変換は、音声アシスタントプログラム等の音声アシスタントアプリに実行させてもよい。さらに、解釈部354は、インテント及びパラメータを音声アシスタントプログラム等から取得するものとしてもよい。さらに、通信制御部351〜記憶・読出処理部357のうち、一部又は全部を、IC(IntegratedCircuit)等のハードウェアで実現してもよい。

0108

また、上述した例では、提供部356をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、IC(IntegratedCircuit)等のハードウェアで実現してもよいこと等は、上述の他のプログラムと同様である。

0109

<AIアシスタントサーバ装置の機能構成>
AIアシスタントサーバ装置4は、例えば、情報認識サーバ装置3で実行された操作音声変換プログラム等によって得られたインテント、パラメータ及びスマートスピーカ2のデバイスID等を取得して、後述する各機能の処理を行う。

0110

また、AIアシスタントサーバ装置4は、情報認識サーバ装置3から受信した解釈結果を、管理装置6で解釈可能な形式である外部リソースに対する予約実行命令等のデータに変換する。その後、AIアシスタントサーバ装置4は、変換した予約実行命令等のデータを対象装置としての管理装置6に送信する。会議室7等の外部リソースでは、管理装置6から送信される予約実行命令等にしたがって所定の処理が実行される。なお、AIアシスタントサーバ装置4は、管理装置6に予約実行命令を送信する以外に、例えば、各種外部リソースを管理する管理装置6に対して、会議室7等の各種外部リソースで実行される処理の実行命令等を送信してもよい。

0111

AIアシスタントサーバ装置4のCPU41は、HDD44等の記憶部に記憶された管理プログラムをRAM42に展開して実行する。CPU41は、この管理プログラムを実行することで、例えば、通信制御部451、取得部452、解釈結果変換部453、補完部454、実行指示部455、実行判定部456、機器情報取得部457、通知部458、管理部459、検索部460及び記憶・読出処理部461(以下、通信制御部451〜記憶・読出処理部461とも記載する)として機能又は機能する手段を構成する。

0112

次に、AIアシスタントサーバ装置4の各機能構成について説明する。通信制御部451は、ユーザの情報入力装置2に対する解釈結果の送信、及びユーザによって与えられた音声データ等に係るテキストデータの受信等を行うように通信部46を制御する。

0113

取得部452は、情報認識サーバ装置3から送信されるインテント、パラメータ及びスマートスピーカ2(情報入力装置)のデバイスID等を取得する。

0114

解釈結果変換部453は、操作音声変換プログラム等で変換されたインテント及びパラメータなどの解釈結果を、対象装置としての管理装置6が解釈可能な予約実行命令や所定の処理の実行命令等に変換する。この解釈結果変換部453は、AIアシスタントサーバ装置4で実行される管理プログラムの機能の一つである。また、管理装置6が解釈可能な予約実行命令や所定の処理の実行命令は、処理情報の一例である。

0115

補完部454は、解釈結果変換部453によって変換される実行命令等に対して、ユーザ管理テーブル402a、管理装置紐づけテーブル402b及びリソース管理テーブル402cのうち少なくとも一つを参照して、会議室7の予約に必要な情報を補完する機能を有する。この会議室7の予約に必要な情報とは、例えば、会議室の予約実行命令の変換に必要な情報である。

0116

実行指示部455は、解釈結果変換部453で変換された予約実行命令や所定の処理の実行命令等を、外部リソースを管理する対象装置(管理装置6)に送信して、命令の実行を指示する。つまり、実行指示部454は、ユーザが使用したスマートスピーカ2を特定するデバイスIDに関連付けられている管理装置6を紐づけ用DB402から検索し、管理装置6に対してインテント及びパラメータと共に予約実行命令や所定の実行命令等を送信する。また、実行指示部455は、ユーザが使用したスマートスピーカ2を特定するデバイスIDに関連付けられている会議室7を紐づけ用DB402から検索し、会議室7を管理する管理装置6に対して、インテント及びパラメータと共に予約実行命令や所定の処理の実行命令等を送信してもよい。

0117

機器情報取得部457は、例えば、管理装置6と会議室7との通信接続確立されているか否かを示す接続状態、会議室7の電源オンオフ等に係る電力使用状態、会議室7のドア施錠状態及び開錠状態等の機器情報を取得する。なお、機器情報取得部457は、会議室7を含む複数の外部リソースから取得した機器情報を、各外部リソースを特定するリソースID等と関連付けてHDD44等の記憶部に記憶して管理する。この機器情報の記憶先は、紐づけ用DB402を構築する後述するユーザ管理テーブル402a、管理装置紐づけテーブル402b及びリソース管理テーブル402c並びに管理装置6で記憶、管理される予約管理テーブル601のうちのいずれでもよい。また、機器情報取得部457が取得した情報は管理装置のHDD64に記憶してもよい。また、機器情報所得部457は管理装置6が有していてもよい。

0118

実行判定部456は、取得した機器情報で示される会議室7の状態と、ユーザから指定された予約指示や所定の処理内容とを比較することで、ユーザから指定された予約指示や所定の処理の実行命令を会議室7で実行可能か否かを判断する。ユーザから指定された予約指示や所定の処理内容は、例えば、ユーザから指示された時間帯に当該会議室が使用可能か否かの判断処理、当該会議室の施錠を解除できるように所定のカード等を発行する処理及び当該会議室の照明や空調の調整を参加人数に応じて調整する処理である。

0119

ユーザから指定された予約指示や所定の処理の実行命令が実行可能と判断した場合、実行判定部456は、会議室7を管理する管理装置6に対して所定の処理の実行命令等を送信する。この場合、ユーザは、例えば、管理装置6をアクセスして、所定の処理の実行命令等のうち、会議室7の施錠を開錠するなどの処理や行為をローカルで、すなわち、ユーザ等が直接実行するようにしてもよい。

0120

一方、実行不可能と判断した場合、実行判定部456は、操作音声変換プログラム等を介してスマートスピーカ2に対してエラーメッセージ等のレスポンス情報をフィードバックする。なお、本実施の形態において、外部リソースがMFP等の電子機器の場合、実行判定部456は、所定の処理の実行命令等を、管理装置6を介さずにネットワーク8を介して直接MFP等に送信するようにしてもよい。なお、実行判定部456は管理装置6が有していても良い。上述したように、この場合のMFP等の電子機器は、対象装置としての機能を担う。

0121

通知部458は、ユーザによる予約指示や所定の処理の実行命令への応答としてテキストデータ、音声データ及び画像データ等を操作音声変換プログラム等に通知する。また、外部リソースの予約指示や所定の処理の実行のための処理命令又は所定の処理の実行条件を示すパラメータが不足している場合には、通知部458は、操作音声変換プログラム等を介してスマートスピーカ2に対してフィードバックを行う。つまり、通知部458は、ユーザに対して不足しているパラメータの入力を促す。

0122

ここで、通知部458は、不足しているパラメータを確認するために必要な情報として、所定のパラメータ情報をスマートスピーカ2に送信してもよいし、パラメータの指定を促すために必要な情報としてテキストデータ、音声データ及び画像データ等をスマートスピーカ2に送信してもよい。上述した処理によって、ユーザは、どんな情報が不足しているかをスマートスピーカ2から発生される音声等によって確認することができる。

0123

管理部459は、管理装置6、スマートスピーカ2又はクラウドサービス装置5に接続されたクライアントデバイスに対して入力された情報に基づいて、スマートスピーカ2のデバイスIDと管理装置6において管理される会議室7のIDとを関連付けて、紐づけ用DB402に登録する。紐づけ用DB402では、スマートスピーカ2のデバイスIDと会議室7のID等を関連付けた情報が、管理情報として記憶され、管理される。但し、管理装置6が管理情報を記憶、管理する場合は、AIアシスタントサーバ装置4は管理部459を有する必要は無い。

0124

検索部460は、デバイスIDやユーザIDに基づいて管理装置6又は外部リソースを検索し、特定する。

0125

記憶・読出処理部461は、AIアシスタントサーバ装置4のHDD44等の記憶部に記憶された各種データの読み出し、HDD44等の記憶部への各種データの書き込み等の各処理を行う。

0126

なお、本実施の形態では、通信制御部451〜記憶・読出処理部461をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、IC(IntegratedCircuit)等のハードウェアで実現してもよい。また、通信制御部451〜記憶・読出処理部461が実現する機能は、情報認識サーバ装置3のHDD34等の記憶部に記憶された他のプログラムに処理の一部を実行させる、又は他のプログラムを用いて間接的に処理を実行させてもよい。

0127

(クラウドサービス装置による解釈動作の詳細)
ここで、クラウドサービス装置5による解釈動作の詳細について説明する。クラウドサービス装置5は、上述したように情報認識サーバ装置3及びAIアシスタントサーバ装置4を一つに纏めた装置であり、一つのサーバ装置としても機能するものである。クラウドサービス装置5を構成するAIアシスタントサーバ装置4のHDD44等の記憶部には、さらに辞書情報が記憶されている。操作音声変換プログラムは、この辞書情報に基づいてインテント及びパラメータを生成する。より具体的には、操作音声変換プログラムは、ユーザの発話によって得られた音声情報(音声データ)から変換されたテキストデータに含まれる単語などが辞書情報と一致するか否かを判断し、一致する場合は辞書情報に定義されているインテント及びパラメータを含む解釈結果を生成する。

0128

上述した辞書情報は、インテント及びパラメータを生成することができるものであればどのような形態であってもよい。一例として、辞書情報は、エンティティ情報インテント情報及び関連付け情報を含んで構成される。

0129

エンティティ情報は、外部リソースが所定の処理を実行するためのパラメータと自然言語を関連付ける情報である。また、一つのパラメータには、複数の類義語が登録可能である。

0130

インテント情報は、上述したように所定の処理の種類を示す情報である。関連付け情報は、ユーザが発話した発話フレーズ(自然言語)とエンティティ情報及び発話フレーズとインテント情報を、それぞれ関連付ける情報である。この関連付け情報により、情報認識サーバ装置3(又はクラウドサービス装置5)は、パラメータの発話順序又はニュアンスが多少変わっても、正しい解釈が可能となる。

0131

また、関連付け情報は、入力された内容に基づいてレスポンスのテキスト(解釈結果)を生成してもよい。さらに、関連付け情報は、エンティティ情報及びインテント情報のうち少なくとも一つを、それぞれ関連付ける情報としてもよい。

0132

エンティティ情報には、パラメータ及び類義語が関連付けられて記憶されている。パラメータと共に、類義語を登録することで、例えば会議室Aを予約する場合に、「会議室Aをおさえて」と発話しても、「会議室Aを予約して」と発話しても、同様の処理を行うパラメータとして設定することができる。

0133

(対話型動作)
本実施の形態の入力操作システム1では、ユーザによって与えられた音声情報に基づいてシステムが応答する対話型システムによる対話型動作を実現している。この対話型動作は、上述したように、スマートスピーカ2のフィードバック部253によって実行される動作の一つである。また、入力操作システム1は、対話等に必要な定型文を応答する以外に、会議室7の予約に関する特有の応答として、「入力不足フィードバック」及び「入力確認フィードバック」の、2種類の応答をする。これによって、入力操作システム1は、対話による会議室7に対する予約処理を可能とする対話型の対象装置操作システムを実現している。

0134

「入力不足フィードバック」は、会議室7の予約を実行するために必要な情報が揃っていない場合にスマートスピーカ2から出力される応答である。さらに、「入力不足フィードバック」は、ユーザによる音声情報の入力内容を聞き取れなかった場合、又は、音声入力操作等による入力内容に必要な項目(以下、必須パラメータという)が不足している場合にスマートスピーカ2から出力される。換言すれば、必須パラメータ以外の項目(以下、パラメータともいう)については、ユーザから指示されていない場合であっても入力不足フィードバックを行う必要はない。さらに「入力不足フィードバック」では、パラメータ以外にも、会議室7の予約において必要な機能を確認する処理が含まれていてもよい。

0135

対話型動作では、フィードバック部253は、外部リソースの種類に応じて、ユーザに確認する機能及びパラメータを変更してもよい。この場合、AIアシスタントサーバ装置4の機器情報取得部455が、外部リソースとの通信が確立した後の所定のタイミングで外部リソースの種類及び機能を示す情報を取得する。その後、機器情報取得部455は、取得した情報に基づいて、フィードバック部253がユーザに確認する機能及びパラメータを決定してもよい。

0136

例えば、外部リソースの種類が会議室7である場合、フィードバック部253は、会議室7の予約に必要な項目(ユーザ名、使用日時、等)をユーザに確認できる。更に、フィードバック部253は、会議室7で使用される備品リソース等の情報をユーザに確認してもよい。また、機器情報取得部455は、ユーザから指定された設定条件に応じて必須パラメータを変更してもよい。例えば、ユーザが指定した予約条件が使用日時の場合は、機器情報取得部455は、使用される日時の具体的な時間帯を必須パラメータとして、会議室7の空調温度の設定を必須パラメータとして設定してもよい。

0137

「入力確認フィードバック」は、会議室7の予約を実行するために必要な情報が揃った場合に出力される応答である。つまり、「入力確認フィードバック」は、全ての必須パラメータについて指示された場合に行われる。また、「入力確認フィードバック」は、現在の設定値で予約処理を実行するか、又は、設定値を変更するかの選択をユーザに促すために行われる。なお、機器情報取得部455は、「入力確認フィードバックによって、現在の設定値で予約処理を実行するか否かを確認するために、全てのパラメータをユーザに確認することができる。この場合、ユーザにより指示された全てのパラメータが確認されるため、それらのパラメータが必須パラメータか必須パラメータ以外のパラメータかについては問われない。

0138

(AIアシスタントサーバ装置からフィードバックされる情報の例)
上述の説明では、スマートスピーカ2のフィードバック部253はレスポンス情報に含まれるテキストデータ及び音声データを出力することとして説明した。しかし、フィードバック部253は、スマートスピーカ2のROM23等の記憶部に記憶されたテキストデータに基づいて、レスポンス情報に対応するテキストデータを形成し、フィードバック出力(音声出力及びテキスト出力)を行ってもよい。なお、具体的なフィードバックの内容は後述する。

0139

<管理装置の機能構成>
管理装置6は、クラウドサービス装置5(又はAIアシスタントサーバ装置4)と連携して、会議室7及び会議室7で使用される備品リソースに対する予約の実行、所定の処理の実行等を行う。但し、備品リソースは、管理装置6が処理する必須の対象でなくてもよい。

0140

管理装置6のCPU61は、HDD64等の記憶部に記憶された命令実行プログラムをRAM62に展開して実行することで、例えば、通信制御部651、命令受信部652、検索部653、予約実行部654、通知部655及び記憶・読出処理部656(以下、通信制御部651〜記憶・読出処理部656とも記載する)として機能又は機能する手段を構成する。

0141

次に、管理装置6の各機能構成について説明する。通信制御部651は、AIアシスタントサーバ装置4の通信制御部451及び会議室7とネットワーク8を介して通信を行う。但し、スマートスピーカ2の通信制御部251や、ネットワーク8を介して接続される他のクライアントPCと直接通信を行ってもよい。

0142

命令受信部652は、実行指示部454から会議室7に対して送信される所定の予約要求、予約取消要求等を取得し、予約実行部654に転送する。また、命令受信部652は、AIアシスタントサーバ装置4の実行指示部454から送信される会議室7の予約状況等を問い合わせるための予約状況確認命令を受信し、検索部653に転送する。

0143

検索部653は、命令受信部652が予約状況確認命令を受信した場合、予約状況確認命令に含まれる条件(外部リソース名、リソースID、外部リソースの設置場所、ユーザ名及びユーザID、等)に基づいて、HDD64等の記憶部に記憶された予約状況の検索を行う。なお、予約状況確認命令は、会議室7の空き状況問合せの一例である「会議室Aの空いている日時を教えて」であってもよいし、会議室7が予約済みの日時を確認する問合せの一例である「会議室Aが予約してある日時を教えて」であってもよい。予約状況確認命令が特定の会議室(例えば、会議室A)の空き状況を確認する要求である場合は、検索部653は、会議室Aに関連付けてHDD64等の記憶部に記憶された管理情報を検索することで、会議室Aの予約がされていない日時を抽出することができる。

0144

予約実行部654は、例えば、命令受信部652が予約要求を受信した場合、予約要求に含まれる条件(外部リソース名、場所、ユーザなど)に基づいて、HDD64等の記憶部に記憶された予約状況、すなわち管理情報を更新する。また、例えば、同じ外部リソース且つ同じ日時の外部リソースが予約済みの場合は、予約実行部654は、予約を実行せずにエラーを通知するが、これに限定されず、既にある予約を上書きしてもよい。なお、エラー通知は、クラウドサービス装置5を介して又は管理装置6から直接スマートスピーカ2に送信される。また、予約取消要求を取得した場合は、予約実行部654は、条件に一致する外部リソースの予約を記憶部から削除する。なお、予約実行部654は、スマートスピーカ2に対してユーザが行う音声入力操作等によって与えられた、会議室7の予約指示や所定の処理の指示等の内容に基づく予約処理等を実行する実行手段の一例である。

0145

通知部655は、所定の条件に基づいて、会議室7又はスマートスピーカ2への通知を行うか否かを判断する。さらに通知部655は、会議室7に対する予約時刻又はその予約時刻の所定時間前になった場合に、会議室7に対して種々の通知を行う。通知される内容は、外部リソースが会議室の場合は、例えば、扉のロックの解除(開錠)、照明装置や空調の起動等である。また、外部リソースが電子機器等の各種デバイス(MFP、プロジェクタ、IWB及びテレビ会議Web会議システム(UCS:Unified Communication System。以下、単にUCSともいう)等)の場合は、通知される内容は、例えば、当該デバイスの起動又はログイン等に関する情報である。

0146

なお、通知部655は、ユーザからの予約を受け付けた時点で会議室7に通知してもよい。この場合、会議室7は、予約時刻になったら上述のいずれかの処理を実行してもよい。さらに、会議室7に送信される通知内容は、予約要求に含まれていてもよいし、予め管理装置6に設定されていてもよい。また、例えば、予約内容の重複があった場合、又は予約時刻の所定時間前(例えば、10分前)に予約済みの会議室7に異常(工事故障等)が発生した場合は、通知部655は、通信制御部651を介してスマートスピーカ2にメール、画像配信等で通知を行ってもよい。

0147

記憶・読出処理部656は、HDD64等の記憶部を制御して、各種データの読出し書込みを行う。

0148

なお、本実施の形態では、通信制御部651〜記憶・読出処理部656をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、IC(IntegratedCircuit)等のハードウェアで実現してもよい。

0149

<入力操作システム1の処理の概要>
本実施の形態に係る入力操作システム1は、ユーザがスマートスピーカ2に対して行う音声入力操作等によって、会議室7等の各種外部リソースの予約、外部リソースを管理する対象装置に対する所定の処理の命令等を実行する。このとき、入力操作システム1は、音声入力操作等による入力内容に必要な必須パラメータのうち、ユーザから与えられなかった項目を補完して各種外部リソースの予約管理や所定の処理の実行等を行う。

0150

上述した必須パラメータの設定について、入力操作システム1は、外部リソースの予約や所定の処理に必要な複数のパラメータのうち、どのパラメータが必須パラメータであるかを、例えば、AIアシスタントサーバ装置4のHDD44等の記憶部にテーブルデータとして予め記憶しておくことができる。この場合、AIアシスタントサーバ装置4の実行判定部456は、テーブルデータとして記憶された必須パラメータの情報に基づいて、必要に応じてユーザに対してフィードバックを実行する。つまり、補完部454は、スマートスピーカ2から取得したパラメータにより、全ての必須パラメータの設定が完了しているか否かを判断し、必須パラメータの設定が完了していない場合は、まずテーブルデータを参照して必須パラメータを補完する。ここで、テーブルデータとして参照する情報は、AIアシスタントサーバ装置4のHDD44等の記憶部に記憶されたユーザ管理テーブル402a、管理装置紐づけテーブル402b及びリソース管理テーブル402cであってもよいし、管理装置6のHDD64等の記憶部に記憶された管理情報であってもよい。但し、テーブルデータを参照しても必須パラメータを補完できない場合は、補完部454及び実行判定部456(又は実行判定部456単体)は、ユーザに対してスマートスピーカ2を介して不足する情報の取得を促す機能をもつ。以下に例示する第1の実施の形態の具体的な説明を参考にしながら、上述した概要について説明する。

0151

なお、本実施の形態では、情報認識サーバ装置3及びAIアシスタントサーバ装置4を一つに纏めたクラウドサービス装置5が、ユーザにより与えられた音声情報によって管理装置6を介して外部リソースを管理、制御する形態について説明する。

0152

<第1の実施の形態>
図9は、第1の実施の形態における処理の流れを示すシーケンス図である。図9に示すシーケンス図に従い、ユーザがスマートスピーカ2から会議室や各種対象装置に対する処理要求を送信する場合について説明する。具体的には、第1の実施の形態では、ユーザの発話によって会議室Aを予約する場合を例示する。以下にシーケンス図における各処理を示す。

0153

まず、スマートスピーカ2の取得部252は、ユーザから発話された「会議室Aを予約して」という音声入力操作に基づいて、例えば、図3に示したマイクロホン部29を使用して音声データ(音声情報)を取得する(ステップS101)。

0154

なお、本実施の形態における発話の内容は、外部リソースの予約を実行する主旨であればこれに限定されない。例えば、発話には、会議室7のような設備リソースに代えて又は加えて、会議室7で使用される各種備品リソースの予約を指示する内容が含まれていてもよい。つまり、発話の内容には、同時に複数の外部リソースを予約する指示が含まれていてもよい。

0155

続いて、スマートスピーカ2の記憶・読出処理部254は、ROM23等の記憶部に記憶された操作音声処理プログラムを実行する。これにあわせて通信制御部251は、音声データを取得した場合は、操作音声処理プログラムに含まれる操作音声処理プログラムによって音声データを情報認識サーバ装置3に送信する。このとき、通信制御部251は、当該スマートスピーカ2を特定するためのデバイスIDもあわせて情報認識サーバ装置3に送信する(ステップS102)。

0156

なお、デバイスIDは、ユーザに関連付けられたスマートスピーカ2を特定する情報の一例である。例えば、デバイスIDに代えて又は加えて、そのデバイスを使用するユーザを識別するユーザID、ユーザ名又はユーザの所属する組織等の情報を送信してもよい。

0157

続いて、情報認識サーバ装置3の取得部352は、通信制御部351を介して、デバイスIDとあわせてスマートスピーカ2から送信された音声データを取得する。このとき、情報認識サーバ装置3は、操作音声変換プログラム等を実行する。但し、情報認識サーバ装置3が操作音声変換プログラム等を実行するタイミングは、上述した限りではなく、どのタイミングで実行してもよい。

0158

なお、上述した取得部352は、スマートスピーカ2に備えられた音声情報を得るための取得部252の機能を兼ね備えてもよい。その場合、取得部352は、例えば、マイクロホン部29を介して集音されたユーザの指示音声を、スマートスピーカ2のデバイスID及びユーザのユーザIDとあわせて取得する機能を有する。つまり、上述したステップS101及びステップS102の機能を兼用する。このような取得部352は、スマートスピーカ2の取得部252と同様に、音声情報取得手段の一例として機能してもよい。

0159

この後、情報認識サーバ装置3のテキスト変換部353は、取得したデータが音声データの場合は操作音声変換プログラムにより音声データをテキスト化する。このテキスト化の処理は、例えば、「会議室Aを予約して」という内容を示す音声入力操作に基づく情報をテキストデータに変換する処理である(ステップS103)。

0160

続いて、操作音声変換プログラム等は、AIアシスタントサーバ装置4で実行される音声アシスタントプログラム等に対して辞書情報を要求する(ステップS104)。

0161

AIアシスタントサーバ装置4は、情報認識サーバ装置3から送信された要求に応じて音声アシスタントプログラムを実行させて、辞書情報を読み出す。その後、音声アシスタントプログラムは、読み出した辞書情報を情報認識サーバ装置3で実行される操作音声変換プログラム等に提供する(ステップS105)。

0162

なお、音声アシスタントプログラム等のプログラムは、AIアシスタントサーバ装置4のROM43又はHDD44等に記憶されている。但し、これに限定されず、AIアシスタントサーバ装置4は、音声アシスタントプログラム等を実行する際に、情報認識サーバ装置3のHDD34等の記憶部に記憶された上述の音声アシスタントプログラム等を、ネットワーク8を介してダウンロードして実行してもよい。

0163

続いて、情報認識サーバ装置3で操作音声変換プログラム等が実行されることにより、解釈部354は、テキスト化された音声データ等を解釈して、インテントとパラメータを生成する。具体的には、解釈部354は、音声アシスタントプログラムから取得した辞書情報に基づいて、テキストデータに含まれる単語等が辞書情報と一致しているか否かを判断する。つまり、テキスト解釈を行う。テキストデータに含まれる単語等が辞書情報と一致している場合、解釈部354は、ユーザから指示された操作を示すインテント及び各種処理の実行条件等の変数を示すパラメータに変換する。なお上述した解釈部354の処理については、提供部356が行ってもよい。

0164

ここで、インテントとは、管理装置6に対して要求する各種処理の種類等を示す情報であり、パラメータとは、各種処理の設定等を示す情報である。本実施の形態の場合、インテントは、例えば、管理装置6に対して外部リソースの予約実行を要求する情報であり、パラメータは、例えば、会議室名やデバイス名などの外部リソースを特定する情報、予約日時及びユーザ等の外部リソースの予約に関する情報である。なお、ユーザが複数の外部リソースの予約を指示した場合、外部リソースを特定する情報は複数含まれてよい。

0165

より具体的には、解釈部354は、会議室7を予約するインテントに係る情報として「インテント:RESERVE」を生成し、会議室7を予約するパラメータに係る情報として「外部リソース=会議室A」を生成する。このように、解釈部354は、テキストデータに基づいて、例えば、ユーザから指定された予約の依頼、所定の処理の種別(インテント)及び所定の処理に関連する内容(パラメータ)を示す解釈結果を生成する(ステップS106)。

0166

続いて、解釈部354は、生成したインテント、パラメータ及びスマートスピーカ2のデバイスIDをAIアシスタントサーバ装置4で実行される管理プログラムに送信する(ステップS107)。

0167

(情報の補完及び問合せ処理)
次に、クラウドサービス装置5(又はAIアシスタントサーバ装置4)で実行される情報の補完及び問合せの処理の一例を説明する。

0168

まず、AIアシスタントサーバ装置4の解釈結果変換部453は、取得部452で取得されたインテント、パラメータ及びスマートスピーカ2のデバイスID等に基づいて、会議室7に対する予約実行命令を示すデータに変換する。このとき、インテントには予約することを表す「RESERVE」が与えられ、パラメータには場所を表す「会議室A」が与えられる。なお、解釈結果変換部453は、変換手段に相当する。

0169

解釈結果変換部453によるデータ変換に伴い、検索部460は、スマートスピーカ2(情報入力装置)のデバイスID又はユーザのユーザIDに基づいて、予約対象である会議室A(会議室7)を特定する。具体的には、検索部460は、管理装置紐づけテーブル402bを参照して、スマートスピーカ2(情報入力装置)のデバイスIDに関連付けられる管理装置ID及び接続情報を特定する。続いて、検索部460は、特定した接続情報に基づき、管理装置6にアクセスすることで管理情報を参照する。これにより、検索部460は、管理情報に含まれる会議室Aの予約状況を確認することができる。

0170

さらに、補完部454は、ユーザによって与えられた音声情報に対して、ユーザ管理テーブル402a及び管理装置6が管理する管理情報を参照して、会議室7の予約に必要な情報を補完する。なお、補完部454は、紐づけ用DB402に記憶されたリソース管理テーブル402cを参照して、会議室7の予約に必要な情報を補完してもよい。しかし、それらのテーブルを参照してもなお必須パラメータの生成に必要な情報を補完できない場合は、補完部454は、スマートスピーカ2を介してユーザにフィードバックを行い、必須パラメータの生成に必要な情報の入力をユーザに促すよう制御してもよい。この補完に係る処理は補完部454が行い、補完部454は、補完手段に相当する。

0171

管理部459は、紐づけ用DB402に対して、リソース管理テーブル402cに示すようにデバイスID又はユーザIDと外部リソースの一例である会議室Aとを含めて予め関連付けて登録することができる。なお、ユーザIDを登録する方法として、以下の方法がある。例えば、ユーザはPCによってAIアシスタントサーバ装置4にアクセスすることで、デバイスIDとユーザ名又はユーザIDの関連付けを行うことができる。他の方法としては、例えば、スマートスピーカ2をあるユーザが使用する場合、ユーザ名又はユーザIDの登録の指示を行った後、そのスマートスピーカ2に向けて自分の名前をマイクロホン部29に向けて発話する。この発話による名前の入力を受けて、スマートスピーカ2は、デバイスIDと共にユーザ名又はユーザIDを含む音声情報を情報認識サーバ装置3に送信する。そして、AIアシスタントサーバ装置4の管理部459は、取得したデバイスIDと、テキスト化されたユーザ名又はユーザIDとを関連付けてユーザ管理テーブル402aに記憶する。なお、名前の入力に代えてユーザのメールアドレス等を発話するようにしてもよい。さらに、スマートスピーカ2の撮像部(カメラ部)30を使用してユーザの顔写真等を撮影し、その撮影画像とユーザIDとを照合するようにしてもよい。

0172

次に、機器情報取得部455は、取得したインテントとパラメータに基づいて会議室7の予約に必要な必須パラメータが充足しているか否かを判断する。この必須パラメータとは、例えば、受信したパラメータのうち予約対象の外部リソースを特定するための情報及び、予約の条件を示す情報である。つまり、必須パラメータとは、例えば、予約対象の外部リソース、予約するユーザのユーザ名、予約日時等のパラメータ(条件)を含むパラメータを意味する。さらに、予約条件のうち、いずれの条件をこの必須パラメータとするかは、例えば、AIアシスタントサーバ装置4のHDD44等の記憶部に予め記憶させておき、適宜設定することもできる。さらに、この必須パラメータは、ユーザや外部リソースの組み合わせ等にしたがって適宜必須パラメータと通常のパラメータを入れ替えることも可能である。つまり、ある条件では必須パラメータとして定義されたものでも、別の条件では通常のパラメータとして管理してもよい。

0173

上述した説明より、補完部454は、以下の特徴を有する。つまり、補完部454は、外部リソースを特定する場合に用いる必須パラメータを紐づけ用DB402に記憶されたユーザ管理テーブル402a及び管理装置6に記憶された管理情報を参照して、会議室Aを予約するための必須パラメータの生成に必要な情報を補完する。また、補完部454は、紐づけ用DB402にリソース管理テーブル402cが記憶されている場合には、リソース管理テーブル402cを参照して、会議室Aを予約するための必須パラメータの生成に必要な情報を補完してもよい。しかし、それらのテーブルを参照してもなお必須パラメータの生成に必要な情報を補完できない場合は、スマートスピーカ2を介してユーザにフィードバックを行い、必須パラメータの生成に必要な情報の入力をユーザに促すよう制御してもよい。

0174

実行判定部456は、情報の補完処理に基づいて、必須パラメータの充足判断を行う。その際、実行判定部456は、補完処理によって補完された内容でもなお必須パラメータが充足していないと判断した場合は、通知部457を介してユーザに必須パラメータを問い合わせる。この問合せは、クラウドサービス装置5からスマートスピーカ2に対して問合せのための情報が送信され、音声等をユーザに提供することで行われる。

0175

なお、実行判定部456は、必須パラメータが充足していない場合は、必須パラメータが充足するまでパラメータを指定するようにスマートスピーカ2を介してユーザに問合せを継続する。

0176

(情報の補完及び問合せ処理の詳細)
ステップS108で実行される情報の補完及び問合せ処理の一例として、補完部454は、外部リソースのユーザを示す情報を補完する。ユーザが音声入力操作等によって外部リソースを使用する自身の情報(ユーザID等)を設定しなかった場合、実行判定部456は、ステップS102でスマートスピーカ2から取得したデバイスIDによってユーザを特定できるか否かを判断する。例えば、スマートスピーカ2は、一人のユーザによって占有される場合があり得る。この場合、ユーザは、予めデバイスIDとユーザ名又はユーザIDを紐づけて紐づけ用DB402に登録することができる。そこで、実行判定部456は、スマートスピーカ2(情報入力装置)のデバイスIDに関連付けられたユーザ名又はユーザIDが紐づけ用DB402のユーザ管理テーブル402aに登録されているか否かを判断する。つまり、実行判定部456は、デバイスIDやユーザIDに基づいてユーザを検索し、ユーザを特定する。

0177

ここで、補完部454は、実行判定部456がユーザを特定できた場合には当該ユーザを外部リソースのユーザとしてパラメータに設定することができる。つまり、ユーザ管理テーブル402aに記憶された、デバイスID紐づくユーザ名又はユーザIDを外部リソースのユーザとしてパラメータを補完する。一方、実行判定部456がユーザを特定できなかった場合には、実行判定部456は、スマートスピーカ2を介してユーザを設定するようにユーザへ問い合わせてもよい。つまり、所定の処理要求(予約指示)を示すデータを生成するために、実行判定部456は、通知部457及び通信制御部451を介してスマートスピーカ2と通信し、ユーザに対して不足しているパラメータの入力を依頼してもよい。なお、ユーザ名又はユーザIDが登録されていない場合には、補完部は所定のデフォルト名又はデバイスIDを外部リソースのユーザとして補完してもよい。

0178

ステップS108で実行される情報の補完及び問合せ処理の他の一例として、補完部454は、外部リソース名又は外部リソースIDのパラメータを補完する。また、ユーザが音声入力操作によって外部リソースを設定しなかった場合、実行判定部456は、ステップS102でスマートスピーカから取得した、デバイスID又はユーザIDによって外部リソースを特定できるか否かを判断する。例えば、スマートスピーカ2が会議室7に設置されている場合、又はスマートスピーカ2自体が予約したい備品リソースである場合があり得る。そこで、実行判定部456は、デバイスIDやユーザIDに関連付けられた外部リソースが紐づけ用DB402のリソース管理テーブル402cに登録されているか否かを判断する。

0179

この判断に基づいて、検索部460は、使用(予約)対象となる外部リソースを検索し、特定する。ここで、外部リソースを特定できた場合には、補完部454は、当該外部リソースを予約対象の外部リソースとしてパラメータに設定する。一方、外部リソースを特定できなかった場合には、検索部460は、通知部457と協働してスマートスピーカ2を介して外部リソースを設定するようにユーザへ問い合わせてもよい。

0180

なお、ユーザが音声入力操作等によって外部リソースを設定した場合であっても、設定した外部リソースと同一の名称を含む外部リソースが複数存在する場合がある。そこで、実行判定部456は、音声入力操作等によって設定された外部リソース名に加えて、デバイスID又はユーザIDによって外部リソースを特定できるか否かを判断してもよい。つまり、実行判定部456は、デバイスIDやユーザIDに関連付けられた外部リソースが紐づけ用DB402に登録されているかを判断する。これに続いて検索部460は、音声入力操作等によって設定された外部リソース名に加えて、デバイスIDやユーザID及び各管理装置(管理装置A、管理装置B、等)が記憶、管理する予約管理テーブル601に基づいて外部リソースを検索し、検索した結果から目的の外部リソースを特定する。ここでの外部リソースの特定において、仮に空いている会議室等が無かった場合、検索部460は、スマートスピーカ2にエラーメッセージを送信してもよい。

0181

ここで、検索部460によって外部リソースが特定された場合は、管理部459は、当該外部リソースを予約対象としてパラメータに設定する。一方、外部リソースが特定されなかった場合は、管理部459は、解釈結果変換部453及び実行判定部456と協働してスマートスピーカ2を介して外部リソースの詳細を設定するようにユーザへ問い合わせてもよい。つまり、解釈結果変換部453及び実行判定部456は、取得制御部462としてスマートスピーカ2に対して情報の取得を促す取得制御手段の機能を担うことが可能である(ステップS108)。

0182

上述したステップS108に関して、クラウドサービス装置5(より詳細には、AIアシスタントサーバ装置4)で実行される管理プログラムによる情報の補完及び問合せ処理の一例を説明する。図10は、第1の実施の形態における情報の補完及び問合せ処理のフローチャートである。なお、外部リソースのユーザである予約者と、外部リソースの補完については上述した通りであるため、以下では予約者と外部リソースの補完については省略する。

0183

まず、クラウドサービス装置5を構成するAIアシスタントサーバ装置4の取得部452は、ステップS107の処理で情報認識サーバ装置3からインテント、パラメータ及びデバイスID等を取得する(ステップS1001)。

0184

続いて、解釈結果変換部453は、取得したインテント、パラメータ及びデバイスID等のデータから、ユーザを特定可能か否かを判断する(ステップS1002)。このユーザを特定する方法として、例えば、ユーザ名、ユーザID等がパラメータに含まれているか否か、ユーザ管理テーブル402aから特定可能か否かを確認する方法が挙げられる。上述の判断は、解釈結果変換部453によって、例えば、図5に示した紐づけ用DB402に記憶されたユーザ管理テーブル402aを参照することで実現される。

0185

続いて、解釈結果変換部453は、受信したデータから、予約対象の指定があるか否かを判断する(ステップS1003)。この予約対象の有無を判断する方法として、例えば、外部リソース名、外部リソースのリソースID等がパラメータに含まれているか否かを判断する方法が挙げられる。この判断におけるユーザからの発話内容は、例えば、「会議室Aを予約して」、「この会議室を予約して」又は「予約して」等である。

0186

予約対象の指定がある場合(ステップS1003でYes)、解釈結果変換部453は、受信したデータから、外部リソースを示す場所、予約時刻、予約時間帯、等の指定があるか否かを判断する(ステップS1004)。この判断におけるユーザからの発話内容は、例えば、「14:00−15:00まで会議室Aを予約して」、「今から1時間、会議室Aを予約して」又は「今から会議室Aを予約して」である。

0187

受信したデータから、予約時刻の指定がある場合(ステップS1004でYes)、解釈結果変換部453は、予約対象の外部リソースが予約可能か否かを判断する(ステップS1005)。この場合の予約可能か否かの判断は、例えば、管理プログラムが管理する時計情報と管理装置6が管理する管理情報を用いた対象の外部リソースの現時点以降の予約状況の確認によって行われる。より具体的には、解釈結果変換部453は、スマートスピーカ2から取得したデバイスIDと管理装置紐づけテーブル402bとに基づいて、管理装置6にアクセスするための接続情報を取得する。そして、解釈結果変換部453は、取得した接続情報に基づいて管理装置6にアクセスして、予約管理テーブル601(管理情報)を参照する。なお、解釈結果変換部453は、管理装置6に対して管理情報の送信を要求してもよい。これにより、実行判定部456は、予約対象に関する予約状況を確認することができる。ここでは、実行判定部456は、管理情報のうち、会議室Aの予約状況を確認することで、会議室Aが空いている日時とパラメータに含まれる予約時間が合致した場合、予約対象が予約可能であると判断する。一方、会議室Aが空いている日時とパラメータに含まれる予約時間が合致しない場合、予約対象が予約可能ではないと判断する。予約時刻の指定の有無の判断については、解釈結果変換部453は、予約する日時がパラメータに含まれているか否かを判断する。

0188

予約対象が予約可能な場合(ステップS1005でYes)、解釈結果変換部453は、ユーザの発話内容に基づいて予約対象(外部リソース)、予約日時等を決定する(ステップS1006)。

0189

解釈結果変換部453は、受信したデータを予約対象となった外部リソース(会議室A)に対する予約実行命令に変換してこのフローを抜ける(ステップS1007)。

0190

一方、受信したデータから、ユーザを特定できない場合(ステップS1002でNo)、解釈結果変換部453は、必須パラメータの入力が必要と判断し通知部457として協働して、スマートスピーカ2に対して必須パラメータの入力依頼(フィードバック)をしてステップS1001に戻る(ステップS1105)。このステップS1105でユーザに対してフィードバックされる内容は、例えば、「あなたの名前を入力してください」、「あなたのユーザIDを入力してください」等が考えられる。なお、管理プログラムによって実行されるステップS1105の必須パラメータの入力依頼に係る処理は、ユーザによって与えられた発話内容等によって必須パラメータが充足されるまで繰り返される。

0191

さらに、受信したデータから、予約対象の指定が無い場合(ステップS1003でNo)、解釈結果変換部453は、必須パラメータの入力が必要と判断し通知部457として協働して、スマートスピーカ2に対して必須パラメータの入力依頼(フィードバック)をしてこのフローを抜ける(ステップS1105)。なお、ステップS1105のフィードバックは、予約実行命令や所定の処理の実行命令を生成するために用いられるインテント及び必須パラメータを含むパラメータがユーザから与えられるまで繰り返すように実行されてもよい。

0192

また、ユーザによって与えられた発話内容が、例えば、「今から会議室Aを予約して」であった場合、解釈結果変換部453は、受信したデータから、予約時刻の指定が無いと判断する(ステップS1004でNo)。この場合、解釈結果変換部453は、CPU41等の時計機能を利用して入力操作システム1の現在時刻の確認を行う(ステップS1101)。

0193

上述した発話内容の場合、ユーザが発話しなかった内容は、例えば、「現在時刻」となる。本実施の形態では、「現在時刻」は解釈結果変換部453の補完対象となり、ユーザの発話内容に発話されない内容が含まれていてもユーザの所望する予約命令が生成されるように機能する。

0194

次に、実行判定部456は、入力操作システム1の現在時刻を確認後、予約対象の外部リソースが予約可能か否かを判断する(ステップS1102)。

0195

予約対象の外部リソースが予約可能な場合(ステップS1102でYes)、実行判定部456は、現在時刻に外部リソースの使用可能時間(例えば1時間)を加えた時間を予約対象となる外部リソースの予約終了時刻として決定して、ステップS1007に移行する(ステップS1103)。この予約終了時刻の決定についても、実行判定部456は、例えば、管理装置6が管理する管理情報と現在の時刻とに基づいて会議室Aの他の予約状況の有無を判断することで、発話したユーザが現時点からいつまで使用(予約)が可能かを判断することができる。なお、実行判定部456が管理情報を参照して所望の会議室が予約可能か否かを判断する方法は上述したとおりである。但し、例えば、実行判定部456は、入力操作システム1の日時情報を管理するタイマ等で示されている現在の日時(年月日)を起点にした所定の時間(例えば、1時間)を、予約開始時刻及び予約終了時刻を含めた予約日時として設定してもよい。この所定の時間は、外部リソースを予約する予約実行命令と他のユーザ等によって同じ外部リソースに対して行われる別の予約実行命令の予約時刻の差分から求められてもよい。例えば、図7(a)に示した予約管理テーブル601において、会議室Aは、2019/7/17 14:00から2019/7/17 15:00までをユーザID:u0010のユーザによって予約されるように管理されている。これは、例えば、他のユーザが2019/7/17 15:00から会議室Aを予約している場合の一例であり、この1時間は、互いのユーザの予約開始時刻の差分から求められている。

0196

一方、予約対象の外部リソースが予約不可能な場合(ステップS1102でNo)、実行判定部456は、予約対象の変更処理を行う。この予約処理の変更処理では、実行判定部456は、例えば、会議室Aの予約の代わりに現在空いている会議室Cを予約する。この処理において、実行判定部456は、管理装置6が記憶、管理する管理情報を参照して、現在空いている会議室等の外部リソースを検索することも可能である(ステップS1104)。

0197

その後、実行判定部456は、ステップS1105に移行して、スマートスピーカ2に対して必須パラメータの入力依頼(フィードバック)をしてステップS1001に戻る。

0198

一方、予約時刻の指定があり予約対象の外部リソースが予約不可能な場合(ステップS1005でNo)、実行判定部456は、上述したステップS1104以降の処理を行う。

0199

以上が、管理プログラムによって実行される、情報の補完及び必須パラメータの問合せ処理のフローである。上述したように、情報の補完及び必須パラメータの問合せ処理に係る解釈結果変換部453及び実行判定部456は、互いに協働して取得制御部462として機能してもよい。その場合、取得制御部462は、取得制御手段に相当する。なお、上述した情報の補完及び必須パラメータの問合せ処理については、補完部454が主体となって実行する例を示したが、各ステップにおける処理、判断等の主体はこの限りではない。また、補完部454に代えて、他の機能部、例えば、取得部452や実行指示部454等が上述した各機能部を代行するようにAIアシスタントサーバ装置4又はクラウドサービス装置5が構成されてもよい。このような構成は、入力操作システム1を構成するそれぞれの装置やCPUの処理能力プログラム構成等に応じて適宜変えてもよい。さらに、上述したフローチャートは一例に過ぎず、他の条件判断や処理の実行を伴うフローチャートによって情報の補完及び必須パラメータの問合せ処理が行われてもよい。

0200

さらに、第1の実施の形態では、例えば、ユーザが会議室Aを予約する際にあわせて備品リソースとしてプロジェクタ1を予約したい場合、ユーザは、「会議室Aとプロジェクタ1を予約して」、あるいは「会議室Aを予約して」、「プロジェクタ1も予約して」のように発話をしてもよい。つまり、ユーザは、スマートスピーカ2に対して、複数の外部リソース名を一度に発話するか、それぞれの外部リソース名を一度ずつ発話するか、それらの発話内容には制限を与えられない。

0201

図9シーケンスチャートの説明に戻る。解釈結果変換部453は、ステップS108で補完部454が補完した情報から外部リソース(会議室A)の予約に必要な情報を生成し、予約実行命令や所定の処理の実行命令等として通信制御部451を介して管理装置6(又は会議室7)に送信する(ステップS109)。より具体的には、実行指示部455は、スマートスピーカ2から取得したデバイスIDと管理装置紐づけテーブル402bとに基づいて、管理装置6にアクセスするための接続情報を取得する。そして、実行指示部455は、取得した接続情報に基づいて管理装置6に接続し、実行命令などを送信する。このとき実行指示部455は、管理装置6へアクセスするために、管理装置紐づけテーブル402bに記憶されたアカウント情報やパスワードなどの情報を管理装置6に対して必要に応じて送信してもよい。

0202

このとき、解釈結果変換部453及び通信制御部451は、例えば、管理装置6又は会議室7に対する送信手段として機能する。この場合、例えば、「会議室の予約(使用時間=1時間)」に相当する予約実行命令がクラウドサービス装置5(又はAIアシスタントサーバ装置4)から管理装置6に送信される。

0203

この予約実行命令が送信されることにより、会議室Aの予約処理が実行される。なお、会議室などの外部リソースは単なる空間設備であるため、それ自体が予約実行命令等を受け付けて実行することは少ない。そのため、上述したように、通信制御部451は、会議室Aを管理する管理装置6に対して予約実行命令を送信してもよい。この場合、管理装置6の予約実行部654は、クラウドサービス装置5(又はAIアシスタントサーバ装置4)から送信された予約実行命令を会議室Aに成り代わって実行する。さらに、予約実行部654は、会議室Aを予約したユーザに対して予約処理が完了したことを示す予約完了通知等を、通知部655を介して通知するようにしてもよい。つまり、管理装置6は、クラウドサービス装置5から取得した予約実行命令に基づいて、管理情報を更新することで、外部リソースの予約を実行する。

0204

なお、解釈結果変換部453は、解釈結果を会議室7の予約のための予約実行命令を示すデータに変換するために、例えば、以下に詳述する表1に示された情報をAIアシスタントサーバ装置4のHDD44等の記憶部に記憶し、参照できる構成としてもよい。

0205

以下に、本実施の形態で使用されるテーブルデータについて、表1及び表2に示した具体例を用いて説明する。以下の表1は、解釈結果と、解釈結果から変換処理された所定の処理の実行命令の一例を示すものである。

0206

0207

AIアシスタントサーバ装置4は、HDD等の記憶部に、表1に示す管理装置6又は外部リソースに対する所定の処理の実行命令を含むテーブルデータを記憶する。なお、AIアシスタントサーバ装置4の解釈結果変換部453は、情報認識サーバ装置3で得られた解釈結果を所定の処理の実行命令に変換するために、表1に相当する情報を管理装置6のHDD64に記憶し、参照できる構成としてもよい。

0208

表1の例の場合、例えば、「RESERVATION_EXECUTE」、「DOORKEY_EXECUTE」、「LIGHT_ON_OFF_EXECUTE」及び「AIR_CONDITIONING_EXECUTE」等が、アクション又はインテントの一例として示されている。また、「会議室番号」、「開始時刻」、「終了時刻」及び「参加人数」等が、パラメータ(Parameter)の一例として示されている。なお、パラメータとしては所定の処理の実行命令に対する設定値として指定可能な全てのパラメータが含まれる。

0209

解釈結果変換部453は、「RESERVATION_EXECUTE」の解釈結果を、会議室Aに対する「会議室の予約」との命令に変換処理する。同様に、解釈結果変換部453は、「DOORKEY_EXECUTE」の解釈結果を、会議室Aに対する「ドアの開錠及び施錠」との命令に変換処理する。同様に、解釈結果変換部453は、「LIGHT_ON_OFF_EXECUTE」の解釈結果を、会議室Aに対する「照明の点灯」との命令に変換処理する。同様に、解釈結果変換部453は、「AIR_CONDITIONING_EXECUTE」の解釈結果を、会議室Aに対する「空調(換気)制御」との命令に変換処理する。

0210

また、解釈結果変換部453は、解釈結果に「会議室番号」のパラメータが含まれている場合、会議室Aに対する「会議室の番号の管理(変更)」を行う命令を形成する。同様に、解釈結果変換部453は、解釈結果に「開始時刻」のパラメータが含まれている場合、会議室Aに対する「会議開始時刻の管理(変更)」を行う命令を形成する。同様に、解釈結果変換部453は、解釈結果に「終了時刻」のパラメータが含まれている場合、会議室Aに対する「会議終了時刻の管理(変更)」を行う命令を形成する。同様に、解釈結果変換部453は、解釈結果に「参加人数」のパラメータが含まれている場合、会議室Aに対する「会議参加人数の管理(変更)」を行う命令を形成する。

0211

すなわち、AIアシスタントサーバ装置4の解釈結果変換部453は、解釈結果のアクション又はインテントに含まれる情報で、会議室Aに対する所定の処理の実行命令の種類を判断し、パラメータに含まれる値を所定の処理の実行命令に対する設定値と判断して、解釈結果を所定の処理の実行命令に変換処理する。なお、表1に示した※の部分、すなわちパラメータの値は、所定の処理命令の設定値として指定可能なものは全て含まれる可能性がある。

0212

以下の表2は、AIアシスタントサーバ装置4からスマートスピーカ2にフィードバックされる解釈結果の一例を示すものである。

0213

0214

AIアシスタントサーバ装置4は、HDD等の記憶部に、表2に示す所定の処理の実行命令を含むテーブルデータを記憶する。なお、AIアシスタントサーバ装置4の解釈結果変換部453は、情報認識サーバ装置3で得られた解釈結果を所定の処理の実行命令に変換するために、表2に相当する情報を管理装置6のHDD64に記憶し、参照できる構成としてもよい。

0215

表2の例の場合、例えば、会議室の使用日時の入力を促す「DATE_SETTING」、会議室の使用日時の確認を促す「DATE_CONFIRM」、照明の明るさの希望を確認する「LIGHT_CONTROL」、次回の予約有無を問い合わせる「NEXT_RESERVATION_CONFIRM」等のアクションが、解釈結果に含められてスマートスピーカ2にフィードバックされる。

0216

スマートスピーカ2のフィードバック部253は、解釈結果に含まれるAction(アクション)、Parameter(パラメータ)及びResponse(レスポンス)に応じて、ユーザに対するフィードバックの内容を判断することができる。そのため、フィードバック部253は、フィードバックする内容を決定するために、表2に相当する情報をスマートスピーカ2のROM23等の記憶部に記憶し、参照できる構成としてもよい。

0217

また、例えば、会議室番号、開始時刻、終了時刻及び参加人数等のパラメータが、解釈結果に含められてスマートスピーカ2にフィードバックされてもよい。さらに、必須パラメータが不足している場合、不足するパラメータの入力を促すメッセージが、レスポンスとして解釈結果に含められてスマートスピーカ2にフィードバックされてもよい。なお、表1と同様に、表2に示した※の部分、すなわちパラメータの値は、所定の処理命令の設定値として指定可能なものは全て含まれる可能性がある。

0218

管理装置6の予約実行部654は、AIアシスタントサーバ装置4から受信した予約実行命令又は所定の処理の実行命令に基づいて管理情報を更新することで、外部リソースの予約、所定の処理等を実行する。以下に、予約実行部654による予約実行命令又は所定の処理の実行命令が実行される際の、管理装置6における他の機能の処理について説明する。

0219

まず、検索部653は、所定の処理の実行命令に含まれるユーザに関する設定に基づいて、ユーザを特定する。具体的には、検索部653は、例えば、当該管理装置6に予め登録されている予約管理テーブル601(管理情報)を検索することで、ユーザを特定する。

0220

また、検索部653は、所定の処理の実行命令に含まれる外部リソースに関する設定に基づいて、予約対象の外部リソースを特定する。具体的には、例えば、検索部653は、当該管理装置6に予め登録されている予約管理テーブル601(管理情報)を検索することで、予約対象の外部リソースを特定する。これにより、検索部653は、外部リソースを指定したユーザによってその外部リソースが予約されるように管理する。なお、ユーザの設定に合致する登録ユーザが存在しない場合、検索部653は、所定の処理の実行命令に含まれるユーザの設定をそのままユーザとして使用してもよいし、所定の処理の実行命令にユーザの設定が含まれていない場合は、デフォルトのユーザ名をユーザとして設定してもよい。

0221

さらに、検索部653は、予約日時などの条件が所定の処理の実行命令において指定されていない場合、デフォルト値を設定してもよい。なお、デフォルト値は、スマートスピーカ2又は本実施の形態で使用される入力操作システム1に、例えば、ネットワーク8を介して接続されるクライアントPCから変更されてもよい。

0222

また、通知部655は、予約に成功又は失敗した場合、結果を示す情報をユーザに対して通知してもよい。このときの通知方法としては、例えば、通知部655が、外部リソースの予約の成否を、AIアシスタントサーバ装置4が実行する管理プログラムに通知する。通知部655は、予約の成否について操作音声変換プログラム等を介してスマートスピーカ2に送信し、スマートスピーカ2は、音声又は画面表示によってユーザに予約成否を通知する。また、通知部655は、ユーザ情報に含まれるアドレス情報又は管理装置6においてユーザ情報と関連付けられて記憶されたアドレス情報等に基づいて、予約処理をしたユーザに電子メール等を送信してもよい。

0223

また、通知部655は、上述した予約の成否や外部リソースの予約状況等をスマートスピーカ2に送信する機能を、クラウドサービス装置5(又はAIアシスタントサーバ装置4)の内部に設けてもよい。その場合、通知部655は、通知手段の一例として機能するように入力操作システム1が構築されてもよい。

0224

さらに、通知部655は、管理装置6の表示部(ディスプレイ操作パネル等)に上述した予約の成否や外部リソースの予約状況等を表示するようにしてもよい。このようにすることで、例えば、ユーザは、自らが発話した内容で外部リソースが正常に予約されたことを目視確認することができる。当然ながら、通知部655は、表示部への表示に代えて、音声で通知するようにしてもよい。

0225

上述したように、第1の実施の形態では、AIアシスタントサーバ装置4が実行する管理プログラムがデバイスID及びユーザID等に基づいてユーザや外部リソースを特定する構成について説明したが、これに限定されない。例えば、管理装置6がユーザや外部リソースを特定してもよい。この場合、管理プログラムは、所定の処理の実行命令にデバイスID又はユーザIDを含めて管理装置6に送信する。管理装置6の検索部653は、所定の処理の実行命令に含まれるデバイスID又はユーザIDに基づいてユーザや外部リソースを特定する。特定の方法は、ステップS109で説明したとおりである。但し、検索部653は、管理DB401に代えて、管理装置6が個別に有するデータベース(DB)又は管理装置6がアクセス可能な外部の他のデータベース(DB)等に記憶された情報を用いて、ユーザや外部リソースを検索、特定してもよい(ステップS110)。

0226

続いて、管理装置6から予約対象として特定された会議室A(会議室7)は、管理装置6の予約実行部654等から送信された予約処理に係る情報(予約実行命令、所定の処理の実行命令等)に基づいて、例えば、会議室7のドアの自動開錠ロック解除)や照明装置の起動等の処理を行う。当該処理は、管理装置6から通知を取得したタイミングで実行することができるが、これに限定されない。

0227

例えば、会議室7が予め所定の通知を取得していた場合には、会議室7は、通知された内容に含まれた予約時刻になった時点で会議室7の照明や空調を自ら動作させるように制御してもよい。さらに、管理装置6の予約実行部654は、例えば、入力操作システム1の環境を利用して、会議室Aを予約したユーザに対して、会議室Aの開錠コードQRコード(登録商標)等が埋め込まれた電子メール等を送信してもよい。その場合、電子メールを受信したユーザは、その開錠コードやQRコードを印刷、又は所定のカード等に情報をコピーし、会議室Aのドアに設けられた認証リーダー部に翳すことで会議室Aの開錠ができるようにしてもよい。さらにその場合、ドアの開錠にあわせて、会議室Aの照明や空調の制御が開始されるようにシステムが構築されてもよい。一方、外部リソースがMFP等の装置であれば、管理装置6から送信された所定の処理の実行命令にしたがって、装置の電源やネットワーク設定を起動し、所定のファイルの印刷やファイルの送信等を開始、実行するようにしてもよい。さらに、この一連の処理で予約された会議室Aに予め備えられているMFP、プロジェクタ、IWB及びUCS等の他の対象装置についても、その会議室Aが予約されている時間内においては同時に予約された状態として使用可能になるように各種設定がされてもよい。さらに、会議室Aに必要な他の外部リソースが会議室Aに備わっていない場合は、会議室Aのユーザは、スマートスピーカ2に対して、会議室Aと他の外部リソース(プロジェクタ等の備品リソース)に係る情報とを発話によってあらためて予約するようにユーザに促してもよい(ステップS111)。

0228

なお、本実施の形態において、入力操作システム1は、例えば、過去の外部リソースの予約履歴及び使用履歴、並びに図5の紐づけ用DB402の各種テーブルデータの情報から、ユーザの発話に伴う音声情報について、機械学習を利用して、外部リソースの予約に加えて関連する備品リソースも自動的に予約するような構成を備えていてもよい。

0229

(第1の実施の形態の効果)
以上の説明から明らかなように、第1の実施の形態の入力操作システム1は、スマートスピーカ2に、プラットフォームアプリケーションプログラムとなる操作音声処理プログラム等を含むプログラムをインストールし、このプラットフォームアプリケーションプログラムによるクラウドサービス装置5との通信を行う。ユーザがスマートスピーカ2に設けられているマイクロホン部29や撮像部30に向かって音声入力操作を行うと、クラウドサービス装置5は、ユーザの発話内容を解析し、ユーザによって与えられた予約指示や所定の処理の実行指示が行われるように会議室7等の外部リソースを操作する。

0230

このような構成により、外部リソースの予約や所定の処理を実行させるために必要な操作をユーザが発話する音声によって実現することができる。これによって、タッチパネル27等のGUI(Graphical User Interface)による操作を不要とすることができる。このため、操作に慣れているユーザであっても、さらに迅速かつ簡単な入力操作を可能とすることができる。また、対話等による操作サポートによって、例えば、複雑なネットワーク設定、高度な処理の設定又は新規アプリの導入等が不要となる。その結果、高齢者又は機械操作不慣れなユーザ等であっても、ユーザが希望する操作を迅速かつ簡単に実行可能とすることができ、利便性が向上する。

0231

また、ユーザが発話によって与えた内容から得られたテキストデータに基づいてユーザの意図を解析するため、ユーザの発話に基づいた処理内容をクラウドサービス装置5(又はAIアシスタントサーバ装置4)側で判断して処理することも可能となる。

0232

<第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態では第1の実施の形態との相違点を主に説明する。したがって、特に言及されない点については、第1の実施の形態と同様でもよいため、詳細な説明を省略する。

0233

第2の実施の形態では、ユーザによって与えられた音声情報が、外部リソースの予約状況を確認する主旨の指示に相当する。つまり、第2の実施の形態における機能は、特に、以下の点で第1の実施の形態と相違する。まず、第1の実施の形態では、ユーザによって与えられた音声情報には、外部リソース(会議室等)の予約を実行する指示が含まれる。一方、第2の実施の形態では、ユーザによって与えられた音声情報には、現在予約が可能な(現在空いている)会議室等の有無や状況を確認する指示が含まれるが、具体的な会議室等の予約を実行する指示は含まれない。すなわち、ユーザによって与えられる指示情報と、その指示情報から生成されるインテント及びパラメータの内容に相違がある。さらに、これらの相違により、AIアシスタントサーバ装置4の実行判定部456により行われる補完処理の内容も変わる。

0234

具体的には、第1の実施の形態では、例えば、会議室Aを予約する指示がユーザによって与えられた場合、予約対象となる外部リソース名や予約時刻に関する情報がユーザの発話内容に含まれていないときは、クラウドサービス装置5(又はAIアシスタントサーバ装置4)の補完部454は、外部リソースの特定及び時刻情報に関する補完を行う。補完部454による補完が行われてもなお外部リソースの特定及び時刻情報が十分に特定できなければ、解釈結果変換部453は、ユーザに対する問合せのためのフィードバックを行う。つまり、外部リソースの情報及び外部リソースの予約に係る時刻情報等の補完処理が、AIアシスタントサーバ装置4の補完部454により行われる補完処理の一例となる。

0235

一方、第2の実施の形態では、例えば、空いている外部リソース(会議室)を問い合わせる指示がユーザによって与えられた場合、クラウドサービス装置5(又はAIアシスタントサーバ装置4)は、空いている会議室をユーザ管理テーブル402a、管理装置紐づけテーブル402b及びリソース管理テーブル402cを参照して検索し、予約可能な会議室があればその会議室を予約状況確認の通知対象とした予約状況確認命令を生成する。つまり、上述した検索処理及び予約状況確認のための情報の補完が、AIアシスタントサーバ装置4の補完部454により行われる補完処理の一例となる。なお、第2の実施の形態において、予約可能な会議室が無く予め決められた回数分他の会議室を検索しても適当な会議室が見つからなければ、クラウドサービス装置5(又はAIアシスタントサーバ装置4)の解釈結果変換部453は、ユーザに対して所定のメッセージを送信するフィードバックを行う。

0236

なお、スマートスピーカ2のデバイスID又はユーザIDに基づく外部リソースの検索処理、取得したインテント及びパラメータに基づく外部リソース(会議室)の予約状況の確認に用いられる必須パラメータの充足判断と補完処理、補完処理に伴いユーザに対して行われるフィードバックを含む処理は、第1の実施の形態で説明した内容と同様のため説明を省略する。その他、第2の実施の形態において実行される処理の詳細を、以下に詳述する。以下、上述した相違に係る具体的な処理を、シーケンス図及びフローチャートを用いて説明する。

0237

図11は、第2の実施の形態における処理の流れを示すシーケンス図である。図11に示すシーケンス図にしたがい、情報入力装置から各種外部リソースの状態を確認する場合について説明する。具体的には、第2の実施の形態では、スマートスピーカ2を用いたユーザの発話によって、会議室等の外部リソースの予約状況を確認する場合を例示する。但し、第2の実施の形態も、上述した第1の実施の形態と同様の入力操作システム1、各ハードウェア構成及び各機能構成により実現することが可能である。そのため、特に言及されない点については、詳細な説明を省略する。

0238

まず、スマートスピーカ2の取得部252は、ユーザから発話された「空いている会議室を教えて」という音声を、音声情報として取得する。音声情報として取得する際、取得部252は、例えば、図3に示したマイクロホン部29を使用することができる。なお、本実施の形態における発話の内容は、外部リソースの予約状況や使用状況等のステータスを問い合わせる主旨であればこれに限定されない。例えば、設備リソースに代えて又は加えて、備品リソースの予約状況や使用状況を問い合わせる指示が発話内容に含まれていてもよい。つまり、同時に複数の外部リソースの予約状況を問い合わせる指示が発話内容に含まれていてもよい。また、上述した内容では「会議室」という外部リソースの種類を指定しているが、これに限定されない。例えば、「会議室Aが空いているか教えて」と発話することで、「会議室A」という特定の外部リソースの予約状況(ステータス)を問い合わせる指示であってもよい(ステップS201)。

0239

ステップS202〜S205については、第1の実施の形態のステップS102〜S105と同様のため説明を省略する。

0240

続いて、情報認識サーバ装置3で操作音声変換プログラム等が実行されることにより、解釈部354は、テキスト化された音声データ等を解釈して、インテントとパラメータを生成する。生成されるインテントとパラメータは、例えば、「インテント:CONFIRM RESERVATION」である。また、パラメータは「外部リソースの種類=会議室」である。ここで、インテント(Intent)情報は、ユーザの発話フレーズ(例えば、自然言語)とエンティティ情報とを関連付ける情報、及びユーザの発話フレーズとアクション情報とを関連付ける情報である。本実施の形態の場合、インテントは管理装置6に対して外部リソースの予約状況を問い合わせる情報であり、パラメータは、外部リソースの種類を特定する情報である。パラメータは、例えば、「会議室」や「プロジェクタ」などの外部リソースの種類を特定する情報、又は「会議室A」「プロジェクタ1」など外部リソース自体を特定する情報である。さらにパラメータは、外部リソースの予約日時、ユーザなどの外部リソースの予約の問合せに関する情報でもある。なお、ユーザが複数の外部リソースの予約状況について問合せを指示した場合、上述した外部リソースを特定する情報は複数含まれてもよい(ステップS206)。

0241

続いて、解釈部354は、生成したインテント、パラメータ及びスマートスピーカ2のデバイスIDをAIアシスタントサーバ装置4で実行される管理プログラムに送信する(ステップS207)。

0242

(情報の補完及び問合せ処理)
上述したように、ユーザによって空いている会議室の問合せがあった場合、クラウドサービス装置5(又はAIアシスタントサーバ装置4)の検索部460は、空いている外部リソース(会議室)を管理装置紐づけテーブル402b及びリソース管理テーブル402cを参照して検索し、予約可能な会議室があればその会議室を予約状況確認の通知対象とした予約状況確認命令を生成する。上述した検索及び予約状況確認命令の生成処理が、補完部454により行われる補完処理の一例となる。一方、クラウドサービス装置5(又はAIアシスタントサーバ装置4)の解釈結果変換部453は、予め決められた回数分他の会議室を検索しても適当な会議室が見つからない場合に、ユーザに対して所定のメッセージを送信するフィードバックを行う(ステップS208)。

0243

なお、スマートスピーカ2のデバイスID又はユーザIDに基づく外部リソースの検索、取得したインテント及びパラメータに基づく外部リソース(会議室)の予約状況の確認に用いられる必須パラメータの充足判断と補完処理、補完処理に伴いユーザに対して行われるフィードバックを含む一連の処理は、第1の実施の形態で説明した内容と同様のため説明を省略する。その他、第2の実施の形態において実行される処理の詳細は、以下に詳述する。

0244

(情報の補完及び問合せ処理の詳細)
上述したステップS208に関して、クラウドサービス装置5(より詳細には、AIアシスタントサーバ装置4)で実行される管理プログラムによる情報の補完及び問合せ処理の一例を説明する。図12は、第2の実施の形態における情報の補完及び問合せ処理のフローチャートである。

0245

なお、ステップS1001〜S1002については、第1の実施の形態のステップS1001〜S1002と同様のため、説明を省略する。

0246

続いて、ユーザが用いたデバイス(入力デバイス)を特定することが可能な場合(ステップS1002でYes)、解釈結果変換部453は、受信したデータから、予約状況を確認する対象の指定があるか否かを判断する(ステップS2001)。この予約対象の有無を判断する方法として、例えば、外部リソース名、外部リソースのリソースID等を特定する方法が挙げられる。この判断におけるユーザからの発話内容は、例えば、「会議室Aが空いているか教えて」又は、「空いている会議室を教えて」等である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ