図面 (/)

技術 ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム

出願人 BizteX株式会社
発明者 嶋田光敏袖山剛
出願日 2018年7月28日 (1年4ヶ月経過) 出願番号 2018-141918
公開日 2019年5月16日 (7ヶ月経過) 公開番号 2019-075084
状態 特許登録済
技術分野 ストアードプログラム 計算機間の情報転送 デバッグ/監視 デジタル計算機のユーザインターフェイス
主要キーワード クラウド型 操作欄 配列形式 ロボティック インスタンス毎 ロボット毎 ブロックス 操作完了
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年5月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステムを提供する。

解決手段

ユーザーは、第1のサーバにより提供されるウェブサイトアクセスする。このとき、ユーザー端末は、第1のサーバから、第1の端末においてRPAデータの作成を行うための作成プログラムを受信する。ユーザーは、対象となるウェブページのURLを入力欄に入力して「表示」ボタンクリックする。必要な操作の指定がすべて済んだら、ウェブサイトの操作欄には、操作履歴が表示される。ユーザーが、操作欄で「保存」ボタンをクリックすることで、操作履歴に対応するRPAデータが生成される。

概要

背景

これまで工場等において導入が進んできたロボット活用オフィスワークにも広がりを見せている。人間がコンピュータに対して行う操作を記憶させて業務プロセスを自動化するものであり、ロボティック・プロセス・オートメーション(RPA)と呼ばれている。操作を定型化できる業務であれば、たとえば複数のアプリケーションソフトウェアに跨る操作であっても自動化することができ、人間よりも速く、また間違いを犯すことなく正確に繰り返し続けることができることから、大きな注目を浴びている。

概要

ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステムを提供する。ユーザーは、第1のサーバにより提供されるウェブサイトアクセスする。このとき、ユーザー端末は、第1のサーバから、第1の端末においてRPAデータの作成を行うための作成プログラムを受信する。ユーザーは、対象となるウェブページのURLを入力欄に入力して「表示」ボタンクリックする。必要な操作の指定がすべて済んだら、ウェブサイトの操作欄には、操作履歴が表示される。ユーザーが、操作欄で「保存」ボタンをクリックすることで、操作履歴に対応するRPAデータが生成される。

目的

本発明は、このような問題点に鑑みてなされたものであり、その目的は、ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ウェブブラウザの操作を伴う業務プロセスを自動化するための方法であって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、ウェブブラウザに、操作の対象となるウェブページキャプチャ画像を表示するステップと、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成するステップとを含み、前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とする方法。

請求項2

前記オブジェクトは、対応するエレメントを囲う矩形形状であることを特徴とする請求項1に記載の方法。

請求項3

前記指定された操作が前記ウェブページに表示上の変化をもたらす場合、操作対象となるウェブページのキャプチャ画像を再度表示することを特徴とする請求項1又は2に記載の方法。

請求項4

前記指定された操作は、ファイルへの出力又はファイルからの入力であることを特徴とする請求項1から3のいずれかに記載の方法。

請求項5

同一又は異なるウェブページの複数のエレメントに対して操作が指定可能であることを特徴とする請求項1から8のいずれかに記載の方法。

請求項6

コンピュータに、ウェブブラウザの操作を伴う業務プロセスを自動化するための方法を実行させるためのプログラムであって、前記方法は、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、ウェブブラウザに、操作の対象となるウェブページのキャプチャ画像を表示するステップと、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成するステップとを含み、前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とするプログラム。

請求項7

ウェブブラウザの操作を伴う業務プロセスを自動化するための方法であって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、サーバが、操作の対象となるウェブページのキャプチャ画像及びソースコードを受信するステップと、前記ソースコードを解析して前記ソースコードにおける各エレメントの位置を特定するステップと、各エレメントの前記ウェブページにおける表示上の位置を特定するステップと、前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するステップとを含み、前記ユーザー端末が、ウェブブラウザに、受信した前記キャプチャ画像を表示するステップと、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するステップとを含み、前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とする方法。

請求項8

前記サーバは、クラウド上の1又は複数のインスタンスであることを特徴とする請求項7に記載の方法。

請求項9

サーバ及びユーザー端末に、ウェブブラウザの操作を伴う業務プロセスを自動化するための方法を実行させるためのプログラムであって、前記方法は、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、サーバが、操作の対象となるウェブページのキャプチャ画像及びソースコードを受信するステップと、前記ソースコードを解析して前記ソースコードにおける各エレメントの位置を特定するステップと、各エレメントの前記ウェブページにおける表示上の位置を特定するステップと、前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するステップとを含み、前記ユーザー端末が、ウェブブラウザに、受信した前記キャプチャ画像を表示するステップと、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するステップとを含み、前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とするプログラム。

請求項10

ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステムであって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、操作の対象となるウェブページのキャプチャ画像及びソースコードを受信し、前記ソースコードを解析して前記ソースコードにおける各エレメントの位置及び各エレメントの前記ウェブページにおける表示上の位置を特定し、前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するサーバと、ウェブブラウザに、受信した前記キャプチャ画像を表示し、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取り、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示し、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取り、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するユーザー端末とを備え、前記ウェブページ内の各エレメントは、前記ユーザー端末において、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とするシステム。

技術分野

0001

本発明は、業務プロセスを自動化するためのシステム、方法及びプログラムに関し、より詳細には、ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラムに関する。

背景技術

0002

これまで工場等において導入が進んできたロボット活用オフィスワークにも広がりを見せている。人間がコンピュータに対して行う操作を記憶させて業務プロセスを自動化するものであり、ロボティック・プロセス・オートメーション(RPA)と呼ばれている。操作を定型化できる業務であれば、たとえば複数のアプリケーションソフトウェアに跨る操作であっても自動化することができ、人間よりも速く、また間違いを犯すことなく正確に繰り返し続けることができることから、大きな注目を浴びている。

発明が解決しようとする課題

0003

今後、企業にて用いられるさまざまなソフトウェアオンプレ型からクラウド型移行していく時流において、RPAの対象となる操作は、ウェブブラウザ上での操作が大きな割合となってくる。

0004

しかしながら、従来のRPAソフトウェアはウェブブラウザに対する操作を主な用途としたものではなく、改善の余地が少なくない。

0005

本発明は、このような問題点に鑑みてなされたものであり、その目的は、ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラムを提供することにある。

課題を解決するための手段

0006

このような目的を達成するために、本発明の第1の態様は、ウェブブラウザの操作を伴う業務プロセスを自動化するための方法であって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、ウェブブラウザに、操作の対象となるウェブページキャプチャ画像を表示するステップと、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成するステップとを含むことを特徴とする。

0007

また、本発明の第2の態様は、第1の態様において、前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とする。

0008

また、本発明の第3の態様は、第2の態様において、前記オブジェクトは、対応するエレメントを囲う矩形形状であることを特徴とする。

0009

また、本発明の第4の態様は、第3の態様において、前記オブジェクトは、選択前は透明であり、選択後は境界線が表示されることを特徴とする。

0010

また、本発明の第5の態様は、第1から第4のいずれかの態様において、前記指定された操作が前記ウェブページに表示上の変化をもたらす場合、操作対象となるウェブページのキャプチャ画像を再度表示することを特徴とする。

0011

また、本発明の第6の態様は、第5の態様において、前記指定された操作は、リンク又はプルダウンメニューのクリック又はタップであることを特徴とする。

0012

また、本発明の第7の態様は、第5の態様において、前記指定された操作は、入力フォームへの入力であることを特徴とする。

0013

また、本発明の第8の態様は、第1から第4のいずれかの態様において、前記指定された操作は、ファイルへの出力又はファイルからの入力であることを特徴とする。

0014

また、本発明の第9の態様は、第1から第8のいずれかの態様において、同一又は異なるウェブページの複数のエレメントに対して操作が指定可能であることを特徴とする。

0015

また、本発明の第10の態様は、コンピュータに、ウェブブラウザの操作を伴う業務プロセスを自動化するための方法を実行させるためのプログラムであって、前記方法は、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、ウェブブラウザに、操作の対象となるウェブページのキャプチャ画像を表示するステップと、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップとを含み、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを送信することを特徴とする。

0016

また、本発明の第11の態様は、ウェブブラウザの操作を伴う業務プロセスを自動化するための方法であって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、サーバが、操作の対象となるウェブページのキャプチャ画像及びソースコードを受信するステップと、前記ソースコードを解析して前記ソースコードにおける各エレメントの位置を特定するステップと、各エレメントの前記ウェブページにおける表示上の位置を特定するステップと、前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するステップとを含み、前記ユーザー端末が、ウェブブラウザに、受信した前記キャプチャ画像を表示するステップと、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するステップとを含み、前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とする。

0017

また、本発明の第12の態様は、第11の態様において、前記ソースコードにおける位置は、絶対パスで示されることを特徴とする。

0018

また、本発明の第13の態様は、第11又は第12の態様において、前記表示上の位置は、前記ウェブページの横幅を所定の幅と定めたときの位置であることを特徴とする。

0019

また、本発明の第14の態様は、第11から第13のいずれかの態様において、前記表示上の位置は、前記ウェブページ内の所定の点を基準とした座標で示されることを特徴とする。

0020

また、本発明の第15の態様は、第14の態様において、前記所定の点は、前記ウェブページの上端の左端又は右端であることを特徴とする。

0021

また、本発明の第16の態様は、第11から第15のいずれかの態様において、前記1又は複数のデータは、JSON形式であることを特徴とする。

0022

また、本発明の第17の態様は、第16の態様において、前記サーバは、前記1又は複数のデータを、ブロックスタイルのYAML形式に変換して記憶することを特徴とする。

0023

また、本発明の第18の態様は、第11から第17のいずれかの態様において、前記サーバは、クラウド上の1又は複数のインスタンスであることを特徴とする。

0024

また、本発明の第19の態様は、サーバ及びユーザー端末に、ウェブブラウザの操作を伴う業務プロセスを自動化するための方法を実行させるためのプログラムであって、前記方法は、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、サーバが、操作の対象となるウェブページのキャプチャ画像及びソースコードを受信するステップと、前記ソースコードを解析して前記ソースコードにおける各エレメントの位置を特定するステップと、各エレメントの前記ウェブページにおける表示上の位置を特定するステップと、前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するステップとを含み、前記ユーザー端末が、ウェブブラウザに、受信した前記キャプチャ画像を表示するステップと、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するステップとを含み、前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とする。

0025

また、本発明の第20の態様は、ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステムであって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、操作の対象となるウェブページのキャプチャ画像及びソースコードを受信し、前記ソースコードを解析して前記ソースコードにおける各エレメントの位置及び各エレメントの前記ウェブページにおける表示上の位置を特定し、前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するサーバと、ウェブブラウザに、受信した前記キャプチャ画像を表示し、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取り、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示し、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取り、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するユーザー端末とを備え、前記ウェブページ内の各エレメントは、前記ユーザー端末において、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とする。

発明の効果

0026

本発明の一態様によれば、ユーザーは、操作対象となるウェブページのキャプチャ画像を介して自動化すべき各エレメントへの操作を指定することができ、キャプチャ画像を取得できないウェブページは限られていることから、容易に広範なウェブページをRPAの対象とすることが可能となる。

図面の簡単な説明

0027

本発明の第1の実施形態にかかる自動化のためのシステムを示す図である。
本発明の第1の実施形態にかかるロボット作成のためのユーザーの作業手順の流れを示す図である。
本発明の第1の実施形態にかかるロボット作成手順の流れを示す図である。
本発明の第1の実施形態にかかるロボット作成手順の流れを示す図である。
本発明の第1の実施形態にかかるロボット作成手順の流れを示す図である。
本発明の第1の実施形態にかかるロボット作成手順の流れを示す図である。
本発明の第1の実施形態にかかるロボット作成手順の流れを示す図である。
本発明の第1の実施形態にかかるロボット作成手順の流れを示す図である。
本発明の第1の実施形態にかかるロボット作成手順の流れを示す図である。
本発明の第1の実施形態にかかるロボット作成手順の流れを示す図である。

実施例

0028

コンピュータに自動的にウェブブラウザの操作を伴う業務プロセスを実行させるためには、いわゆる「ロボット」の作成とその実行という2つの工程がある。ここで、人間が行った操作が記述されたコンピュータにより実行可能なプログラム若しくはコード又はコンピュータにより実行可能なプログラムが読込可能な人間が行った操作が記述されたデータ等、「ロボット」という用語は多義的に用い得ることから、本明細書では概略的な説明を目的としてのみ用いる。

0029

また、人間が行った操作又は指定した操作をコンピュータにより解釈乃至読込可能なデータ(以下「RPAデータ」とも呼ぶ。)として記述することができれば、当該データに基づいて、必要であれば、たとえば後述するSeleniumのようなウェブブラウザを操作するためのアプリケーションで実行可能又は解釈乃至読込可能な形式に変換を行って、又は当該アプリケーションで実行可能又は解釈乃至読込可能な形式のJavascript(登録商標)のようなプログラムを生成して、指定された操作の自動的な実行が可能であることから、その詳細については、説明しない。

0030

本発明は、プログラミングについての高度な能力を有しない者であっても、さまざまなウェブサイト上での業務の自動化を可能とするために、人間が行った操作又は指定した操作をコンピュータにより解釈可能なデータとして記述することを容易にする。言い換えれば、本発明は、いわゆる「ロボット」の作成を容易にすることができる。

0031

以下、図面を参照して本発明の実施形態を詳細に説明する。

0032

(第1の実施形態)
図1は、本実施形態にかかる自動化のための構成を示している。サーバシステム100は、ユーザー端末130と通信を行う第1のサーバ110と、第1のサーバ110からの命令に基づいて、対象となるウェブサイトにアクセスを行う第2のサーバ120とを備える。当該ウェブサイトは、インターネット上の第3のサーバ140により提供される。第1のサーバ110及び第2のサーバ120は、それぞれクラウド上のインスタンスとしてもよく、後述するように、第2のサーバ120に対応するインスタンスを1又は複数のロボット毎に生成してもよい。以下では、この構成を例に説明を行うものの、第2のサーバ120を第1のサーバ110と別個のサーバとすることなく、同一のサーバとしてもよく、この場合には、これらのサーバ間でのデータの授受は行われない。サーバシステム100とユーザー端末130を併せて「システム」と呼ぶことがある。

0033

第1のサーバ110は、通信インターフェースなどの通信部111と、プロセッサ、CPU等の処理部112と、メモリハードディスク等の記憶装置又は記憶媒体を含む記憶部113とを備え、処理部112において、後述する各処理を行うためのプログラムを実行することによって構成することができる。第1のサーバ110は、1又は複数のサーバないしインスタンスを含むことがあり、また当該プログラムは、1又は複数のプログラムを含むことがあり、また、コンピュータ読み取り可能な記憶媒体に記録して非一過性プログラムプロダクトとすることができる。

0034

第1のサーバ110以外の装置、サーバ又はインスタンスについて、個別に図示はしないものの、第1のサーバ110と同様に、通信部、処理部及び記憶部が備えられ、1又は複数のプログラムが処理部により実行されることで所要の機能が実現される。

0035

RPAデータの作成
本実施形態におけるRPAデータ作成の手順を説明する。まず、ユーザーは、ユーザー端末130から、第1のサーバ110により提供されるウェブサイト300にアクセスする(S201)。アクセスの際に、必要に応じてログインが行われる。このとき、ユーザー端末130は、第1のサーバ110又はシステム100から、第1の端末130においてウェブブラウザを用いてRPAデータの作成を行うための作成プログラムを受信する。当該作成プログラムは、たとえばJavaScriptとすることができ、以後ユーザーにより行われる操作をユーザー端末130に記憶させ、また、ユーザーの操作に応じて図4以降に示すようにウェブサイト300の表示を更新させる。

0036

次に、ユーザーは、ウェブサイト300において、新たに作成するロボットにタイトルを与えて、「作成」ボタンをクリック又はタップする(S202)。図3の例では、「テストロボット」というタイトルを与えており、また、対象となるウェブサイトに対する操作の結果として取得されるデータを出力するための出力ファイルとして、Excel(登録商標)ファイル「テストロボット出力ファイル.xlsx」を当該ロボットに関連づけている。

0037

ユーザー端末130から新規ロボットの作成要求を受信した第1のサーバ110は、当該ロボットのためのインスタンスとして第2のサーバ120を生成する。ロボット毎にインスタンスを生成するか、生成されているインスタンスを割り当ててもよく、あるいは、インスタンス毎に4個、5個等の所定の数のロボットを割り当ててもよい。この場合、割り当て可能なインスタンスがなければ新たにインスタンスを生成することになる。また、第1のサーバ110は、関連づけられた出力ファイルを当該ロボットと関連づけて記憶部113又は第1のサーバ110からネットワークを介してアクセス可能な記憶装置又は記憶媒体に記憶する。

0038

次に、ユーザーは、対象となるウェブページのURLをURL入力欄401に入力して「表示」ボタン402をクリック又はタップする(S203)。図4の例では、ある企業のウェブサイトのニュースページの画像がウェブサイト300の表示欄310に表示されている。後述するように、ソースコードの解析結果に基づいて、当該ニュースページの各エレメントは当該画像上で選択可能とされている。ウェブサイト300には、表示欄310の他に、操作欄320が表示されている。操作欄320には、ユーザーが行った操作の履歴が残されていく。各操作は、操作の種類と対象で構成され、ここでは、「URLを開く」という種類とともに、その対象であるURLが示されている。

0039

ユーザー端末130からウェブページの表示要求を受信した第1のサーバ110は、第2のサーバ120にブラウザ起動させて、当該URLを表示させる。第2のサーバ120では、Seleniumのようなアプリケーションを介して、ブラウザの操作を行うことが可能である。ここで、第2のサーバ120におけるブラウザの起動をこのときに行うことは必ずしも必要ではなく、また、第2のサーバ120は、ブラウザ上で当該URLの表示を行うものの、ディスプレイに表示することは必要ではない。

0040

第2のサーバ120は、URLの表示に成功すると、表示したウェブページを画像としてキャプチャし、そのソースコードとともに第1のサーバ110に受け渡す。第1のサーバ110は、受け取った画像及びソースコードの解析結果をユーザー端末130に送信し、ユーザー端末130は、図4に示すようにウェブサイト300の表示欄310を更新する。当該更新は、上述した生成プログラムが画像及び解析結果に基づいて行う。解析は、第2のサーバ120で行ってしまい、解析結果を第1のサーバ110に渡すこともできる。解析の詳細については、後述する。

0041

ユーザーが表示欄310に表示された対象となるウェブページ内のいずれかのエレメント501を選択した場合(S204)、当該エレメントに対して可能な操作の一覧が操作欄320に表示される。図5の例では、「テキストの取得」「繰り返しを抽出」「クリック」「マウスカーソルを移動」及び「リンク先を保存」が選択肢として示されている。ここで「繰り返しを抽出」が選択されると、操作の種類が決定される(S205−1)。

0042

「繰り返しを抽出」が操作の種類であるときには、操作の対象については、ソースコードの解析結果に基づいて、選択されたエレメント501と同一又は類似のパスを有するエレメントが選択される。図6では、同一classのdivタグを有するエレメント502乃至506が自動的に選択されている。ここで、名前を与えて「決定」ボタンをクリック又はタップすることで、繰り返し操作の対象が決定される(S205−2)。

0043

図6では、選択されたエレメント501と同一又は類似のパスを有するエレメントを自動的に選択させたが、選択されたエレメント501に対して繰り返されているエレメントの候補をたとえばハイライトすることによって示し、ユーザーが2つ目のエレメントを選択したことに応じて、両者に共通する絶対パスを有するエレメントを繰り返し対象として選択することもできる。

0044

また、「繰り返しを抽出」が操作の種類であるときには、ここまでの操作で繰り返し操作の対象は定まっているものの、繰り返すべき操作の内容が未定である。そこで、ユーザーは、操作欄320の「+」をクリック又はタップすることで、再度当該エレメントに対して選択可能な操作の一覧を操作欄320に表示させて、「テキストの取得」を選択する(S205−3)。そして、図7に示すように、操作欄320で「確定」ボタンをタップ又はクリックすることで、この繰り返し操作の全体が決定される。繰り返し操作を確定させるための詳細については、当然「確定」ボタンの他にもさまざまなUIとして表現が考えられる。

0045

「繰り返しを抽出」の他に、たとえば「クリック」という操作が選択された場合には、リンクのクリックであれば画面遷移し、プルダウンメニューのクリックであれば選択肢が表示されることにより、操作の対象となるウェブページに変化をもたらすことから、新たにURLを開き直して、ウェブサイト300の表示欄310を更新することとなる。また、画面の変化を伴わずに、別のエレメントを選択して同様に操作の種類及び対象を指定してもよい。

0046

ウェブサイトに対する操作が終了したら、ユーザーは、この例のようにテキストの取得をしている場合、図8に示される「ファイルに出力」という操作を選択し、あらかじめ関連づけておいた出力ファイルへの出力形式を指定する(S206)。出力ファイルの関連づけはここで行ってもよい。図9に示すように、出力ファイルがスプレッドシートの際には、抽出したテキストの出力開始セルを指定することができるものの、出力形式の指定は必ずしも必須ではない。また、あらかじめ設けておいた出力ファイルは雛型として用い、別途保存場所、ファイル名等を指定可能としてもよい。

0047

必要な操作の指定がすべて済んだら、ウェブサイト300の操作欄320には、操作履歴が表示されている。ユーザーは、操作欄320で「保存」ボタンをタップ又はクリックすることで、ロボットの作成を完了する(S207)。このとき、ユーザー端末130は、選択されたエレメントに対する操作という操作履歴に対応するRPAデータを生成して第1のサーバ110に送信し、第1のサーバ110は、必要に応じて当該データに変換を施して記憶する。

0048

たとえば、ユーザー端末130から送信されるRPAデータをJSON形式、第1のサーバ110又はシステム100における変換後のデータをブロックスタイルのYAML形式とすることができる。また、ユーザー端末130からの送信は、すべての操作の指定が完了するのを待つのではなく、操作が行われるごとに行うようにしてもよい。

0049

上述の「URLを開く」という操作を例にすると、当該操作時に、たとえば、ユーザー端末130に以下の形式のデータが保存される。
{
type: 'open_url',
id: 'd0e0ff67-980f-4321-8564-458087f12515',
browser_size:
width: 1280,
height: 1024,
url: 'https://www.xxxx.co.jp/news.html'
comment:
}

0050

他の操作が行われた場合にも同様の形式のデータが生成され、操作が行われた順序で以下のように配列形式で保存されていき、すべての操作完了時又は各操作の完了時に、ユーザー端末130に記憶された並列データが第1のサーバ110に送信されるようにすることができる。
[
{
type: 'open_url',
...(省略)
},
{
type: 'foreach',
...(省略)
}
]

0051

第1のサーバ110では、受け取った配列データを下記のようなYAML形式のデータに変換し、文字列として保存することができる。
settings:
default_error_handling: fail_and_stop
code:
- type: open_url
id: d0e0ff67-980f-4321-8564-458087f12515
browser_size:
width: 1280
height: 1024
url: https://www.xxxx.co.jp/news.html
comment:
- type: foreach
id: b0a04b57-2648-491f-8479-32fa3866690d
(以下略)

0052

なお、「××のみに基づいて」、「××のみに応じて」、「××のみの場合」というように「のみ」との記載がなければ、本明細書においては、付加的な情報も考慮し得ることが想定されていることに留意されたい。

0053

また、念のため、なんらかの方法、プログラム、端末、装置、サーバ又はシステム(以下「方法等」)において、本明細書で記述された動作と異なる動作を行う側面があるとしても、本発明の各態様は、本明細書で記述された動作のいずれかと同一の動作を対象とするものであり、本明細書で記述された動作と異なる動作が存在することは、当該方法等を本発明の各態様の範囲外とするものではないことを付言する。

0054

ソースコード解析の詳細
第1のサーバ110において行われる対象となるウェブページのソースコード解析は、ソースコードにおける各エレメントの位置の特定と、各エレメントの当該ウェブページにおける表示上の位置の特定を含む。また、各エレメントのタグネーム及び属性並びに表示上の高さ及び幅のうちの少なくとも一つを含むことができる。

0055

ユーザー端末130では、生成プログラムが、これらの位置情報に基づいて、対象となるウェブページ内の各エレメントに対し、各エレメントの当該ウェブページにおける表示上の位置に対応するキャプチャ画像上の位置に、対応するオブジェクトを配置する。

0056

オブジェクトは、たとえば、図5に示したように、対応するエレメントを囲う矩形形状の枠とすることができ、選択前は透明であり、選択後は境界線が表示されるようにすることができる。

0057

各エレメントのソースコードにおける位置は、絶対パスで示すことができ、各エレメントの当該ウェブページにおける表示上の位置は、前記ウェブページの横幅を所定の幅、たとえば1280ピクセルと定めたときの位置とすることができる。当該位置は、ウェブページを最も上にスクロールした際の左上又は右上、換言すれば、ウェブページの上端の左端又は右端を原点とした座標で表すことができる。当該座標は、各エレメントの左上、右上等のいずれかの頂点の座標とすることができる。

0058

(第2の実施形態)
第1の実施形態では、繰り返し現れるエレメントに対して同一の操作を繰り返したが、同一のエレメントに対して指定した異なる操作を繰り返すこともできる。たとえば、検索エンジンを開いて、あらかじめスプレッドシートに入力されたキーワードを入力フォームに入力して検索結果からテキストを取得する操作を繰り返すことができる。

0059

100 システム
110 第1のサーバ
111通信部
112 処理部
113 記憶部
120 第2のサーバ
130ユーザー端末
140 第3のサーバ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ