図面 (/)

この項目の情報は公開日時点(2017年9月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

画面コンテンツドキュメントとして容易に取得することを可能とする。

解決手段

コンピュータが、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する。前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出することは、前記複数のフレームまたはユーザ選択から判定される関心領域から前記ドキュメントコンテンツを抽出する、ことを含んでいてもよい。

概要

背景

ドキュメントまたはビデオ会議関与する、同時に行われる協働を実施する関連技術の実装において、コンテンツ配送する関連技術の方法は、ファイルリポジトリまたは電子メールの利用を含む。関連技術のウェブベースツールはオンデマンド会議を容易にするが、ドキュメントの共有事前調整を要求し続けるため、関連技術の実装では行われない。

電子メールによるドキュメント共有は、コンテンツのバージョン矛盾につながる可能性を含む。また、ビデオ会議においてコードエディタで表示されるソースコードは、容易に自然な共有をされない可能性を含む。ユーザは、オンラインリポジトリまたは特殊なオンラインスニペットビューワーにコードをアップロードするための追加処理を行う必要があるかもしれない。また、コメント及びフィードバックを引き出すためにドキュメントを表示することを所望するユーザが、オンラインプレゼンテーションを共有する場合、ユーザは同僚とリアルタイム画面を共有することを要求されることがよくあり、関連技術の実装を使用する場合、ユーザはオリジナルドキュメントアクセスすることができない。

また、他の同僚にあまり使用されていないフォーマットのドキュメントを表示しようとした場合、同僚のコンピュータは、ドキュメントを見るために必要なソフトウェアが使えない状態かもしれない。もし、ドキュメントを開くことができるソフトウェアをユーザがもっていたとしても、ソフトウェアの種類やバージョンによって、元のフォーマットを適切に維持しないかもしれない。また、他の場合、同僚全てが同じようにマテリアルに確実にアクセスするように、プレゼンターは他のユーザがプレゼンテーションの一部を飛ばして先に進むことを所望しないかもしれない。

概要

画面コンテンツをドキュメントとして容易に取得することを可能とする。コンピュータが、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する。前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出することは、前記複数のフレームまたはユーザ選択から判定される関心領域から前記ドキュメントコンテンツを抽出する、ことを含んでいてもよい。

目的

本発明は、他の装置で、ドキュメントを表示するためのアプリケーションが使えない状態であったとしても、他の装置におけるドキュメントの取得を可能にすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータが、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する、方法。

請求項2

前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出することは、前記複数のフレームまたはユーザ選択から判定される関心領域から前記ドキュメントコンテンツを抽出する、ことを含む、請求項1に記載の方法。

請求項3

前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページ再生することで前記ドキュメントのウェブベースコピーを生成する、ことをさらに含む、請求項2に記載の方法。

請求項4

前記関心領域から前記ドキュメントコンテンツを抽出することは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことを含む、請求項2または請求項3に記載の方法。

請求項5

前記ドキュメントのウェブベースコピーを生成することは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画する、ことを含む、請求項1〜請求項4の何れか1項に記載の方法。

請求項6

前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する、請求項1〜請求項5の何れか1項に記載の方法。

請求項7

ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する、処理をコンピュータに実行させるためのプログラム

請求項8

前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出することは、前記複数のフレームから判定される関心領域から前記ドキュメントコンテンツを抽出する、ことを含む、請求項7に記載のプログラム。

請求項9

前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページを再生することで前記ドキュメントのウェブベースコピーを生成する、ことをさらに含む、請求項8に記載のプログラム。

請求項10

前記関心領域から前記ドキュメントコンテンツを抽出することは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことを含む、請求項8または請求項9に記載のプログラム。

請求項11

前記ドキュメントのウェブベースコピーを生成することは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画する、ことを含む、請求項7〜請求項10の何れか1項に記載のプログラム。

請求項12

前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する、請求項7〜請求項11の何れか1項に記載のプログラム。

請求項13

ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する、プロセッサ、を含む装置。

請求項14

前記プロセッサは、前記複数のフレームから判定される関心領域から前記ドキュメントコンテンツを抽出することで、前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出する、請求項13に記載の装置。

請求項15

前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記プロセッサは、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページを再生することで前記ドキュメントのウェブベースコピーを生成する、請求項14に記載の装置。

請求項16

前記プロセッサは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことで、前記関心領域から前記ドキュメントコンテンツを抽出する、請求項14または請求項15に記載の装置。

請求項17

前記プロセッサは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画することで、前記ドキュメントのウェブベースコピーを生成する、請求項13〜請求項16の何れか1項に記載の装置。

請求項18

前記プロセッサは、前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する、請求項13〜請求項17の何れか1項に記載の装置。

技術分野

0001

本開示は、ドキュメントウェブベースコピーを生成する方法、プログラム及び装置に関する。

背景技術

0002

ドキュメントまたはビデオ会議関与する、同時に行われる協働を実施する関連技術の実装において、コンテンツ配送する関連技術の方法は、ファイルリポジトリまたは電子メールの利用を含む。関連技術のウェブベースツールはオンデマンド会議を容易にするが、ドキュメントの共有事前調整を要求し続けるため、関連技術の実装では行われない。

0003

電子メールによるドキュメント共有は、コンテンツのバージョン矛盾につながる可能性を含む。また、ビデオ会議においてコードエディタで表示されるソースコードは、容易に自然な共有をされない可能性を含む。ユーザは、オンラインリポジトリまたは特殊なオンラインスニペットビューワーにコードをアップロードするための追加処理を行う必要があるかもしれない。また、コメント及びフィードバックを引き出すためにドキュメントを表示することを所望するユーザが、オンラインプレゼンテーションを共有する場合、ユーザは同僚とリアルタイム画面を共有することを要求されることがよくあり、関連技術の実装を使用する場合、ユーザはオリジナルドキュメントアクセスすることができない。

0004

また、他の同僚にあまり使用されていないフォーマットのドキュメントを表示しようとした場合、同僚のコンピュータは、ドキュメントを見るために必要なソフトウェアが使えない状態かもしれない。もし、ドキュメントを開くことができるソフトウェアをユーザがもっていたとしても、ソフトウェアの種類やバージョンによって、元のフォーマットを適切に維持しないかもしれない。また、他の場合、同僚全てが同じようにマテリアルに確実にアクセスするように、プレゼンターは他のユーザがプレゼンテーションの一部を飛ばして先に進むことを所望しないかもしれない。

0005

米国特許出願公開第2003/0048949号
中国特許出願公開第104133683号

先行技術

0006

マーロウ(Marlow)ら、「話し手を越えて:分散会議におけるマルチメディアアーチファクトの生成、使用及び共有(Beyond Talking Heads: Multimedia Artifact Creation, Use and Sharing in Distributed Meetings)、CSCW(コンピュータ支援協働作業)、米国、2016年2月27日〜3月2日、頁13

発明が解決しようとする課題

0007

本発明は、他の装置で、ドキュメントを表示するためのアプリケーションが使えない状態であったとしても、他の装置におけるドキュメントの取得を可能にすることを目的とする。

課題を解決するための手段

0008

第1の態様は、方法であって、コンピュータが、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する。

0009

第2の態様は、第1の態様の方法であって、前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出することは、前記複数のフレームまたはユーザ選択から判定される関心領域から前記ドキュメントコンテンツを抽出する、ことを含む。

0010

第3の態様は、第2の態様の方法であって、前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページ再生することで前記ドキュメントのウェブベースコピーを生成する、
ことをさらに含む。

0011

第4の態様は、第2または第3の態様の方法であって、前記関心領域から前記ドキュメントコンテンツを抽出することは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことを含む。

0012

第5の態様は、第1〜第4の何れかの態様の方法であって、前記ドキュメントのウェブベースコピーを生成することは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画する、ことを含む。

0013

第6の態様は、第1〜第5の何れかの態様の方法であって、前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する。

0014

第7の態様は、プログラムであって、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する、処理をコンピュータに実行させる。

0015

第8の態様は、第7の態様のプログラムであって、前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出することは、前記複数のフレームから判定される関心領域から前記ドキュメントコンテンツを抽出する、ことを含む。

0016

第9の態様は、第8の態様のプログラムであって、前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページを再生することで前記ドキュメントのウェブベースコピーを生成する、ことをさらに含む。

0017

第10の態様は、第8または第9の態様のプログラムであって、前記関心領域から前記ドキュメントコンテンツを抽出することは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことを含む。

0018

第11の態様は、第7〜第10の何れかの態様のプログラムであって、前記ドキュメントのウェブベースコピーを生成することは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画する、ことを含む。

0019

第12の態様は、第7〜第11の何れかの態様のプログラムであって、前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する。

0020

第13の態様は、装置であって、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する、プロセッサ、を含む。

0021

第14の態様は、第13の態様の装置であって、前記プロセッサは、前記複数のフレームから判定される関心領域から前記ドキュメントコンテンツを抽出することで、前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出する。

0022

第15の態様は、第14の態様の装置であって、前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記プロセッサは、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページを再生することで前記ドキュメントのウェブベースコピーを生成する。

0023

第16の態様は、第14または第15の態様の装置であって、前記プロセッサは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことで、前記関心領域から前記ドキュメントコンテンツを抽出する。

0024

第17の態様は、第13〜第16の何れかの態様の装置であって、前記プロセッサは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画することで、前記ドキュメントのウェブベースコピーを生成する。

0025

第18の態様は、第13〜第17の何れかの態様の装置であって、前記プロセッサは、前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する。

発明の効果

0026

本発明は、他の装置で、ドキュメントを表示するためのアプリケーションが使えない状態であったとしても、他の装置におけるドキュメントの取得を可能にすることを目的とする。

図面の簡単な説明

0027

例示的な実装によるドキュメントの取得を例示する。
例示的な実装によるドキュメントの取得を例示する。
例示的な実装によるフローチャートを例示する。
例示的な実装によるアプリケーションウィンドウを例示する。
例示的な実装によるアプリケーションウィンドウを例示する。
オンラインビデオの実装を例示する。
ノイズ除去のための検出を例示する。
例示的な実装による関心領域のドキュメントコンテンツを処理するフローチャートを例示する。
例示的な実装による画像スティッチを行うフローチャートを例示する。
例示的な実装によるページの取得及びウェブベースコピーの提供を行うフローチャートを例示する。
例示的な実装が実装され得る計算処理環境を例示する。

実施例

0028

以下の詳細な説明は、本開示の図面及び例示的な実装の詳細を提供する。複数の図に現れる冗長な構成要素の参照符号及び説明は、明瞭さを維持するために省略する。説明にわたって使用される用語は例示のために提供されるのであって、本開示を限定することを意図していない。例えば、用語「自動的」の使用は、本開示の実装の所望される実施に応じて、全自動、または、ユーザまたは実装のある局面にわたる管理者の制御が関与する半自動の実装を含む。

0029

例示的な実装は、関連技術におけるドキュメント共有問題に対処し、ドキュメントとして画面コンテンツを容易に取得するシステム及び方法に関する。例示的な実装において、ユーザは記録機能を呼び出し、アプリケーションウィンドウの何れかにおいてドキュメントへの画面アクティビティを行い、記録機能を停止することができる。以下で説明する(スティッチを含む)画像処理技術を使用して、例示的な実装は、自動的にドキュメントのウェブベースコピーを生成する。ウェブベースコピーをオリジナルドキュメントに似せることができ、ウェブベースコピーは、選択、サーチを可能とするサーチ可能なテキスト及び複数のページを含む。

0030

例示的な実装において、画像処理技術はドキュメントのグラフィカルユーザインターフェイスの構成要素を識別し、除去する。グラフィカルユーザインターフェイスの構成要素は、記録において検出される画面アクティビティ(例えば、マウスアクション、テキスト選択ビデオクリップ再生、音声注釈など)を処理するワードプロセッサにおいて現れることがある下線を引かれた綴り誤りのあるワードなどを含む。最後に、生成されたドキュメントは、関連付けられたURL(uniform resource locator)と共にウェブベースコピーとして提供される。ウェブベースコピーは、見る、再生する及びコメントを付けるなどのために他の人と共有することが可能である。

0031

関連技術の実装は、特殊なウィンドウを取得することに関連しており、ページ番号を付けられたコンテンツは生成せず、特殊なアプリケーション(例えば、チャット)を取得するために構築され、選択可能またはサーチ可能なテキストコンテンツは生成せず、デジタルノイズを除去せず、インタラクションを取得しない。また、関連技術の実装は、ユーザが取得することを希望するアプリケーションウィンドウに依存する異なるやり方でシステムを操作することをユーザに要求する。

0032

例示的な実装は、画面共有を介することに起因するデジタルコンテンツを取得するシステム及び方法に関する。例示的な実装は、キーアーカイビング、サーチ、注釈付け、特徴共有のサポートを促進する一方、基礎となるコンテンツタイプに依存せずデジタルコンテンツ取得を処理することができる。ツールは、様々なコンテンツを認識することができるスタンドアロンアプリケーションまたはブラウザベースアプリケーションとして実装され得る。例示的な実装は、同時または非同時シナリオの双方に適用され得る。

0033

例示的な実装は、コンテンツの同時的な精読、注釈付け、及び共有に適用され得る。
例えば、分散している学生は記録された講義を見る。学生は、コンテンツを取得し、ノートを共有するためにシステムを使用することができる。これにより、同時的に、または非同時的に、コンテンツに関心を有する他の学生とより効率的にやり取りすることが可能となる。

0034

例示的な実装は、コンピュータまたは他のユーザデバイスにスタンドアロンアプリケーションとして実装されてもよい。または、APIを介して、ユーザデバイスのウィンドウへのアクセスを取得するウェブアプリケーションとしてウェブブラウザ内で実装されてもよい。例示的な実装において、アプリケーションは、記録するためにウィンドウを選択するようユーザに促すように構成されていてもよい。ウィンドウに表示されているコンテンツがスクロールされると、アプリケーションは取得されたコンテンツを含む新しいドキュメントを生成する。

0035

例示的な実装は、また、ユーザデバイスで全てが稼動するツールとしてパッケージ化されていてもよく、例えば、ライブ処理または記録及びオフライン処理が可能なサーバメディアゲートウェイと対になったブラウザツーブラウザ通信を使用して、画面記録をストリーミングすること、またはアップロードすることによってサーバマシンで稼動してもよい。

0036

例示的な実装において、取得されたコンテンツは、ブラウザウィンドウ内で再生されるオンラインビデオ、または、黒板を表すセミ次元平面にドキュメントが包含されているオンラインミーティングなどの複雑なドキュメントに埋め込まれる。これらの例において、関心領域は手動で特定されてもよいし、コンテンツを取得するためにシステムによって使用されてもよい。

0037

図1A及び図1Bは、例示的な実装による例示的なドキュメント取得を示す。図1Aには、ドキュメント表示アプリケーションにロードされた例示的なドキュメントが示されている。例示的な実装の使用によって、ドキュメントアプリケーションウィンドウは記録され、画面アクティビティも記録される。図1Aの例における画面アクティビティは、最後に到達するまでドキュメント全体をスクロールすることである。記録は、例示的な実装によって処理され、ドキュメントのウェブベースコピーが生成され、ウェブブラウザアプリケーションによって生成されたウェブベースコピーは、図1Bに例示されるように、アクセスされ得る。

0038

図2は、例示的な実装の例示的なフローチャートを示す。フローは、200で開始し、ドキュメントを取得するターゲットウィンドウを選択し、例示的な実装は新しいフレームを取得する。選択は、ユーザ入力、または所望される実装に基づくターゲットウィンドウの検出(例えば、プレゼンテーションウィンドウまたはビデオウィンドウを自動的に検出するアルゴリズム)によって実行され得る。201で、取得したフレーム間のフレーム差が計算され、フレーム間で生じた変化(例えば、画面アクティビティ、ドキュメントの変更)が判定される(例えば、画面アクティビティ、ドキュメントの変更)。フレーム差は、取得したフレームのフレームの1つとその次のフレームとを比較することで計算され、所望される実装に依存して、異なる画像、またはプロセッサによる他の方法によって実装され得る。

0039

202で、計算されたフレーム差に基づいて取得されたフレームのタイプが判定される。取得されたフレームのタイプが静止であれば(例えば、フレーム間に差がない、またはグラフィカルユーザインターフェイス構成要素について閾値を越える差がない、のであれば)、フローは203に進み、関心領域のフレームを取得する。例えば、画面アクティビティが予め定められた閾値を越えない場合(例えば、マウスカーソル画素閾値を越えて移動しない、スクロールバーが画素閾値を超えて変化しない、などの場合)、フレームは静止であると判定される。関心領域を判定する例示的な実装によって使用される方法は、図7Aに関して説明される。関心領域は、ドキュメントコンテンツを含む取得されたフレーム内の領域であるか、または、ドキュメントに関連する領域である。関心領域を判定することは、関心領域を識別するアルゴリズムまたは他の方法を使用することを含む。関心領域は、フレームのコンテンツに基づいて、(例えば、ドキュメントコーナーの検出によって、もっとも変化した領域の検出によって、)記録されたフレームのユーザによる選択によって、または、所望される実装による他の方法及びフレームについての関心領域の所望される定義によって、判定されてもよい。取得されているフレームのタイプが縦方向スクロールまたはページフリップなどの画面アクティビティを含むと判定された場合、フローは、関心領域のフレームをスティッチするために、204に進む。

0040

205で、画面アクティビティが処理のために検出される。画面アクティビティは、ドキュメントがどのように移動するか(例えば、スクロールまたはページめくり)を表すアクティビティであり、またはドキュメントが移動しない場合に、画面で生じたアクティビティである。したがって、画面アクティビティは、マウスカーソルの移動、注釈付け、音声、テキスト選択、ビデオクリップ再生、画面上でのメニュオープン、など、識別される所望のアクティビティに依存して、取得されたフレームに生じるまたは取得されたフレームに関連するアクティビティの何れかを含む。このような画面アクティビティの検出は画面アクティビティを識別するアルゴリズムまたは他の方法を含む。画面アクティビティの検出は、画面に生じたアクティビティを追跡するために、複数のフレームの間に行われた入力(例えば、キーストロークロガーマイクロフォンアプリケーション、ユーザアクティビティ追跡アプリケーション)を追跡するアプリケーションまたは機能によって、または、所望される実装及び取得される、所望されるアクティビティに応じた方法の何れかによって、フレーム間の画像の差異を検出することによって行われてもよい。

0041

206で、システムは、(例えば、ユーザ指示によって、ドキュメントの最後に到達したことで、所定の期間を越えて同じフレームが記録されることによって、)フレームの追跡を停止するように指示されると、図1Bに例示されるようにドキュメントを生成し、さらに、207で、OCR(optical character recognition)を、所望される実装によって(例えば、ユーザ設定によって、ユーザ入力による指示によって、すぐに)、ドキュメントに適用し得る。

0042

図3は、例示的な実装によるアプリケーションウィンドウを例示する。アプリケーションウィンドウのいくつかは左側300にページサムネイルシリーズを表示し、右側301にメインドキュメントページを表示する。縦動き検出手段は、フレームの他の領域に時折発生する変化と反対に、動きが矛盾なく発生するドキュメントページ領域を、適切に識別する。このような例示的な実装において、関心領域はドキュメントページ301として検出され、左側300のグラフィカルユーザインターフェイス構成要素はフィルタリングされてもよい。このようなグラフィカルユーザインターフェイスのフィルタは、グラフィカルユーザインターフェイスを識別し、フィルタリングする所望される実装によって、ドキュメントアプリケーションの各タイプについて生成されてもよい。例えば、スクロールバー、メニューバー及び綴りに誤りのあるワードの下線などのグラフィカルユーザインターフェイス構成要素をもつワードプロセッサにおいて、フィルタは、ワードプロセッサに関連して構成され得、グラフィカルユーザインターフェイス構成要素は、ワードプロセッサのドキュメントページに焦点を当てた関心領域によってフィルタリングされ得る。

0043

図4は、例示的な実装によるアプリケーションウィンドウを例示する。プレゼンテーションスライドのアプリケーションは、一方の側(例えば、左側)400にスライドサムネイルを表示し、他方の側(例えば、右側)401にメインスライドを表示し、必須ではないが、402(例えば、下側)にいくつかのメモを表示することができる。ドキュメントアプリケーション及びウェブページを取得するために使用される連続的なスクロール検出と異なり、例示的な実装は、テキスト境界ボックスを使用して、表示されている新しいコンテンツを検出し、ページアクションに関連付けられている画面アクティビティ(例えば、スライドの変更、ページめくりなど)を検出することができる。強調されているサムネイルに対応するグラフィカルユーザインターフェイス構成要素のフレームの差の変化、及び、右側のスクロールバーの変化は、記録された画面アクティビティとして使用され得、キーフレーム取得を開始するために処理され得る。

0044

図5は、オンラインビデオの例示的な実装を例示する。オンラインビデオによるオンライン講義またはライブミーティングセッションで取得されるプレゼンテーションは、異なる構成を有する。関心領域は静止プレゼンテーションの場合と同様にフレーム間の差に基づいて自動的に検出されてもよいが、再生中、グラフィカルユーザインターフェイス構成要素は一般的に隠れているので、スクロールバーの情報は使用されない。また、ユーザはビデオ構成要素をホスティングするウェブページをスクロールしてもよく、関心領域はスクロールにしたがって移動してもよい。

0045

図6は、例示的な実装によるノイズ除去の例示的な検出を示す。別の態様において、ノイズ除去は、グラフィカルユーザインターフェイス構成要素によって生じるノイズを除去するためにドキュメント取得に実装される。紙書類をコピーまたはスキャンした画像と異ならず、デジタルドキュメントはドキュメントを生成した際に、自動的にまたは半自動的に除去し得るアーチファクトを含み得る。例えば、多くのワードプロセッシングアプリケーションは、図6に例示するように、ユニークなライン(例えば、異なる色の線、波線、など)で、誤った綴りのワードに下線を引く。このようなワードプロセッシングアプリケーションは、ドキュメントが編集モードで表示されている場合、特殊な文字の隣に現れるアイコンを有する場合がある。また、ドキュメントの異なるワードまたはオブジェクトをわたってマウスカーソルが移動すると、所望される実装に依存して、マウスカーソルの形状が変化する。

0046

他の態様において、例示的な実装は動的コンテンツの検出を容易にする。デジタルドキュメントは、短いビデオデモンストレーションを埋め込んだプレゼンテーションスライドまたはアニメーションを表示するウェブページなど、再生可能クリップを含んでいることがある。例示的な実装は、動的領域を検出し、キーフレーム、動画化された画像、または、再編成されたムービークリップのセットによって動的領域を表現する。視聴者は、これらのクリップを再生することができる。

0047

他の例示的な実装において、ユーザアクションに対応する画面アクティビティの検出が行われる。例示的な使用の場合、共著された出版物またはスライドセットなどの特定のドキュメントに関するコメントのリクエストがサポートされる。コピー操作の間、ユーザは、マウスまたはカーソルの移動によるテキスト選択または音声コマンドなどの音声入力により、コメントを必要とする領域を指示してもよい。例示的な実装は、基礎となるドキュメントページからこれらのアクションを分離するための技術に拡張される。動的コンテンツと同様に、音響(例えば、音声)クリップは、音声アクティビティ検出手段(ソフトウェアまたはマイクロフォンと接続された物理的なプロセッシングチップとして実装される)を使用して自動的に記録され、生成される出力ドキュメントにおいて再生可能なクリップとなる。このような出力は、所望される実装に応じて、ウェブブラウジングアプリケーションによってドキュメントのウェブベースコピーに重畳され得る別個のアプリケーションレイヤーに生成されてもよい。したがって、ユーザアクティビティはアプリケーションレイヤーを介してドキュメントで再生されてもよい。

0048

他の態様では、例示的な実装において質及び帯域幅強調が実装される。アプリケーションウィンドウが小さい領域にオリジナルドキュメントを先に表示していたとしても、または、記録アプリケーションがより低い解像度でフレームを取得していたとしても、より正確さが高いドキュメントを視聴者が見ることができるように、例えば、磨きステップは、テキスト構成要素をより鮮鋭にするために、取得したフレームのテキスト構成要素を強調する。さらに、プレゼンテーションスライドなどのドキュメントは、各スライドの背後に同じ背景をもつ。圧縮のために、例示的な実装は、この背景、または、その構成要素のいくつかを再使用して、ドキュメント及びそのページを再生してもよい。

0049

例示的なアプリケーションにおいて、ドキュメントは共有のために再生されてもよい。アプリケーションがドキュメントをエクスポートすることができる特定の方法を決定する代わりに、例示的な実装は、アプリケーションウィンドウにロードされたドキュメントでのユーザによるボタンクリック、スクロールまたはページめくりを容易にすることができ、コピーを取得することができる。コピーは、プライベートまたはパブリックURL(uniform resource locator)として即時共有可能であり、ウェブブラウザで、誰でも、コピーを見て、コピーにコメント、ジェスチャ、音声コマンドを付加することができる。視聴者によって行われる全てのインタラクションは、サーバデバイスに保持され、共有者に送信されてもよい。共有されたドキュメントを構成する使用をユーザが理解するように支援するために、分析データは、ページが読まれたこと、テキストが最も多く選択されたこと、を含むことができる。

0050

別の態様では、例示的な実装は他のユーザのドキュメントのコピーを容易にする。オンラインビデオ会議の間、ユーザは、プレゼンテーションスライドを共有し、またはソースコードエディタ及び他のドキュメントを表示してもよい。例示的な実装はビデオ会議アプリケーションのウィンドウに表示されるコンテンツを取得することができ、ユーザは会議の間に共有され適切にフォーマッティングされたドキュメントにたどり着くことができる。先のシナリオと異なり、この場合、ユーザはコンテンツをスクロールしたり、ページめくりしたりする制御を行っていないが、例示的な実装は、ページを取得し、ページめくりされたドキュメントとして取得したページを利用することができる。

0051

例示的な実装によってノートをとることは、関連技術と比較して少ない動作を要求する。自身のノートをとるアプリケーションに含めるために、ドキュメントページのテキストまたは画像のサブクリップ(例えば、ダイアグラム)のコピー及びペーストを含む、例示的な実装による記録の間に、例えば、蓄積されているドキュメントの断片を、ユーザは、直接的に、コピー及びペーストすることができる。代替的に、例示的な実装は、取得されている間に(強調及びページへの書き込みなど)行われる取得したドキュメントページまたは、ページのコンテキストのテキストノートへの注釈付けと同様に、ノートをとることをサポートする。

0052

何人かのユーザがドキュメントを共著する他の例示的な実装において、第1のユーザは2、3のページを取得することができ、取得した2、3のページについて、第1のユーザは他の共著者からのフィードバックを必要とする。共著者は、自身のユーザデバイスでコピーを見て、コメントを付加し、第1のユーザにリンク送り返すことができる。第1のユーザがオリジナルドキュメントを再度オープンし、ドキュメントをスクロールすると、例示的な実装は注釈付けされたコピーの対応するページを自動的に示し、ドキュメントに共著者の示唆統合することを容易にする。

0053

例示的な実装において、ツールによって取得されたコンテンツを中央サーバ利用可能である場合、ユーザが同じドキュメント(例えば、webinar)を取得することは、取得したコンテンツだけに基づいて、リンクされ得る。

0054

例示的な実装において、ワードプロセッサのライブアプリケーションウィンドウは毎秒複数のフレーム(例えば、10フレーム)取得される。画像差を利用して、領域の変化を検出し、メニュー領域、スクロールバー及び他の非ドキュメント関連グラフカル構成要素を取り除く。画像スティッチは、各フレームを2値化し、接続される構成要素を通り、接続される構成要素の最も近いラインボックスによって、接続される構成要素をマッチングすることによって行われる。テキストが存在せず、背景色がページの背景色より濃い、等距離の縦方向範囲を検出することで、改ページが検出される(取り除かれたキーフレームの変化した領域のマージン画素を使用して推定される。)。OCR(optical character recognition)テキストと共に、ページ毎に一つの画像オリジナルドキュメントのコピーがウェブページとして提示される。

0055

このように、例示的な実装は、ウィンドウの画面アクティビティの記録に基づいて、任意のアプリケーションウィンドウで表示されるドキュメントのウェブベースコピーを自動的に生成することに関連することができ、取得されたフレーム及びユーザアクションの処理だけに基づいて実装されてもよい。取得されているこのようなドキュメントは、スクロール(例えば、ドキュメントアプリケーション)またはページめくり(例えば、フリップされているスライドの表示)を含み得る。例示的な実装において、画像スティッチは、オリジナルドキュメントで提示されるオリジナルドキュメントページを再生するために使用されてもよい。例示的な実装において、取得されているアプリケーションウィンドウのスクロールは、ユーザがドキュメントコンテンツを取得することで開始されてもよいし、他のユーザが(例えば、ウェブ会議で、)プレゼンテーションを行うことで開始されてもよい。

0056

例示的な実装において、取得されるドキュメントページは、ドキュメントが取得されている間に利用可能とされてもよい。即ち、ページが取得されている間にユーザは新しく取得されたページにアクセスすることができる。これは、取得されているドキュメントのスクロール/ページめくりを制御しないノートをとるシナリオにおいて有用であり得る。ドキュメントを取得している間に行われるインタラクション、例えば、ユーザまたはウェブ会議のシナリオにおいてドキュメントを見ているユーザによって取得の間に行われるマウス、テキスト、音声アクションは、ドキュメントページから分離され、コピーの再生可能レイヤーとして保持されてもよい。

0057

ビデオクリップなどの動的コンテンツが例示的な実装により検出され、ミニクリップとして保持される。ミニクリップはコピー上で再生される内装構成要素として使用されてもよい。例示的な実装において、取得されたドキュメントページは(自動的にまたはユーザアクションにより半自動的に)強調され、視覚的により訴求するドキュメントが生成されてもよい。また、綴りに誤りのあるワードの下線、または、オリジナルドキュメントフレームに現れるアイコンが取り除かれてもよい。ドキュメントページ画像を認識する例示的な実装は、OCRを使用して、テキスト選択及びテキストサーチを可能とする。

0058

例示的な実装において、コピーは、即時、URLで共有され、モバイルフォンを含む任意のブラウザ利用可能デバイスで見ることができる。また、例示的な実装において、コメント及び分析(例えば、ドキュメントページのマーク、強調、音声コメント、オリジナルドキュメントの著者に対して有用であり得る内在するマウスの軌跡、テキスト選択)が収集され得る。また、認証されたパーティだけがアクセス及び閲覧可能となるように、コピーは、パスワードまたは他のよく知られた暗号化操作を使用して暗号化されてもよい。テキスト品質は、ドキュメントのズームが可能となるように増強されてもよい。

0059

図7Aは、例示的な実装によって、関心領域のドキュメントコンテンツを処理するフローチャートを例示する。図7Aの処理は、図2の203または204の関心領域フレームの抽出またはスティッチの間に組み込まれ得る。700で、グラフィカルユーザインターフェイス構成要素が判定される。判定はアプリケーションに依存してもよいし、所望される実装によって検出されてもよい。例えば、ドキュメントアプリケーションのグラフィカルユーザインターフェイス構成要素の位置及び/または識別を示すテンプレートがシステムに提供され、グラフィカルユーザインターフェイス構成要素をフィルタリングして取り除くために使用されてもよい。

0060

701で、関心領域が判定される。判定はアプリケーションに依存してもよいし、所望される実装によって検出されてもよい。例えば、ドキュメントアプリケーションのグラフィカルユーザインターフェイス構成要素の位置及び識別を示すテンプレートがシステムに提供され、グラフィカルユーザインターフェイス構成要素をフィルタリングして取り除くために使用されてもよい。他の検出方法は、所望される実装に依存して、ドキュメントのコーナーの検出、フレーム間で異なる画像に基づく関心領域の検出(例えば、フレームをわたって最も異なる領域が関心領域として利用される)、など、を含み得る。コーナーの検出に関与する例示的な実装において、関心領域を判定するために、既知ワード処理アプリケーションのドキュメントコーナーが識別されてもよい。他の例示的な実装において、フレームの特定の画素で生じた変化数を追跡するためにヒートマップが使用されてもよく、変化数が最も多い領域を関心領域として使用してもよい。また、他の例示的な実装では、キャニー(Canny)エッジ検出手段または類似の手段によって取得された縦または横方向エッジを使用して、取得するために関心領域である可能性が最大の領域を判定してもよい。

0061

702で、関心領域のドキュメントコンテンツを抽出する。関心領域のドキュメントコンテンツの抽出は、フレームから関心領域の画像を取得することを含んでいてもよい。マウスカーソルなどのグラフィカルユーザインターフェイス構成要素、強調または下線などのアプリケーション固有の追加は、この時点で取り除かれてもよい。703で、ドキュメントコンテンツは画像の形態で記憶され、ドキュメントのウェブベースコピーを生成するために使用されてもよい。フレーム差がスクロールまたはページめくりアクションの画面アクティビティを示す場合、画像はドキュメントを形成するようにスティッチされてもよい。

0062

図7Bは、例示的な実装によって画像スティッチを行うフローチャートを例示する。例示的な実装において、ドキュメントを生成するいくつかの様相がある。インテリジェントスティッチ及び関心領域検出がある。例示的な実装において、図2の204で示されるように、2つのメインカテゴリのドキュメントがコピーされる。(例えば、ドキュメント編集及び閲覧ソフトウェア、ウェブページなどの)連続的にスクロールされるドキュメント、及び(例えば、プレゼンテーションまたはスライドショーなどの)順次提供されるページをもつドキュメント。

0063

このような変化を検出するために、例示的な実装は縦方向動き検出を含み、710で変化のメイン領域を判定する。縦方向動き検出は、所望される実装によって任意の手法を実装し得る。縦方向動き検出の例示的な実装において、キーポイントを各フレームから抽出し、各キーポイントの周囲の画素を記述するために2値ベクトルを計算することができる。任意の所望される実装において、ベクトルはフレーム間でマッチングされ、縦方向の差異が判定される。例示的な実装において、投票機能を使用し、最もマッチするキーポイントのペアを有するとして投票されたフレーム間の差を判定する。縦方向動きの検出が終了すると、ステップ711で変更され、スティッチされた領域まで、フレームがトリミングされる。変化の領域は画素マッチングまたは境界ボックス、または、所望される実装に依存する他の方法を使用して、スティッチされてもよい。

0064

境界ボックスを含む例示的な実装において、取得された領域がアプリケーションウィンドウの画面をわたって移動する場合、境界ボックスが適合する程度に十分類似する一方で、アンチエイリアシング処理は描画された画素を変更することができる。関心領域を判定することで、システムは、グラフィカルユーザインターフェイス構成要素(スクロールバー、オプションメニュー、ミニスライドなど)を自動的に検出し、取り除くことができる。ドキュメントのウェブベースコピーは、712で、画像の形態であり得る変化した取得領域のスティッチで、単一の画像を形成するように画像をスティッチして、画像を合成することで生成される。

0065

図7Bのスティッチの実装によって、システムは、ドキュメントのウェブベースコピーを生成し、画像スティッチからドキュメントのドキュメントページを再生することができる。画像がスティッチされると、オリジナルドキュメントの各ドキュメントページの間の改ページが記録され、ドキュメント画像の部分としてスティッチされる。

0066

図7Cは、例示的な実装により、ドキュメントのページの取得を行い、ウェブベースコピーを提供するフローチャートを例示する。図7Cの例において、関心領域は720で取得される。関心領域が取得されると、フローは721に進み、関心領域内の取得された(マウスカーソル、スクロールバーなどの)グラフィカルユーザインターフェイス構成要素について、関心領域が処理される。722で、取得された関心領域は、ウェブベースアプリケーションによるアクセスのためのページとして描画され得る。図7Cのフローによって、ドキュメントのドキュメントページが再生され、ドキュメントページの各々が生成されると、ウェブベースアプリケーションによるアクセスが可能なようにドキュメントページが描画され得る。これにより、表示されているままのドキュメントのページが取得され、提供され得る。スライドのライブプレゼンテーションを含む例では、各スライドは、これにより、プレゼンテーションの間に取得され、利用可能とされる。

0067

図8は、例示的な実装を実装し得る例示的な計算処理環境を示す。計算処理環境800のコンピュータデバイス805は一つもしくは複数の処理ユニットコア、またはプロセッサ810、メモリ815(RAM、ROMなど)、内部ストレージ820(例えば、磁気ストレージ光ストレージソリッドステートストレージ及び/または有機ストレージなど)、及び/またはI/Oインターフェイス825を含む。これらは、通信機構またはバス830に接続され、コンピュータデバイス805と情報の通信を行ってもよいし、コンピュータデバイス805に埋め込まれていてもよい。

0068

コンピュータデバイス805は、入力/ユーザインターフェイス835及び出力デバイス/インターフェイス840と、通信可能に接続されていてもよい。入力/ユーザインターフェイス835及び出力デバイス/インターフェイス840の一方または双方は、有線または無線インターフェイスであってよく、脱着可能であってよい。入力/ユーザインターフェイス835は任意のデバイス、コンポーネントセンサ、または、インターフェイスを含むことができ、これらは物理的であっても仮想的であってもよく、入力(例えば、ボタン、タッチスクリーンインターフェイス、キーボードポインティングカーソルコントロール、マイクロフォン、カメラ点字装置モーションセンサオプティカルリーダー、など)を提供するために使用され得る。出力デバイス/インターフェイス840は、ディスプレイテレビモニタプリンタスピーカ、点字装置などを含んでいてもよい。いくつかの例示的な実装において、入力/ユーザインターフェイス835及び出力デバイス/インターフェイス840は、コンピュータデバイス805に埋め込まれていてもよいし、物理的に接続されていてもよい。他の例示的な実装において、他のコンピュータデバイスは、入力/ユーザインターフェイス835及び出力デバイス/インターフェイス840として機能してもよいし、入力/ユーザインターフェイス835及び出力デバイス/インターフェイス840の機能を提供してもよい。

0069

コンピュータデバイス805の例は、高性能モバイルデバイス(例えば、スマートフォン自動車及び他の機械のデバイス、人または動物によって搬送されるデバイスなど)、モバイルデバイス(例えば、タブレットノートブックラップトップパーソナルコンピュータポータブルテレビラジオなど)、固定デバイス(例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、一つまたは複数のプロセッサを埋め込まれた及び/または接続されたテレビ、ラジオなど)を含むが、これらに限定されない。

0070

コンピュータデバイス805は、任意の数のネットワーク構成要素、デバイス、及び、同一のまたは異なる構成の一つまたは複数のコンピュータデバイスを含む、システムと通信するネットワーク850、及び、外部ストレージ845に(例えば、I/Oインターフェイス825を介して、)通信可能に接続されていてもよい。コンピュータデバイス805または任意の接続されたコンピュータデバイスは、サーバ、クライアントシンサーバ、汎用マシン特定用途マシンもしくは他のデバイスのサービスを提供するように機能し、これらとして参照され得る。

0071

計算処理環境800において、I/Oインターフェイス825は、接続された構成要素、デバイス及びネットワークの少なくとも全てから、及び/または、これらへ、情報を伝達するために、任意の通信またはI/Oプロトコル、または標準(例えば、イーサネット登録商標)、802.11x、USB(Universal System Bus)、WiMax、モデム携帯電話ネットワークプロトコルなど)を使用する、有線及び/または無線インターフェイスを含んでいてもよいが、これらに限定されない。ネットワーク850は、(例えば、インターネットローカルエリアネットワークワイドエリアネットワーク電話回線ネットワーク、携帯電話ネットワーク、衛星ネットワークなど)の任意のネットワークまたはネットワークの組み合わせであってよい。

0072

コンピュータデバイス805は、一時的媒体及び非一時的媒体を含むコンピュータ利用可能またはコンピュータ可読媒体を使用して、使用及び/または通信することができる。一時的媒体は伝送媒体(例えば、金属ケーブル光ファイバ)、信号、搬送波などを含む。非一時的記録媒体は、磁気媒体(例えば、ディスク及びテープ)、光媒体(例えば、CD−ROMデジタルビデオディスクブルーレイディスク)、ソリッドステート媒体(例えば、RAM、ROM、フラッシュメモリ、ソリッドステートストレージ)及び他の不揮発性ストレージまたはメモリを含む。

0073

コンピュータデバイス805は、いくつかの例示的な計算処理環境における技術、方法、アプリケーション、処理、またはコンピュータ実行可能命令を実装するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取り出され、一時的媒体に記憶されてもよいし、非一時的媒体から取り出され、非一時的媒体に記憶されてもよい。実行可能命令は、任意のプログラム言語記述言語、及び機械言語(例えば、C、C++、C#、Java(登録商標)、ビジュアルベーシック、Python、Perl、JavaScript(登録商標)及びその他)の一つまたは複数で生成されてもよい。

0074

プロセッサ810は、現実または仮想環境の任意の(図示しない)オペレーティングシステム(OS)で実行可能である。論理ユニット860、API(Application programming interface)ユニット865、入力ユニット870、出力ユニット875、及び、異なるユニット間で、OS及び(図示しない)アプリケーションによって、相互に通信するためのユニット相互通信機構895を含む、一つまたは複数のアプリケーションが展開されてもよい。ユニット及び構成要素の設計、機能、構成または実装は、変更されてもよく、上記説明に限定されない。

0075

いくつかの例示的な実装において、情報または実行命令がAPIユニット865によって受信されると、一つまたは複数の他のユニット(例えば、論理ユニット860、入力ユニット870、出力ユニット875)に接続されてもよい。上記したいくつかの例示的な実装のいくつかの例において、論理ユニット860は、ユニット間の情報フローを制御し、APIユニット865、入力ユニット870、出力ユニット875によって提供されるサービスに指示する。例えば、一つまたは複数のプロセスまたは実装のフローは論理ユニット860だけによって制御されてもよいし、論理ユニット860及びAPIユニット865によって制御されてもよい。入力ユニット870は例示的な実装で説明した計算のための入力を取得し、出力ユニット875は上記説明した例示的な実装に基づいて出力を提供してもよい。

0076

プロセッサ810は、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、ドキュメントのドキュメントコンテンツ及びアプリケーションウィンドウの画面アクティビティを検出し、図2図7A図7Cで説明したように、ドキュメントコンテンツ及び画面アクティビティからドキュメントウェブベースコピーを生成する。プロセッサは、図2図7A図7Cで説明したように、複数のフレームから関心領域を判定し、関心領域からドキュメントコンテンツを抽出することで、ドキュメントのドキュメントコンテンツ及びアプリケーションウィンドウの画面アクティビティを検出する。画面アクティビティは、ドキュメントのスクロールアクション及びページめくりアクションの少なくとも一方を含み、プロセッサは、画面アクティビティと関連付けられている複数のフレームの一つの関心領域に画像スティッチを適用するために使用されてもよく、図1B及び図2で説明したように、画像スティッチによってドキュメントのドキュメントページを再生することで、ドキュメントのウェブベースコピーを生成する。

0077

プロセッサ810は、図7A図7Cで説明したように、関心領域から一つまたは複数のグラフィカルユーザインターフェイス構成要素を取り除いて、関心領域からドキュメントコンテンツを抽出することもでき、図2及び図7A図7Cで説明したように、再生されるドキュメントページの各々を生成すると、ドキュメントページを再生し、ウェブベースアプリケーションによってアクセス可能な再生したドキュメントページの各々を描写することで、ドキュメントのウェブベースコピーを生成する。

0078

プロセッサ810は、複数のフレームから画面アクティビティを記録し、図2で説明したように、ドキュメントのウェブベースコピーで画面アクティビティを再生するアプリケーションレイヤーを生成してもよい。

0079

詳細な説明のいくつかの部分は、コンピュータ内の動作のアルゴリズム及び記号表現によって提示されてもよい。これらのアルゴリズムの記述及び記号表現には、データ処理分野で既知の手段を使用することができる。アルゴリズムは所望される最終状態または結果に導く規定されたステップのシリーズである。例示的な実装において、実行されるステップは、知覚可能な結果を達成する知覚可能な量の物理的な動作を必要とする。

0080

特に言及されない限り、上記から明らかなように、「処理」、「計算」、「判定」、「表示」などの用語は、コンピュータシステムまたは他の情報処理デバイスのアクション及び処理を含み、コンピュータシステムまたは他の情報処理デバイスは、コンピュータシステムのレジスタ、及びメモリ内の物理的な(電子的な)量として表されるデータを操作し、コンピュータシステムのメモリまたはレジスタ、または、他の情報ストレージ伝送または表示デバイス内の物理的な量として表される類似の他のデータに変換する。

0081

例示的な実装は、上記動作を実行する装置に関連してもよい。装置は、要求された目的のために特別に構築されてもよいし、一つまたは複数のコンピュータプログラムによって選択的にアクティベートされ、または再構成される一つまたは複数の汎用目的コンピュータを含んでもよい。コンピュータプログラムは、コンピュータ可読ストレージ媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に保存されていてもよい。コンピュータ可読ストレージ媒体は、光ディスク磁気ディスクリードオンリーメモリランダムアクセスメモリソリッドステートデバイス及びドライブなどの有形の媒体または、電子情報を保存するのに適した他のタイプの有形もしくは非一時的媒体を含んでいてもよいが、これらに限定されない。コンピュータ可読信号媒体は、搬送波などの媒体を含んでいてもよい。アルゴリズム及び表示は、何れか特定のコンピュータまたは装置に固有に関連しない。コンピュータプログラムは、上記実装の動作を実行する命令を含むソフトウェアだけの実装を含み得る。

0082

上記例のプログラム及びモジュールと共に、様々な汎用用途システムを使用してもよいし、所望される方法ステップを実行する特定用途装置を構築してもよい。また、例示的な実装は特定のプログラム言語の何れかに限定されない。上記例示的な実装には、様々なプログラム言語が使用され得る。プログラミング言語の命令は、一つまたは複数の処理デバイス、例えば、中央処理ユニット(CPU)、プロセッサ、またはコントローラによって実行され得る。

0083

上記動作はハードウェアによって実行されてもよいし、ソフトウェアによって実行されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実行されてもよい。例示的な実装の様々な態様が、回路及び論理デバイス(ハードウェア)を使用して実装されてもよいし、他の態様は、機械可読媒体に記憶された命令(ソフトウェア)を使用して実装されてもよい。命令は、プロセッサによって実行されると、実装を実行する方法をプロセッサに実行させる。また、例示的な実装のいくつかはハードウェアだけで実行され、他の例示的な実装はソフトウェアだけで実装されてもよい。また、様々な機能が単一のユニットで実行されてもよいし、任意の方法で、複数の構成要素にわたって分割されて実行されてもよい。ソフトウェアによって実行されると、方法は、コンピュータ可読媒体に記憶された命令に基づいて、汎用用途コンピュータなどのプロセッサによって実行される。所望されると、命令は圧縮及び/または暗号化されたフォーマットで媒体に記憶されてもよい。

0084

また、他の実装が、上記詳細及び教示の実行から明らかである。上記例示的な実装の様々な態様及び/または構成要素は、単独で使用されてもよいし、組み合わせて使用されてもよい。詳細及び例示的な実装は例示だけを意図しており、限定を意図していない。

0085

805コンピュータデバイス
810プロセッサ
815メモリ
835 入力/ユーザインターフェイス
840出力デバイス/インターフェイス

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ