技術 ドキュメントのウェブベースコピーを生成する方法、プログラム及び装置

0001

本開示は、ドキュメントのウェブベースコピーを生成する方法、プログラム及び装置に関する。

0002

ドキュメントまたはビデオ会議に関与する、同時に行われる協働を実施する関連技術の実装において、コンテンツを配送する関連技術の方法は、ファイルリポジトリまたは電子メールの利用を含む。関連技術のウェブベースツールはオンデマンド会議を容易にするが、ドキュメントの共有は事前調整を要求し続けるため、関連技術の実装では行われない。

0003

電子メールによるドキュメント共有は、コンテンツのバージョンの矛盾につながる可能性を含む。また、ビデオ会議においてコードエディタで表示されるソースコードは、容易に自然な共有をされない可能性を含む。ユーザは、オンラインリポジトリまたは特殊なオンラインスニペットビューワーにコードをアップロードするための追加処理を行う必要があるかもしれない。また、コメント及びフィードバックを引き出すためにドキュメントを表示することを所望するユーザが、オンラインプレゼンテーションを共有する場合、ユーザは同僚とリアルタイムで画面を共有することを要求されることがよくあり、関連技術の実装を使用する場合、ユーザはオリジナルドキュメントにアクセスすることができない。

0004

また、他の同僚にあまり使用されていないフォーマットのドキュメントを表示しようとした場合、同僚のコンピュータは、ドキュメントを見るために必要なソフトウェアが使えない状態かもしれない。もし、ドキュメントを開くことができるソフトウェアをユーザがもっていたとしても、ソフトウェアの種類やバージョンによって、元のフォーマットを適切に維持しないかもしれない。また、他の場合、同僚全てが同じようにマテリアルに確実にアクセスするように、プレゼンターは他のユーザがプレゼンテーションの一部を飛ばして先に進むことを所望しないかもしれない。

0005

米国特許出願公開第２００３／００４８９４９号
中国特許出願公開第１０４１３３６８３号

0006

マーロウ（Marlow）ら、「話し手を越えて：分散会議におけるマルチメディアアーチファクトの生成、使用及び共有（Beyond Talking Heads: Multimedia Artifact Creation, Use and Sharing in Distributed Meetings）、CSCW（コンピュータ支援協働作業）、米国、２０１６年２月２７日〜３月２日、頁１３

0007

本発明は、他の装置で、ドキュメントを表示するためのアプリケーションが使えない状態であったとしても、他の装置におけるドキュメントの取得を可能にすることを目的とする。

0008

第１の態様は、方法であって、コンピュータが、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する。

0009

第２の態様は、第１の態様の方法であって、前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出することは、前記複数のフレームまたはユーザ選択から判定される関心領域から前記ドキュメントコンテンツを抽出する、ことを含む。

0010

第３の態様は、第２の態様の方法であって、前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページを再生することで前記ドキュメントのウェブベースコピーを生成する、
ことをさらに含む。

0011

第４の態様は、第２または第３の態様の方法であって、前記関心領域から前記ドキュメントコンテンツを抽出することは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことを含む。

0012

第５の態様は、第１〜第４の何れかの態様の方法であって、前記ドキュメントのウェブベースコピーを生成することは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画する、ことを含む。

0013

第６の態様は、第１〜第５の何れかの態様の方法であって、前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する。

0014

第７の態様は、プログラムであって、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する、処理をコンピュータに実行させる。

0015

第８の態様は、第７の態様のプログラムであって、前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出することは、前記複数のフレームから判定される関心領域から前記ドキュメントコンテンツを抽出する、ことを含む。

0016

第９の態様は、第８の態様のプログラムであって、前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページを再生することで前記ドキュメントのウェブベースコピーを生成する、ことをさらに含む。

0017

第１０の態様は、第８または第９の態様のプログラムであって、前記関心領域から前記ドキュメントコンテンツを抽出することは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことを含む。

0018

第１１の態様は、第７〜第１０の何れかの態様のプログラムであって、前記ドキュメントのウェブベースコピーを生成することは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画する、ことを含む。

0019

第１２の態様は、第７〜第１１の何れかの態様のプログラムであって、前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する。

0020

第１３の態様は、装置であって、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、前記ドキュメントのドキュメントコンテンツ、及び、前記アプリケーションウィンドウの画面アクティビティを検出し、前記ドキュメントコンテンツ及び前記画面アクティビティに基づいて、前記ドキュメントのウェブベースコピーを生成する、プロセッサ、を含む。

0021

第１４の態様は、第１３の態様の装置であって、前記プロセッサは、前記複数のフレームから判定される関心領域から前記ドキュメントコンテンツを抽出することで、前記ドキュメントのドキュメントコンテンツ及び前記アプリケーションウィンドウの画面アクティビティを検出する。

0022

第１５の態様は、第１４の態様の装置であって、前記画面アクティビティは、前記ドキュメントに関連付けられているスクロールアクション及びページめくりアクションの少なくとも一方を含み、前記プロセッサは、前記画面アクティビティに関連付けられている前記複数のフレームのフレームについて、前記関心領域への画像スティッチの適用から前記ドキュメントのドキュメントページを再生することで前記ドキュメントのウェブベースコピーを生成する。

0023

第１６の態様は、第１４または第１５の態様の装置であって、前記プロセッサは、前記関心領域から一つまたは複数のグラフィカルユーザインターフェイスを取り除くことで、前記関心領域から前記ドキュメントコンテンツを抽出する。

0024

第１７の態様は、第１３〜第１６の何れかの態様の装置であって、前記プロセッサは、前記ドキュメントのドキュメントページを再生し、再生されるドキュメントページの各々が生成されると、ウェブベースアプリケーションによってアクセス可能な再生ドキュメントページの各々を描画することで、前記ドキュメントのウェブベースコピーを生成する。

0025

第１８の態様は、第１３〜第１７の何れかの態様の装置であって、前記プロセッサは、前記複数のフレームから前記画面アクティビティを記録し、前記ドキュメントのウェブベースコピーで前記画面アクティビティを再生するアプリケーションレイヤーを生成する。

0026

本発明は、他の装置で、ドキュメントを表示するためのアプリケーションが使えない状態であったとしても、他の装置におけるドキュメントの取得を可能にすることを目的とする。

0027

例示的な実装によるドキュメントの取得を例示する。
例示的な実装によるドキュメントの取得を例示する。
例示的な実装によるフローチャートを例示する。
例示的な実装によるアプリケーションウィンドウを例示する。
例示的な実装によるアプリケーションウィンドウを例示する。
オンラインビデオの実装を例示する。
ノイズ除去のための検出を例示する。
例示的な実装による関心領域のドキュメントコンテンツを処理するフローチャートを例示する。
例示的な実装による画像スティッチを行うフローチャートを例示する。
例示的な実装によるページの取得及びウェブベースコピーの提供を行うフローチャートを例示する。
例示的な実装が実装され得る計算処理環境を例示する。

0028

以下の詳細な説明は、本開示の図面及び例示的な実装の詳細を提供する。複数の図に現れる冗長な構成要素の参照符号及び説明は、明瞭さを維持するために省略する。説明にわたって使用される用語は例示のために提供されるのであって、本開示を限定することを意図していない。例えば、用語「自動的」の使用は、本開示の実装の所望される実施に応じて、全自動、または、ユーザまたは実装のある局面にわたる管理者の制御が関与する半自動の実装を含む。

0029

例示的な実装は、関連技術におけるドキュメント共有問題に対処し、ドキュメントとして画面コンテンツを容易に取得するシステム及び方法に関する。例示的な実装において、ユーザは記録機能を呼び出し、アプリケーションウィンドウの何れかにおいてドキュメントへの画面アクティビティを行い、記録機能を停止することができる。以下で説明する（スティッチを含む）画像処理技術を使用して、例示的な実装は、自動的にドキュメントのウェブベースコピーを生成する。ウェブベースコピーをオリジナルドキュメントに似せることができ、ウェブベースコピーは、選択、サーチを可能とするサーチ可能なテキスト及び複数のページを含む。

0030

例示的な実装において、画像処理技術はドキュメントのグラフィカルユーザインターフェイスの構成要素を識別し、除去する。グラフィカルユーザインターフェイスの構成要素は、記録において検出される画面アクティビティ（例えば、マウスアクション、テキスト選択、ビデオクリップ再生、音声注釈など）を処理するワードプロセッサにおいて現れることがある下線を引かれた綴りに誤りのあるワードなどを含む。最後に、生成されたドキュメントは、関連付けられたＵＲＬ（uniform resource locator）と共にウェブベースコピーとして提供される。ウェブベースコピーは、見る、再生する及びコメントを付けるなどのために他の人と共有することが可能である。

0031

関連技術の実装は、特殊なウィンドウを取得することに関連しており、ページ番号を付けられたコンテンツは生成せず、特殊なアプリケーション（例えば、チャット）を取得するために構築され、選択可能またはサーチ可能なテキストコンテンツは生成せず、デジタルノイズを除去せず、インタラクションを取得しない。また、関連技術の実装は、ユーザが取得することを希望するアプリケーションウィンドウに依存する異なるやり方でシステムを操作することをユーザに要求する。

0032

例示的な実装は、画面共有を介することに起因するデジタルコンテンツを取得するシステム及び方法に関する。例示的な実装は、キーアーカイビング、サーチ、注釈付け、特徴共有のサポートを促進する一方、基礎となるコンテンツタイプに依存せずデジタルコンテンツ取得を処理することができる。ツールは、様々なコンテンツを認識することができるスタンドアロンアプリケーションまたはブラウザベースアプリケーションとして実装され得る。例示的な実装は、同時または非同時シナリオの双方に適用され得る。

0033

例示的な実装は、コンテンツの同時的な精読、注釈付け、及び共有に適用され得る。
例えば、分散している学生は記録された講義を見る。学生は、コンテンツを取得し、ノートを共有するためにシステムを使用することができる。これにより、同時的に、または非同時的に、コンテンツに関心を有する他の学生とより効率的にやり取りすることが可能となる。

0034

例示的な実装は、コンピュータまたは他のユーザデバイスにスタンドアロンアプリケーションとして実装されてもよい。または、ＡＰＩを介して、ユーザデバイスのウィンドウへのアクセスを取得するウェブアプリケーションとしてウェブブラウザ内で実装されてもよい。例示的な実装において、アプリケーションは、記録するためにウィンドウを選択するようユーザに促すように構成されていてもよい。ウィンドウに表示されているコンテンツがスクロールされると、アプリケーションは取得されたコンテンツを含む新しいドキュメントを生成する。

0035

例示的な実装は、また、ユーザデバイスで全てが稼動するツールとしてパッケージ化されていてもよく、例えば、ライブ処理または記録及びオフライン処理が可能なサーバ側メディアゲートウェイと対になったブラウザツーブラウザ通信を使用して、画面記録をストリーミングすること、またはアップロードすることによってサーバマシンで稼動してもよい。

0036

例示的な実装において、取得されたコンテンツは、ブラウザウィンドウ内で再生されるオンラインビデオ、または、黒板を表すセミ３次元平面にドキュメントが包含されているオンラインミーティングなどの複雑なドキュメントに埋め込まれる。これらの例において、関心領域は手動で特定されてもよいし、コンテンツを取得するためにシステムによって使用されてもよい。

0037

図１Ａ及び図１Ｂは、例示的な実装による例示的なドキュメント取得を示す。図１Ａには、ドキュメント表示アプリケーションにロードされた例示的なドキュメントが示されている。例示的な実装の使用によって、ドキュメントアプリケーションウィンドウは記録され、画面アクティビティも記録される。図１Ａの例における画面アクティビティは、最後に到達するまでドキュメント全体をスクロールすることである。記録は、例示的な実装によって処理され、ドキュメントのウェブベースコピーが生成され、ウェブブラウザアプリケーションによって生成されたウェブベースコピーは、図１Ｂに例示されるように、アクセスされ得る。

0038

図２は、例示的な実装の例示的なフローチャートを示す。フローは、２００で開始し、ドキュメントを取得するターゲットウィンドウを選択し、例示的な実装は新しいフレームを取得する。選択は、ユーザ入力、または所望される実装に基づくターゲットウィンドウの検出（例えば、プレゼンテーションウィンドウまたはビデオウィンドウを自動的に検出するアルゴリズム）によって実行され得る。２０１で、取得したフレーム間のフレーム差が計算され、フレーム間で生じた変化（例えば、画面アクティビティ、ドキュメントの変更）が判定される（例えば、画面アクティビティ、ドキュメントの変更）。フレーム差は、取得したフレームのフレームの１つとその次のフレームとを比較することで計算され、所望される実装に依存して、異なる画像、またはプロセッサによる他の方法によって実装され得る。

0039

２０２で、計算されたフレーム差に基づいて取得されたフレームのタイプが判定される。取得されたフレームのタイプが静止であれば（例えば、フレーム間に差がない、またはグラフィカルユーザインターフェイス構成要素について閾値を越える差がない、のであれば）、フローは２０３に進み、関心領域のフレームを取得する。例えば、画面アクティビティが予め定められた閾値を越えない場合（例えば、マウスカーソルが画素閾値を越えて移動しない、スクロールバーが画素閾値を超えて変化しない、などの場合）、フレームは静止であると判定される。関心領域を判定する例示的な実装によって使用される方法は、図７Ａに関して説明される。関心領域は、ドキュメントコンテンツを含む取得されたフレーム内の領域であるか、または、ドキュメントに関連する領域である。関心領域を判定することは、関心領域を識別するアルゴリズムまたは他の方法を使用することを含む。関心領域は、フレームのコンテンツに基づいて、（例えば、ドキュメントコーナーの検出によって、もっとも変化した領域の検出によって、）記録されたフレームのユーザによる選択によって、または、所望される実装による他の方法及びフレームについての関心領域の所望される定義によって、判定されてもよい。取得されているフレームのタイプが縦方向スクロールまたはページフリップなどの画面アクティビティを含むと判定された場合、フローは、関心領域のフレームをスティッチするために、２０４に進む。

0040

２０５で、画面アクティビティが処理のために検出される。画面アクティビティは、ドキュメントがどのように移動するか（例えば、スクロールまたはページめくり）を表すアクティビティであり、またはドキュメントが移動しない場合に、画面で生じたアクティビティである。したがって、画面アクティビティは、マウスカーソルの移動、注釈付け、音声、テキスト選択、ビデオクリップ再生、画面上でのメニューオープン、など、識別される所望のアクティビティに依存して、取得されたフレームに生じるまたは取得されたフレームに関連するアクティビティの何れかを含む。このような画面アクティビティの検出は画面アクティビティを識別するアルゴリズムまたは他の方法を含む。画面アクティビティの検出は、画面に生じたアクティビティを追跡するために、複数のフレームの間に行われた入力（例えば、キーストロークロガー、マイクロフォンアプリケーション、ユーザアクティビティ追跡アプリケーション）を追跡するアプリケーションまたは機能によって、または、所望される実装及び取得される、所望されるアクティビティに応じた方法の何れかによって、フレーム間の画像の差異を検出することによって行われてもよい。

0041

２０６で、システムは、（例えば、ユーザ指示によって、ドキュメントの最後に到達したことで、所定の期間を越えて同じフレームが記録されることによって、）フレームの追跡を停止するように指示されると、図１Ｂに例示されるようにドキュメントを生成し、さらに、２０７で、ＯＣＲ（optical character recognition）を、所望される実装によって（例えば、ユーザ設定によって、ユーザ入力による指示によって、すぐに）、ドキュメントに適用し得る。

0042

図３は、例示的な実装によるアプリケーションウィンドウを例示する。アプリケーションウィンドウのいくつかは左側３００にページサムネイルのシリーズを表示し、右側３０１にメインドキュメントページを表示する。縦動き検出手段は、フレームの他の領域に時折発生する変化と反対に、動きが矛盾なく発生するドキュメントページ領域を、適切に識別する。このような例示的な実装において、関心領域はドキュメントページ３０１として検出され、左側３００のグラフィカルユーザインターフェイス構成要素はフィルタリングされてもよい。このようなグラフィカルユーザインターフェイスのフィルタは、グラフィカルユーザインターフェイスを識別し、フィルタリングする所望される実装によって、ドキュメントアプリケーションの各タイプについて生成されてもよい。例えば、スクロールバー、メニューバー及び綴りに誤りのあるワードの下線などのグラフィカルユーザインターフェイス構成要素をもつワードプロセッサにおいて、フィルタは、ワードプロセッサに関連して構成され得、グラフィカルユーザインターフェイス構成要素は、ワードプロセッサのドキュメントページに焦点を当てた関心領域によってフィルタリングされ得る。

0043

図４は、例示的な実装によるアプリケーションウィンドウを例示する。プレゼンテーションスライドのアプリケーションは、一方の側（例えば、左側）４００にスライドのサムネイルを表示し、他方の側（例えば、右側）４０１にメインスライドを表示し、必須ではないが、４０２（例えば、下側）にいくつかのメモを表示することができる。ドキュメントアプリケーション及びウェブページを取得するために使用される連続的なスクロール検出と異なり、例示的な実装は、テキスト境界ボックスを使用して、表示されている新しいコンテンツを検出し、ページアクションに関連付けられている画面アクティビティ（例えば、スライドの変更、ページめくりなど）を検出することができる。強調されているサムネイルに対応するグラフィカルユーザインターフェイス構成要素のフレームの差の変化、及び、右側のスクロールバーの変化は、記録された画面アクティビティとして使用され得、キーフレーム取得を開始するために処理され得る。

0044

図５は、オンラインビデオの例示的な実装を例示する。オンラインビデオによるオンライン講義またはライブミーティングセッションで取得されるプレゼンテーションは、異なる構成を有する。関心領域は静止プレゼンテーションの場合と同様にフレーム間の差に基づいて自動的に検出されてもよいが、再生中、グラフィカルユーザインターフェイス構成要素は一般的に隠れているので、スクロールバーの情報は使用されない。また、ユーザはビデオ構成要素をホスティングするウェブページをスクロールしてもよく、関心領域はスクロールにしたがって移動してもよい。

0045

図６は、例示的な実装によるノイズ除去の例示的な検出を示す。別の態様において、ノイズ除去は、グラフィカルユーザインターフェイス構成要素によって生じるノイズを除去するためにドキュメント取得に実装される。紙書類をコピーまたはスキャンした画像と異ならず、デジタルドキュメントはドキュメントを生成した際に、自動的にまたは半自動的に除去し得るアーチファクトを含み得る。例えば、多くのワードプロセッシングアプリケーションは、図６に例示するように、ユニークなライン（例えば、異なる色の線、波線、など）で、誤った綴りのワードに下線を引く。このようなワードプロセッシングアプリケーションは、ドキュメントが編集モードで表示されている場合、特殊な文字の隣に現れるアイコンを有する場合がある。また、ドキュメントの異なるワードまたはオブジェクトをわたってマウスカーソルが移動すると、所望される実装に依存して、マウスカーソルの形状が変化する。

0046

他の態様において、例示的な実装は動的コンテンツの検出を容易にする。デジタルドキュメントは、短いビデオデモンストレーションを埋め込んだプレゼンテーションスライドまたはアニメーションを表示するウェブページなど、再生可能なクリップを含んでいることがある。例示的な実装は、動的領域を検出し、キーフレーム、動画化された画像、または、再編成されたムービークリップのセットによって動的領域を表現する。視聴者は、これらのクリップを再生することができる。

0047

他の例示的な実装において、ユーザアクションに対応する画面アクティビティの検出が行われる。例示的な使用の場合、共著された出版物またはスライドセットなどの特定のドキュメントに関するコメントのリクエストがサポートされる。コピー操作の間、ユーザは、マウスまたはカーソルの移動によるテキスト選択または音声コマンドなどの音声入力により、コメントを必要とする領域を指示してもよい。例示的な実装は、基礎となるドキュメントページからこれらのアクションを分離するための技術に拡張される。動的コンテンツと同様に、音響（例えば、音声）クリップは、音声アクティビティ検出手段（ソフトウェアまたはマイクロフォンと接続された物理的なプロセッシングチップとして実装される）を使用して自動的に記録され、生成される出力ドキュメントにおいて再生可能なクリップとなる。このような出力は、所望される実装に応じて、ウェブブラウジングアプリケーションによってドキュメントのウェブベースコピーに重畳され得る別個のアプリケーションレイヤーに生成されてもよい。したがって、ユーザアクティビティはアプリケーションレイヤーを介してドキュメントで再生されてもよい。

0048

他の態様では、例示的な実装において質及び帯域幅強調が実装される。アプリケーションウィンドウが小さい領域にオリジナルドキュメントを先に表示していたとしても、または、記録アプリケーションがより低い解像度でフレームを取得していたとしても、より正確さが高いドキュメントを視聴者が見ることができるように、例えば、磨きステップは、テキスト構成要素をより鮮鋭にするために、取得したフレームのテキスト構成要素を強調する。さらに、プレゼンテーションスライドなどのドキュメントは、各スライドの背後に同じ背景をもつ。圧縮のために、例示的な実装は、この背景、または、その構成要素のいくつかを再使用して、ドキュメント及びそのページを再生してもよい。

0049

例示的なアプリケーションにおいて、ドキュメントは共有のために再生されてもよい。アプリケーションがドキュメントをエクスポートすることができる特定の方法を決定する代わりに、例示的な実装は、アプリケーションウィンドウにロードされたドキュメントでのユーザによるボタンのクリック、スクロールまたはページめくりを容易にすることができ、コピーを取得することができる。コピーは、プライベートまたはパブリックＵＲＬ（uniform resource locator）として即時共有可能であり、ウェブブラウザで、誰でも、コピーを見て、コピーにコメント、ジェスチャ、音声コマンドを付加することができる。視聴者によって行われる全てのインタラクションは、サーバデバイスに保持され、共有者に送信されてもよい。共有されたドキュメントを構成する使用をユーザが理解するように支援するために、分析データは、ページが読まれたこと、テキストが最も多く選択されたこと、を含むことができる。

0050

別の態様では、例示的な実装は他のユーザのドキュメントのコピーを容易にする。オンラインビデオ会議の間、ユーザは、プレゼンテーションスライドを共有し、またはソースコードエディタ及び他のドキュメントを表示してもよい。例示的な実装はビデオ会議アプリケーションのウィンドウに表示されるコンテンツを取得することができ、ユーザは会議の間に共有され適切にフォーマッティングされたドキュメントにたどり着くことができる。先のシナリオと異なり、この場合、ユーザはコンテンツをスクロールしたり、ページめくりしたりする制御を行っていないが、例示的な実装は、ページを取得し、ページめくりされたドキュメントとして取得したページを利用することができる。

0051

例示的な実装によってノートをとることは、関連技術と比較して少ない動作を要求する。自身のノートをとるアプリケーションに含めるために、ドキュメントページのテキストまたは画像のサブクリップ（例えば、ダイアグラム）のコピー及びペーストを含む、例示的な実装による記録の間に、例えば、蓄積されているドキュメントの断片を、ユーザは、直接的に、コピー及びペーストすることができる。代替的に、例示的な実装は、取得されている間に（強調及びページへの書き込みなど）行われる取得したドキュメントページまたは、ページのコンテキストのテキストノートへの注釈付けと同様に、ノートをとることをサポートする。

0052

何人かのユーザがドキュメントを共著する他の例示的な実装において、第１のユーザは２、３のページを取得することができ、取得した２、３のページについて、第１のユーザは他の共著者からのフィードバックを必要とする。共著者は、自身のユーザデバイスでコピーを見て、コメントを付加し、第１のユーザにリンクを送り返すことができる。第１のユーザがオリジナルドキュメントを再度オープンし、ドキュメントをスクロールすると、例示的な実装は注釈付けされたコピーの対応するページを自動的に示し、ドキュメントに共著者の示唆を統合することを容易にする。

0053

例示的な実装において、ツールによって取得されたコンテンツを中央サーバが利用可能である場合、ユーザが同じドキュメント（例えば、webinar）を取得することは、取得したコンテンツだけに基づいて、リンクされ得る。

0054

例示的な実装において、ワードプロセッサのライブアプリケーションウィンドウは毎秒複数のフレーム（例えば、１０フレーム）取得される。画像差を利用して、領域の変化を検出し、メニュー領域、スクロールバー及び他の非ドキュメント関連グラフィカル構成要素を取り除く。画像スティッチは、各フレームを２値化し、接続される構成要素を通り、接続される構成要素の最も近いラインボックスによって、接続される構成要素をマッチングすることによって行われる。テキストが存在せず、背景色がページの背景色より濃い、等距離の縦方向範囲を検出することで、改ページが検出される（取り除かれたキーフレームの変化した領域のマージンで画素を使用して推定される。）。ＯＣＲ（optical character recognition）テキストと共に、ページ毎に一つの画像オリジナルドキュメントのコピーがウェブページとして提示される。

0055

このように、例示的な実装は、ウィンドウの画面アクティビティの記録に基づいて、任意のアプリケーションウィンドウで表示されるドキュメントのウェブベースコピーを自動的に生成することに関連することができ、取得されたフレーム及びユーザアクションの処理だけに基づいて実装されてもよい。取得されているこのようなドキュメントは、スクロール（例えば、ドキュメントアプリケーション）またはページめくり（例えば、フリップされているスライドの表示）を含み得る。例示的な実装において、画像スティッチは、オリジナルドキュメントで提示されるオリジナルドキュメントページを再生するために使用されてもよい。例示的な実装において、取得されているアプリケーションウィンドウのスクロールは、ユーザがドキュメントコンテンツを取得することで開始されてもよいし、他のユーザが（例えば、ウェブ会議で、）プレゼンテーションを行うことで開始されてもよい。

0056

例示的な実装において、取得されるドキュメントページは、ドキュメントが取得されている間に利用可能とされてもよい。即ち、ページが取得されている間にユーザは新しく取得されたページにアクセスすることができる。これは、取得されているドキュメントのスクロール／ページめくりを制御しないノートをとるシナリオにおいて有用であり得る。ドキュメントを取得している間に行われるインタラクション、例えば、ユーザまたはウェブ会議のシナリオにおいてドキュメントを見ているユーザによって取得の間に行われるマウス、テキスト、音声アクションは、ドキュメントページから分離され、コピーの再生可能レイヤーとして保持されてもよい。

0057

ビデオクリップなどの動的コンテンツが例示的な実装により検出され、ミニクリップとして保持される。ミニクリップはコピー上で再生される内装構成要素として使用されてもよい。例示的な実装において、取得されたドキュメントページは（自動的にまたはユーザアクションにより半自動的に）強調され、視覚的により訴求するドキュメントが生成されてもよい。また、綴りに誤りのあるワードの下線、または、オリジナルドキュメントフレームに現れるアイコンが取り除かれてもよい。ドキュメントページ画像を認識する例示的な実装は、ＯＣＲを使用して、テキスト選択及びテキストサーチを可能とする。

0058

例示的な実装において、コピーは、即時、ＵＲＬで共有され、モバイルフォンを含む任意のブラウザ利用可能デバイスで見ることができる。また、例示的な実装において、コメント及び分析（例えば、ドキュメントページのマーク、強調、音声コメント、オリジナルドキュメントの著者に対して有用であり得る内在するマウスの軌跡、テキスト選択）が収集され得る。また、認証されたパーティだけがアクセス及び閲覧可能となるように、コピーは、パスワードまたは他のよく知られた暗号化操作を使用して暗号化されてもよい。テキスト品質は、ドキュメントのズームが可能となるように増強されてもよい。

0059

図７Ａは、例示的な実装によって、関心領域のドキュメントコンテンツを処理するフローチャートを例示する。図７Ａの処理は、図２の２０３または２０４の関心領域フレームの抽出またはスティッチの間に組み込まれ得る。７００で、グラフィカルユーザインターフェイス構成要素が判定される。判定はアプリケーションに依存してもよいし、所望される実装によって検出されてもよい。例えば、ドキュメントアプリケーションのグラフィカルユーザインターフェイス構成要素の位置及び／または識別を示すテンプレートがシステムに提供され、グラフィカルユーザインターフェイス構成要素をフィルタリングして取り除くために使用されてもよい。

0060

７０１で、関心領域が判定される。判定はアプリケーションに依存してもよいし、所望される実装によって検出されてもよい。例えば、ドキュメントアプリケーションのグラフィカルユーザインターフェイス構成要素の位置及び識別を示すテンプレートがシステムに提供され、グラフィカルユーザインターフェイス構成要素をフィルタリングして取り除くために使用されてもよい。他の検出方法は、所望される実装に依存して、ドキュメントのコーナーの検出、フレーム間で異なる画像に基づく関心領域の検出（例えば、フレームをわたって最も異なる領域が関心領域として利用される）、など、を含み得る。コーナーの検出に関与する例示的な実装において、関心領域を判定するために、既知のワード処理アプリケーションのドキュメントコーナーが識別されてもよい。他の例示的な実装において、フレームの特定の画素で生じた変化数を追跡するためにヒートマップが使用されてもよく、変化数が最も多い領域を関心領域として使用してもよい。また、他の例示的な実装では、キャニー（Canny）エッジ検出手段または類似の手段によって取得された縦または横方向エッジを使用して、取得するために関心領域である可能性が最大の領域を判定してもよい。

0061

７０２で、関心領域のドキュメントコンテンツを抽出する。関心領域のドキュメントコンテンツの抽出は、フレームから関心領域の画像を取得することを含んでいてもよい。マウスカーソルなどのグラフィカルユーザインターフェイス構成要素、強調または下線などのアプリケーション固有の追加は、この時点で取り除かれてもよい。７０３で、ドキュメントコンテンツは画像の形態で記憶され、ドキュメントのウェブベースコピーを生成するために使用されてもよい。フレーム差がスクロールまたはページめくりアクションの画面アクティビティを示す場合、画像はドキュメントを形成するようにスティッチされてもよい。

0062

図７Ｂは、例示的な実装によって画像スティッチを行うフローチャートを例示する。例示的な実装において、ドキュメントを生成するいくつかの様相がある。インテリジェントスティッチ及び関心領域検出がある。例示的な実装において、図２の２０４で示されるように、２つのメインカテゴリのドキュメントがコピーされる。（例えば、ドキュメント編集及び閲覧ソフトウェア、ウェブページなどの）連続的にスクロールされるドキュメント、及び（例えば、プレゼンテーションまたはスライドショーなどの）順次提供されるページをもつドキュメント。

0063

このような変化を検出するために、例示的な実装は縦方向動き検出を含み、７１０で変化のメイン領域を判定する。縦方向動き検出は、所望される実装によって任意の手法を実装し得る。縦方向動き検出の例示的な実装において、キーポイントを各フレームから抽出し、各キーポイントの周囲の画素を記述するために２値ベクトルを計算することができる。任意の所望される実装において、ベクトルはフレーム間でマッチングされ、縦方向の差異が判定される。例示的な実装において、投票機能を使用し、最もマッチするキーポイントのペアを有するとして投票されたフレーム間の差を判定する。縦方向動きの検出が終了すると、ステップ７１１で変更され、スティッチされた領域まで、フレームがトリミングされる。変化の領域は画素マッチングまたは境界ボックス、または、所望される実装に依存する他の方法を使用して、スティッチされてもよい。

0064

境界ボックスを含む例示的な実装において、取得された領域がアプリケーションウィンドウの画面をわたって移動する場合、境界ボックスが適合する程度に十分類似する一方で、アンチエイリアシング処理は描画された画素を変更することができる。関心領域を判定することで、システムは、グラフィカルユーザインターフェイス構成要素（スクロールバー、オプションメニュー、ミニスライドなど）を自動的に検出し、取り除くことができる。ドキュメントのウェブベースコピーは、７１２で、画像の形態であり得る変化した取得領域のスティッチで、単一の画像を形成するように画像をスティッチして、画像を合成することで生成される。

0065

図７Ｂのスティッチの実装によって、システムは、ドキュメントのウェブベースコピーを生成し、画像スティッチからドキュメントのドキュメントページを再生することができる。画像がスティッチされると、オリジナルドキュメントの各ドキュメントページの間の改ページが記録され、ドキュメント画像の部分としてスティッチされる。

0066

図７Ｃは、例示的な実装により、ドキュメントのページの取得を行い、ウェブベースコピーを提供するフローチャートを例示する。図７Ｃの例において、関心領域は７２０で取得される。関心領域が取得されると、フローは７２１に進み、関心領域内の取得された（マウスカーソル、スクロールバーなどの）グラフィカルユーザインターフェイス構成要素について、関心領域が処理される。７２２で、取得された関心領域は、ウェブベースアプリケーションによるアクセスのためのページとして描画され得る。図７Ｃのフローによって、ドキュメントのドキュメントページが再生され、ドキュメントページの各々が生成されると、ウェブベースアプリケーションによるアクセスが可能なようにドキュメントページが描画され得る。これにより、表示されているままのドキュメントのページが取得され、提供され得る。スライドのライブプレゼンテーションを含む例では、各スライドは、これにより、プレゼンテーションの間に取得され、利用可能とされる。

0067

図８は、例示的な実装を実装し得る例示的な計算処理環境を示す。計算処理環境８００のコンピュータデバイス８０５は一つもしくは複数の処理ユニット、コア、またはプロセッサ８１０、メモリ８１５（ＲＡＭ、ＲＯＭなど）、内部ストレージ８２０（例えば、磁気ストレージ、光ストレージ、ソリッドステートストレージ及び／または有機ストレージなど）、及び／またはＩ／Ｏインターフェイス８２５を含む。これらは、通信機構またはバス８３０に接続され、コンピュータデバイス８０５と情報の通信を行ってもよいし、コンピュータデバイス８０５に埋め込まれていてもよい。

0068

コンピュータデバイス８０５は、入力／ユーザインターフェイス８３５及び出力デバイス／インターフェイス８４０と、通信可能に接続されていてもよい。入力／ユーザインターフェイス８３５及び出力デバイス／インターフェイス８４０の一方または双方は、有線または無線インターフェイスであってよく、脱着可能であってよい。入力／ユーザインターフェイス８３５は任意のデバイス、コンポーネント、センサ、または、インターフェイスを含むことができ、これらは物理的であっても仮想的であってもよく、入力（例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング／カーソルコントロール、マイクロフォン、カメラ、点字装置、モーションセンサ、オプティカルリーダー、など）を提供するために使用され得る。出力デバイス／インターフェイス８４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字装置などを含んでいてもよい。いくつかの例示的な実装において、入力／ユーザインターフェイス８３５及び出力デバイス／インターフェイス８４０は、コンピュータデバイス８０５に埋め込まれていてもよいし、物理的に接続されていてもよい。他の例示的な実装において、他のコンピュータデバイスは、入力／ユーザインターフェイス８３５及び出力デバイス／インターフェイス８４０として機能してもよいし、入力／ユーザインターフェイス８３５及び出力デバイス／インターフェイス８４０の機能を提供してもよい。

0069

コンピュータデバイス８０５の例は、高性能モバイルデバイス（例えば、スマートフォン、自動車及び他の機械のデバイス、人または動物によって搬送されるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、固定デバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、一つまたは複数のプロセッサを埋め込まれた及び／または接続されたテレビ、ラジオなど）を含むが、これらに限定されない。

0070

コンピュータデバイス８０５は、任意の数のネットワーク構成要素、デバイス、及び、同一のまたは異なる構成の一つまたは複数のコンピュータデバイスを含む、システムと通信するネットワーク８５０、及び、外部ストレージ８４５に（例えば、Ｉ／Ｏインターフェイス８２５を介して、）通信可能に接続されていてもよい。コンピュータデバイス８０５または任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、特定用途マシンもしくは他のデバイスのサービスを提供するように機能し、これらとして参照され得る。

0071

計算処理環境８００において、Ｉ／Ｏインターフェイス８２５は、接続された構成要素、デバイス及びネットワークの少なくとも全てから、及び／または、これらへ、情報を伝達するために、任意の通信またはＩ／Ｏプロトコル、または標準（例えば、イーサネット（登録商標）、８０２．１１ｘ、ＵＳＢ（Universal System Bus）、WiMax、モデム、携帯電話ネットワークプロトコルなど）を使用する、有線及び／または無線インターフェイスを含んでいてもよいが、これらに限定されない。ネットワーク８５０は、（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話回線ネットワーク、携帯電話ネットワーク、衛星ネットワークなど）の任意のネットワークまたはネットワークの組み合わせであってよい。

0072

コンピュータデバイス８０５は、一時的媒体及び非一時的媒体を含むコンピュータ利用可能またはコンピュータ可読媒体を使用して、使用及び／または通信することができる。一時的媒体は伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的記録媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ−ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体(例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）及び他の不揮発性ストレージまたはメモリを含む。

0073

コンピュータデバイス８０５は、いくつかの例示的な計算処理環境における技術、方法、アプリケーション、処理、またはコンピュータ実行可能命令を実装するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取り出され、一時的媒体に記憶されてもよいし、非一時的媒体から取り出され、非一時的媒体に記憶されてもよい。実行可能命令は、任意のプログラム言語、記述言語、及び機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ビジュアルベーシック、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）及びその他）の一つまたは複数で生成されてもよい。

0074

プロセッサ８１０は、現実または仮想環境の任意の（図示しない）オペレーティングシステム（ＯＳ）で実行可能である。論理ユニット８６０、ＡＰＩ（Application programming interface）ユニット８６５、入力ユニット８７０、出力ユニット８７５、及び、異なるユニット間で、ＯＳ及び（図示しない）アプリケーションによって、相互に通信するためのユニット相互通信機構８９５を含む、一つまたは複数のアプリケーションが展開されてもよい。ユニット及び構成要素の設計、機能、構成または実装は、変更されてもよく、上記説明に限定されない。

0075

いくつかの例示的な実装において、情報または実行命令がＡＰＩユニット８６５によって受信されると、一つまたは複数の他のユニット（例えば、論理ユニット８６０、入力ユニット８７０、出力ユニット８７５）に接続されてもよい。上記したいくつかの例示的な実装のいくつかの例において、論理ユニット８６０は、ユニット間の情報フローを制御し、ＡＰＩユニット８６５、入力ユニット８７０、出力ユニット８７５によって提供されるサービスに指示する。例えば、一つまたは複数のプロセスまたは実装のフローは論理ユニット８６０だけによって制御されてもよいし、論理ユニット８６０及びＡＰＩユニット８６５によって制御されてもよい。入力ユニット８７０は例示的な実装で説明した計算のための入力を取得し、出力ユニット８７５は上記説明した例示的な実装に基づいて出力を提供してもよい。

0076

プロセッサ８１０は、ドキュメントを含むアプリケーションウィンドウを記録した複数のフレームから、ドキュメントのドキュメントコンテンツ及びアプリケーションウィンドウの画面アクティビティを検出し、図２、図７Ａ〜図７Ｃで説明したように、ドキュメントコンテンツ及び画面アクティビティからドキュメントウェブベースコピーを生成する。プロセッサは、図２、図７Ａ〜図７Ｃで説明したように、複数のフレームから関心領域を判定し、関心領域からドキュメントコンテンツを抽出することで、ドキュメントのドキュメントコンテンツ及びアプリケーションウィンドウの画面アクティビティを検出する。画面アクティビティは、ドキュメントのスクロールアクション及びページめくりアクションの少なくとも一方を含み、プロセッサは、画面アクティビティと関連付けられている複数のフレームの一つの関心領域に画像スティッチを適用するために使用されてもよく、図１Ｂ及び図２で説明したように、画像スティッチによってドキュメントのドキュメントページを再生することで、ドキュメントのウェブベースコピーを生成する。

0077

プロセッサ８１０は、図７Ａ〜図７Ｃで説明したように、関心領域から一つまたは複数のグラフィカルユーザインターフェイス構成要素を取り除いて、関心領域からドキュメントコンテンツを抽出することもでき、図２及び図７Ａ〜図７Ｃで説明したように、再生されるドキュメントページの各々を生成すると、ドキュメントページを再生し、ウェブベースアプリケーションによってアクセス可能な再生したドキュメントページの各々を描写することで、ドキュメントのウェブベースコピーを生成する。

0078

プロセッサ８１０は、複数のフレームから画面アクティビティを記録し、図２で説明したように、ドキュメントのウェブベースコピーで画面アクティビティを再生するアプリケーションレイヤーを生成してもよい。

0079

詳細な説明のいくつかの部分は、コンピュータ内の動作のアルゴリズム及び記号表現によって提示されてもよい。これらのアルゴリズムの記述及び記号表現には、データ処理分野で既知の手段を使用することができる。アルゴリズムは所望される最終状態または結果に導く規定されたステップのシリーズである。例示的な実装において、実行されるステップは、知覚可能な結果を達成する知覚可能な量の物理的な動作を必要とする。

0080

特に言及されない限り、上記から明らかなように、「処理」、「計算」、「判定」、「表示」などの用語は、コンピュータシステムまたは他の情報処理デバイスのアクション及び処理を含み、コンピュータシステムまたは他の情報処理デバイスは、コンピュータシステムのレジスタ、及びメモリ内の物理的な（電子的な）量として表されるデータを操作し、コンピュータシステムのメモリまたはレジスタ、または、他の情報ストレージ、伝送または表示デバイス内の物理的な量として表される類似の他のデータに変換する。

0081

例示的な実装は、上記動作を実行する装置に関連してもよい。装置は、要求された目的のために特別に構築されてもよいし、一つまたは複数のコンピュータプログラムによって選択的にアクティベートされ、または再構成される一つまたは複数の汎用目的コンピュータを含んでもよい。コンピュータプログラムは、コンピュータ可読ストレージ媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に保存されていてもよい。コンピュータ可読ストレージ媒体は、光ディスク、磁気ディスク、リードオンリーメモリ、ランダムアクセスメモリ、ソリッドステートデバイス及びドライブなどの有形の媒体または、電子情報を保存するのに適した他のタイプの有形もしくは非一時的媒体を含んでいてもよいが、これらに限定されない。コンピュータ可読信号媒体は、搬送波などの媒体を含んでいてもよい。アルゴリズム及び表示は、何れか特定のコンピュータまたは装置に固有に関連しない。コンピュータプログラムは、上記実装の動作を実行する命令を含むソフトウェアだけの実装を含み得る。

0082

上記例のプログラム及びモジュールと共に、様々な汎用用途システムを使用してもよいし、所望される方法ステップを実行する特定用途装置を構築してもよい。また、例示的な実装は特定のプログラム言語の何れかに限定されない。上記例示的な実装には、様々なプログラム言語が使用され得る。プログラミング言語の命令は、一つまたは複数の処理デバイス、例えば、中央処理ユニット（ＣＰＵ）、プロセッサ、またはコントローラによって実行され得る。

0083

上記動作はハードウェアによって実行されてもよいし、ソフトウェアによって実行されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実行されてもよい。例示的な実装の様々な態様が、回路及び論理デバイス（ハードウェア）を使用して実装されてもよいし、他の態様は、機械可読媒体に記憶された命令（ソフトウェア）を使用して実装されてもよい。命令は、プロセッサによって実行されると、実装を実行する方法をプロセッサに実行させる。また、例示的な実装のいくつかはハードウェアだけで実行され、他の例示的な実装はソフトウェアだけで実装されてもよい。また、様々な機能が単一のユニットで実行されてもよいし、任意の方法で、複数の構成要素にわたって分割されて実行されてもよい。ソフトウェアによって実行されると、方法は、コンピュータ可読媒体に記憶された命令に基づいて、汎用用途コンピュータなどのプロセッサによって実行される。所望されると、命令は圧縮及び／または暗号化されたフォーマットで媒体に記憶されてもよい。

0084

また、他の実装が、上記詳細及び教示の実行から明らかである。上記例示的な実装の様々な態様及び／または構成要素は、単独で使用されてもよいし、組み合わせて使用されてもよい。詳細及び例示的な実装は例示だけを意図しており、限定を意図していない。

0085

８０５コンピュータデバイス
８１０プロセッサ
８１５メモリ
８３５ 入力／ユーザインターフェイス
８４０出力デバイス／インターフェイス