図面 (/)

技術 ハイパーリンクが設定されたマイニングされたテキストスニペットを介する画像のブラウジング

出願人 マイクロソフトテクノロジーライセンシング,エルエルシー
発明者 ベイカー,シモン,ジョンカナン,アニータラムナス,クリシュナン
出願日 2014年8月8日 (5年2ヶ月経過) 出願番号 2016-533454
公開日 2016年9月23日 (3年0ヶ月経過) 公開番号 2016-529619
状態 特許登録済
技術分野 検索装置
主要キーワード 所定パーセンテージ コンピュータ動作環境 消費家 各三つ組 ベースコア コンピュータ入力デバイス 回帰関数 局所ウィンドウ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年9月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題・解決手段

情報リポジトリ内に記憶されている画像が、ブラウジングのために準備される。情報リポジトリ内の各画像について、情報リポジトリ内のテキストマイニングされて、この画像に意味論的に関連している、この画像に関するテキストスニペットが抽出され、これらテキストスニペットの各々について、この画像に関連しているコンセプト又はこの画像に関連しているエンティティを表すキータームが、このテキストスニペットにおいて検出され、このテキストスニペット及びキータームが、この画像に関連付けられる。情報リポジトリ内の各画像に関連付けられている各キータームには、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定される。グラフィカルユーザインタフェースは、関連付けられているテキストスニペット及びハイパーリンクが設定されているキータームを使用することにより、ユーザが、情報リポジトリ内の画像をブラウジングすることを可能にする。

概要

背景

インターネットは、世界中の数十億ものユーザに情報を提供する全地球データ通信ステムである。インターネットは、ワールドワイドウェブイントラネットベースの企業等により提供されるものを含め、無数オンライン情報リソース及びサービスへのユーザアクセスを提供する。ワールドワイドウェブは、各ウェブサイトウェブページ集合として編成されるウェブサイトの集合として編成される。所与のウェブページは、テキスト、画像、グラフィックオーディオ、及びビデオ等の多種多様なタイプのオンライン情報を含み得る。ワールドワイドウェブは、約1兆個の画像を集合的に現在ホストしている数十億ものウェブページを現在ホストしており、これらの数は、急速なペースで増え続けている。特定のコンピューティングデバイス上又はインターネット若しくはプライベートネットワーク等のネットワーク上の所望のオンライン情報を探し出す機能をユーザに提供する多くの異なる検索エンジンが、今日存在している。今日存在している様々なタイプのパーソナルコンピュティングデバイスパーソナルコンピュータラップトップノートブックコンピュータスマートフォン、及びタブレットコンピュータ等)の普及及びインターネットの普及の結果、ユーザは、ユーザが関心を持っている特定の画像を探し出すために、日常的に1以上の検索エンジンを使用している。

概要

情報リポジトリ内に記憶されている画像が、ブラウジングのために準備される。情報リポジトリ内の各画像について、情報リポジトリ内のテキストがマイニングされて、この画像に意味論的に関連している、この画像に関するテキストスニペットが抽出され、これらテキストスニペットの各々について、この画像に関連しているコンセプト又はこの画像に関連しているエンティティを表すキータームが、このテキストスニペットにおいて検出され、このテキストスニペット及びキータームが、この画像に関連付けられる。情報リポジトリ内の各画像に関連付けられている各キータームには、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定される。グラフィカルユーザインタフェースは、関連付けられているテキストスニペット及びハイパーリンクが設定されているキータームを使用することにより、ユーザが、情報リポジトリ内の画像をブラウジングすることを可能にする。

目的

インターネットは、ワールドワイドウェブ、イントラネットベースの企業等により提供されるものを含め、無数のオンライン情報リソース及びサービスへのユーザアクセスを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

情報リポジトリ内に記憶されている画像をブラウジングのために準備するためのコンピュータにより実施されるプロセスであって、前記情報リポジトリは、複数の画像及びテキストを含み、当該プロセスは、コンピュータを使用して、前記情報リポジトリ内の前記複数の画像の各々について、前記情報リポジトリ内の前記テキストをマイニングして、この画像に関する1以上のテキストスニペットを抽出する動作であって、前記1以上のテキストスニペットの各々は、この画像に意味論的に関連している、動作と、この画像に関する前記の抽出された1以上のテキストスニペットの各々について、このテキストスニペットにおいて1以上のキータームを検出する動作であって、前記1以上のキータームの各々は、この画像に関連しているコンセプト又はこの画像に関連しているエンティティを表す、動作と、このテキストスニペット及び前記1以上のキータームを、この画像に関連付ける動作と、前記情報リポジトリ内の前記複数の画像の各々に関連付けられている前記1以上のキータームの各々に、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクを設定する動作と、を含むプロセス。

請求項2

前記情報リポジトリ内の前記複数の画像及び前記テキストは、ウェブページの形態で記憶されており、前記情報リポジトリ内の前記テキストをマイニングして、この画像に関する1以上のテキストスニペットを抽出する前記動作は、この画像を含む、前記情報リポジトリ内のウェブページの全てを識別する動作と、前記の識別されたウェブページから完全な文章を抽出し、前記の抽出された完全な文章の各々について、関連度関心度とを組み合わせたスコアを算出する動作と、所定の閾スコアよりも高い前記関連度と関心度とを組み合わせたスコアを有する前記の抽出された完全な文章の全てを選択する動作と、前記の選択された完全な文章を、この画像に関する前記の抽出される1以上のテキストスニペットに割り当てる動作と、を含む、請求項1記載のプロセス。

請求項3

ディスプレイデバイスを備えた、ユーザインタフェースを含むコンピュータシステムにおいて、ユーザが情報リポジトリ内に記憶されている画像をブラウジングすることを可能にするためのコンピュータにより実施されるプロセスであって、当該プロセスは、前記コンピュータシステムを使用して、前記ディスプレイデバイス上に画像ブラウジンググラフィカルユーザインタフェースGUI)を表示する動作であって、前記画像ブラウジングGUIは、現在画像セクタを含む、動作と、前記ユーザからの、前記情報リポジトリ内の所望の画像を閲覧するリクエストを受信する動作と、前記現在画像セクタ内に前記所望の画像を表示する動作と、前記所望の画像の上に1以上のホットスポットを表示する動作であって、前記1以上のホットスポットの各々には、前記所望の画像に意味論的に関連している、前記所望の画像に関する異なるテキストスニペットであって、1以上のキータームを含む、前記所望の画像に関する異なるテキストスニペットへのハイパーリンクが設定され、前記1以上のキータームの各々は、前記所望の画像に関連しているコンセプト又は前記所望の画像に関連しているエンティティを表し、前記1以上のキータームの各々には、このキータームに関連付けられている、前記情報リポジトリ内の各他の画像へのハイパーリンクが設定される、動作と、を含むプロセス。

請求項4

前記1以上のホットスポットのうちの1つのホットスポットの前記ユーザの選択を検出する動作と、前記画像ブラウジングGUI内に、前記の選択されたホットスポットに自身へのハイパーリンクが設定されているテキストスニペットを表示する動作と、前記ユーザが、前記の表示されるテキストスニペットにおける前記1以上のキータームの各々と、前記の表示されるテキストスニペットにおける残りのテキストと、を区別できるように、前記の表示されるテキストスニペットにおいて前記1以上のキータームの各々を強調表示する動作と、をさらに含む、請求項3記載のプロセス。

請求項5

前記の表示されたテキストスニペットにおける前記1以上のキータームうちの1つのキータームの前記ユーザの選択を検出する動作と、前記の選択されたキータームに関連付けられている、前記情報リポジトリからの別の画像を選択する動作と、前記現在画像セクタ内に前記の選択された別の画像を表示する動作と、前記の選択された別の画像の上に1以上のホットスポットを表示する動作であって、該1以上のホットスポットの各々には、前記の選択された別の画像に意味論的に関連している、前記の選択された別の画像に関する異なるテキストスニペットであって、1以上のキータームを含む、前記の選択された別の画像に関する異なるテキストスニペットへのハイパーリンクが設定され、該1以上のキータームの各々は、前記の選択された別の画像に関連しているコンセプト又は前記の選択された別の画像に関連しているエンティティを表し、該1以上のキータームの各々には、このキータームに関連付けられている、前記情報リポジトリ内の各他の画像へのハイパーリンクが設定される、動作と、をさらに含む、請求項4記載のプロセス。

請求項6

前記の選択されたキータームに関連付けられている、前記情報リポジトリからの別の画像を選択する動作は、前記の選択されたキータームに最大回数関連付けられている、前記情報リポジトリからの別の画像を選択する動作を含む、請求項5記載のプロセス。

請求項7

前記画像ブラウジングGUIは、前記ユーザが以前に閲覧した画像の時系列編成された履歴を前記ユーザに提供する画像履歴セクタをさらに含み、当該プロセスは、前記画像履歴セクタ内に、前記所望の画像のサムネイルを表示する動作と、前記サムネイルの前記ユーザの選択を検出する動作と、前記現在画像セクタ内に前記所望の画像を再表示する動作と、前記所望の画像の上に前記1以上のホットスポットを再表示する動作と、をさらに含む、請求項5記載のプロセス。

請求項8

前記の表示されたテキストスニペットにおける前記1以上のキータームうちの1つのキータームの前記ユーザの選択を検出する動作と、検索エンジンに対するクエリを生成する動作であって、前記クエリは、前記の選択されたキーターム又は前記の表示されたテキストスニペット全体を含む、動作と、前記検索エンジンから検索結果を受信する動作と、前記現在画像セクタ内に前記検索結果を表示する動作と、をさらに含む、請求項4記載のプロセス。

請求項9

前記の表示されたテキストスニペットにおける前記1以上のキータームうちの1つのキータームの前記ユーザの選択を検出する動作と、前記現在画像セクタ内に、前記の選択されたキータームに関連付けられている、前記情報リポジトリ内の他の画像のサムネイルを表示する動作と、をさらに含む、請求項4記載のプロセス。

請求項10

前記所望の画像に関する各異なるテキストスニペットは、関連度と関心度とを組み合わせたスコアを有し、当該プロセスは、前記画像ブラウジングGUI内に、前記所望の画像に関するデフォルトのテキストスニペットを表示する動作をさらに含み、前記デフォルトのテキストスニペットは、最高の前記関連度と関心度とを組み合わせたスコアを有する、前記所望の画像に関するテキストスニペット、前記ユーザが最も直近に選択した特定のキータームが最大回数現れる、前記所望の画像に関するテキストスニペット、又は前記ユーザが前記所望の画像を検索するために元々使用した特定のクエリ語が最大回数現れる、前記所望の画像に関するテキストスニペットを含む、請求項3記載のプロセス。

背景技術

0001

インターネットは、世界中の数十億ものユーザに情報を提供する全地球データ通信ステムである。インターネットは、ワールドワイドウェブイントラネットベースの企業等により提供されるものを含め、無数オンライン情報リソース及びサービスへのユーザアクセスを提供する。ワールドワイドウェブは、各ウェブサイトウェブページ集合として編成されるウェブサイトの集合として編成される。所与のウェブページは、テキスト、画像、グラフィックオーディオ、及びビデオ等の多種多様なタイプのオンライン情報を含み得る。ワールドワイドウェブは、約1兆個の画像を集合的に現在ホストしている数十億ものウェブページを現在ホストしており、これらの数は、急速なペースで増え続けている。特定のコンピューティングデバイス上又はインターネット若しくはプライベートネットワーク等のネットワーク上の所望のオンライン情報を探し出す機能をユーザに提供する多くの異なる検索エンジンが、今日存在している。今日存在している様々なタイプのパーソナルコンピュティングデバイスパーソナルコンピュータラップトップノートブックコンピュータスマートフォン、及びタブレットコンピュータ等)の普及及びインターネットの普及の結果、ユーザは、ユーザが関心を持っている特定の画像を探し出すために、日常的に1以上の検索エンジンを使用している。

0002

この概要は、発明を実施するための形態において以下でさらに説明するコンセプトのうち選択したものを簡略化した形で紹介するために提供される。この概要は、特許請求される主題の主要な特徴又は必要不可欠な特徴を特定することを意図するものではないし、特許請求される主題の範囲を決定する際の助けとして使用されることを意図するものでもない。

0003

本明細書に記載の画像ブラウジングフレームワークの実施形態は、一般に、ユーザが、複数の画像及びテキストを含む情報リポジトリ内に記憶されている画像をブラウジングすることを可能にすることに適用可能である。1つの例示的な実施形態において、画像は、ブラウジングのために次のように準備される。情報リポジトリ内の画像の各々について、情報リポジトリ内のテキストがマイニングされて、この画像に関する1以上のテキストスニペットが抽出される。ここで、この1以上のテキストスニペットの各々は、この画像に意味論的に(semantically)関連している。次いで、この画像に関する抽出されたテキストスニペットの各々について、1以上のキーターム(keyterm)が、このテキストスニペットにおいて検出される。ここで、1以上のキータームの各々は、この画像に関連しているコンセプト(concept)又はこの画像に関連しているエンティティ(entity)を表す。このテキストスニペット及び1以上のキータームが、この画像に関連付けられる。次いで、情報リポジトリ内の画像の各々に関連付けられているキータームの各々に、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定される。

0004

情報リポジトリ内の画像及びテキストが、各ウェブページがハイパーテキストマークアップ言語HTML)コードを用いて構造化されているウェブページの形態で記憶されている別の例示的な実施形態において、情報リポジトリがマイニングされて、情報リポジトリ内の特定の画像に関するテキストスニペットが抽出される。特定の画像を含む、情報リポジトリ内のウェブページの全てが識別される。次いで、三つ組(triple)のリストが生成される。ここで、各三つ組は、識別されたウェブページのうちの異なるウェブページに対応するものであり、特定の画像のユニフォームリソースロケータ(URL)、識別されたウェブページのURL、及び識別されたウェブページのためのHTMLコードを含む。次いで、所定数の三つ組が、三つ組のリストからランダムに選択される。ここで、このランダムな選択は、三つ組のランダムなサブセットを生成させる。次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々について、次の動作が生じる。この識別されたウェブページのためのHMTLコードが解析されて解析ツリー(parse tree)が生成される。次いで、解析ツリーにおける画像ノード及びテキストノードが探し出される。次いで、この識別されたウェブページにおけるこれらのノード線形順序(linear ordering)が決定される。次いで、画像ノードのうち、特定の画像のURLを含む1つの画像ノードが識別される。ここで、この識別は、画像ノードのうちのどの画像ノードも特定の画像のURLを含まない場合、又は、画像ノードのうちの2以上の画像ノードが特定の画像のURLを含む場合には常に、三つ組のランダムなサブセットからこの識別されたウェブページを削除することを含む。次いで、テキストノードの各々が、1以上の文章に分割され、次いで、大文字で始まらない全ての文章及び適切な句読点で終わらない全ての文章を除去するために、この1以上の文章がフィルタリングされる。次いで、フィルタリングされた文章の各々から識別された画像ノードまでの文字単位の距離(distance in characters)が算出される。次いで、フィルタリングされた文章の各々について、文章単語ベクトル(sentence word vector)が生成される。次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々における識別された画像ノードに関連付けられているテキストが収集され、この収集されたテキストについて、画像単語ベクトル(image word vector)が生成される。次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々におけるフィルタリングされた文章の各々について、次の動作が生じる。このフィルタリングされた文章がどれくらい特定の画像に関連しているかの推定量(estimate)を表す、このフィルタリングされた文章に関する関連度スコアが生成され、このフィルタリングされた文章がどれくらいユーザにとって関心のあるものであるかの推定量を表す、このフィルタリングされた文章に関する関心度スコアが生成される。次いで、このフィルタリングされた文章に関する総合スコアが、これらの関連度スコア及び関心度スコアから生成される。ここで、この総合スコアは、このフィルタリングされた文章がどれくらい関連していてどれくらい関心のあるものであるかを示す。所定の閾スコアよりも高い関連度と関心度とを組み合わせたスコア(combined relevance and interestingness score)を有するフィルタリングされた文章の全てが選択され、これら選択されたフィルタリングされた文章が、特定の画像に関するテキストスニペットに割り当てられる。

0005

さらに別の例示的な実施形態において、画像ブラウジンググラフィカルユーザインタフェースGUI)が、ディスプレイデバイス上に表示される。ここで、このGUIは、現在画像セクタ(current image sector)を含む。次いで、ユーザからの、情報リポジトリ内の所望の画像を閲覧するリクエストが受信される。次いで、所望の画像が、現在画像セクタ内に表示され、1以上のホットスポット(hotspot)が、所望の画像の上に表示される。ここで、1以上のホットスポットの各々には、所望の画像に意味論的に関連しており、1以上のキータームを含む、所望の画像に関する異なるテキストスニペットへのハイパーリンクが設定される。1以上のキータームの各々は、所望の画像に関連しているコンセプト又は所望の画像に関連しているエンティティを表し、1以上のキータームの各々には、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定される。

図面の簡単な説明

0006

本明細書に記載の画像ブラウジングフレームワークの実施形態の具体的な特徴、態様、及び利点が、以下の説明、添付の特許請求の範囲、及び添付の図面に関して、より良く理解されるようになる。
情報リポジトリ内に記憶されている画像をブラウジングのために準備するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。
情報リポジトリ内のテキストをマイニングして、情報リポジトリ内の所与の画像に関する1以上のテキストスニペットを抽出するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。
画像を含むものとして識別された、情報リポジトリ内のウェブページから完全な文章を抽出し、抽出された完全な文章の各々について、関連度と関心度とを組み合わせたスコアを算出するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。
画像を含むものとして識別された、情報リポジトリ内のウェブページから完全な文章を抽出し、抽出された完全な文章の各々について、関連度と関心度とを組み合わせたスコアを算出するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。
所定の閾スコアよりも高い関連度と関心度とを組み合わせたスコアを有する抽出された完全な文章の全てを選択するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。
上位スコアの抽出された完全な文章のソートされたリストをフィルタリングするためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。
ユーザが準備された画像をブラウジングすることを可能にするためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするグラフィカルユーザインタフェース(GUI)の一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。
本明細書に記載の画像ブラウジングフレームワークの様々な実施形態及び要素を実装することができる汎用目的コンピュータシステムの簡略化された例を示す図。
ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするGUIの一般化されたレイアウトの代替実施形態を、簡略化された形で示す図。

実施例

0007

画像ブラウジングフレームワークの実施形態の以下の説明において、説明の一部を形成する添付の図面が参照される。添付の図面において、例示として、画像ブラウジングフレームワークを実施することができる具体的な実施形態が示されている。画像ブラウジングフレームワークの実施形態の範囲から逸脱することなく、他の実施形態も使用可能であり、構造的変更が可能であることを理解されたい。

0008

本明細書に記載の画像ブラウジングフレームワークの実施形態を説明する際、明瞭さのために、特定の用語が使用されるが、実施形態は、そのように選択された特定の用語に限定されることを意図するものではないことにも留意されたい。さらに、各特定の用語は、同様の目的を達成するために広く同様に機能するその全ての技術的均等物を含むことを理解されたい。「一実施形態」、「別の実施形態」、「例示的な実施形態」、「代替実施形態」、「一実施例」、「別の実施例」、「例示的な実施例」、又は「代替実施例」との本明細書における言及は、その実施形態又は実施例に関して説明される特定の特徴、特定の構造、又は特定の特性が、画像ブラウジングフレームワークの少なくとも1つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「一実施形態において」、「別の実施形態において」、「例示的な実施形態において」、「代替実施形態において」、「一実施例において」、「別の実施例において」、「例示的な実施例において」、及び「代替実施例において」という語句出現は、必ずしも同じ実施形態又は実施例を指しているとは限らず、他の実施形態/実施例と相互に排他的な別の実施形態/実施例又は代替の実施形態/実施例であるとも限らない。さらに、画像ブラウジングフレームワークの1以上の実施形態又は実施例を表すプロセスフロー順序は、本質的に、画像ブラウジングフレームワークのいかなる特定の順序を示すものでもないし、画像ブラウジングフレームワークのいかなる制限を暗示するものでもない。

0009

「画像」という用語は、コンピュータディスプレイデバイス(とりわけ、コンピュータモニタ等)上で閲覧することができるデジタル画像を指すものとして、本明細書で使用される。「ユーザ」という用語は、画像をブラウジングするためにコンピュータ(本明細書ではコンピューティングデバイスとも呼ばれる)を使用している個人を指すものとして、本明細書で使用される。「セクタ」という用語は、特定のタイプのグラフィカルユーザインタフェース(GUI)及び/又は情報(とりわけ、1以上の画像及びテキスト)が表示され得る、あるいは、特定のタイプの動作がユーザにより実行され得る、コンピュータディスプレイデバイスの表示画面の分割された領域を指すものとして、本明細書で使用される。ここで、そのようなGUI/情報/動作は、一般に、コンピュータ上で実行中の特定のアプリケーションプログラムに関連付けられている。コンピュータ動作環境の分野において理解されているように、所与のコンピュータディスプレイデバイスは、1つのセクタが別のセクタの上にレイヤ化され得る又は重ねられ得る複数の異なるセクタを含み得る。

0010

1.0ハイパーリンクが設定されたマイニングされたテキストスニペットを介する画像のブラウジング
一般的に言うと、本明細書に記載の画像ブラウジングフレームワークの実施形態は、ブラウジングのために画像を準備する。このような画像は、複数の画像及びテキストを含む情報リポジトリ内に記憶されている。このような画像がブラウジングのために準備されると、画像ブラウジングフレームワークの実施形態はまた、ユーザが、意味論的に意味のある形でこのような画像をブラウジングすることを可能にする。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、情報リポジトリは、ワールドワイドウェブ(以後単純にウェブと呼ぶ)であり、情報リポジトリ内の画像及びテキストは、各ウェブページがハイパーテキストマークアップ言語(HTML)コードを用いて構造化されているウェブページの形態で記憶されている。しかしながら、情報リポジトリが、画像及びテキストを記憶する任意の他のタイプのデータベース機構であって、他のタイプの情報も記憶できる任意の他のタイプのデータベース機構(このデータベース機構は、分散され得る又は中央化され得る)であり得る、画像ブラウジングフレームワークの代替実施形態も可能であることが理解されよう。

0011

本明細書に記載の画像ブラウジングフレームワークの実施形態は、次のものを含むがそれに限定されない様々な理由から有利である。以下のより詳細な説明から理解されるように、画像ブラウジングフレームワークの実施形態は、画像を検索しているユーザ(例えば、検索エンジンを使用して、ウェブ上で画像検索を行っているユーザ)に、ユーザにより閲覧される画像に関する意味論的に関心を抱かせるテキスト情報を提供する。画像ブラウジングフレームワークの実施形態はまた、ユーザが閲覧するための他の意味論的に関連している画像を提案する。画像ブラウジングフレームワークの実施形態はまた、ユーザが、ウェブ上で画像を意味論的にブラウジングすることを可能にする(例えば、ユーザは、意味論的に意味のある形で、1つの画像から次の画像に移ることができる)。画像ブラウジングフレームワークの実施形態はまた、ユーザに、直感的且つ使用しやすいユーザインタフェースを提供する。したがって、画像ブラウジングフレームワークの実施形態は、画像検索プロセスの効率性及び有効性を最適化するとともに、ユーザが、ユーザの関心と合致する特定の画像、ユーザのニーズを満たす特定の画像、ユーザの知識を深める(educate)特定の画像、ユーザを楽しませる特定の画像、又はこれらの任意の組合せを探し出すのに要する時間量を短縮させる。

0012

1.1プロセスフレームワーク
図1は、情報リポジトリ内に記憶されている画像をブラウジングのために準備するためのプロセスの例示的な実施形態を、簡略化された形で示している。ここで、情報リポジトリは、複数の画像及びテキストを含む。前述したように、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、情報リポジトリは、ウェブであり、情報リポジトリ内の画像及びテキストは、各ウェブページがHTMLコードを用いて構造化されているウェブページの形態で記憶されている。図1に示されるように、プロセスは、ブロック100において、情報リポジトリ内の画像の各々について生じる次の動作で始まる。情報リポジトリ内のテキストがマイニングされて、この画像に関する1以上のテキストスニペットが抽出され、ここで、この1以上のテキストスニペットの各々は、この画像に意味論的に関連しているとともに、スニペットを読むユーザにとって意味論的に関心のあるものでもある(ブロック102)。ユーザが、情報リポジトリ内に記憶されている画像をブラウジングしているときに、ユーザは、しばしば、楽しんでいる又は知識を深めているように見えるので、これは有利である。次いで、この画像に関する抽出されたテキストスニペットの各々について、次の動作が生じる(ブロック104)。1以上のキータームが、この画像に関する抽出されたテキストスニペットにおいて検出され、ここで、1以上のキータームの各々は、この画像に関連している意味論的に意味のあるコンセプト、又は、この画像に関連している意味論的に意味のあるエンティティを表す(ブロック106)。次いで、この画像に関する抽出されたテキストスニペット及びこのテキストスニペットにおいて検出された1以上のキータームが、この画像に関連付けられる(ブロック108)。ブロック100の動作が完了すると、情報リポジトリ内の画像の各々に関連付けられているキータームの各々に、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定される(ブロック110)。画像ブラウジングフレームワークの例示的な実施形態において、このような他の画像へのハイパーリンクをキータームに設定することは、転置インデックスデータ構造を用いて実装される。

0013

今説明した情報リポジトリ内のテキストをマイニングして情報リポジトリ内の画像の各々に関する1以上のテキストスニペットを抽出することは、様々なデータマイニング方法を用いて実行できることが理解されよう。そのような1つのデータマイニング方法の例示的な実施形態について、以下でより詳細に説明する。今説明したキーターム検出も、様々な従来の方法を用いて実行できることが理解されよう。限定ではなく例として、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、キータームは、ウィキディア(登録商標)における記事タイトル及びその異形(variant)であり、今説明したキーターム検出は、ウィキペディア(登録商標)に基づく明示的な意味論的解析(explicit semantic analysis)を用いる従来の意味論的関連度算出方法(semantic relatedness computation method)を用いて実行される。したがって、以下のより詳細な説明から理解されるように、今説明した情報リポジトリ内の画像へのハイパーリンクをキータームに設定することは、画像に対するキータームの関連度の尺度(measure)に基づく。

0014

図2は、情報リポジトリ内のテキストをマイニングして、情報リポジトリ内の所与の画像に関する1以上のテキストスニペットを抽出するためのプロセスの例示的な実施形態を、簡略化された形で示している。図2に示される特定のデータマイニング方法の実施形態は、情報リポジトリが、ウェブであり、情報リポジトリ内の画像及びテキストが、各ウェブページがHTMLコードを用いて構造化されているウェブページの形態で記憶されている、本明細書に記載の画像ブラウジングフレームワークの前述した実施形態に適用される。図2に示されるように、プロセスは、ブロック200において、所与の画像を含む、情報リポジトリ内のウェブページの全てを識別することで始まる。次いで、完全な文章が、識別されたウェブページから抽出され、抽出された完全な文章の各々について、関連度と関心度とを組み合わせたスコアが算出される(ブロック202)。次いで、所定の閾スコアよりも高い関連度と関心度とを組み合わせたスコアを有する抽出された完全な文章の全て(例えば、フィルタリングされた文章の全て)が選択される(ブロック204)。次いで、選択された文章が、画像に関する抽出されるテキストスニペットに割り当てられる(ブロック206)。

0015

図3A及び図3Bは、所与の画像を含むものとして識別された、情報リポジトリ内のウェブページから完全な文章を抽出し、抽出された完全な文章の各々について、関連度と関心度とを組み合わせたスコアを算出するためのプロセスの例示的な実施形態を、簡略化された形で示している。図3Aに示されるように、プロセスは、ブロック300において、三つ組のリストを生成することで始まる。ここで、リスト内の各三つ組は、識別されたウェブページのうちの異なるウェブページに対応するものであり、画像のユニフォームリソースロケータ(URL)、識別されたウェブページのURL、及び識別されたウェブページのためのHTMLコードを含む。次いで、任意的に、所定のウェブサイトドメインに存在する識別されたウェブページを含む全ての三つ組を除去するために、三つ組のリストがフィルタリングされてもよい(ブロック302)。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、このフィルタリングは、識別されたウェブページのURLに対して実行されるものであり、除去されるウェブサイトドメインは、ソーシャルネットワーキングウェブサイト写真共有ウェブサイト、及び所定の商用ウェブサイトを含む。除去されるウェブサイトドメインは、検索エンジンの所与のニーズに基づいて変更されてもよいことが理解されよう。このフィルタリングは、任意的に、次のものを含むがそれに限定されない1以上の他のタイプのウェブページフィルタリングを含んでもよい。1以上の所定の言語ではない識別されたウェブページを含む全ての三つ組を除去するために、三つ組のリストがフィルタリングされてもよい(例えば、英語ではない全てのウェブページを除去するために、三つ組のリストがフィルタリングされてもよい)。数あるタイプのコンテンツの中でもとりわけ、アダルトコンテンツ(例えば、わいせつなコンテンツ)等の所定のタイプのコンテンツを含む識別されたウェブページを含む全ての三つ組を除去するために、三つ組のリストがフィルタリングされてもよい。

0016

再度図3Aを参照すると、ブロック302において三つ組のリストがフィルタリングされた後、次いで、所定数の三つ組が、三つ組のフィルタリングされたリストからランダムに選択され、ここで、このランダムな選択は、三つ組のランダムなサブセットを生成させる(ブロック304)。画像ブラウジングフレームワークの例示的な実施形態において、この所定数は200である。三つ組のこのランダムな選択は、画像に関して処理すべき識別されたウェブページの数に最大限度を単に課すものであり、したがって、非常に一般的な画像(これらの画像の多くは、会社アイコン等といった興味を抱かせないものである)に関して実行される処理を制限するよう機能することが理解されよう。フィルタリングされたリスト内の三つ組の数が所定数以下の場合には、フィルタリングされたリスト内の三つ組の全てが選択されることも理解されよう。

0017

ブロック304において三つ組のランダムなサブセットが生成された後、次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々について、次の動作が生じる(ブロック306)。この識別されたウェブページのためのHTMLコードが解析されて解析ツリーが生成され、解析ツリーにおける画像ノード及びテキストノードが探し出され、この識別されたウェブページにおけるこれらのノードの線形順序が決定される(ブロック308)。所与のウェブページのためのHTMLコードを解析できない場合には、そのウェブページは、三つ組のランダムなサブセットから単に削除され得る。次いで、画像ノードのうち、画像のURLを含む1つの画像ノードが、識別される(ブロック310)。ここで、この識別は、画像ノードのうちのどの画像ノードも画像のURLを含まない場合(これは、前述したHTMLコード収集以降に、識別されたウェブページが変更されている場合に生じ得る)、又は、画像ノードのうちの2以上の画像ノードが画像のURLを含む場合(これは、識別されたウェブページが画像を複数回参照している場合に生じ得る)には常に、三つ組のランダムなサブセットからこの識別されたウェブページを削除することを含む。次いで、テキストノードの各々が、1以上の文章に分割され(ブロック312)、次いで、大文字で始まらない全ての文章及び適切な句読点で終わらない全ての文章を除去するために、この1以上の文章がフィルタリングされる(ブロック314)。したがって、このフィルタリングは、この文章が完全な文章であることを確実にする(例えば、全ての文断片(sentence fragment)が破棄される)。次いで、フィルタリングされた文章の各々から識別された画像ノードまでの文字単位の距離が算出される(ブロック316)。ここで、文章が、識別された画像ノードの後に現れているときには、この文字距離(character distance)は、所与の1つの符号(sign)(例えば、正にされる)であり、文章が、識別された画像ノードの前に現れているときには、この文字距離は、所与の反対の符号(例えば、負にされる)である。次いで、フィルタリングされた文章の各々について、文章単語ベクトルが生成される(ブロック318)。ここで、不要語(stop word)が、文章単語ベクトルから除外され、ステミング処理が実行される。

0018

今説明したHTMLコード解析(ブロック308)は、様々な方法により実行できることが理解されよう。限定ではなく例として、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、この解析は、従来のHTMLパーサ(parser)を用いて実行される。今説明した画像ノード識別(ブロック310)も様々な方法により実行できることが理解されよう。限定ではなく例として、画像ブラウジングフレームワークの例示的な実施形態において、この識別は、様々な文字列処理正規化(string processing normalization)を用いて実行される。今説明した文章分割(ブロック312)も様々な従来の方法を用いて実行できることが理解されよう。

0019

再度図3Aを参照すると、ブロック306の動作が完了した後、三つ組のランダムなサブセットにおける識別されたウェブページの各々における識別された画像ノードに関連付けられているテキストが収集される(ブロック320)。次いで、この収集されたテキストについて、画像単語ベクトルが生成される(ブロック322)。この画像単語ベクトルは、画像のコンテンツの全体モデル(overall model)として機能することが理解されよう。図3Bに示されるように、次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々におけるフィルタリングされた文章の各々について、次の動作が生じる(ブロック324)。このフィルタリングされた文章に関する関連度スコアが生成される(ブロック326)。ここで、この関連度スコアは、このフィルタリングされた文章がどれくらい画像に意味論的に関連しているかの推定量を表す。次いで、このフィルタリングされた文章に関する関心度スコアが生成される(ブロック328)。ここで、この関心度スコアは、このフィルタリングされた文章がどれくらいユーザにとって関心のあるものであるかの推定量を表す。次いで、このフィルタリングされた文章に関する総合スコアが、これらの関連度スコア及び関心度スコアから生成され、ここで、この総合スコアは、このフィルタリングされた文章がどれくらい関連していてどれくらい関心のあるものであるかを示す(ブロック330)。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、この総合スコアは、関連度スコアと関心度スコアとの乗算値に等しい。したがって、以下のより詳細な説明から理解されるように、高い総合スコアは、フィルタリングされた文章が関連しており且つ関心の高いものであることを示し、低い総合スコアは、フィルタリングされた文章が関連していない又は関心の低いものであることを示す。

0020

本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、フィルタリングされた文章の各々に関する関連度スコア及び関心度スコアの両方は、フィルタリングされた文章の異なる特徴(feature)の算出に基づく学習された回帰関数(learned regression function)を用いて生成される。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、学習された回帰関数は、アマゾンメカニカルターク(MTurk)を用いて取得されたトレーニングデータ及び正則線形回帰を用いた。より詳細には、MTurkユーザに、0.0から3.0のスケールで、多数の文章の関連度及び関心度のスコアを付けるよう求めた。ここで、0.0は、所与の文章が関連していない/関心のないものであることに対応し、3.0は、所与の文章が非常に関連している/非常に関心のあるものであることに対応する。フィルタリングされた文章の各々の広範な異なる特徴が算出され得ることが理解されよう。画像ブラウジングフレームワークの例示的な実施形態において、これらの特徴は、データターム特徴(data term feature)、様々なコンテキスト特徴、繰り返し特徴(duplication feature)、距離特徴、及び様々な言語特徴(linguistic feature)を含んでいたが、これらに限定されるものではない。これらの特徴の各々について、次により詳細に説明する。

0021

所与のフィルタリングされた文章のデータターム特徴の算出は、フィルタリングされた文章に関する文章単語ベクトルと画像単語ベクトルとの間の合致スコア(match score)を算出することを含む。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、この合致スコアは、次のように算出される。まず、画像単語ベクトルが、単位ベクトルに正規化される。次いで、正規化された画像単語ベクトルと文章に関する単語ベクトルとの内積が計算される。次いで、任意的に、大きくオーバーラップする過度好都合の文章(overly favoring sentence)を避けるために、この内積に対して所定の最大値が課されてもよい。

0022

コンテキスト特徴は、本質的には、データターム特徴のコンテキスト上の拡張である。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、フィルタリングされた文章の各々について、2つの異なるコンテキスト特徴、すなわち、局所コンテキスト特徴(local context feature)及びページコンテキスト特徴が算出される。局所コンテキスト特徴の算出は、フィルタリングされた文章周囲の局所ウィンドウにわたってデータターム特徴を平均化することを含む。局所コンテキスト特徴の背後にある直感は、所与のフィルタリングされた文章周囲の他のフィルタリングされた文章が、意味論的に画像に関連しており、意味論的にユーザにとって関心のあるものである場合には、所与のフィルタリングされた文章も、意味論的に画像に関連しており、意味論的にユーザにとって関心のあるものである可能性がより高いことである。ページコンテキスト特徴の算出は、局所ウィンドウよりも大きな拡大ウィンドウにわたってデータターム特徴を平均化することを含む(例えば、画像ブラウジングフレームワークの例示的な実施形態において、拡大ウィンドウは、フィルタリングされた文章が抽出された元である識別されたウェブページ全体を包含する)。任意的に、大きくオーバーラップする過度に好都合の文章を避けるために、算出されたコンテキスト特徴の各々に対して所定の最大値が課されてもよい。

0023

所与のフィルタリングされた文章の繰り返し特徴の算出は、所与のフィルタリングされた文章と、所与のフィルタリングされた文章が抽出された元である識別されたウェブページにおいて、所与のフィルタリングされた文章から所定距離内にある他のフィルタリングされた文章と、の間のオーバーラップを算出することを含む。繰り返し特徴の背後にある直感は、大きな繰り返しが、しばしばスパムのようなコンテンツを示すことである。所与のフィルタリングされた文章の距離特徴の算出は、フィルタリングされた文章と、この文章が抽出された元である識別されたウェブページ内の画像と、の間の文字単位で測定される距離を算出することを含む。任意的に、極端ケースを避けるために、この算出された距離に対して上限及び下限が課されてもよい。距離特徴の背後にある直感は、画像の近くにある文章は、画像に関連している可能性がより高いことである。次のうちの任意の1以上を含むがそれらに限定されない、所与のフィルタリングされた文章の様々な言語特徴が算出され得る。フィルタリングされた文章の長さ(例えば、フィルタリングされた文章における単語の数)が算出され得る。より長い文章は、概して、より短い文章よりも、ユーザにとってより関心のあるものであることが理解されよう。フィルタリングされた文章の様々なブール特徴(Boolean feature)も算出され得る。そのようなブール特徴は、例えば、数あるブール特徴の中でもとりわけ、フィルタリングされた文章が指示詞で始まるかどうか、フィルタリングされた文章が定義的(definitional)であるかどうか、及び、フィルタリングされた文章が一人称代名詞(例えば、I又はwe)で始まるかどうか、である。

0024

図4は、所定の閾スコアよりも高い関連度と関心度とを組み合わせたスコアを有する抽出された完全な文章の全てを選択するためのプロセスの例示的な実施形態を、簡略化された形で示している。図4に示されるように、プロセスは、ブロック400において、前述した三つ組のランダムなサブセットにおける識別されたウェブページの各々について生じる次の動作で始まる。この識別されたウェブページからのフィルタリングされた文章が、総合スコア順にソートされる(ブロック402)。次いで、所定数の上位スコアのフィルタリングされた文章が選択される(ブロック404)。ここで、この選択は、所定パーセンテージよりも高い単語オーバーラップを有するフィルタリングされた文章の全てのペアを除外する。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、この所定数は3であり、この所定パーセンテージは85%である。85%よりも高い単語オーバーラップを有するフィルタリングされた文章の全てのペアのこの除外は、ほぼ同一であるフィルタリングされた文章の上位スコアの全てのペアを除外するよう機能する。ブロック400の動作が完了すると、三つ組のランダムなサブセットにおける識別されたウェブページの全てからの選択された上位スコアのフィルタリングされた文章の全てが、上位スコアの文章のリストにマージされ、このリストが、これらの文章の総合スコア順にソートされる(ブロック406)。次いで、高水準の文章の質を確実にするために、上位スコアの文章のソートされたリストがフィルタリングされる(ブロック408)。例示的なフィルタリングオペレーションについては、以下でより詳細に説明する。次いで、上位スコアの文章のフィルタリングされたソートされたリストが、このリスト内の文章の各々に関する総合スコア、及び、文章が抽出された元である識別されたウェブページのURLとともに、出力される(ブロック408)。

0025

図5は、上位スコアの文章のソートされたリストをフィルタリングするためのプロセスの例示的な実施形態を、簡略化された形で示している。図5に示されるように、プロセスは、ブロック500において、前述した所定の閾スコア以下である総合スコアを有する、ソートされたリスト内の全ての文章を除去するために、このリストをフィルタリングすることで始まる。0.0から3.0のスケールで、文章の関連度及び関心度のスコアが付けられ、3.0のスコアが、文章が非常に関連している/非常に関心のあるものであることに対応する、本明細書に記載の画像ブラウジングフレームワークの前述した例示的な実施形態において、所定の閾スコアは2.75である。次いで、任意的に、ソートされたリスト内の文章の数に対して最大限度が課されてもよい(ブロック502)。より詳細には、画像ブラウジングフレームワークの例示的な実施形態において、ちょうど20個の上位スコアの文章が、ソートされたリストから選択される。次いで、ソートされたリスト内に残されている文章が、互いのほぼ繰り返しである文章のサブセットにグループ化される(例えば、所与のサブセットにおける文章の各々の間の単語オーバーラップが、所定の閾オーバーラップを超える)(ブロック504)。質条件(quality condition)のセットが満たされた場合には常に(ブロック506、Yes)、ソートされたリスト内に残されている文章が、上位スコアの文章のフィルタリングされたソートされたリストに割り当てられる(ブロック508)。質条件のセットが満たされない場合には常に(ブロック506、No)、ソートされたリスト内に残されている文章の全てが、このリストから除去されて、空のリストが、上位スコアの文章のフィルタリングされたソートされたリストに割り当てられる(ブロック510)。

0026

本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、今説明した質条件のセットは、次の3つの条件を含む。第1は、上位スコアの文章のソートされたリスト内に、少なくとも第1の所定数の文章が残されることである。第2は、ソートされたリスト内に残される文章が、少なくとも第2の所定数の異なる識別されたウェブページからもたらされることである。第3は、ソートされたリスト内の別の文章のほぼ繰り返しである、ソートされたリスト内に残される文章のパーセンテージが、所定パーセンテージ未満であることである。この実施形態の例示的な実施例において、第1の所定数は3であり、第2の所定数は2であり、所定パーセンテージは40%である。

0027

以下のより詳細な説明から理解されるように、情報リポジトリ内の画像の各々に関する抽出されたテキストスニペットの各々において検出されるキータームの各々は、キーワード又はキーフレーズ(例えば、1つの構成要素を形成する連続した2以上の単語であって、単一のユニットとして機能するもの)である。再度図1を参照すると、ブロック108の動作において確立される、テキストスニペットと画像との関連付けは、検索エンジンが、情報リポジトリ内の画像の各々に関するテキストスニペットの各々にアクセスすることを可能にする。ブロック108の動作において確立される、キータームと画像との関連付けは、検索エンジンが、情報リポジトリ内の画像の各々に関するテキストスニペットの各々において検出されたキータームの各々にアクセスすることも可能にする。これらのスニペット/画像の関連付け及びキーターム/画像の関連付けはまた、所与の画像に関する抽出されたテキストスニペットと、これらテキストスニペットの各々において検出されたキータームと、を、ユーザが画像を閲覧するときにユーザに対して表示することを可能にする。情報リポジトリが、情報リポジトリ内に記憶されている画像の各々に関するメタデータを含む、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、ブロック108の動作は、次のように実装することができる。情報リポジトリ内の画像の各々について、この画像に関する抽出されたテキストスニペットの各々と、この画像に関する抽出されたテキストスニペットの各々において検出された1以上のキータームと、が、画像に関するメタデータに付加される。

0028

図6は、ユーザが情報リポジトリ内に記憶されている画像をブラウジングすることを可能にするためのプロセスの例示的な実施形態を、簡略化された形で示している。図6に示されるプロセスの実施形態は、情報リポジトリ内に記憶されている画像が、前述したように、ブラウジングのためにすでに準備されていることを想定している。図6に示されるように、プロセスは、ブロック600において、ユーザが画像をブラウジングするために使用しているコンピュータのディスプレイデバイス上に画像ブラウジングGUIを表示することで始まる。以下でより詳細に説明するように、このGUIは、現在画像セクタを含み、任意的に、キータームセクタ及び画像履歴セクタを含んでもよい。ユーザが、情報リポジトリ内の所望の画像を閲覧するリクエストを発生させると、このリクエストが受信され(ブロック602)、所望の画像が、現在画像セクタ内に表示される(ブロック604)。次いで、1以上のホットスポットが、所望の画像の上に表示され、ここで、この1以上のホットスポットには、所望の画像に意味論的に関連しており、前述したキータームのうちの1以上を含む、所望の画像に関する異なるテキストスニペットへのハイパーリンクが設定される(ブロック606)。

0029

オンライン情報管理の分野において理解されているように、ホットスポットは、ユーザにより選択可能な、現在表示されている、情報(画像等)の所与のアイテムの定められた領域である。ホットスポットは、様々な方法により表示できることが理解されよう。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、ホットスポットは、半透明網掛けボックス(semi-transparent shaded box)として表示される。

0030

再度図6を参照すると、ユーザが、ホットスポットのうちの1つのホットスポットを選択すると、このユーザ選択が検出され(ブロック608)、選択されたホットスポットに自身へのハイパーリンクが設定されているテキストスニペットが、画像ブラウジングGUI内に表示され、ここで、表示されるテキストスニペットにおけるキータームの各々は、ユーザが、表示されるテキストスニペットにおけるキータームと残りのテキストとを区別できるように、強調表示される(ブロック610)。以下でより詳細に説明するように、このテキストスニペットは、様々な方法により、このGUI内の様々な位置に表示することができる。例示的なキーターム強調表示方法についても、以下でより詳細に説明する。ユーザが、表示されたテキストスニペットにおけるキータームのうちの1つのキータームを選択すると、このユーザ選択が検出され(ブロック612)、選択されたキータームに関連付けられている、情報リポジトリからの別の画像が選択される(ブロック614)。次いで、この選択された別の画像が、画像ブラウジングGUIの現在画像セクタ内に表示される(ブロック616)。すなわち、選択されたキータームにより表されるコンセプト又はエンティティは、ユーザに対して表示される、情報リポジトリからの選択された別の画像にも関連している。したがって、ユーザには、ユーザが以前に閲覧した所望の画像に意味論的に関連している別の画像が提供される。次いで、1以上のホットスポットが、選択された別の画像の上に表示され、ここで、この1以上のホットスポットには、選択された別の画像に意味論的に関連しており、1以上のキータームを含む、選択された別の画像に関する異なるテキストスニペットへのハイパーリンクが設定される(ブロック618)。

0031

ユーザは、所与のホットスポット、若しくは、ホットスポットに自身へのハイパーリンクが設定されている表示されたテキストスニペットにおける所与のキーターム(又は、以下でより詳細に説明する画像ブラウジングGUIの画像履歴セクタ内の所与のサムネイル、若しくは、このGUIのキータームセクタ内の所与のキーターム)を、次のものを含むがそれに限定されない様々な方法により選択することができることが理解されよう。ディスプレイデバイスの表示画面がタッチ検知式である場合、ユーザは、1以上の指又はペン型デバイスを用いてホットスポット/キーターム/サムネイルに物理的にタッチすることにより、手を使用してホットスポット/キーターム/サムネイルを選択することができる。ユーザのコンピュータがコンピュータマウス等のGUI選択デバイスを含む場合、ユーザは、GUI選択デバイスを使用して、手を使用してホットスポット/キーターム/サムネイルを示し、次いで、手を使用してGUI選択デバイス上のボタンを押すことができる(例えば、ユーザは、GUI選択デバイスを使用して、手を使用してホットスポット/キーターム/サムネイルをクリックすることができる)。ユーザはまた、GUI選択デバイスを使用して、所定の時間期間の間、手を使用してホットスポット/キーターム/サムネイルの上に重ねることもできる。ユーザのコンピュータが音声入力・認識サブシステムを含む場合、ユーザは、キータームを話すことにより、表示されたテキストスニペットにおける所与のキータームを音声で選択することができる。

0032

再度図6を参照すると、ブロック614の動作も、様々な方法により実装できることが理解されよう。限定ではなく例として、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、情報リポジトリからの別の画像の選択は、情報リポジトリから、選択されたキータームに最大回数関連付けられている別の画像を選択すること(例えば、選択されたキータームが、抽出されたテキストスニペットにおいて最大回数検出された別の画像を選択すること)を含む。情報リポジトリからの別の画像の選択は、任意的に、同じ画像をユーザに対して再度表示することを避けるために、ユーザの画像ブラウジング履歴を考慮することを含んでもよい。

0033

ユーザが情報リポジトリ内に記憶されている画像をブラウジングすることを可能にするための今説明したプロセスにおいて、所与の画像が、最初に現在画像セクタ内に表示されるときに、画像に関するテキストスニペットへのハイパーリンクが設定されているホットスポットだけが、画像の上に表示される。前述したように、次いで、ユーザは、所与のホットスポットを選択して、画像に関する所与のテキストスニペットを閲覧することができる。本明細書に記載の画像ブラウジングフレームワークの代替実施形態において、所与の画像が、最初に現在画像セクタ内に表示されるときに、ホットスポットが画像の上に表示されることに加えて、画像に関するテキストスニペットのうちのデフォルトのテキストスニペットが、画像ブラウジングGUI内に自動的に表示されてもよい。この代替実施形態の一実施例においては、テキストスニペットのうち自動的に表示されるデフォルトのテキストスニペットは、最高の関連度と関心度とを組み合わせたスコアを有する、画像に関するテキストスニペットである。この代替実施形態の別の実施例においては、テキストスニペットのうち自動的に表示されるデフォルトのテキストスニペットは、ユーザが最も直近に選択した(したがって、画像を現在画像セクタ内に表示させた)特定のキーターム又はユーザが画像を検索するために元々使用した特定のクエリ語が最大回数現れる、画像に関するテキストスニペットである。この代替実施形態のさらに別の実施例においては、テキストスニペットのうち自動的に表示されるデフォルトのテキストスニペットは、ユーザが選択したキータームの履歴に基づいて選択される。今説明したこれらの実施例の任意の組み合わせが使用されてもよい。

0034

1.2ユーザインタフェースフレームワーク
図7図15は、ユーザが情報リポジトリ内に記憶されている画像をブラウジングすることを可能にするGUIの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示している。図7図15に示される画像ブラウジングGUI700は、情報リポジトリ内に記憶されている画像が、前述したように、ブラウジングのためにすでに準備されていることを想定している。したがって、以下のより詳細な説明から理解されるように、図7図15に示されるGUI700は、ユーザが、情報リポジトリ内に記憶されている画像を意味論的にブラウジングできるように、キータームと画像との間に作成される前述したハイパーリンク構造を利用する(例えば、GUI700は、情報リポジトリ内の画像の各々に関連付けられているキータームの各々には、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定されるということを利用する)。図7図15に示されるように、GUI700は、現在画像セクタ702を含み、任意的に、キータームセクタ704及び画像履歴セクタ706を含んでもよい。これらの異なるセクタ702/704/706の使用の例示的な実施形態について、以下でより詳細に説明する。

0035

図7に示されるように、情報リポジトリ内に記憶されているErnest Rutherfordの画像を閲覧するユーザのリクエストが受信されると、Ernest Rutherfordのリクエストされた画像724が、現在画像セクタ702内に表示される。4つのホットスポット708/710/712/714も、このリクエストされた画像724の上に表示されており、ホットスポット708/710/712/714の各々には、画像724に意味論的に関連している、画像724に関する異なるテキストスニペット(例えば、スニペット716)へのハイパーリンクが設定されている。ホットスポット708のユーザの選択が検出されると、選択されたホットスポット708に自身へのハイパーリンクが設定されているテキストスニペット716が、画像ブラウジングGUI700内に表示される。このテキストスニペット716(及び以下で説明する他のテキストスニペット)は、様々な方法により、次のものを含むがそれに限定されない、GUI700内の様々な位置に表示することができる。図7図15に示される特定のGUIの実施形態において、各テキストスニペットは、現在画像セクタ内に現在表示されている画像の上に、スニペットへのハイパーリンクが設定されているホットスポットに隣接してポップアップされる。代替のGUIの実施形態(図示せず)においては、各テキストスニペットは、スニペットが画像を隠さないように、画像の横にポップアップされてもよい。別の代替のGUIの実施形態(図示せず)においては、GUIが、スニペットセクタを含んでもよく、各テキストスニペットが、スニペットセクタ内に表示されてもよい。さらに別の代替のGUIの実施形態(図示せず)においては、各テキストスニペットが、画像の上の所定の固定位置にポップアップされてもよい(例えば、数ある固定位置の中でもとりわけ、画像の一番下でポップアップされてもよい)。テキストスニペット716は、ユーザが、スニペット716における1つのキーターム(Ernest Rutherford)と残りのテキストとを区別できるように強調表示されている1つのキーターム(Ernest Rutherford)を含む。このキーターム強調表示は、キータームの文字を太字にすること、キータームの文字の色を変えること、キータームの文字に下線を引くこと、又はこれらの方法の任意の組合せ等を含むがこれらに限定されない様々な方法により、実行することができる。

0036

図8に示されるように、ホットスポット710のユーザの選択が検出されると、選択されたホットスポット710に自身へのハイパーリンクが設定されているテキストスニペット718が、画像ブラウジングGUI700内に表示される。テキストスニペット718は、強調表示されている1つのキーターム(Ernest Rutherford)を含む。図9に示されるように、ホットスポット712のユーザの選択が検出されると、選択されたホットスポット712に自身へのハイパーリンクが設定されているテキストスニペット720が、GUI700内に表示される。テキストスニペット720は、強調表示されている1つのキーターム(atom)を含む。図10に示されるように、ホットスポット714のユーザの選択が検出されると、選択されたホットスポット714に自身へのハイパーリンクが設定されているテキストスニペット722が、GUI700内に表示される。テキストスニペット722は、強調表示されている4つのキーターム(England、Physics、Manchester、及びCambridge)を含む。

0037

図10を再度参照しながら図11を参照すると、表示されたテキストスニペット722におけるキータームCambridgeのユーザの選択が検出されると、キータームCambridgeに関連付けられている、情報リポジトリからの別の画像728が、現在画像セクタ702内に表示され、以前に表示された画像724のサムネイル726(例えば、縮小表現)が、画像履歴セクタ706内に表示される。4つのホットスポット730/732/734/736も、この別の画像728の上に表示されており、ホットスポット730/732/734/736の各々には、画像728に意味論的に関連している、画像728に関する異なるテキストスニペット(例えば、スニペット738)へのハイパーリンクが設定されている。ホットスポット730のユーザの選択が検出されると、選択されたホットスポット730に自身へのハイパーリンクが設定されているテキストスニペット738が、画像ブラウジングGUI700内に表示される。テキストスニペット738は、強調表示されている1つのキーターム(Cambridge)を含む。図12に示されるように、ホットスポット732のユーザの選択が検出されると、選択されたホットスポット732に自身へのハイパーリンクが設定されているテキストスニペット740が、GUI700内に表示される。テキストスニペット740は、強調表示されている2つのキーターム(Venus及びEarth)を含む。

0038

図12を再度参照しながら図13を参照すると、表示されたテキストスニペット740におけるキータームVenusのユーザの選択が検出されると、キータームVenusに関連付けられている、情報リポジトリからの別の画像744が、現在画像セクタ702内に表示され、以前に表示された画像728のサムネイル742が、画像履歴セクタ706内に、サムネイル726の上に表示される。4つのホットスポット746/748/750/752も、この別の画像744の上に表示されており、ホットスポット746/748/750/752の各々には、画像744に意味論的に関連している、画像744に関する異なるテキストスニペット(例えば、スニペット754)へのハイパーリンクが設定されている。ホットスポット746のユーザの選択が検出されると、選択されたホットスポット746に自身へのハイパーリンクが設定されているテキストスニペット754が、画像ブラウジングGUI700内に表示される。テキストスニペット754は、強調表示されている3つのキーターム(Venus、orbit、及びplanet)を含む。図14に示されるように、ホットスポット750のユーザの選択が検出されると、選択されたホットスポット750に自身へのハイパーリンクが設定されているテキストスニペット756が、GUI700内に表示される。テキストスニペット756は、強調表示されている2つのキーターム(Venus及びatmosphere)を含む。

0039

図14を再度参照しながら図15を参照すると、表示されたテキストスニペット756におけるキータームatmosphereのユーザの選択が検出されると、キータームatmosphereに関連付けられている、情報リポジトリからの別の画像760が、現在画像セクタ702内に表示され、以前に表示された画像744のサムネイル758が、画像履歴セクタ706内に、サムネイル742及びサムネイル726の上に表示される。3つのホットスポット762/764/766も、この別の画像760の上に表示されており、ホットスポット762/764/766の各々には、画像760に意味論的に関連している、画像760に関する異なるテキストスニペット(例えば、スニペット768)へのハイパーリンクが設定されている。ホットスポット762のユーザの選択が検出されると、選択されたホットスポット762に自身へのハイパーリンクが設定されているテキストスニペット768が、画像ブラウジングGUI700内に表示される。テキストスニペット768は、強調表示されている2つのキーターム(exoplanet及びatmosphere)を含む。

0040

再度図11図14を参照すると、画像履歴セクタ706は、ユーザが以前に閲覧した画像の時系列に編成された履歴をユーザに提供することが理解されよう。画像履歴セクタ706内に表示されるサムネイル(例えば、726/742/758)の数が、画像履歴セクタ706内で利用可能なスペースを超える場合には、スクロールバー(図示せず)が、画像履歴セクタ706に追加され得るので、ユーザはサムネイルをスクロールさせることができるようになる。画像履歴セクタ706内の所与のサムネイルのユーザの選択が検出されると、選択されたサムネイルにより表される画像が、現在画像セクタ702内に再表示され、1以上のホットスポット(各ホットスポットには、この画像に関する異なるテキストスニペットへのハイパーリンクが設定される)が、この画像の上に再表示される。限定ではなく例として、サムネイル742のユーザの選択が検出されると、画像728及びホットスポット730/732/734/736が、現在画像セクタ702内に再表示される。画像履歴セクタ706は、様々な他の方法により編成されてもよいことも理解されよう。限定ではなく例として、図13図15に示されるように、以前に表示された最も直近の画像のサムネイルが、画像履歴セクタ706内にすでに存在し得る全てのサムネイルの上に配置されるのではなく、以前に表示された最も直近の画像のサムネイルは、画像履歴セクタ706内にすでに存在し得る全てのサムネイルの下に配置されてもよい。

0041

再度図7図15を参照して、キータームセクタ704のオペレーション及び機能についてより詳細に説明する。図7図15に示される画像ブラウジングGUI700において、キータームリストが、キータームセクタ704内に表示されており、キータームリストは、情報リポジトリ内に記憶されている画像の全てに関連付けられているキータームの全てのアルファベット順に編成された一覧を含む。キータームリスト内のキータームの数が、キータームセクタ704内で利用可能なスペースを超える場合には、スクロールバー(図示せず)が、キータームセクタ704に追加され得るので、ユーザはキータームリストをスクロールさせることができるようになる。現在画像セクタ702内に所与の画像が表示されると、キータームセクタ704内に現在表示されている、キータームリストの一部が、ユーザがまさに選択した(したがって、画像を現在画像セクタ内に表示させた)、画像に関する所与の表示されたテキストスニペットにおける特定のキータームを含むように、キータームリストが自動的にスクロールされ、このまさに選択されたキータームが、キータームセクタ内で強調表示される。限定ではなく例として、図10に示される現在画像セクタ702内に表示されている画像724に関する表示されたテキストスニペット722におけるキータームCambridgeのユーザの選択が検出されると、キータームセクタ704内に現在表示されている、キータームリストの一部が、まさに選択されたキータームCambridgeを含むように、キータームリストが自動的にスクロールされ、図11に示されるように、キータームcambridgeが、キータームセクタ内で強調表示される。

0042

次のものを含むがそれに限定されないキータームセクタの様々な代替実施形態も可能であることが理解されよう。キータームセクタの一代替実施形態において、ユーザが、新たな画像ブラウジングセッションを開始すると、キータームセクタ内のキータームリストは、空から始まり、その後、キータームリストには、このセッション中にユーザが選択する異なるキータームが徐々に投入される(例えば、ユーザが選択する各キータームが、キータームリストに追加される)。キータームセクタの別の代替実施形態においては、ユーザが、新たな画像ブラウジングセッションを開始すると、キータームセクタ内のキータームリストは、空から始まり、その後、キータームリストには、このセッション中に現在画像セクタ内に表示される異なる画像に関連付けられているキータームの全てが徐々に投入される(例えば、新たな画像が、現在画像セクタ内に表示されるときに、新たな画像に関連付けられているキータームの全てが、キータームリストに追加される)。キータームセクタのさらに別の代替実施形態においては、ユーザが、新たな画像ブラウジングセッションを開始すると、キータームセクタ内のキータームリストは、空から始まり、その後、キータームリストには、現在画像セクタ内に表示される各異なる画像に最大回数関連付けられているキータームが徐々に投入される(例えば、新たな画像が、現在画像セクタ内に表示されるときに、新たな画像に最大回数関連付けられているキータームが、キータームリストに追加される)。キータームセクタのさらに別の代替実施形態においては、キータームセクタは、ユーザが、所望のキータームを探すために、情報リポジトリ内に記憶されている画像の全てに関連付けられているキータームの全てを検索することを可能にするテキスト入力ボックスを含む(例えば、ユーザは、所望のコンセプト又はエンティティに関連している画像を探すために、情報リポジトリ内を検索することができる)。このテキスト入力ボックスは、任意的に、情報リポジトリ内の画像に関連付けられているキータームをユーザに示すオートコンプリート機能を含んでもよい。今説明したこれらの代替実施形態の任意の組合せが使用されてもよい。

0043

本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、キータームセクタ内に表示されている今説明したキータームリスト内のキータームのうちの所与のキータームのユーザの選択が検出されると、次の動作が生じる。このユーザ選択が検出される。次いで、選択されたキータームに関連付けられている、情報リポジトリからの別の画像が選択される。この別の画像の選択は、前述した方法のうちのいずれかの方法により実施することができる。次いで、この選択された別の画像が、現在画像セクタ内に表示される。

0044

2.0 さらなる実施形態
画像ブラウジングフレームワークについて、その実施形態を具体的に参照しながら説明したが、画像ブラウジングフレームワークの真の主旨及び範囲から逸脱することなく、その変形形態及び変更形態が可能であることを理解されたい。限定ではなく例として、情報リポジトリ内に記憶されている画像の各々が、前述したように、ユーザの画像ブラウジングアクティビティに先立って、ブラウジングのために準備されるのではなく、本明細書に記載の画像ブラウジングフレームワークの次の代替実施形態も可能である。情報リポジトリ内に記憶されているテキストがマイニングされて、所与の画像に関する前述したテキストスニペットが抽出され、前述したキータームが、この抽出されたテキストスニペットの各々において検出され、この抽出されたテキストスニペット及び検出されたキータームが、画像を表示するユーザのリクエストが受信されたときに、オンザフライで(on-the-fly)で画像に関連付けられてもよい。

0045

さらに、画像ブラウジングGUIの現在画像セクタ内に現在表示されている所与の画像に関する所与の表示されたテキストスニペットにおける所与のキータームのユーザの選択が検出されると、前述したように、選択されたキータームに関連付けられている、情報リポジトリからの別の画像を現在画像セクタ内に表示するのではなく、次の異なることが生じてもよい。本明細書に記載の画像ブラウジングフレームワークの一代替実施形態において、選択されたキータームに関連付けられている、情報リポジトリ内に記憶されている他の画像のサムネイルの集合が、現在画像セクタ内に表示されてもよく、ここで、サムネイルのこの集合は、選択されたキータームに関連付けられている、情報リポジトリ内の画像の全てを含んでもよいし、選択されたキータームに関連付けられている、情報リポジトリ内に記憶されている所定数の上位スコアの他の画像を含んでもよい。ユーザが、サムネイルの集合における特定のサムネイルを選択すると、この選択が検出され、選択されたサムネイルにより表される画像が、現在の画像セクタ内に表示され得る。画像ブラウジングフレームワークの別の代替実施形態においては、選択されたキータームに関する情報が、ユーザに対して表示されてもよい。

0046

さらに、画像ブラウジングGUIの現在画像セクタ内に現在表示されている所与の画像に関する所与の表示されたテキストスニペットにおける所与のキータームのユーザの選択が検出されると、次のさらなる異なることが生じてもよい。本明細書に記載の画像ブラウジングフレームワークのさらに別の代替実施形態においては、検索エンジンに対するクエリが生成されてもよく、ここで、このクエリは、選択されたキータームを含んでもよいし、キータームが選択された元である表示されたテキストスニペット全体を含んでもよい。次いで、検索エンジンは、このクエリに関連している情報を探すために、情報リポジトリ内を検索することができ、検索結果が、検索エンジンから受信され、現在画像セクタ内に表示され得る。検索結果は、とりわけ、クエリに関連している画像のページ等、多種多様なタイプの情報を含み得ることに留意されたい。ユーザが、検索結果に含まれる画像を選択すると、選択された画像が、GUIの現在画像セクタ内に表示され、1以上のホットスポットが、選択された画像の上に表示され得る。ここで、1以上のホットスポットの各々には、選択された画像に関する異なるテキストスニペットへのハイパーリンクが設定される。この特定の代替実施形態は、ユーザの直近のブラウジング履歴を考慮するとともに、とりわけ、他のユーザが閲覧したものの直近の傾向も考慮することができるので、有利であることが理解されよう。画像ブラウジングフレームワークのさらに別の実施形態においては、選択されたキータームに関連している現在話題になっているトピック及び画像が、現在画像セクタ内に表示されてもよい。

0047

さらに、画像ブラウジングGUIの次の代替実施形態も可能である。前述したように、前述した所望の画像又は選択された別の画像(以下では集合的に単に所与の画像と呼ぶ)をGUIの現在画像セクタ内に表示するのではなく、画像のグラフが、現在画像セクタ内に表示されてもよい。ここで、このグラフは、所与の画像のサムネイルと、所与の画像に関連付けられているキータームへのハイパーリンクが設定されている、情報リポジトリ内の画像(又は、ハイパーリンクが設定されている画像の所定のサブセット)のサムネイルと、を含む。画像のグラフはまた、グラフ内のサムネイルの異なるペア間のグラフィカル接続を含む。ここで、サムネイルの所与のペア間の所与のグラフィカル接続は、サムネイルの所与のペアにより表される、情報リポジトリ内の画像のペアが、1以上のキータームを共通して有することを示す。したがって、画像のグラフは、グラフ内のサムネイルにより表される、情報リポジトリ内の画像間の意味論的関係(semantic relationship)を表示することが理解されよう。

0048

図17は、今説明した画像のグラフの例示的な実施形態を、簡略化された形で示している。図17に示されるように、画像のグラフ1700は、6つの異なる画像のサムネイル1701〜1706を含む。ここで、サムネイル1706は、今説明した所与の画像を表し、サムネイル1701〜1705は、所与の画像に関連付けられているキータームへのハイパーリンクが設定されている、情報リポジトリ内の画像を表す。グラフ1700はまた、グラフ内のサムネイルの異なるペア間の様々なグラフィカル接続(例えば、接続1707及び1708)を含む。ここで、サムネイルの所与のペア間の所与のグラフィカル接続(例えば、サムネイル1706とサムネイル1703との間の接続1707)は、サムネイルの所与のペアにより表される、情報リポジトリ内の画像のペアが、1以上のキータームを共通して有する(例えば、サムネイル1706及び1703により表される画像が、1以上のキータームを共通して有する)ことを示す。グラフ1700は、次のものを含むがそれに限定されない様々な方法により、ユーザによりインタラクティブにブラウジングされ得る。サムネイル1702のユーザの選択が検出されると、画像の新たなグラフ(図示せず)が、現在画像セクタ内に表示され得る。ここで、この新たなグラフは、選択されたサムネイル1702と、選択されたサムネイル1702により表される、情報リポジトリ内の画像に関連付けられているキータームへのハイパーリンクが設定されている、情報リポジトリ内の画像のサムネイルと、を含む。接続1707のユーザの選択が検出されると、サムネイル1706及び1703により表される画像間の意味論的関係に関する様々な情報(例えば、これらの画像が共通して有する1以上のキーターム)が、ユーザに対して表示され得る。

0049

さらなる複合的な実施形態を形成するために、前述した実施形態のいずれか又は全てが、任意の所望される組合せで使用され得ることにも留意されたい。構造的特徴及び/又は方法論的動作に特有言葉で、画像ブラウジングフレームワークの実施形態について説明したが、添付の特許請求の範囲において定められる主題は、上述した特定の特徴又は動作に必ずしも限定されるものではないことを理解されたい。そうではなく、上述した特定の特徴及び動作は、請求項を実施する例示的な形態として開示されている。

0050

3.0 例示的な動作環境
本明細書に記載の画像ブラウジングフレームワークの実施形態は、多数のタイプの汎用目的又は特殊目的コンピューティングシステム環境又はコンピューティングシステム構成において使用することができる。図16は、本明細書に記載の画像ブラウジングフレームワークの様々な実施形態及び要素を実装することができる汎用目的のコンピュータシステムの簡略化された例を示している。図16において破線により表される任意のボックスは、簡略化されたコンピューティングデバイスの代替実施形態を表しており、以下に記載のそれら代替実施形態のいずれか又は全ては、本明細書全体を通じて記載されている他の代替実施形態とともに使用されてもよいことに留意されたい。

0051

例えば、図16は、簡略化されたコンピューティングデバイス1600を示す一般的なシステム図を示している。そのようなコンピューティングデバイスは、通常、少なくとも何らかの最小限の計算能力を有するデバイスにおいて見つけることができる。そのようなデバイスは、パーソナルコンピュータ(PC)、サーバコンピュータハンドヘルドコンピューティングデバイスラップトップコンピュータ又はモバイルコンピュータ携帯電話機及び携帯情報端末(PDA)等の通信デバイスマルチプロセッサシステムマイクロプロセッサベースのシステム、セットトップボックスプログラム可能消費家電、ネットワークPC、ミニコンピュータメインフレームコンピュータ、並びに、オーディオメディアプレーヤ又はビデオメディアプレーヤを含むが、これらに限定されるものではない。

0052

デバイスが、本明細書に記載の画像ブラウジングフレームワークの実施形態を実装できるようにするために、デバイスは、基本的な計算オペレーションを可能にする十分な計算能力及びシステムメモリを有する必要がある。詳細には、図16により示されるように、計算能力は、一般に、1以上の処理装置1610により示され、1以上のグラフィックス処理装置(GPU)1615を含み得る。1以上の処理装置1610及び1以上のGPU1615の一方又は双方は、システムメモリ1620と通信する。簡略化されたコンピューティングデバイス1600の1以上の処理装置1610は、特殊マイクロプロセッサデジタル信号プロセッサ(DSP)、超長命令語(VLIW)プロセッサフィールドプログラマブルゲートアレイFPGA)、又は他のマイクロコントローラ)であってもよいし、1以上の処理コアを有する従来の中央処理装置(CPU)(マルチコアCPUにおいて特殊GPUベースコアを有するものを含むが、これに限定されるものではない)であってもよい。

0053

さらに、図16の簡略化されたコンピューティングデバイス1600はまた、例えば、通信インタフェース1630等の他のコンポーネントを含み得る。図16の簡略化されたコンピューティングデバイス1600はまた、1以上の従来のコンピュータ入力デバイス1640(例えば、ポインティングデバイスキーボード、オーディオ(例えば、音声)入力デバイスビデオ入力デバイス、触覚入力デバイス、ジェスチャ認識デバイス、有線データ伝送又は無線データ伝送を受信するためのデバイス等)を含み得る。図16の簡略化されたコンピューティングデバイス1600はまた、例えば、1以上の従来のコンピュータ出力デバイス1650(例えば、1以上のディスプレイデバイス1655、オーディオ出力デバイスビデオ出力デバイス、有線データ伝送又は無線データ伝送を受信するためのデバイス等)等の他のオプションのコンポーネントを含んでもよい。汎用目的のコンピュータのための典型的な通信インタフェース1630、入力デバイス1640、出力デバイス1650、及び記憶デバイス1660は、当業者には周知であり、本明細書で詳細には説明しない。

0054

図16の簡略化されたコンピューティングデバイス1600はまた、様々なコンピュータ読み取り可能な媒体を含み得る。コンピュータ読み取り可能な媒体は、コンピュータ1600が記憶デバイス1660を介してアクセスできる任意の利用可能な媒体であり得、コンピュータ読み取り可能な命令若しくはコンピュータ実行可能な命令、データ構造、プログラムモジュール、又は他のデータ等の情報を記憶するための、着脱可能1670及び/又は着脱不可能1680な揮発性媒体及び不揮発性媒体の両方を含み得る。限定ではなく例として、コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体及び通信媒体を含み得る。コンピュータ記憶媒体は、デジタル多用途ディスク(DVD)、コンパクトディスク(CD)、フロッピディスクテープドライブハードドライブ光ドライブソリッドステートメモリデバイスランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、フラッシュメモリ、若しくは他のメモリ技術磁気カセット磁気テープ磁気ディスクストレージ、若しくは他の磁気記憶デバイス、又は、所望の情報を記憶するために使用することができ、1以上のコンピューティングデバイスがアクセスできる任意の他のデバイス等の、有体のコンピュータ読み取り可能な媒体若しくはマシン読み取り可能な媒体、又は記憶デバイスを指す。

0055

コンピュータ読み取り可能な命令若しくはコンピュータ実行可能な命令、データ構造、プログラムモジュール等の情報の保持はまた、1以上の変調されたデータ信号、搬送波、若しくは他の伝送機構、又は通信プロトコルを符号化するために様々な前述した通信媒体のいずれかを使用することにより実現することができ、任意の有線又は無線情報配信機構を含み得る。「変調されたデータ信号」又は「搬送波」という用語は、一般に、信号内の情報を符号化するように設定又は変更された特性のうちの1以上の特性を有する信号を指すことに留意されたい。例えば、通信媒体は、1以上の変調されたデータ信号を伝送する有線ネットワーク又は直接配線接続等の有線媒体と、1以上の変調されたデータ信号又は搬送波を送信及び/又は受信するための音響、無線周波数(RF)、赤外線レーザ、及び他の無線媒体等の無線媒体と、を含み得る。上述したものの任意の組合せも、通信媒体の範囲に含まれるべきである。

0056

さらに、本明細書に記載の様々な画像ブラウジングフレームワークの実施形態の一部又は全てを具現化するソフトウェアプログラム、及び/若しくはコンピュータプログラム製品、又はこれらの一部は、コンピュータ実行可能な命令又は他のデータ構造の形で、コンピュータ読み取り可能な媒体、マシン読み取り可能な媒体、記憶デバイス、及び通信媒体の任意の所望の組合せに記憶されてもよいし、これらから受信されてもよいし、これらから送信されてもよいし、これらから読み出されてもよい。

0057

最後に、本明細書に記載の画像ブラウジングフレームワークの実施形態は、コンピューティングデバイスにより実行されるプログラムモジュール等のコンピュータ実行可能な命令の一般的なコンテキストにおいて、さらに説明され得る。一般に、プログラムモジュールは、特定のタスクを実行する、あるいは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。画像ブラウジングフレームワークの実施形態はまた、タスクが、1以上の通信ネットワークを介してリンクされている1以上のリモート処理デバイスにより実行される、あるいは、タスクが、1以上の通信ネットワークを介してリンクされている1以上のデバイスのクラウド内で実行される分散コンピューティング環境において実施されてもよい。分散コンピューティング環境において、プログラムモジュールは、媒体記憶デバイスを含むローカルコンピュータ記憶媒体及びリモートコンピュータ記憶媒体の両方に配置させることができる。さらに、前述した命令は、部分的に又はその全体が、プロセッサを含んでも含まなくてもよいハードウェア論理回路として実装されてもよい。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • グーグルエルエルシーの「 メッセージ交換スレッドの拡張」が 公開されました。( 2019/08/29)

    【課題・解決手段】メッセージ交換スレッドを拡張するための方法、装置、システム、およびコンピュータ可読媒体が提供される。様々な実装形態では、2つ以上のメッセージ交換クライアントを操作している2人以上の参... 詳細

  • クオント株式会社の「 評価装置、評価方法及び評価プログラム」が 公開されました。( 2019/08/22)

    【課題】Webサイトを閲覧する質の高い高エンゲージメントユーザの数や割合に基づき、Webサイトを評価する評価装置、評価方法および評価プログラムを提供する。【解決手段】高エンゲージメントユーザの数や割合... 詳細

  • 株式会社エクサの「 類似度判定プログラム」が 公開されました。( 2019/08/22)

    【課題】任意のパラメータ列について、あらかじめ特徴量を設計して抽出する作業を実施することなく、類似するパラメータ列を探索する類似度判定プログラムを提供する。【解決手段】本発明の類似度判定プログラムは、... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ