図面 (/)

技術 検索結果適合性の自動最適化のためのシステムおよび方法

出願人 マイクロソフトコーポレーション
発明者 エリックビー.ワトソンオリバーハースト−ヒラー
出願日 2005年3月22日 (14年3ヶ月経過) 出願番号 2005-082472
公開日 2005年10月6日 (13年9ヶ月経過) 公開番号 2005-276213
状態 拒絶査定
技術分野 検索装置
主要キーワード 補正アクション パフォーマンス予測 適合性検証 適合性テスト イラスト図 サンプルテスト 適合性データ 無線コンピュータネットワーク
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2005年10月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

検索エンジンにおける検索結果適合性の最適化を自動化するための方法、システムおよびコンピュータアクセス可能媒体を提供する。

解決手段

このシステムおよび方法は、検索結果のパフォーマンスの様々な観点を表すデータを連続的に収集し、そのパフォーマンスデータと、検索結果に対する予測パフォーマンスとを比較する。このシステムおよび方法は、さらに低パフォーマンス結果の考えられる理由を診断し、検索エンジン動作を自動的に調整して検索結果適合性を最適化する。

概要

背景

インターネット検索エンジンは、それらを稼動させるサービスプロバイダの重要な収益源となっている。この収益は、主として検索エンジンユーザに対する広告の表示によって生み出される。検索エンジンが受け取るインターネットトラフィックが増加するほど、その検索エンジンの広告主に対する魅力増し、より多くの収益を生むことができる。一般に、検索エンジンがトラフィックを増大させるための最良の方法は、適合性の高い検索結果を提供することであると考えられている。しかしながら、今日、適合性があるものが、明日には、あるいは同じ日の終わり近くには、適合性がなくなることもある。サービスプロバイダにとって、季節流行およびニュースにおける話題事件に基づいて、検索可能なコンテンツの急激な変化に歩調を合わせることは困難なことである。

検索エンジンのオペレータが、その検索エンジンが生成する結果の適合性を努力して維持する1つの方法は、適合性スキーマ(relevance schema)を使用することである。適合性スキーマは、通常は特定の適合性順序で一組の検索結果を生成するのに検索エンジンが使用するアルゴリズムを表す。適合性スキーマは、スキーマを使用して生成された結果が正当であるかどうか、すなわち結果がまだ適合性があるかどうかを判定する人間審判者によって絶え間なく再評価される。検索エンジンのオペレータは、人間の審判者の指示に応じて、時々スキーマに変更を加える。

検索エンジンの適合性を維持することに対する上記のアプローチの問題は、時間がかかり、迅速性がなく、主観的であることである。人間審判者は、可能な数だけの検索結果の評価ができるだけであり、適合性があるものと、ないものについての審判者の判断は、標準的なユーザの判断を反映しない可能性がある。その他のアプローチも同様な欠点がある。例えば、ユーザの中には、検索エンジンのオペレータが実施する調査応答して、ある特定の一組の検索結果の適合性について直接的なフィードバックを提供するものがいる。しかし、この方法で収集されるデータ量は、信頼できると考えるには不十分な量であり、ユーザが検索を実行するときにそれらのユーザが望むことを真に反映するだけの幅広さと規模ではない。

概要

検索エンジンにおける検索結果適合性の最適化を自動化するための方法、システムおよびコンピュータアクセス可能媒体を提供する。 このシステムおよび方法は、検索結果のパフォーマンスの様々な観点を表すデータを連続的に収集し、そのパフォーマンスデータと、検索結果に対する予測パフォーマンスとを比較する。このシステムおよび方法は、さらに低パフォーマンス結果の考えられる理由を診断し、検索エンジン動作を自動的に調整して検索結果適合性を最適化する。

目的

どのアプローチにせよ、検索結果の適合性の判定は、主に検索結果の成功を示す単一の明確な指標がないことから、困難な課題である。検索エンジンが取り扱う絶大なスケールクエリ、および検索結果を生成する速度の故に、適合性とは急速に変化する目標となる。

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

検索ウェブページに表示される検索結果の最適化を自動化する方法であって、検索結果のパフォーマンスを表すデータを収集するステップであって、前記データは複数のパフォーマンスデータソースの少なくとも1つに由来するステップと、データソースの相対的重要度に応じて前記収集データ正規化するステップと、前記正規化パフォーマンスデータと前記検索結果に対する予測パフォーマンスデータとを比較するステップと、低パフォーマンスの検索結果に対する少なくとも1つの考えられる原因を診断するステップと、前記検索結果のパフォーマンスを改善させるために、前記検索結果を生成した検索エンジンの動作を前記診断に応じて調整するステップとを備えることを特徴とする方法。

請求項2

前記複数のパフォーマンスデータソースの少なくとも1つは、暗黙パフォーマンスデータ、明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの1つを含むことを特徴とする請求項1に記載の方法。

請求項3

前記データソースの相対的重要度に応じて前記収集データを正規化するステップは、より重要なソースからのデータにより大きな重みを付与するステップと、該データが由来するソースの相対的重要度を反映するためにデータを結合するステップとを含むことを特徴とする請求項1に記載の方法。

請求項4

前記正規化パフォーマンスデータと前記予測パフォーマンスデータとを比較するステップは、前記正規化パフォーマンスが前記予測パフォーマンスよりも低いか、または実質的に低いときに、前記検索結果が低パフォーマンスであると判定するステップを含むことを特徴とする請求項2に記載の方法。

請求項5

最も重要なデータソースは暗黙パフォーマンスデータであり、前記収集データを正規化するステップは、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与するステップを含むことを特徴とする請求項2に記載の方法。

請求項6

暗黙パフォーマンスデータは、ユーザが前記検索結果と対話するときに自動的に取り込まれることを特徴とする請求項2に記載の方法。

請求項7

暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも1つを含むことを特徴とする請求項6に記載の方法。

請求項8

暗黙パフォーマンスデータは、編集電子メール、印刷ブックマーク、およびコピーの少なくとも1つを含む、ユーザが結果に対して実行した動作をさらに識別することを特徴とする請求項7に記載の方法。

請求項9

暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項6に記載の方法。

請求項10

暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項6に記載の方法。

請求項11

明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成した照会に対するユーザ応答から取得されるデータを含み、前記照会はオンライン照会および電話照会の1つを含むことを特徴とする請求項2に記載の方法。

請求項12

人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項2に記載の方法。

請求項13

適合性検証データは、既知適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項2に記載の方法。

請求項14

サンプルテストデータは、ユーザのサブセットサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項2に記載の方法。

請求項15

低パフォーマンスの検索結果に対する少なくとも1つの考えられる理由を診断するステップは、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語スペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソース制約しなくてはならないかどうかの内の少なくとも1つを考慮することを含むことを特徴とする請求項2に記載の方法。

請求項16

前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索結果の再順位付け、除去、および置換の少なくとも1つを含む、前記検索エンジンの検索スキーマ修正して検索語に対して生成される前記検索結果を変更するステップを含むことを特徴とする請求項2に記載の方法。

請求項17

前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、検索結果ウェブページ上の前記検索結果の外見ハイライトアニメーション、拡大、および位置変更することの少なくとも1つを含む、前記検索エンジンの検索スキーマを修正して検索語に対して生成される前記検索結果の提示強化するステップを含むことを特徴とする請求項2に記載の方法。

請求項18

前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンのスペルチェッカ許容範囲を拡大するステップを含むことを特徴とする請求項2に記載の方法。

請求項19

前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促すステップを含むことを特徴とする請求項2に記載の方法。

請求項20

前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンの動作を永久的に調整する前に、前記検索エンジンの動作を一時的に調整して、該調整が実際に前記検索結果のパフォーマンスを改善させたかどうかを判定するステップを含むことを特徴とする請求項2に記載の方法。

請求項21

前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンの動作をリアルタイムで調整するステップを含むことを特徴とする請求項2に記載の方法。

請求項22

前記検索エンジンの動作をリアルタイムで調整するステップは、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断するステップと、前記検索結果を修正するステップとを含むことを特徴とする請求項21に記載の方法。

請求項23

検索語に対して検索エンジンによって生成される検索結果のパフォーマンスを表す入力データであって、複数のソースに由来する入力データと、前記複数のソースから入力パフォーマンスデータを収集するデータ収集プロセスと、前記収集パフォーマンスデータによって表される、前記検索結果のパフォーマンスを、前記検索結果の予測パフォーマンスと比較する診断プロセスと前記検索結果のパフォーマンスが、前記予測パフォーマンスと比較して劣るときにはいつでも、前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する調整プロセスとを備え、前記検索エンジンの調整動作は、前記検索結果のパフォーマンスを改善させることであることを特徴とする自動検索結果最適化システム

請求項24

前記複数の入力パフォーマンスデータソースの少なくとも1つは、暗黙パフォーマンスデータ、明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの1つを含むことを特徴とする請求項23に記載のシステム

請求項25

前記データ収集プロセスは、データソースの相対的重要度に応じて収集データを正規化する正規化プロセスを含み、さらに正規化することは、より重要なソースからのデータにより大きな重みを付与すること、およびデータがそれに由来するソースの相対的重要度を反映するようにデータを結合することを含むことを特徴とする請求項23に記載のシステム。

請求項26

前記診断プロセスは、前記正規化収集パフォーマンスデータによって表される前記検索結果のパフォーマンスを、前記検索結果の予測パフォーマンスと比較し、さらに、前記パフォーマンスが予測パフォーマンスよりも低いか、または実質的に低いときに前記比較は好ましくないとすることを特徴とする請求項25に記載のシステム。

請求項27

最も重要なデータソースは暗黙パフォーマンスデータであり、前記収集データを正規化することは、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与することを含むことを特徴とする請求項25に記載のシステム。

請求項28

暗黙パフォーマンスデータは、ユーザが前記検索結果と対話するときに自動的に取り込まれることを特徴とする請求項27に記載のシステム。

請求項29

暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも1つを含むことを特徴とする請求項28に記載のシステム。

請求項30

暗黙パフォーマンスデータは、編集、電子メール、印刷、ブックマーク、およびコピーの少なくとも1つを含む、ユーザが結果に対して実行した動作の識別を表すデータをさらに含むことを特徴とする請求項29に記載のシステム。

請求項31

暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項28に記載のシステム。

請求項32

暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項28に記載のシステム。

請求項33

明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成したユーザ満足調査に対するユーザ応答から取得されるデータを含むことを特徴とする請求項24に記載のシステム。

請求項34

人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項24に記載のシステム。

請求項35

適合性検証データは、既知の適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項24に記載のシステム。

請求項36

サンプルテストデータは、ユーザのサブセットのサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項24に記載のシステム。

請求項37

前記診断プロセスは、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語がスペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソースに制約しなくてはならないかどうかの内の少なくとも1つを考慮することを含む、前記検索結果のパフォーマンスが予測パフォーマンスと比較して劣ることに対する少なくとも1つの考えられる理由を診断することをさらに含むことを特徴とする請求項24に記載のシステム。

請求項38

前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの検索スキーマを修正するアクションを表す出力データを生成することを含み、前記修正検索スキーマは、前記検索結果の再順位付け、除去、および置換をすることの少なくとも1つを含む、前記検索エンジンが検索語に対して検索結果を生成する方法を変更することを特徴とする請求項23に記載のシステム。

請求項39

前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの検索スキーマを修正するアクションを表す出力データを生成することを含み、前記修正検索スキーマは、検索結果ウェブページ上の前記検索結果の外見のハイライト、アニメーション、拡大、および位置変更の少なくとも1つを含む、前記検索エンジンが検索語に対する前記検索結果を提示する方法を強化することを特徴とする請求項23に記載のシステム。

請求項40

前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンのスペルチェッカの許容範囲を拡大するアクションを表す出力データを生成することを含むことを特徴とする請求項23に記載のシステム。

請求項41

前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促すアクションを表す出力データを生成することを含むことを特徴とする請求項23に記載のシステム。

請求項42

前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの動作を永久的に調整するアクションを生成する前に、前記検索エンジンの動作を一時的に調整して、さらに該一時的調整が実際に前記検索結果のパフォーマンスを改善させたかどうかを判定するアクションを表す出力データを生成することを含むことを特徴とする請求項23に記載のシステム。

請求項43

前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの動作をリアルタイムに調整するアクションを表す出力データを生成することを含むことを特徴とする請求項23に記載のシステム。

請求項44

前記検索エンジンの動作をリアルタイムで調整するアクションは、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断して前記検索結果をさらに修正することを含むことを特徴とする請求項42に記載のシステム。

請求項45

検索結果ユーザインターフェースにおける検索結果の自動最適化を容易にするための命令を有する1つまたは複数のコンピュータアクセス可能媒体であって、前記命令は、複数のパフォーマンスデータソースの少なくとも1つからの検索結果のパフォーマンスを表すデータを収集するステップと、データソースの相対的重要度に応じて前記収集データを正規化するステップと、前記正規化パフォーマンスデータと前記検索結果に対する予測パフォーマンスデータとを比較するステップと、前記検索結果のパフォーマンスが前記予測パフォーマンスと比較して劣ることについての少なくとも1つの考えられる理由を診断するステップと、前記検索結果のパフォーマンスを改善させるために、前記検索結果を生成した検索エンジンの動作を前記診断に応じて調整するステップとを備えることを特徴とするコンピュータアクセス可能媒体。

請求項46

前記複数のパフォーマンスデータソースの少なくとも1つは、暗黙パフォーマンスデータ、明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの1つを含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項47

データソースの相対的重要度に応じて収集データを正規化する命令は、より重要なソースからのデータにより大きな重みを付与する命令、および該データがそれに由来するソースの相対的重要度を反映するようにデータを結合する命令を含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項48

前記正規化パフォーマンスデータと前記予測パフォーマンスデータを比較する命令は、前記正規化パフォーマンスが前記予測パフォーマンスよりも低いか、または実質的に低いときに、前記検索結果が低パフォーマンスであると判定する命令を含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項49

最も重要なデータソースは暗黙パフォーマンスデータであり、前記収集データを正規化する命令が、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与する命令を含むことを特徴とする請求項47に記載のコンピュータアクセス可能媒体。

請求項50

暗黙パフォーマンスデータは、ユーザが検索結果と対話するときに検索エンジンによって自動的に取り込まれるデータであることを特徴とする請求項46に記載のコンピュータアクセス可能媒体。

請求項51

暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも1つを表すデータを含むことを特徴とする請求項50に記載のコンピュータアクセス可能媒体。

請求項52

暗黙パフォーマンスデータは、編集、電子メール、印刷、ブックマーク、およびコピーの少なくとも1つを含み、ユーザが結果に対して実行した動作をさらに識別することを特徴とする請求項50に記載のコンピュータアクセス可能媒体。

請求項53

暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項50に記載のコンピュータアクセス可能媒体。

請求項54

暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項50に記載のコンピュータアクセス可能媒体。

請求項55

明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成した照会に対するユーザ応答から取得されるデータを含み、前記照会はオンライン照会および電話照会の1つを含むことを特徴とする請求項46に記載のコンピュータアクセス可能媒体。

請求項56

人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項46に記載のコンピュータアクセス可能媒体。

請求項57

適合性検証データは、既知の適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項46に記載のコンピュータアクセス可能媒体。

請求項58

サンプルテストデータは、ユーザのサブセットのサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項46に記載のコンピュータアクセス可能媒体。

請求項59

前記検索結果のパフォーマンスが前記予測パフォーマンスに比較して劣ることに対する少なくとも1つの考えられる理由を診断する命令は、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語がスペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソースに制約しなくてはならないかどうかの内の少なくとも1つを判定する命令を含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項60

前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、検索語に対して生成される前記検索結果を変更するために前記検索エンジンの検索スキーマを修正する命令を含み、前記検索結果を変更することは、前記検索結果の再順位付け、除去、および置換の少なくとも1つを含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項61

前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、検索語に対して生成された前記検索結果の提示を強化するために前記検索エンジンの検索スキーマを修正する命令を含み、前記提示を強化することは、検索結果ウェブページ上の前記検索結果の表示をハイライト、アニメーション、拡大、および位置変更することの少なくとも1つを含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項62

前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンのスペルチェッカの許容範囲を拡大する命令を含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項63

前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促す命令を含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項64

前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンの動作を永久的に調整する前に、前記検索エンジンの動作を一時的に調整する命令と、該調整が実際に前記検索結果のパフォーマンスを改善させたかどうかを判定する命令とを含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項65

前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンの動作をリアルタイムで調整する命令を含むことを特徴とする請求項45に記載のコンピュータアクセス可能媒体。

請求項66

前記検索エンジンの動作をリアルタイムで調整する前記命令は、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断する命令と、前記検索結果を修正するさらなる命令とを含むことを特徴とする請求項65に記載のコンピュータアクセス可能媒体。

技術分野

0001

本発明は、概してコンピュータソフトウェアおよび検索エンジンに関し、より具体的には検索結果適合性(search result relevance)最適化を自動化するためのシステムおよび方法に関する。

背景技術

0002

インターネット検索エンジンは、それらを稼動させるサービスプロバイダの重要な収益源となっている。この収益は、主として検索エンジンユーザに対する広告の表示によって生み出される。検索エンジンが受け取るインターネットトラフィックが増加するほど、その検索エンジンの広告主に対する魅力増し、より多くの収益を生むことができる。一般に、検索エンジンがトラフィックを増大させるための最良の方法は、適合性の高い検索結果を提供することであると考えられている。しかしながら、今日、適合性があるものが、明日には、あるいは同じ日の終わり近くには、適合性がなくなることもある。サービスプロバイダにとって、季節流行およびニュースにおける話題事件に基づいて、検索可能なコンテンツの急激な変化に歩調を合わせることは困難なことである。

0003

検索エンジンのオペレータが、その検索エンジンが生成する結果の適合性を努力して維持する1つの方法は、適合性スキーマ(relevance schema)を使用することである。適合性スキーマは、通常は特定の適合性順序で一組の検索結果を生成するのに検索エンジンが使用するアルゴリズムを表す。適合性スキーマは、スキーマを使用して生成された結果が正当であるかどうか、すなわち結果がまだ適合性があるかどうかを判定する人間審判者によって絶え間なく再評価される。検索エンジンのオペレータは、人間の審判者の指示に応じて、時々スキーマに変更を加える。

0004

検索エンジンの適合性を維持することに対する上記のアプローチの問題は、時間がかかり、迅速性がなく、主観的であることである。人間審判者は、可能な数だけの検索結果の評価ができるだけであり、適合性があるものと、ないものについての審判者の判断は、標準的なユーザの判断を反映しない可能性がある。その他のアプローチも同様な欠点がある。例えば、ユーザの中には、検索エンジンのオペレータが実施する調査応答して、ある特定の一組の検索結果の適合性について直接的なフィードバックを提供するものがいる。しかし、この方法で収集されるデータ量は、信頼できると考えるには不十分な量であり、ユーザが検索を実行するときにそれらのユーザが望むことを真に反映するだけの幅広さと規模ではない。

発明が解決しようとする課題

0005

より普及しつつある別のアプローチとしては、検索結果に対して収集されるクリックスルー(click−through)データの使用がある。検索エンジンのオペレータは、ユーザがある結果をクリックする回数を記録することによって、「クリックスルー率」またはCTRと呼ばれるユーザと検索結果との対話を収集する。クリックスルーデータには多くの利点があり、それは、ユーザが検索結果と対話するときにデータを大量に収集することが可能であり、したがってユーザ満足に対するより客観的測度であり、またより信頼性のある適合性の予測子であることにある。一般に、経験的に分かっていることは、CTRが高いほど、結果はより適合性が高いか、あるいは少なくともユーザのその結果に対する満足は大きいことである。しかしながら、CTRデータは、それでも分析しなくてはならず、次いでオペレータが、改善された結果を生成するために、どのように適合性スキーマを更新するかを決定しなくてはならない。さらに、CTRデータだけでは、意味のある結果を生成するには不十分であることがある。例えば、ある特定の結果についてのCTRは、ページ上の結果の外見に関係する多数の因子によって影響を受ける可能性があり、これらの因子は、根底にある結果の実際の適合性との釣り合いを失って、不当に誇張されることがある。

0006

どのアプローチにせよ、検索結果の適合性の判定は、主に検索結果の成功を示す単一の明確な指標がないことから、困難な課題である。検索エンジンが取り扱う絶大なスケールクエリ、および検索結果を生成する速度の故に、適合性とは急速に変化する目標となる。

0007

上述の問題を克服するために、検索エンジンにおける検索結果適合性の最適化を自動化するためのシステム、方法、およびコンピュータアクセス可能媒体を提供する。このシステムおよび方法は、検索結果のパフォーマンスの様々な観点を表すデータを連続的に収集して、そのパフォーマンスデータと、検索結果に対する予測パフォーマンスとを比較する。このシステムおよび方法は、さらに低パフォーマンス結果(underperforming results)の考えられる理由を診断するとともに、検索エンジン動作を自動的に調整して検索結果適合性を最適化する。

課題を解決するための手段

0008

本発明の一態様によれば、パフォーマンスデータは、1つまたは複数のソースから収集されるとともに、好ましくは、CTRデータなどのユーザが検索結果と対話するときに自動的に収集される暗黙データを含むが、パフォーマンスデータには、ユーザが検索エンジンのヘルプまたはサポート機能を使用するとき、またはユーザ満足調査に応答するときに収集される明示データとともに、主観的な人間判断データ適合性検証テストデータ、およびサンプルテストデータを含めることもできる。様々なデータソースは、適合性の予測子として、それらの相対的重要性または信頼性を反映するように正規化してもよい。

0009

本発明の別の態様によれば、予測されるパフォーマンスデータは、結果に対する予測パフォーマンスを表す1つまたは複数の値、例えば予測CTRなどを表すものであり、マーケットによって変化する可能性がある。任意の結果は、予測パフォーマンス値を下回ること、または実質的に下回ることを含めて、そのパフォーマンスが予測パフォーマンスを満たさないときに、低パフォーマンスであると判定することができる。

0010

本発明のさらに別の態様によれば、低パフォーマンス結果の考えられる理由の診断は、多数の因子を考慮することを含み、それらの因子としては、例えば、すでに有効ではないウェブサイトまたはドキュメントリンクされた結果が不適当な場所に現れているかどうか、その結果を生成した検索語が、スペルミスを犯しやすいものか、または意味のある結果を生成するのに範囲が広すぎるかどうか、または特定の検索語に対する検索を、ローカルコミュニティリソースなどの特定のリソースに制約すべきかどうかなどである。

0011

本発明のさらに別の態様によれば、検索結果適合性を最適化するために検索エンジン動作を自動的に調整することは、検索エンジンのコンポーネントに対して種々のアクションを実行することを含む。例えば、検索結果を生成するために検索エンジンが使用する検索スキーマを修正して、それによって将来の検索結果を、再順位付け(rerank)、除去、再配置、または異なる結果で置換してもよい。場合によっては、検索結果は同じままであるが、結果の提示を強調して視認性を増大することによって、パフォーマンスを改善させてもよい。さらに別の場合には、低パフォーマンスの検索を一時的に修正して新規または強調した結果を含め、その修正を永久的なものとする前にサンプルマケット試験してもよい。検索語がそれ自体で問題の場合には、スペルチェッカ許容範囲を拡大するか、または結果の提示を修正して、追加の検索語を用いて検索を明確化するか、または狭めるようにユーザに促してもよい。場合によっては、検索エンジンの動作をリアルタイムで調整して、検索結果のパフォーマンスの急な変化に応じて検索結果の適合性を迅速に最適化してもよい。

0012

本発明のさらに別の態様によれば、検索エンジンにおける検索結果適合性の最適化を自動化するためのコンピュータアクセス可能媒体が提供される。このコンピュータアクセス可能媒体は、データ構造と、パフォーマンスデータを収集し、低パフォーマンスの検索を診断して、検索エンジンの動作を自動的に調整して検索結果を最適化する自動適合性オプティマイザを含むコンピュータ実行可能コンポーネントとを備える。このデータ構造は、概して上述の方法と整合性のある方法で、検索結果およびパフォーマンスデータを定義する。同様に、コンピュータ実行可能コンポーネントは、上述の方法と概して整合性のあるアクションを実行することができる。

発明を実施するための最良の形態

0013

以下の詳細な説明を添付の図面と合わせ読むことによって本発明をさらに理解すれば、本発明の前述の態様および付随する利点の多くは、より簡単に理解されるであろう。

0014

以下の論述は、本発明の一実施形態の様々な特徴を実装するのに好適なコンピューティングシステム簡潔な全体説明を提供することを意図するものである。コンピューティングシステムを、パーソナルコンピュータおよびサーバコンピュータ、または通信ネットワークを介して互いにリンクされたリモートコンピューティングデバイスによって相補的タスクが実行される、分散コンピューティング環境において使用可能な、その他のタイプのコンピュータデバイスの一般的文脈において記述するが、当業者であれば、マルチプロセッサシステムミニコンピュータメインフレームコンピュータなどを含む、その他多くのコンピュータシステム構成によって本発明を実施できることを認識するであろう。上述したより従来型のコンピュータシステムに加えて、ラップトップコンピュータタブレットコンピュータパーソナルデジタルアシスタンツ(PDA)、セルラ電話、およびコンピュータソフトウェアまたはその他のデジタルコンテンツインストールされているその他のデバイスを含む、その他のコンピューティングデバイス上で本発明を実施できることを、当業者は認識するであろう。

0015

本発明の態様を、パーソナルコンピュータと一緒ウェブブラウザで実行されるプログラムまたはプロセス、あるいはサーバコンピュータと一緒に検索エンジンで実行されるプログラムまたはプロセスの観点で記述するが、当業者であれば、これらの態様はその他のプログラムモジュールと組み合わせて実装することもできることを認識するであろう。一般に、プログラムモジュールには、ルーチンサブルーチン、プログラム、プロセス、コンポーネント、データ構造、ファンクションインターフェースオブジェクト、その他が含まれ、これらは、特定のタスクを実行するかまたは特定の抽象データ型を実装する。

0016

図1は、例示的な検索エンジンシステム100と、本発明の実施形態によって検索結果の最適化を自動化することのできる1つの好適なオペレーティング環境とを示している。図に示すように、このオペレーティング環境は、検索エンジンサーバ112を含み、この検索エンジンサーバは、一般に、デバイス102および104などの様々なユーザデバイスとのフロントエンドユーザ通信、およびバックエンド検索サービスを提供する役割を果たす。検索エンジンサーバ112によって提供されるフロントエンド通信には、とりわけ、コンピュータシステム102やパーソナルデジタルアシスタンツ(PDA)104などの様々なユーザデバイスから受け取る情報および検索クエリ(search query)に応答して、ハイパーテキストトランスファプロトコルを使用して検索ウェブページ106として編成されるテキストおよび/またはグラフィックスを生成するサービスが含まれる。検索エンジンサーバ112によって提供されるバックエンド検索サービスには、とりわけ、様々なユーザデバイス102、104から受け取る情報および検索クエリを使用して関係するウェブコンテンツを検索するサービス、検索ウェブページ106上の関係するウェブコンテンツへのリンクを表す検索結果110を生成するサービス、およびウェブページ結果および検索結果のパフォーマンスを追跡するサービスが含まれる。

0017

図1に示す環境においては、検索エンジンサーバ112は、検索ウェブページ106を生成し、その中にユーザは検索語108を入力してインターネット116を介してのウェブコンテンツ118の検索クエリを開始することができる。検索語108は検索エンジンサーバ112に伝送され、この検索エンジンサーバ112は、この語を使用して適合性スキーマ114に従って検索語108に関係するウェブコンテンツ120の検索を実行する。適合性スキーマ114は、検索エンジンが使用して所与の検索に対して最も適合性のある結果を生成するために、定期的または連続的に更新されるアルゴリズムである。検索エンジンサーバ112は、検索ウェブページ106におけるユーザに表示するために、関係するウェブコンテンツを一組の検索結果110として中継する。

0018

図1に示す環境において、ユーザデバイス102、104は、検索エンジンサーバ112と、インターネット116などの1つまたは複数のコンピュータネットワークを介して通信する。インターネットを介する通信のためのプロトコルおよびコンポーネントは、コンピュータネットワーク通信の技術における当業者には周知である。ユーザデバイス102、104、検索エンジンサーバ112、および適合性スキーマ114の間の通信は、ローカルな有線または無線コンピュータネットワーク接続によっても可能である。図1に示す検索エンジンサーバ112は分散コンピューティング環境において動作することも可能であり、分散コンピューティング環境は、通信リンク、例えば1つまたは複数のコンピュータネットワークまたは直接接続を介して相互接続されるいくつかのコンピュータシステムを備えることができる。しかしながら、当業者であれば、サーバ112は、図1に示すよりも少数または多数のコンポーネントを有するコンピュータシステムにおいても同等に動作できることを理解するであろう。したがって、図1動作環境の記述は、例示的なものであり、添付の請求項の範囲を限定するものではないと解釈すべきである。

0019

図2は、本発明の一実施形態を実装するための自動適合性最適化システム200を示すブロック図である。1つの好適な実装においては、自動適合性最適化システム200によって、検索エンジンのオペレータが検索結果適合性の最適化を有利に自動化することが可能になる。この自動適合性最適化システム200は、自動適合性オプティマイザプロセス202を含み、これは、パフォーマンスデータを収集し、そのデータに基づいて検索結果のパフォーマンスを診断し、そして検索ウェブページ106に表示される検索結果110の適合性を最適化する必要に応じて、検索エンジンシステムの動作を自動的に調整する動作をする。

0020

一実施形態においては、パフォーマンスデータが、図2に示すように、様々な源から収集され、そのような源としてはとりわけ、ユーザと検索結果110との対話から取り込まれる暗黙適合性データ204、例えばクリックスルーデータ;ユーザが検索エンジンのオペレータによって提供される検索エンジンヘルプまたはサポート機能を使用するとき、またはユーザ満足度調査に応答するときに収集される明示適合性データ206;検索結果の適合性を定期的に評価する人間審判者によって生成される人間判断テストデータ208;検索適合性スキーマ114の修正の前後に生成される検索結果の正当性を検証する、すなわち1つの検索語についての検索結果の適合性を改善させるための調整が、別の検索結果の適合性を偶然に低下させていないことを確認する、検証テストによって生成される適合性検証テストデータ210;検索エンジンの動作の調整およびその調整が予測パフォーマンスのまだ決定されていない新規に挿入した結果の適合性を含む検索結果の適合性に与える影響、新規および/または変更結果を生成するための検索スキーマに対する一時的な修正、および検索エンジンの動作に対するその他のタイプの一時的修正を試行するために、ユーザグループ、例えばグループAおよびグループBについてのテストから生成されるサンプルA/Bテストデータ212が挙げられる。

0021

一実施形態においては、暗黙適合性データ204は、結果のクリックスルー率(CTR)によって計測され、これは結果が表示される回数と、結果が表示された後にそれをユーザがクリックする回数を比較すること、すなわちインプレッション(impression)の数をクリック回数で除することによって求められる。暗黙適合性データ204には、検索エンジンサーバ112によって追跡されるその他のデータ、例えば検索ウェブページ106に表示されたときの検索結果110の場所、およびパフォーマンスに影響を与える可能性のある結果のその他の特徴、例えば色、サイズ、フォントアニメーション、グラフィックス、および隣接する検索結果のパフォーマンスデータなどが含まれる。検索エンジンサーバ112は、当該技術において知られている、スパムクリック(spam clicking)、ロボットによる擬似クリック、およびある時間内における同一IPアドレスまたは不明ソースからの多重クリックなどのその他の不信クリックなどの、不正クリックを検出してフィルタリングするようにさらに構成される。

0022

好ましい一実施形態においては、暗黙適合性データ204には、結果のCTR以上に、ユーザと検索結果108との複雑な対話を表すデータが含められるが、この理由は、より複雑なユーザ対話は一般にCTR単独よりもすぐれた適合性の予測子であるからである。複雑なユーザ対話の例としては、とりわけ、結果がブラウズされる時間、結果が編集、他所に電子メール、印刷ブックマークされたかどうか、またはその全部または一部が、ユーザのその他の文書中に含めるためにカットアンドペーストもしくはコピーされたかどうかなどが挙げられる。

0023

一実施形態においては、暗黙関連性データ204は、一回の対話について収集するか、検索結果と対話するユーザのある特定のセッションにおけるすべての対話について合計するか、またはさらにユーザが類似の検索を行う間のすべてのユーザの同じ検索結果との対話について合計することができる。例えば、暗黙適合性データ204の基本ユニットは、一人のユーザ、1つのクエリ、そして1回の結果対話の極小の(atomic)測定である。任意のセッションにおいていくつかの極小の測定があり、それは、結果の印刷、結果を好みのフォルダへブックマークすること、結果を何人かの友人へ電子メールすることなどである。すべてのユーザおよびすべてのクエリに対して自動計測を合計することによって、暗黙適合性データ204は、十分に大きくかつ詳細なデータのコーパスとなり、これは適合性の優れた予測子である。好ましい一実施形態においては、自動適合性最適化システム200は、本明細書に参照により組み入れた、共通に譲渡された同時係属の米国特許出願第 号明細書に詳細が示されるように、暗黙適合性データ204を収集する。データが検索結果適合性を精度よく予測するのに十分に大きくかつ詳細である限り、暗黙適合性データ204を収集するその他の方法を、添付の請求項の範囲から逸脱することなく、実装することができる。

0024

一実施形態においては、自動適合性オプティマイザ202は、結果に対する予測適合性データ214を取得し、そのデータと、パフォーマンスデータの様々なソース204、206、208、210、212に反映される実際のパフォーマンスとを比較する。自動適合性オプティマイザ202が、実際パフォーマンスが予測パフォーマンスに満たないと判定した場合には、結果の適合性を改善させるために、したがってよりよいパフォーマンスのために検索エンジンの動作を調整するアクション216が自動的に行われる。一実施形態においては、自動適合性オプティマイザ202は、実際パフォーマンスがパフォーマンスの許容できる閾値をある時間実質的に下回った後にのみ、実際パフォーマンスが予測パフォーマンスを満たさないことを判定する。このアプローチによって、結果の実際パフォーマンスが誤りであったときの不必要な調整が避けられる。

0025

一実施形態において、アクション216は、とりわけ、次回に問題の検索語に対して検索が呼び出されたときに、先の検索において生成された結果と比較して異なる(または改善された)一組の検索結果が生成されるように検索アルゴリズムを変更する、適合性スキーマデータベース114への変更を含む。例えば、元の一組の結果に現れるある特定の結果を、結果リストのずっと下に現れるように除去または並べ替えて、変更された適合性スキーマデータベース114に反映された更新された検索アルゴリズムに完全に従って、新規の結果をその代わりに挿入することができる。別の実施形態においては、アクション216には、リアルタイムに適用される検索結果への変更を含めることができる。例えば、自動適合性オプティマイザ202は、既存の適合性スキーマ114に従って検索エンジン112によって生成される検索結果110を中断して、検索結果がユーザデバイス102、104に転送される前に、最近の数時間の間に他のユーザに対して先に表示されたときの結果に対する低パフォーマンスの分単位(up−to−the−minute)診断に基づいて、調整216を加えることができる。

0026

一実施形態においては、アクション216は、とりわけ、予測適合性データ214に対する変更を含み、その結果として、その検索語に対して次回、検索が呼び出されるとき、検索エンジンの動作のその他の観点に対する修正を行う前に、検索エンジンのオペレータが予測するパフォーマンスをよりよく反映するように、結果のパフォーマンスを計測するために使用する予測値が修正される。

0027

もちろん、添付の請求項の範囲から逸脱することなく、上述のアクション216のいくつかの組合せを用いることができることが理解される。例えば、自動適合性オプティマイザ202は、低パフォーマンス検索の検索結果110に新規の結果を自動的に挿入することができ、また同時に、新規結果のパフォーマンスをテストするために初期の期間中、予測適合性データ214をより低い値に自動的に変更することができる。より決定的なパフォーマンス予測が把握されると、予測適合性データ214を相応して変更することができる。

0028

図3は、図2に示す自動適合性最適化システム200を動作させる役割を果たす検索エンジンサーバ112のいくつかの例示的なコンピューティングコンポーネントの配設をさらに詳細に示すブロック図である。具体的には、検索エンジンサーバ112が示してあり、これには、検索エンジンサーバ112の一般管理およびオペレーション用の実行可能なプログラム命令を実装するためのオペレーティングシステム302、プロセッサ306、およびメモリ308が含まれる。検索エンジンサーバ112は、さらに、インターネット116などのネットワークと通信するためのネットワークインターフェース304を含み、ユーザ検索語108に応答して、検索結果110を提供する。オペレーティングシステム302、プロセッサ306、メモリ308、およびネットワークインターフェース304の好適な実装については知られているか、または市販されており、当業者であれば、特に本明細書の開示に照らして、容易に実装することができる。

0029

検索エンジンサーバ112のメモリ308には、自動適合性オプティマイザプロセス202を備えるコンピュータ実行可能プログラム命令が含まれる。この自動適合性オプティマイザプロセス202には、とりわけ、データ収集プロセス310、診断プロセス312、および調整プロセス314が含まれる。データ収集プロセス310は、暗黙適合性データ204、明示適合性データ206、人間判断テストデータ208、適合性検証テストデータ210、およびサンプルA/Bテストデータ212を含み、先に図2を参照して記述した様々な源からパフォーマンスデータを収集する役割を果たす。データ収集プロセス310は、それにデータが由来するソースの相対的重要性に基づいて、さらにパフォーマンスデータを正規化する。好ましい一実施形態においては、暗黙適合性データ204は、一般にその他のデータソースよりも良好かつより客観的な予測子であると考えられるので、最も重く重み付けされる。それでも、実施形態によっては、人間判断テストデータなどのその他のパフォーマンスデータが、暗黙適合性データ204をオーバライドすることができる。正規化されたパフォーマンスデータは、予測パフォーマンスデータ214との比較に備えて結合される。

0030

一実施形態においては、診断プロセス312は、結合かつ正規化したパフォーマンスデータを予測パフォーマンスデータ214と比較する。この比較によって、検索結果110が低パフォーマンスであることが示されるときには、診断プロセス312はその理由を判定しようと試みる。例えば、低パフォーマンスの結果は、動作不能のウェブサイト、通用していないウェブページ、またはすでに有効ではない文書にリンクされている可能性がある。場合によっては、その結果は、その他の結果と比較してそれが可能であるほどユーザに対して目につきやすくない方法で、ウェブページ106のセクションに位置しているか、または提示されている可能性がある。

0031

低パフォーマンスの結果は、検索結果110よりも検索語108と関係している可能性がある。例えば、場合によっては、検索語は、スペルミスを犯しやすいものであったり、意味のある結果を生成するには一般的すぎたりすることがある。一例として、ユーザが検索語「Schwarzenegger」を入力するとき、ユーザはこの名前をスペルミスしたり、タイプミスをしたりして、望んでいない結果を得やすい。他方で、ユーザが語「Arnold」を入力するときには、ユーザはこの語を正しくスペリングして、タイプしやすいが、この検索語は一般的すぎて、ユーザはやはり多くの不要な結果を得ることになる。

0032

低パフォーマンス結果の原因が特定されると、この調整プロセス314は、とるべき適当なアクション216を生成する役割を果たす。すでに述べたように、一実施形態においては、調整プロセス314が、適合性スキーマデータベース114を修正するアクション216を生成して、その検索語についての検索の次の反復の間に、最適化した一組の検索結果110を生成することができる。代替として、調整プロセス314は、検索結果110がユーザデバイス102、104に表示される以前に、それらを中断して、リアルタイムで検索結果を自動的に最適化するアクション216を生成することができる。さらに別の実施形態においては、調整プロセス314は、検索結果そのものに本質的な変更を加えるのではなく、検索結果をウェブページ106上に提示する方法を変更することによって、検索結果を最適化するアクション216を生成することができる。さらに別の実施形態においては、調整プロセス314は、スペリングの示唆または追加の語によって検索語を明確化することをユーザに自動的に促すことを検索エンジンサーバ112に行わせる、アクション216を生成することができる。調整プロセス314は、添付の請求項の範囲から逸脱することなく、検索エンジンの動作を調整するその他のアクション216を生成して、アクション216を併用することができることが理解される。

0033

図4Aは、検索ウェブページ106を表示するブラウザプログラム400を示しており、これには本発明の一実施形態を実装するための例示的な検索エンジンユーザインターフェースが示してある。ウェブページ106(図1)は、検索エンジンサーバ112(図1、2)によって生成して、インターネット116(図1)を介してユーザのコンピューティングデバイス102、104に配信することができる。検索エンジンユーザインターフェースは、先に入力された検索語108(図1)をテキストボックス402内に表示し、必要であれば「検索の絞込み(REFINE SEARCH)」404と表示されたコマンドボタンを使用して追加の検索語で検索を絞り込むことをユーザに促す。

0034

図4Aに図示した例においては、ユーザは検索語「ドッグフードDOG FOOD)」を入力している。検索結果は、インターネット116を介してのウェブコンテンツ118の検索から生成される。当技術分野において知られているように、検索エンジン112は、適合性スキーマデータベース114に従って、結果を分析して、どの結果が最も適合性があるかなどの事前設定された基準に基づいて、ユーザに表示するのに「最良」の結果を順位付けるプログラム命令を実行することができる。最良の結果は、通常、一組の結果の冒頭に表示される。一実施形態においては、検索結果は、検索を入力したユーザとローカル接続、例えばイエローページリストなどを有するウェブコンテンツ118から結果が取得されるローカルセクション内などの、ウェブページ106の異なるセクションに表示することができる。検索結果は、添付の請求項の範囲から逸脱することなく、様々な異なるフォーマットで、ウェブページ106の異なる場所に表示することができるものと理解される。

0035

例としてのみ、検索語「ドッグフード」に対して生成された3つの検索結果が、検索入力ボックス402の直下に表示されている。すなわち(1)参照番号406のPETsMART登録商標)の検索結果、(2)参照番号408のeBAY(登録商標)の結果、および(3)参照番号410のWild Alaska Salmon(登録商標)ドッグフードサプリメントの結果である。説明の目的で、検索語「ドッグフード」に対するこれらの3つの検索結果は本発明の一実施形態に従って最適化することなく、1:00PM時点での適合性スキーマデータベース114に従って図示の順序で表示してある。3つの結果のそれぞれに対する予測パフォーマンスを、以下の表1に列記してある。

0036

0037

一実施形態においては、自動適合性オプティマイザ202の動作中に、暗黙適合性データ204(図2)が、検索結果406、408、および410のそれぞれに対して、類似の検索を最近入力して「ドッグフード」に対する図示した検索結果を得たすべてのユーザにわたって合計した、CTRの形態で収集される。図示した例においては、暗黙適合性データ204から分かるのは、検索結果406、408、および410のそれぞれの実際のパフォーマンスは、予測されたものと異なり、図4Aの検索結果に示した検索結果の第1ページに現れない、他の2つの結果が、以下の表2に示すように、3つの結果のすべてよりも実際にはパフォーマンスが上回ったことである。

0038

0039

図示した例においては、2つの実際のパフォーマンス、PETsMART(登録商標)406およびWild Alaskan Salmon(登録商標)410の検索結果が、予測結果に満たなかったので、自動適合性オプティマイザ202は、低パフォーマンス結果406、410の考えられる理由を診断して、適合性スキーマデータベース114を自動的に更新するアクション216をとり、その結果として、次に「ドッグフード」の検索が入力されるときには、一組の異なる検索結果、すなわち表2に列記するAmazon.com(登録商標)416およびPETCO(登録商標)418に対する検索結果のパフォーマンスは、それらが優位であることに基づき、ユーザに表示されることになる。

0040

図4Bは、別のウェブページを表示するブラウザプログラム400を示し、この場合は、自動適合性オプティマイザ202が、適合性スキーマデータベース114を更新することによって検索結果の適合性を自動的に最適化するアクション216をとった後に、タイムボックス412に示されているように遅い時刻、3:00PMに生成されたものであり、ここでも検索語「ドッグフード」に対する検索結果が再び表示されている。図示した例においては、最初に1:00PMにおける一組の検索結果110の冒頭に現れたPETsMART(登録商標)の検索結果406に対する実際パフォーマンスが、そこに保持することを正当化するものではなかったので、図4Bに示すようにPETsMART(登録商標)の検索結果は消去されている(または少なくとも後続のページに移されている)。同様に、最初に1:00PMにおける一組の検索結果110の第1のページにおいて第3位に現れたWild Alaskan Salmon(登録商標)の検索結果410の実際パフォーマンスが、そこに維持することを正当化するものではなかったので、図4Bに示すように、それも消去されている(または少なくとも次のページに移されている)。低パフォーマンスの結果406、410の代わりに、サーチエンジン112は、以前の1:00PM時刻からアクション216によって更新された適合性スキーマデータベース114に従って、参照番号416のAmazon.com(登録商標)および参照番号418のPETCO(登録商標)に対する新規の検索結果を挿入している。Amazon.com(登録商標)の結果416は、今度は一組の検索結果110の冒頭に現れ、PETCO(登録商標)の結果418が第3位に現れる。eBAY(登録商標)の結果408は予測パフォーマンスレベルを満たしていたために、eBAY(登録商標)に関して適合性スキーマデータベース114は変更されずに、その結果は第2位のままである。

0041

上記の例において留意すべきことは、Amazon.com(登録商標)の結果416は、PETCO(登録商標)418およびeBAY(登録商標)408などのその他の結果がそうであるのとは異なり、実際のドッグフードと無関係であることである。したがって、純粋に人間判断の観点からは、新規の一組の検索結果は、検索語「ドッグフード」に対する適合性は低いように思えるかもしれない。しかし、20%という高いパフォーマンスCTRから、その本が少なくとも一時的にはユーザが休暇シーズン中に贈り物として購入することに関心のあるベストセラー本である可能性があることを、人間判断が見落とした可能性、および従来型コンテンツ分析が見落とした可能性がある傾向が明らかとなった。したがって、高い予測性の暗黙適合性データ204は、人間判断データ208よりも重みが大きくなり、大多数のユーザに対して適合性が高く満足できる最適の一組の結果を生成することができる。一実施形態においては、自動適合性オプティマイザ202が適合性スキーマデータベース114を更新することの代わりに、またはそれに加えてとることもできた別のアクション216としては、サーチエンジン112の動作を調整して、検索語として「ドッグフード」を入力するユーザに、「ドッグフード」という題名の新刊のベストセラー本についての結果が欲しいかどうか、あるいはドッグフードそのものおよびドッグフードを買う場所などについての情報の通常の結果が欲しいかどうかをさらに明確化するように促すことである。本「ドッグフード」の人気が低下すると、自動適合性オプティマイザ202は反対のアクションをとって、スキーマ114を更新してAmazon.com(登録商標)の結果416を消去するとともに、ユーザにその検索を絞り込むように促すことを解除することが予想される。こうすることによって、検索エンジンのオペレータは、検索結果の最適化を自動化することが可能となり、ユーザに対してより適合性の高くタイムリーな結果を提供するとともに、トラフィックの増大において検索エンジンに対するより多くの収入を生成することさえ可能である。

0042

上記の例は、説明の目的でのみ提示するものであると理解される。好ましい一実施形態において、暗黙適合性データ204は、CTR単独よりもより複雑なユーザの挙動を反映することになる。例えば、暗黙適合性データ204は、問題の結果に対しての多数のユーザの挙動、例えば、PETCO(登録商標)の結果418のユニフォームレコードロケータ(URL)を1人または複数の友人に電子メールすること、その結果がリンクされているPETCO(登録商標)のウェブサイトで買い物をすることなど、の合計を反映することになる。そのような複雑な挙動は、一般に、CTR単独よりも適合性の予測性が高いものと考えられている。

0043

図5A〜5Bは、本発明の一実施形態に従って検索エンジンにおける検索結果の最適化を自動化するために、図2および3の検索エンジンサーバ112と自動適合性オプティマイザ202と一緒に実行されるロジックを示すフロー図である。検索エンジンサーバ112は、スタートブロック502で始まり、処理ブロック504に続き、既存の適合性スキーマデータベース114による検索結果110(図1)を含む検索ウェブページ106が生成される。処理ブロック506において、自動適合性オプティマイザプロセス202は、暗黙適合性データ204、明示適合性データ206、人間判断テストデータ208、適合性検証テストデータ210、およびサンプルA/Bテストデータ212を含む、様々な源から検索結果110に対する適合性パフォーマンスデータを収集する。一実施形態においては、暗黙適合性データ204を収集することには、ローカルユーザセッション全体にわたって、または複数セッションにわたって、あるいは検索エンジンサーバ112からクロスユーザデータが利用可能な複数ユーザにわたって、データを合計することを含めることができる。代替として、暗黙適合性データ204は、自動適合性オプティマイザプロセス202による使用のために、検索エンジンサーバ112によってすでに合計されていてもよい。いずれにしても、処理は処理ブロック508に続き、ここで自動適合性オプティマイザプロセス202は、相対的な重要度に応じてパフォーマンスデータの様々な源を正規化することを含み、収集された適合性パフォーマンスデータの様々なソースを、考慮中の1つまたは複数の結果に対する実際パフォーマンスの測度としてコンパイルする。一実施形態においては、様々な源の相対的重要度は、検索結果の適合性を予測する上でのそれらの値の測度であり、その値は、検索エンジンのオペレータが事前設定することが可能であり、オペレータが自動適合性最適化プロセス微調整するのを支援するために、時に応じてさらに変更される。好ましい一実施形態においては、暗黙適合性データ204の値は、適合性パフォーマンスデータのその他のソースよりも高くなりがちであるが、その理由は、そのようなデータは、データ収集が潜在的に大規模であり、またデータが迅速に収集できることにより予測性が高いためである。

0044

一実施形態においては、自動適合性オプティマイザプロセス202は、処理ブロック510に続き、考慮中の1つまたは複数の検索結果についての予測適合性データ214が取得される。予測適合性データ214は、検索エンジンのオペレータが事前定義することが可能であるとともに、検索結果の予測パフォーマンスにおける時間における変化を反映して時々変更することが可能である。一実施形態においては、この予測適合性データ214は、予測における自動変更を反映するために、自動適合性オプティマイザ202の先の反復によって生成されたアクション216によって変更しておくか、または更新しておくことができる。

0045

一実施形態においては、自動適合性オプティマイザプロセス202は処理ブロック512に続き、考慮中の1つまたは複数の結果の実際パフォーマンスの測度を予測パフォーマンスと比較し、ここで実際パフォーマンスは処理ブロック508において決定され、予測パフォーマンスは処理ブロック510において決定される。この比較が好ましくないとき、例えば実際パフォーマンスが予測パフォーマンスに満たない、または実質的に満たないときには、検索結果は低パフォーマンスであり、これは検索結果の適合性における問題を示すことができる。自動適合性オプティマイザプロセスは、この問題の考えられる1つまたは複数の原因を診断することを試みる。例えば、場合によっては、結果が陳腐化して、その他の新規の結果の適合性が高くなっており、このことは、例えば、これらの結果に対して収集された暗黙適合性データ204に反映されている。その他の場合においては、それについて検索結果が生成された検索語が、範囲が広すぎるか、またはスペルミスを犯しやすいものであり、検索エンジンはユーザを促してそれらの語を明確化する必要がある。添付の請求項の範囲から逸脱することなく、問題に対する考えられる原因について、その他多数の診断を行うことができる。

0046

図5Bにおいて、自動適合性オプティマイザ202は、判断ブロック514に続き、検索結果の適合性についての問題が診断されたかどうかが判定される。診断されていない場合には、自動適合性オプティマイザ202は終了楕円520において終了する。そうでない場合には、処理は処理ブロック516に続き、ここで自動適合性オプティマイザ202は、問題に対処するためにどのような調整または補正アクション216(図2)を生成するかを決定する。先述のように、アクション216には、検索語が一般的すぎるか、またはスペルミスを犯しやすいことに問題が関係する場合には、ユーザに検索語を明確化するか、または狭めることを促す、検索エンジン動作に対する調整を含めることができる。一実施形態においては、アクション216には、適合性スキーマデータベース114に対する一時的または永久的な修正、あるいは予測適合性データ214に対する修正をも含めることができる。さらに別の実施形態においては、アクション216には、検索ウェブページ106上の検索結果108に対する1つまたは複数の修正をリアルタイムで含めることができ、この場合に検索エンジン112によって生成された検索結果110は中断され、ユーザに対して検索結果適合性を最適化するために、再順位付け、並べ替え、再フォーマット、除去、他の結果と置換されるか、または修正される。上記のアクション216の組合せも、添付の請求項の範囲から逸脱することなく利用することができる。

0047

本発明の現時点で好ましい実施形態を示して説明したが、本発明の趣旨と範囲から逸脱することなく、様々な変更を行うことができることを認識されるであろう。例えば、すでに述べたように、本発明の一実施形態においては、自動適合性最適化システムプロセス202およびデータ収集310、診断312、および調整314のための関連するサブプロセスをリアルタイムで実装して、検索エンジンサーバ112によって取得されて自動適合性オプティマイザ202によって収集される、最新のパフォーマンスデータに基づく分単位の最適化が可能になる。別の実施形態においては、自動適合性最適化システム200プロセスをバッチモードで実装することによって、暗黙適合性データ204、明示適合性データ206、人間判断テストデータ、適合性検証テストデータ210、およびサンプルA/Bテストデータ212を含む、様々な源からのパフォーマンスデータのデータ収集、および検索結果の自動および手動の最適化を組み合わせることが可能になる。さらに他の実施形態においては、自動最適化検索結果適合性システム200は、応用において、パフォーマンスデータのすべてのソースよりも少ないソースの考慮に限定してもよく、例えば、暗黙適合性データ204に限定したり、同様に応用においてある種のアクション216に限定したりしてもよく、例えば適合性スキーマデータベース114に対する永久的修正、適合性スキーマデータベース114または検索結果110へのリアルタイム更新、またはそれらの任意の組合せに限定することができる。

図面の簡単な説明

0048

例示的な検索エンジンシステムと、本発明に従って検索結果適合性の最適化が自動化される1つの好適な動作環境とを示すブロック図である。
本発明の一実施形態を実装するための自動適合性最適化システムを示すブロック図である。
本発明の一実施形態に従って、図1の検索エンジンサーバに実装された図2の自動適合性最適化システムのいくつかのコンポーネントの配置をさらに詳細に示すブロック図である。
本発明の一実施形態を実装するための例示的な検索エンジンユーザインターフェースの絵図である。
本発明の一実施形態に従って検索結果が自動的に最適化された後の、後の時刻における図4Aの例示的な検索エンジンユーザインターフェースのイラスト図である。
本発明の一実施形態に従って、検索エンジンにおける検索結果適合性の最適化を自動化するために、図2および3の自動適合性最適化システムと併せて実行されるロジックを示すフロー図である。
本発明の一実施形態に従って、検索エンジンにおける検索結果適合性の最適化を自動化するために、図2および3の自動適合性最適化システムと併せて実行されるロジックを示すフロー図である。

符号の説明

0049

102ユーザデバイス
104 ユーザデバイス
106検索ウェブページ
108検索語
110検索結果
112検索エンジンサーバ
114適合性スキーマデータベース
116インターネット
118 検索可能ウェブコンテンツ
204暗黙適合性データ
206 明示適合性データ
208 人間判断テストデータ
210適合性検証テストデータ
212サンプルA/Bテストデータ
202 自動適合性オプティマイザ
214予測適合性データ
216修正/調整アクション
106 検索ウェブページ
108 検索語
110 検索結果
114 適合性スキーマデータベース

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ