図面 (/)

技術 情報処理装置、コンテンツ配信装置、情報処理方法、およびプログラム

出願人 ヤフー株式会社
発明者 鈴村真矢安部斉志
出願日 2019年3月19日 (1年9ヶ月経過) 出願番号 2019-050601
公開日 2020年9月24日 (3ヶ月経過) 公開番号 2020-154488
状態 未査定
技術分野 学習型計算機 計算機間の情報転送
主要キーワード 標本分布 ロジスティックス 条件付き確率分布 ハードウェアプロセッサ 選択者 選択態様 一つ下位 時系列モデル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年9月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

より好適なコンテンツを選択させることができる情報処理装置コンテンツ配信装置情報処理方法、およびプログラムを提供すること。

解決手段

端末装置に提供されるコンテンツの候補となる複数のコンテンツのそれぞれについて、前記コンテンツに関する指標予測した予測指標導出する予測指標導出部と、前記予測指標導出部により導出された予測指標に基づくランキング指標に基づいて、前記複数のコンテンツのランキングを行うランキング処理部と、前記ランキングに伴うバイアスを低減するように前記予測指標を補正する予測指標補正部と、を備える情報処理装置。

概要

背景

従来、コンテンツクリック率予測するモデルを生成する装置の発明が開示されている(特許文献1参照)。

概要

より好適なコンテンツを選択させることができる情報処理装置コンテンツ配信装置情報処理方法、およびプログラムを提供すること。端末装置に提供されるコンテンツの候補となる複数のコンテンツのそれぞれについて、前記コンテンツに関する指標を予測した予測指標導出する予測指標導出部と、前記予測指標導出部により導出された予測指標に基づくランキング指標に基づいて、前記複数のコンテンツのランキングを行うランキング処理部と、前記ランキングに伴うバイアスを低減するように前記予測指標を補正する予測指標補正部と、を備える情報処理装置。

目的

本発明は、このような事情を考慮してなされたものであり、より好適なコンテンツを選択させることができる情報処理装置、コンテンツ配信装置、情報処理方法、およびプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

端末装置に提供されるコンテンツの候補となる複数のコンテンツのそれぞれについて、前記コンテンツに関する指標予測した予測指標導出する予測指標導出部と、前記予測指標導出部により導出された予測指標に基づくランキング指標に基づいて、前記複数のコンテンツのランキングを行うランキング処理部と、前記ランキングに伴うバイアスを低減するように前記予測指標を補正する予測指標補正部と、を備える情報処理装置

請求項2

前記予測指標補正部は、前記ランキング結果において着目するコンテンツよりも下位となったコンテンツのランキング指標と、前記着目するコンテンツよりも上位となったコンテンツのランキング指標とを含む入力データを予測モデルに入力することで、補正後の予測指標を導出する、請求項1記載の情報処理装置。

請求項3

前記予測指標導出部は、前記着目するコンテンツよりも下位となったコンテンツのランキング指標を−∞、前記着目するコンテンツよりも上位となったコンテンツのランキング指標を+∞とした入力データを前記予測モデルに入力することで、前記予測指標を導出する、請求項2記載の情報処理装置。

請求項4

前記予測モデルは、コンテンツの配信実績と、配信時に前記予測指標導出部により導出されていた、前記ランキング結果において前記着目するコンテンツよりも下位となったコンテンツのランキング指標と、前記着目するコンテンツよりも上位となったコンテンツのランキング指標とを入力データとし、配信後にクリックされたか否かをラベルとした機械学習によって学習されたモデルである、請求項2または3記載の情報処理装置。

請求項5

前記予測モデルは、ロジスティックス回帰によって生成されるモデルである、請求項4記載の情報処理装置。

請求項6

前記コンテンツの配信実績と、配信時に前記予測指標導出部により導出されていた、前記ランキング結果において前記着目するコンテンツよりも下位となったコンテンツのランキング指標と、前記着目するコンテンツよりも上位となったコンテンツのランキング指標とを入力データとし、配信後にクリックされたか否かをラベルとした機械学習を行うことで前記モデルを生成する予測モデル学習部を更に備える、請求項4または5記載の情報処理装置。

請求項7

請求項1から6のうちいずれか1項記載の情報処理装置と、前記ランキング処理部の処理結果に基づいて前記端末装置にコンテンツを提供するコンテンツ提供部と、を備えるコンテンツ配信装置

請求項8

コンピュータが、端末装置に提供されるコンテンツの候補となる複数のコンテンツのそれぞれについて、前記コンテンツに関する指標を予測した予測指標を導出し、前記導出された予測指標に基づくランキング指標に基づいて、前記複数のコンテンツのランキングを行い、前記ランキングに伴うバイアスを低減するように前記予測指標を補正する、情報処理方法

請求項9

コンピュータに、端末装置に提供されるコンテンツの候補となる複数のコンテンツのそれぞれについて、前記コンテンツに関する指標を予測した予測指標を導出させ、前記導出された予測指標に基づくランキング指標に基づいて、前記複数のコンテンツのランキングを行わせ、前記ランキングに伴うバイアスを低減するように前記予測指標を補正させる、プログラム

技術分野

0001

本発明は、情報処理装置コンテンツ配信装置情報処理方法、およびプログラムに関する。

背景技術

0002

従来、コンテンツクリック率予測するモデルを生成する装置の発明が開示されている(特許文献1参照)。

先行技術

0003

特許第5996747号公報

発明が解決しようとする課題

0004

コンテンツの配信では、例えば、コンテンツに関する何らかの指標が高い順に所定数のコンテンツが配信される。コンテンツの指標としては、例えば、クリック数クリック確率などが挙げられる。それらの指標は、ユーザーがコンテンツをクリックするといった確率的な事象に依存する場合もあり、多くは期待値と分散を有する何らかの確率分布に従っている。すなわち、コンテンツの配信は、これから配信したときのコンテンツの指標(CTR:Click Through Rateなど)を予測モデルによって予測し、予測した指標に基づくランキング指標に基づいてランキングするといった形で行われる。

0005

ここで考慮されるべきは、あるコンテンツの指標の予測値(以下、予測指標)が偶然過大評価される程、そのコンテンツはランキングで上位になりがちになるという、正のバイアスが生じる点である。この正のバイアスを選択バイアス(selection bias)と称する。

0006

また、選択バイアスが生じた予測指標を、現実の結果に近づけるように予測モデルをフィードバック補正すると、選択バイアスが生じていない(すなわちランキング外となった)コンテンツの予測指標が下振れるという負のバイアスが生じる場合がある。この負のバイアスをネガティブバイアスと称する。

0007

これらのバイアス(ランキングに伴うバイアス)が生じることによって、例えばコンテンツの一例である広告を配信する際に、真に収益が高い広告を配信できなくなる場合がある。すなわち、好適なコンテンツを選択することができない場合が生じ得る。

0008

本発明は、このような事情を考慮してなされたものであり、より好適なコンテンツを選択させることができる情報処理装置、コンテンツ配信装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

課題を解決するための手段

0009

本発明の一態様は、端末装置に提供されるコンテンツの候補となる複数のコンテンツのそれぞれについて、前記コンテンツに関する指標を予測した予測指標を導出する予測指標導出部と、前記予測指標導出部により導出された予測指標に基づくランキング指標に基づいて、前記複数のコンテンツのランキングを行うランキング処理部と、前記ランキングに伴うバイアスを低減するように前記予測指標を補正する予測指標補正部と、を備える情報処理装置である。

発明の効果

0010

本発明の一態様によれば、より好適なコンテンツを選択させることができる。

図面の簡単な説明

0011

実施形態の情報処理装置を利用したコンテンツ配信装置100の構成および使用環境の一例を示す図である。
主コンテンツMCの中に複数の広告コンテンツCAが埋め込まれた様子を示す図である。
予測指標導出部110による処理の内容の一例を示す図である。
予測指標の順位(ランク)ごとに確率分布が偏在する様子を示す図である。
選択バイアスが生じる原理について説明するための図である。
ネガティブバイアスが生じる原理の一つについて説明するための図である。
予測指標補正部130による処理の内容を模式的に示す図である。
情報処理装置により実行される処理の流れの一例を示すフローチャートである。
ログデータ22の内容の一例を示す図である。
学習データ162の内容の一例を示す図である。
予測モデル学習部140の処理の内容について説明するための図である。
数値実験の結果を示す図である。

実施例

0012

以下、図面を参照し、本発明の情報処理装置、コンテンツ配信装置、情報処理方法、およびプログラムの実施形態について説明する。

0013

概説
情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、利用者の端末装置に提供されるコンテンツの候補となる複数のコンテンツのそれぞれについて、コンテンツに関する指標を予測した予測指標を導出し、端末装置に提供されるコンテンツを選択するための情報として出力する装置である。情報を出力する先は、自装置の他モジュールであってもよいし、他装置であってもよい。

0014

コンテンツは、広告コンテンツやニュース記事ショッピングサイトにおける商品販売画面などのコンテンツである。以下の説明では、コンテンツは広告コンテンツであるものとする。広告コンテンツは、例えば、あるサービスが提供する主コンテンツの中に設定された広告枠に埋め込まれる形で端末装置に提供される。広告コンテンツは、例えば、ハイパーリンクが付与された、サンプル画像紹介文テキスト)の組み合わせである。これに限らず、広告コンテンツは、テキストのみ、画像のみ、或いは動画などのコンテンツであってもよい。この広告コンテンツがクリックまたはタップされる(選択される)ことで、広告コンテンツに付与されたハイパーリンクの指し示すコンテンツ(例えばランディングページ)が端末装置にダウンロードされ、端末装置において再生される。クリックとタップその他の選択態様について、以下の説明ではクリックに表現統一して説明する。

0015

広告コンテンツに関する指標とは、例えば、利用者が広告コンテンツを選択する確率、頻度回数、或いはそれらの組み合わせに基づく指標である。この一例として、CTRやクリック数、CVR(Conversion Rate)がある。また、指標は、CPM(Cost Per Mille)やeCPM(effective CPM)などの広告効率を示す指標であってもよい。以下の説明では指標はCTRであり、情報処理装置は、予測指標としてCTRを予測した予測CTRを導出するものとする。

0016

そして、情報処理装置は、ランキングに伴うバイアスを低減するように、予測指標を補正する。これによって、情報処理装置は、広告コンテンツの選択者に、より好適な広告コンテンツを選択させることができる。

0017

[構成]
図1は、実施形態の情報処理装置を利用したコンテンツ配信装置100の構成および使用環境の一例を示す図である。コンテンツ配信装置100は、ネットワークNWを介して利用者の端末装置10およびサービスサーバ20と通信する。ネットワークNWは、例えば、インターネットWAN(Wide Area Network)、LAN(Local Area Network)、プロバイダ端末無線通信網無線基地局専用回線などを含む。

0018

端末装置10は、例えば、スマートフォンなどの携帯電話タブレット端末、各種パーソナルコンピュータなどの、入力装置表示装置通信装置記憶装置、および演算装置を備える端末装置である。通信装置は、NIC(Network Interface Card)などのネットワークカード無線通信モジュールなどを含む。端末装置10では、ブラウザアプリケーションプログラムなどのUA(User Agent)が起動し、利用者の入力する内容に応じたリクエストをサービスサーバ20に送信する。また、UAは、サービスサーバ20から取得した情報に基づいて、各種画像を表示する。

0019

サービスサーバ20は、ブラウザからのリクエストに応じてウェブページを端末装置10に提供するウェブサーバ、またはアプリケーションプログラムからのリクエストに応じて画像や音声を端末装置10に提供するアプリサーバとして機能する。サービスサーバ20は、主コンテンツの中に、コンテンツ配信装置100から提供される広告コンテンツを埋め込んで端末装置10に提供する。図2は、主コンテンツMCの中に複数の広告コンテンツCAが埋め込まれた様子を示す図である。図2に示す主コンテンツMCは、検索サービスを提供したり、各種ニュースを配信したりするポータルサイトである。主コンテンツMCには、複数の広告枠が設定されており、それぞれの広告枠に広告コンテンツCA(図ではCA(1)〜CA(3))が表示される。

0020

広告コンテンツCAは、例えば、サンプル画像とテキストの組み合わせであり、サンプル画像とテキストのいずれをクリックしても広告コンテンツにより広告される商品またはサービスの紹介コンテンツ画面遷移する。サービスサーバ20は、例えば、利用者の識別情報(利用者ID)に対応付けた主コンテンツまたは広告コンテンツの閲覧履歴をログデータ22として記憶装置に保持しており、要求に応じてコンテンツ配信装置100にログデータ22を提供する。

0021

コンテンツ配信装置100は、例えば、予測指標導出部110と、ランキング処理部120と、予測指標補正部130と、予測モデル学習部140と、コンテンツ提供部150と、記憶部160とを備える。予測指標導出部110と、ランキング処理部120と、予測指標補正部130と、予測モデル学習部140とを合わせたものが、情報処理装置の一例である。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific IntegratedCircuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部160には、上記プログラムの他、学習データ162、予測モデル164などが格納される。

0022

予測指標導出部110は、例えば、端末装置10に提供される(以下、配信される)広告コンテンツの候補となる複数の広告コンテンツのそれぞれについて、広告コンテンツのCTRを予測した予測CTRを導出する。予測CTRは、予測指標の一例である。予測指標導出部110は、例えば、主コンテンツごと、当該主コンテンツにおける広告枠ごとに、予測CTRを導出する。なお、以下の説明では適宜、その時点では端末装置10に提供されるかどうか不明であることを表す「候補」なる表現を省略する。

0023

予測指標導出部110は、例えば、着目する広告コンテンツが過去に配信された際の実績CTR、サービスサーバ20から取得されるログデータ22から得られる利用者の属性趣味嗜好等)と広告コンテンツの内容との類似度などを素性とし、線形あるいは非線形ロジスティック回帰モデルを利用して予測CTRを導出する。また、CTRの時間変化を考慮する場合は時系列モデルを用いて予測CTRを導出してもよい。予測指標導出部110は、例えば、予測モデル164を用いて予測CTRを導出する。図3は、予測指標導出部110による処理の内容の一例を示す図である。図示するように、予測指標導出部110は、ログデータ22に含まれ、或いはログデータ22を加工して得られる、広告コンテンツのインプレッション数、クリック数、実績CTR、利用者の属性と広告コンテンツの類似度、およびパラメータv−=−∞、v+=+∞などの入力データを予測モデル164に入力することで、予測CTRを導出する。図中、パラメータv−、v+の意義については後述する。予測モデル164は、予測モデル学習部140による学習処理によって生成され、例えば定期的に更新される。学習処理には、学習データ162が使用される。学習データ162は、ログデータ22に基づくものである。この詳細についても後述する。

0024

ランキング処理部120は、予測CTRに基づくランキング指標が高い順に、広告コンテンツに対してランクを付与する。以下、この処理をランキングと称称する。ランクが高いということは、ランキング指標が高かったということである。なお、ランクが数字で表される場合、数字の小さい方がランクが高いことを表すものとする。ランキング指標は、予測指標そのもの(例えば予測CTR)でもよいし、予測指標に何らかの計算を加えたものでもよい。例えば、予測収益(予測CTRに広告のビッド乗算した値)がランキング指標として用いられてもよい。

0025

予測指標補正部130は、ランキング処理部120によるランキングに伴うバイアスを低減するように、予測CTRを補正する。予測指標補正部130は、例えば、予測モデル164に対して予測指標導出部110とは異なるパラメータを入力することで、予測CTRを補正する。

0026

予測モデル164を学習する予測モデル学習部140に関しては後述する。

0027

コンテンツ提供部150は、サービスサーバ20からの広告リクエストに応じて、ランキング処理部120によって付与されたランクの高い順に所定数の広告コンテンツを広告枠に割り当てる。以下、この所定数に該当することになった広告コンテンツを、ランキング内の広告コンテンツ、所定数から外れた広告コンテンツを、ランキング外の広告コンテンツと称する。例えば、広告枠にも優先順位が付与されており、コンテンツ提供部150は、優先順位の高い広告枠にランクの高い広告コンテンツを割り当てる。コンテンツ提供部150は、サービスサーバ20に割り当て結果と共に広告コンテンツを提供する。なお、コンテンツ提供部150は、一定割合で、ランダムに抽出した広告コンテンツを広告枠に割り当ててよい。

0028

[バイアスについて]
以下、ランキングに伴うバイアスについて説明する。予測CTRなどの予測指標は、将来の事象を予測したものであるため、所定の確率分布に従って導出されるものである。このため、ランクが高い広告コンテンツには、確率分布の中で、偶然に高い値が出たに過ぎないものが含まれることになる。図4は、予測指標の順位(ランク)ごとに確率分布が偏在する様子を示す図である。本図は、全ての広告コンテンツのCTRは0.10として、広告をn回インプレッションしたときのクリック数はn×0.10を期待値とする二項分布に従っていることを前提としている。ここでは、予測CTR=クリック数/nと定義する。図中、Dallは、ランキングされる前の各広告コンテンツの予測CTRの確率分布を示し、D1はランクが1(最も高い)となった広告コンテンツの予測CTRの条件付き確率分布を示し、D2はランクが2(1の次に高い)となった広告コンテンツの予測CTRの条件付き確率分布を示し、D3はランクが3(2の次に高い)となった広告コンテンツの予測CTRの条件付き確率分布を示している。図示するように、ランキングされた後の予測CTRの条件付き確率分布は、ランクが高くなるほど、ランキングされる前の確率分布から正方向にバイアスしている。これは、予測CTRが高い順にランク付けを考える場合、予測CTRが偶然に過大評価されたものほど高ランクに選ばれやすいという選択バイアスが生じていることを示している。

0029

このように選択バイアスが生じている状態で、予測CTRを実測CTRを近づけるように学習が行われて予測モデル164が更新される場合、学習データ162は実際に配信された広告コンテンツの情報のみ含むのであるから、その学習は、予測CTRを小さくする方向に作用する。この結果、予測モデル164は、ランキング内の広告コンテンツに関しては正しい予測CTRを導出するようになるが、ランキング外の広告コンテンツに関しては真のCTRよりも下振れした予測CTRを導出するようになる。これがネガティブバイアスである。

0030

これらのバイアスを統計的見地から説明する。図5は、選択バイアスが生じる原理について説明するための図である。予測CTR(AD1)は広告コンテンツAD1の予測CTRの本来の標本分布であり、予測CTR(AD2)は広告コンテンツAD2の予測CTRの本来の標本分布である。広告コンテンツAD2は、広告コンテンツAD1よりもランクが一つ下位の広告コンテンツである。この場合、仮に予測指標導出部110により導出された広告コンテンツAD2のランキング指標(現説明においては予測CTR)がv−であったとすると、予測指標導出部110により導出された広告コンテンツAD1の予測CTRはv−よりも高い筈であるので、予測CTR(AD2)=v−という条件下での予測CTR(AD1)の条件付き標本分布{予測CTR(AD1)|予測CTR(AD2)=v−}は、v−よりも高い値で分布することになる。この結果、図示するように条件付き標本分布{予測CTR(AD1)|予測CTR(AD2)=v−}は、広告コンテンツAD1の本来の標本分布よりも全体的に高CTR側にシフトすることになる。これが選択バイアスである。

0031

ランキングの結果、ランクが低かったという条件がネガティブバイアスを生じさせることもある。図6は、これを表すものである。図5と同様に、予測CTR(AD1)は広告コンテンツAD1の予測CTRの本来の標本分布であり、予測CTR(AD2)は広告コンテンツAD2の予測CTRの本来の標本分布である。広告コンテンツAD2は、広告コンテンツAD1よりもランクが一つ下位の広告コンテンツである。この場合、仮に予測指標導出部110により導出された広告コンテンツAD1のランキング指標(現説明においては予測CTR)がv+であったとすると、予測指標導出部110により導出された広告コンテンツAD2の予測CTRはv+よりも低い筈であるので、予測CTR(AD1)=v+という条件下での予測CTR(AD2)の条件付き標本分布{予測CTR(AD2)|予測CTR(AD1)=v+}は、v−よりも低い値で分布することになる。この結果、図示するように条件付き標本分布{予測CTR(AD2)|予測CTR(AD1)=v+}は、広告コンテンツAD2の本来の標本分布よりも全体的に低CTR側にシフトすることになる。このようにして、ランキングの結果、偶然にランクが低いと判定されてしまった広告にはネガティブバイアスが生じてしまう。ネガティブバイアスが生じた広告は配信機会を失って予測の下振れが続くことになる。なお、ランクが一つ上位と一つ下位の広告コンテンツが存在する場合、条件付き標本分布は、v−とv+に挟まれた範囲で分布することになり、選択バイアスとネガティブバイアスの双方の影響を受けた分布となる。

0032

このように、選択バイアスは、ランクが下位の広告コンテンツについて導出されたランキング指標に依存し、ネガティブバイアスは、ランクが上位の広告コンテンツについて導出されたランキング指標に依存する。予測指標補正部130は、係る原理に基づいて、ランキング処理部120によるランキングに伴うバイアスを低減するように、予測CTRを補正する。

0033

なお、上記の説明では、ランクが一つ下位、または一つ上位の広告コンテンツにのみ着目しているが、実際は、ランクが二つ以上、下位または上位の広告コンテンツのランキング指標も両バイアスに影響を及ぼすものである。バイアスは、他の広告コンテンツ群とランキング指標が近い場合に大きくなり、他の広告コンテンツ群とランキング指標が離れている場合は小さくなるからである。従って、予測指標補正部130は、ランクが二つ以上、下位または上位の広告コンテンツのランキング指標も考慮して(予測モデル164に入力して)予測CTRを補正してもよいが、以下では説明を簡便にするために、ランクが一つ下位または上位の広告コンテンツのランキング指標のみを考慮するものとする。

0034

[予測指標の補正]
予測指標補正部130は、ランキング内となった広告コンテンツのそれぞれについて、予測指標導出部110と同じ種類の入力データを予測モデル164に入力することで、補正された予測CTR(以下、補正後予測CTR)または予測CTRの補正値を取得する。図7は、予測指標補正部130による処理の内容を模式的に示す図である。以下の説明では、予測モデル164は補正後予測CTRを出力するものとする。但し、予測指標補正部130は、予測指標導出部110とは異なり、着目する広告コンテンツよりもランキング指標が一つ下位の広告コンテンツのランキング指標v−と、着目する広告コンテンツよりもランキング指標が一つ上位の広告コンテンツのランキング指標v+とを予測モデル164に入力する。なお、ランキング指標v−、v+に代えて、着目する広告コンテンツに対する相対的なランキング指標の差分が入力されてもよい。

0035

予測モデル164は、インプレッション数、クリック数、実績CTR、利用者の属性と内容の類似度などから求まる粗い予測CTRに対して、ランキング指標v−、v+に依存して発生する選択バイアスとネガティブバイアスとを低減するように学習されたモデルである。予測指標補正部130は、このようにして得られた、補正後予測CTRをランキング処理部120に出力する。ランキング処理部120は、取得した補正後予測CTRに基づいてランキングをやり直す。これによって、情報処理装置は、より好適なコンテンツをコンテンツ提供部150に選択させることができる。

0036

ここで、図3を用いて説明した予測指標導出部110の処理について再度、説明する。予測指標導出部110は、ランキング指標v−、v+のところにそれぞれ−∞、+∞を入力する。これによって、予測指標導出部110の処理の段階では、専らネガティブバイアスの影響が低減された予測CTRが導出される。これに対し、予測指標補正部130の処理の段階では、ランキング内となった広告コンテンツについてのみ(すなわち、選択バイアスが生じている広告コンテンツについてのみ)、選択バイアスを低減した予測CTRを導出し直す。これによって、情報処理装置は、より正確な予測CTRを導出することができ、より正確な予測CTRに基づいてより適切なランキング処理を行うことができるため、コンテンツ提供部150に、より好適な広告コンテンツを選択させることができる。

0037

図8は、情報処理装置により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、コンテンツ提供部150が広告リクエストを取得したときに開始される。

0038

まず、予測指標導出部110が、図3を用いて説明したように、予測指標を導出する(S200)。次に、ランキング処理部120が、予測指標に基づいてランキング指標を導出し(S202)、ランキング指標に基づいて一回目のランキング処理を行う(S204)。

0039

次に、予測指標補正部130が、ランキング処理の結果、ランキング内となった広告コンテンツを抽出し(S206)、抽出した広告コンテンツについて、図7を用いて説明したように予測指標を補正する(S208)。ランキング処理部120は、補正された予測指標に基づいてランキング指標を導出し(S210)、S206で抽出されなかった(ランキング外となっていた)広告コンテンツについてはS202で導出されたランキング指標を、S206で抽出された(ランキング内となっていた)広告コンテンツについてはS210で導出されたランキング指標を用いて、二回目のランキング処理を行う(S212)。ランキング処理部120は、二回目のランキング処理の結果をコンテンツ提供部150に出力する。なお、前述したように、予測指標=ランキング指標であってもよく、この場合、S202およびS210の処理は省略されてよい。

0040

学習段階
以下、予測モデル164を学習する段階の処理について説明する。予測モデル学習部140は、例えば、学習データ162を用いた機械学習(例えばロジスティックス回帰)によって、予測モデル164を学習する。

0041

学習データ162は、ログデータ22に基づいて生成される。図9は、ログデータ22の内容の一例を示す図である。ログデータ22は、例えば、利用者の識別情報であるユーザIDに対して、閲覧されたコンテンツの識別情報であるコンテンツID、閲覧日時、コンテンツに埋め込まれて配信された広告の情報である配信広告情報が対応づけられたデータである。配信広告情報は、例えば、ランキング処理の結果であるランクと、広告コンテンツの識別情報である広告IDと、配信された結果としてクリックされたか否かを示すクリック有無とが互いに対応付けられた情報である。なお、配信広告情報は、サービスサーバ20によって収集されるのではなく、コンテンツ配信装置100が収集してログデータ22に付加するようにしてもよい。

0042

図10は、学習データ162の内容の一例を示す図である。学習データ162は、ログデータ22に対して統計的な集計処理を行ったり、コンテンツ配信装置100の処理履歴を加えたりしたものである。学習データ162の一つのレコードは、広告コンテンツが一回配信されたことに対応して作成される。学習データ162は、例えば、広告IDに対して、配信時点のインプレッション数、クリック数、実績CTR、利用者の属性と内容の類似度、v−、およびv+と、配信の結果としてのクリック有無とが対応づけられたものを一つのレコードとし、複数のレコードを含むものである。インプレッション数、クリック数、および実績CTRは、ログデータ22に対して統計的な処理を行うことで取得される。利用者の属性と内容の類似度、v−、およびv+は予測指標導出部110の処理履歴(不図示)を参照して取得される。

0043

図11は、予測モデル学習部140の処理の内容について説明するための図である。予測モデル学習部140は、学習データ162のうちインプレッション数、クリック数、実績CTR、利用者の属性と内容の類似度、v−、およびv+を特徴ベクトルx、クリック有無をラベルyとしたロジスティックス回帰を行うことで、インプレッション数、クリック数、実績CTR、利用者の属性と内容の類似度、v−、およびv+を入力すると、予測CTRを出力する予測モデル164を生成する。なお、予測モデル164は、機械学習によって取得されるモデルに限らず、ルールベースで作成されたモデルであってもよい。

0044

再考
上記のように、予測モデル164は、実際に配信された広告コンテンツ、すなわちランキング内となった広告コンテンツに関する配信実績等に基づいて生成されるものである。このため、通常の機械学習の手法では、ランキング外となった広告コンテンツを含む母集団全体についてネガティブバイアスを排除するのは困難であった。この点、実施形態の手法では、一回目のランキング処理の前に、予測モデル164にパラメータv−=−∞、v+=+∞を入力して予測CTRを求めている。配信実績の無い広告コンテンツについてv+=+∞という状況は実際には生じないものであるが、ロジスティック回帰によって、配信実績の無い広告コンテンツについての予測CTRを、v+=+∞という前提で特徴ベクトルの近い配信実績を用いて類推することができる。この結果、予測指標導出部110が導出する予測CTRは、ネガティブバイアスの影響を低減したものとなる。

0045

また、一回目のランキング処理によってランキング内となった広告コンテンツには選択バイアスが生じることになるが、これについて予測指標補正部130は、予測指標導出部110の処理履歴を参照して得られるパラメータv−、v+を予測モデル164に入力して予測CTRを導出し直すことで、選択バイアスの影響を低減することができる。予測モデル164は、パラメータv−、v+に依存した選択バイアスの影響を低減するように学習されたモデルだからである。

0046

[数値実験]
本出願の発明者は、実施形態の予測モデル164と、比較例の予測モデルとを用いて数値実験を行った。比較例の予測モデルとは、パラメータv−、v+を入力データとして用いないモデルである。数値実験において、五日分のログデータを用いて予測モデルを学習し、翌日一日分を評価データとした。これを三回に分けて実施した。図12は、数値実験の結果を示す図である。図中の英数字は、真のCTRと予測CTRとの一致度合いを示すキャリブレーションの値であり、広告コンテンツの母集団全体について評価した値である。図示するように、実施形態の予測モデル164は、キャリブレーションが大きく改善しており、真のCTRに近い値を予測することができることが分かった。

0047

[その他]
情報処理装置は、ネガティブバイアスの影響を低減するために、上記説明した予測モデル164を用いた手法と、広告コンテンツのインプレッション確率の逆数サンプルを重みづけする手法とを混合して予測CTRを導出してもよい。

0048

また、上記の説明では、専ら選択バイアスとネガティブバイアスに着目したが、更に、広告コンテンツの配信においては、ポジションバイアスが生じることが知られている。これについて、詳細な説明を省略するが、ポジションバイアスがマイナスに作用する場合は、負例を間引くなどして対応すればよい。

0049

以上説明した実施形態の情報処理装置によれば、端末装置10に提供されるコンテンツの候補となる複数のコンテンツのそれぞれについて、コンテンツに関する指標を予測した予測指標を導出する予測指標導出部110と、予測指標導出部110により導出された予測指標に基づくランキング指標に基づいて、複数のコンテンツのランキングを行うランキング処理部120と、ランキングに伴うバイアスを低減するように予測指標を補正する予測指標補正部130と、を備えることにより、より好適なコンテンツをコンテンツ提供部150に選択させることができる。

0050

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

0051

100コンテンツ配信装置
110予測指標導出部
120ランキング処理部
130 予測指標補正部
140予測モデル学習部
150コンテンツ提供部
160 記憶部
162 学習データ
164 予測モデル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 菱洋エレクトロ株式会社の「 情報共有のためのシステム、ボット、及び方法」が 公開されました。( 2020/10/29)

    【課題】迅速性と実効性を担保したコミュニケーション方法を提供すること。【解決手段】 システムを利用した情報共有の方法であって、 前記システムは、通信端末と、ボットとを備え、 前記通信端末は、前記... 詳細

  • 石田剛毅の「 情報出力システム、受信端末、受信方法、コンピュータプログラム」が 公開されました。( 2020/10/29)

    【課題】複数の情報間での出力の切り替えをより早くかつ滑らかに行う。【解決手段】情報配信システム1は、動画を取得する複数のサブカメラ5〜9と、複数のサブカメラ5〜9にそれぞれ対応付けされ各サブカメラ5〜... 詳細

  • 株式会社BSAの「 検索管理装置」が 公開されました。( 2020/10/29)

    【課題】ユーザが情報を検索するために必要な負荷を低減できる検索管理装置を提供する。【解決手段】検索管理装置10は、Webサーバ30にインターネットを介して接続され、クラウド上で提供されるサービスを利用... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ