図面 (/)

技術 予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラム

出願人 日本電気株式会社
発明者 谷本啓本橋洋介
出願日 2015年3月23日 (6年7ヶ月経過) 出願番号 2017-507099
公開日 2017年12月21日 (3年10ヶ月経過) 公開番号 WO2016-151618
状態 特許登録済
技術分野 学習型計算機
主要キーワード 精度指標 重複度合い 近似度合い 各評価指標 学習区間 出荷判定 更新候補 異種混合
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年12月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題・解決手段

予測モデル評価手段81は、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する。予測モデル更新手段82は、性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する。このとき、予測モデル評価手段81は、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価する。

概要

背景

予測モデルは、環境の変化などが原因で、時間の経過とともに予測精度劣化することが知られている。そのため、更新することによって精度が向上すると判断される予測モデルを対象として再学習が行われ、再学習により生成された予測モデルが新たな予測モデルとして更新される。例えば、実測値予測値との差が大きくなった予測モデルが選択され、この予測モデルを対象に再学習することも行われている。

また、特許文献1には、各種設備エネルギー需要予測する装置が記載されている。特許文献1に記載された装置は、所定期間経過するごとに、前日に取得されたデータ、1時間前に取得されたデータ、1分前に取得されたデータを用いて、逐次、エネルギー需要予測モデルを更新する。

概要

予測モデル評価手段81は、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する。予測モデル更新手段82は、性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する。このとき、予測モデル評価手段81は、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価する。

目的

本発明は、予測モデルを更新する際の人的コストを低減できる予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する予測モデル評価手段と、前記性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する予測モデル更新手段と備え、前記予測モデル評価手段は、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価することを特徴とする予測モデル更新システム

請求項2

複数の予測モデルの中から、再学習するか否かを判断するためのルールで規定される条件を満たす予測モデルを抽出する予測モデル抽出手段と、抽出された予測モデルを再学習する予測モデル再学習手段とを備え、予測モデル評価手段は、前記予測モデル再学習手段による再学習後の予測モデルと、再学習前の予測モデルの性質の近さを評価する請求項1記載の予測モデル更新システム。

請求項3

再学習前の予測モデルおよび再学習後の予測モデルが、予測対象サンプルの内容に応じて当該サンプルの予測に用いられるコンポーネントが決定される予測モデルであり、予測モデル評価手段は、予測対象のサンプルに対して、前記再学習前の予測モデルで決定されるコンポーネントと、前記再学習後の予測モデルで決定されるコンポーネントの無秩序度合いに基づいて予測モデルの性質の近さを評価する請求項1または請求項2記載の予測モデル更新システム。

請求項4

予測モデル評価手段は、再学習前の予測モデルによる予測結果と、再学習後の予測モデルによる予測結果の近さを、予測モデルの性質の近さとして評価する請求項1または請求項2記載の予測モデル更新システム。

請求項5

予測モデル評価手段は、再学習前の予測モデルで用いられる属性と、再学習後の予測モデルで用いられる属性の重複度合いを、予測モデルの性質の近さとして評価する請求項1または請求項2記載の予測モデル更新システム。

請求項6

予測モデル評価手段は、再学習前の予測モデルで共通して分類されるサンプル点集合のうち、再学習後の予測モデルでも共通して分類されるサンプル点の割合を、予測モデルの性質の近さとして評価する請求項1または請求項2記載の予測モデル更新システム。

請求項7

コンピュータが、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価し、前記コンピュータが、前記性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新し、前記コンピュータが、前記性質の近さを評価する際、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価することを特徴とする予測モデル更新方法

請求項8

コンピュータが、複数の予測モデルの中から、再学習するか否かを判断するためのルールで規定される条件を満たす予測モデルを抽出し、前記コンピュータが、抽出された予測モデルを再学習し、前記コンピュータが、性質の近さを評価する際、前記再学習された予測モデルと、再学習前の予測モデルの性質の近さを評価する請求項7記載の予測モデル更新方法。

請求項9

コンピュータに、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する予測モデル評価処理、および、前記性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する予測モデル更新処理を実行させ、前記予測モデル評価処理で、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価させるための予測モデル更新プログラム

請求項10

コンピュータに、複数の予測モデルの中から、再学習するか否かを判断するためのルールで規定される条件を満たす予測モデルを抽出する予測モデル抽出処理、および、抽出された予測モデルを再学習する予測モデル再学習処理を実行させ、予測モデル評価処理で、前記予測モデル再学習処理による再学習後の予測モデルと、再学習前の予測モデルの性質の近さを評価させる請求項9記載の予測モデル更新プログラム。

技術分野

0001

本発明は、予測モデル更新する予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラムに関する。

背景技術

0002

予測モデルは、環境の変化などが原因で、時間の経過とともに予測精度劣化することが知られている。そのため、更新することによって精度が向上すると判断される予測モデルを対象として再学習が行われ、再学習により生成された予測モデルが新たな予測モデルとして更新される。例えば、実測値予測値との差が大きくなった予測モデルが選択され、この予測モデルを対象に再学習することも行われている。

0003

また、特許文献1には、各種設備エネルギー需要予測する装置が記載されている。特許文献1に記載された装置は、所定期間経過するごとに、前日に取得されたデータ、1時間前に取得されたデータ、1分前に取得されたデータを用いて、逐次、エネルギー需要予測モデルを更新する。

先行技術

0004

特開2012−194700号公報

発明が解決しようとする課題

0005

予測モデルは、一般に、複数の要因に基づいて定義される。例えば、目的変数説明変数との間で成り立つ規則性を示す関数が予測モデルに用いられる。管理者は、予測モデルによる予測結果に基づいて、各要因の影響度合い分析する。

0006

特許文献1に記載された装置のように、逐次予測モデルを更新することにより、予測精度を向上させることは可能である。しかし、予測モデルを更新する際に用いられる学習データや学習方法により、通常、予測に用いられる要因自体や、要因の影響度合いは変化する。分析対象とする要因が予測モデルの更新のたびに大きく変化してしまうと、管理者は、更新のたびに予測モデルの内容を把握しなければならず、その理解に多くの人的コスト(ヒューマンリソース)がかかってしまうという技術的課題がある。

0007

そこで、本発明は、予測モデルを更新する際の人的コストを低減できる予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラムを提供することを目的とする。

課題を解決するための手段

0008

本発明による予測モデル更新システムは、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する予測モデル評価手段と、性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する予測モデル更新手段と備え、予測モデル評価手段が、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価することを特徴とする。

0009

本発明による予測モデル更新方法は、コンピュータが、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価し、コンピュータが、性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新し、コンピュータが、性質の近さを評価する際、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価することを特徴とする。

0010

本発明による予測モデル更新プログラムは、コンピュータに、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する予測モデル評価処理、および、性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する予測モデル更新処理を実行させ、予測モデル評価処理で、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価させることを特徴とする。

発明の効果

0011

本発明によれば、予測モデルを更新する際の人的コストを低減できる。

図面の簡単な説明

0012

本発明による予測モデル更新システムの一実施形態を示すブロック図である。
評価指標、再学習ルールおよび更新評価ルールの例を示す説明図である。
予測モデルの精度指標可視化した例を示す説明図である。
予測モデルの精度指標を可視化した他の例を示す説明図である。
予測モデルの類似性を可視化する例を示す説明図である。
予測モデル更新システムの動作例を示すフローチャートである。
本発明による予測モデル更新システムの概要を示すブロック図である。

実施例

0013

以下、本発明の実施形態を図面を参照して説明する。

0014

図1は、本発明による予測モデル更新システムの一実施形態を示すブロック図である。本実施形態の予測モデルは、複数の予測モデルの中から更新候補の予測モデルを抽出し、抽出された予測モデルを再学習後、再学習前の予測モデルを再学習後の予測モデルで実際に更新するか否か判断する。

0015

本実施形態の予測モデル更新システムは、予測モデル更新判断部11と、予測モデル再学習部12と、予測モデル評価部13と、予測モデル更新部14と、結果出力部15とを備えている。

0016

予測モデル更新判断部11は、更新候補の予測モデルを判断する。具体的には、予測モデル更新判断部11は、複数の予測モデルの中から、再学習するか否かを判断するためのルール(以下、再学習ルールと記す。)に基づいて、更新候補である再学習対象の予測モデルを抽出する。再学習ルールは、予測モデルの再学習要否を予め定めた評価指標に基づいて規定したルールである。

0017

再学習ルールに用いられる評価指標の内容は任意である。評価指標として、前回の予測モデルを学習してからの期間や更新してからの期間、学習データの増加量、時間の経過に対する精度劣化度合サンプル数などの変化、計算リソースなどが挙げられる。ただし、評価指標の内容はこれらの内容に限定されず、予測モデルを更新すべきかの判断に利用することが可能な指標であれば、他の内容であってもよい。また、評価指標は、予測結果により算出される内容に限定されない。

0018

このように、予測モデル更新判断部11が、複数の予測モデルの中から再学習対象を絞り込むことにより、再学習対象の予測モデルの数を減らせるため、再学習に要するコスト(マシンリソース)を低減させることが可能になる。これは、更新候補の予測モデルの数が大量になった場合、より大きな効果を示す。

0019

予測モデル再学習部12は、予測モデル更新判断部11によって抽出された予測モデルを再学習する。再学習の方法は任意である。予測モデル再学習部12は、例えば、あるデータ区間選定し、予め定められた方法で決定されるパラメータを用いて、ランダムリスタートにより予測モデルを再学習してもよい。また、予測モデル再学習部12は、再学習ルールで定義されたアルゴリズムに基づいて、予測モデルを再学習してもよく、1つの予測モデルについて複数の再学習結果を生成してもよい。

0020

また、予測モデル再学習部12は、再学習前による予測モデルの変化を抑制するため、再学習前の予測モデルを入力とする、いわゆるホットスタートにより、予測モデルを再学習してもよい。例えば、予測モデルが木構造で表され、各ノードに配される条件に基づいて、入力されるデータの内容に応じてそのデータの予測に用いられる予測式が場合分けされる場合、予測モデル再学習部12がホットスタートによる予測モデルの再学習をすることで、その木構造や条件が近似する予測モデルを生成することが可能になる。このような再学習方法を用いることにより、再学習後の予測モデルの構造が再学習前の予測モデルに近づくため、結果的に予測モデルを更新する際の人的コストを低減できる。

0021

予測モデル評価部13は、再学習前の予測モデルを再学習後の予測モデルで更新するか判断する。具体的には、予測モデル評価部13は、再学習後の予測モデルを実際に更新するか否かを判断するためのルール(以下、更新評価ルールと記す。)に基づいて、更新対象とする予測モデルを抽出する。更新評価ルールは、更新前の予測モデルと更新後の予測モデルの変化状況を規定したルールである。

0022

更新評価ルールで規定する変化状況の内容も任意である。本実施形態では、予測モデル評価部13は、予測モデルの性質の近さに着目して、更新前の予測モデルと更新後の予測モデルの変化状況を判断する。すなわち、予測モデル評価部13は、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する。

0023

ここで、予測モデルの性質の近さとは、少なくとも、予測結果の近さ、または、予測モデルの構造的な近さを意味する。すなわち、本実施形態では、予測モデルの精度向上とともに、予測モデル自体の性質の変化を評価することで、予測モデルが大きく変化することを抑制する。

0024

以下、予測モデルの性質の近さを評価する方法を説明する。まず、予測結果の近さを評価する方法を説明する。予測結果の近さとは、更新前の予測モデルによる予測結果と、更新後の予測モデルによる予測結果との近似度合いを意味する。

0025

予測モデル評価部13は、予測結果に様々な指標を用いることが可能である。例えば、更新後の予測モデルによる予測値と更新前の予測モデルによる予測値の差分をそれぞれ算出した結果に対して統計処理(例えば、差分の2乗和、分散の計算など)を行ったものを、予測モデルの予測結果の近さと定義してもよい。同じ対象に対する予測結果の変化が小さいほど、予測モデルの変化は小さいと言えるからである。

0026

次に、予測モデルの構造的な近さを評価する方法を説明する。予測モデルの構造的な近さの例として、予測する際の回帰式で用いられる属性(説明変数、要因)の重複度合いが挙げられる。また、入力されるデータの内容に応じてそのデータの予測に用いられるコンポーネン(予測式)場合分けされる場合、その場合分けに用いられるデータの属性(説明変数、要因)の重複度合いを予測モデルの構造的な近さと定義してもよい。いずれも、重複度合いが高いほど、予測モデルの構造が近いと判断できる。

0027

特に、解釈性の高い予測モデルでは、予測に用いられる属性(説明変数、要因)の影響をユーザが認識できる場合が多い。例えば、予測に用いられる説明変数が変化すると使用する原料を変えなければならないような場合、説明変数は極力固定されることが好ましい。このような場合、予測モデル評価部13が、説明変数の重複度合いを予測モデルの構造的な近さとして評価することで、ユーザにとってより近い予測モデルを特定できる。

0028

また、入力されるデータの内容に応じてそのデータの予測に用いられるコンポーネント(予測式)が場合分けされる場合、予測モデル評価部13は、学習データの観点で予測モデルの構造的な近さを評価してもよい。以下、学習データの観点から予測モデルの構造的な近さを評価する一例を説明する。

0029

まず、予測モデル評価部13は、ある学習区間における複数のサンプル点が、再学習前の予測モデルで用いられる各コンポーネントのいずれに配置されるか特定し、コンポーネントごとにサンプル点の集合を生成する。次に、予測モデル評価部13は、同じ複数のサンプル点が、再学習後の予測モデルで用いられる各コンポーネントのいずれに配置されるか特定し、コンポーネントごとにサンプル点の集合を生成する。そして、予測モデル評価部13は、再学習前の同一の集合内のサンプル点が、再学習後の各サンプル点の集合に含まれる割合を集合ごとに算出し、その割合の中から最大割合を特定する。予測モデル評価部13は、これを、全ての再学習前の集合に対して実施し、算出されたそれぞれの最大割合の平均を算出する。

0030

この最大割合の平均が大きいほど、再学習前のコンポーネントに分類されるサンプル点の集合が、できるだけ分散せずに再学習後のコンポーネントに分類されることを意味する。これは、ユーザから見れば、再学習前に同様の予測が行われるデータ群が、再学習後でも同様の予測が行われることになるため、予測モデルが構造的に近いと言える。このように、予測モデル評価部13は、再学習前の予測モデルで共通して分類されるサンプル点集合のうち、再学習後の予測モデルでも共通して分類されるサンプル点の割合を、予測モデルの構造的な近さとして評価してもよい。

0031

また、入力されるデータの内容に応じてそのデータの予測に用いられるコンポーネント(予測式)が場合分けされる場合、予測モデル評価部13は、その場合分けの近さを予測モデルの構造的な近さとして評価してもよい。場合分け処理は、コンポーネントが混合している予測モデル(例えば、回帰木など)について、各コンポーネントを分割する処理とも言えるため、予測モデルの構造の近さは、コンポーネントを分割する近さということもできる。

0032

以下の説明では、コンポーネントを分割する近さをエントロピーを用いた具体例で説明する。また、本説明では、再学習前の予測モデルを旧モデル、再学習後の予測モデルを新モデルと記し、コンポーネントのことを単に式と記すこともある。また、旧モデルで用いられるコンポーネント(予測式)の番号をxと記し、新モデルで用いられるコンポーネント(予測式)の番号をyと記す。

0033

ここでは、与えられたサンプルが予測モデルの各式にばらつく度合いをエントロピーで表わす。例えば、旧モデルが与えられた場合のエントロピーH(x)は、以下の式1で定義される。式1において、Pxは、サンプルが旧モデルのx番目の式に割り当てられる確率を示す。

0034

0035

また、旧モデルおよび新モデルが与えられた場合の結合エントロピーH(x,y)は、以下の式2で定義される。式2において、Px,yは、旧モデルでx番目の式が新モデルのy番目に式に対応する確率を示し、実質的には対応するデータセット新旧のモデルの各式に割り当てられる数に基づいて算出される。すなわち、割り当てられる式の偏りが小さいほど結合エントロピーは小さく算出される。

0036

0037

予測モデル評価部13は、あるサンプルの旧モデルで割り当てられていたコンポーネントが明らかになることで、そのサンプルが割り当てられる新モデルのコンポーネントがどの程度明らかになるかを示す指標が大きいほど、両モデルが構造的に近いと評価する。この指標は、相互情報量で表され、上述する確率分布の相互情報量I(x;y)は、以下の式3で定義される。

0038

0039

このように、旧モデルのある式に割り当てられたサンプルが新モデルの式に偏って割り当てられるほど両モデルが近いと言える。一方、旧モデルのある式に割り当てられたサンプルが新モデルの式に一様に割り当てられるほど両モデルは遠いと言える。このように、予測モデル評価部13は、旧モデルで決定されるコンポーネントと新モデルで決定されるコンポーネントの無秩序の度合いに基づいて、両予測モデルの性質の近さを評価してもよい。無秩序であるほど、両予測モデルは遠いと判断される。

0040

なお、上記説明では、予測モデル評価部13が予測モデルの性質の変化に着目して評価する場合について説明した。ただし、着目する予測モデルの変化は、予測結果の変化、または、予測モデルの構造的な変化に限られない。予測モデル評価部13は、例えば、推定精度の変化や、予測モデルで用いられるサンプル数の変化など、評価指標の変化を予測モデルの性質の変化として評価してもよい。

0041

図2は、評価指標、再学習ルールおよび更新評価ルールの例を示す説明図である。図2に例示する「再学習判定」の欄は、再学習ルールを定義する構成要素であり、再学習ルールが、「評価指標」の列に示す各評価指標の条件を「論理構造」の欄に示す演算子で結合した条件として表されることを示す。また、「対象選択」の欄は、再学習ルールに適合する予測モデルのうち、再学習する対象を選択するルールを示す。また、「再学習データ作り方」の欄は、再学習に用いられる学習データの生成方法を示す。また、「再学習後の出荷判定」の欄は、更新評価ルールを定義する構成要素であり、更新評価ルールが、「評価指標」の列に示す各評価指標の条件を「論理構造」の欄に示す演算子で結合した条件として表されることを示す。

0042

図2に例示する評価指標以外にも、例えば、直近1週間と学習直後1週間の平均誤差率の差、異種混合学習における1つの予測式(門関数を通った後)ごとの誤差率変化や時間経過などが評価指標に用いられてもよい。予測モデル評価部13は、これらの評価指標が論理結合(AND/OR)または一次結合された式の値を評価し、予め定めた条件を満たす予測モデルを更新対象として判定してもよい。

0043

なお、予測モデル更新判断部11も同様に、これらの評価指標が論理結合(AND/OR)または一次結合された式の値を評価し、さらに、計算リソースを考慮して、決められた数の予測モデルを再学習対象の予測モデルとして抽出してもよい。

0044

図2に例示する評価指標には、人間が判断しやすい内容が設定される。すなわち、図2に例示する評価指標を論理構造で組み合わせたルールは、人間が把握しやすく、更新判断を行う際に有用である。すなわち、図2に例示する評価指標を用いることで、再学習処理および更新処理がホワイトボックス化されて分かりやすくなるため、ルールを検討する際の人的コストを低減させることが可能になる。

0045

図2に例示するように、予測モデル更新判断部11が用いる基準(再学習ルール)と、予測モデル評価部13が用いる基準(更新評価ルール)は、同一でなくてもよい。本実施形態では、運用中の予測モデルを更新するまでに、2段階の基準を設けている。このように、2段階の基準を設けることで、処理対象の予測モデルを絞り込めるため、システム全体のコストを低減できる。

0046

また、更新評価ルールは、運用中の予測モデルを更新することになるため、更新評価ルールを再学習ルールよりも厳しい条件に設定してもよい。また、再学習ルールと更新評価ルールに用いられる判定対象(属性や経過日数など)は、同一であってもよく、異なっていてもよい。

0047

予測モデル更新部14は、予測モデル評価部13によって評価された両予測モデルの性質の近さが、更新評価ルールで規定する条件を満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する。更新評価ルールには、評価内容に応じて、予測モデルの更新を許容する近さが規定される。なお、予測モデル更新部14は、自動的に予測モデルを更新せず、ユーザにアラート通知するようにしてもよい。アラートの通知方法は任意であり、例えば、画面への表示やメールによる通知であってもよい。

0048

結果出力部15は、予測モデル再学習部12による再学習結果や、予測モデル更新部14による更新結果を出力する。結果出力部15は、再学習結果や更新結果を表示装置(図示せず)に表示してもよい。

0049

結果出力部15は、例えば、再学習ルールに適合した予測モデルの評価指標を他の評価指標と区別して(例えば、強調して)可視化してもよい。図3は、予測モデルの精度指標を可視化した例を示す説明図である。図3では、3種類の予測対象(おにぎり、サンドイッチ)の一ヶ月ごとの評価指標を例示している。また、図3に示す例では、“三ヶ月連続で最大誤差の絶対値が5を超えた”という再学習ルールを予測モデルが満たす場合に、再学習が行われるとする。

0050

図3に示す例では、まず、結果出力部15は、3種類の予測対象の一ヶ月ごとの平均誤差を出力する。この状態で、1つの予測対象(ここでは、おにぎり)が選択されると、結果出力部15は、選択された予測対象について、他の評価指標(ここでは、最大誤差、クレーム回数)を含む表形式で出力する。

0051

さらに、結果出力部15は、再学習を行うきっかけとなった箇所を他の指標と区別して可視化する。図3に示す例では、1月から3月の最大誤差の絶対値が5を超えており、そのことがきっかけで予測モデルが再学習されている。そこで、結果出力部15は、1月から3月の最大誤差の絶対値を示す欄を網掛け表示強調表示)する。また、結果出力部15は、更新タイミング図3に例示するラインL)を可視化してもよい。

0052

図4は、予測モデルの精度指標を可視化した他の例を示す説明図である。図4に示す例は、予測対象の評価指標をグラフ形式で出力したものであり、図3の表形式で出力された他の評価指標に相当する。そこで、結果出力部15は、1月から3月の最大誤差の絶対値を示す折れ線グラフを強調表示する。また、図3の場合と同様に、結果出力部15は、更新タイミング(図4に例示するラインL)を可視化してもよい。

0053

また、結果出力部15は、予測モデル再学習部12による再学習結果として、再学習前の予測モデルと再学習後の予測モデルの性質の類似性を可視化してもよい。図5は、再学習前の予測モデルと再学習後の予測モデルの類似性を可視化する例を示す説明図である。図5に示す例は、再学習前の予測モデルで各式に割り当てられたバリデーション用データが再学習後の予測モデルの式にどの程度の割合で割り当てられたかを示し、上述するPx,yに対応する。結果出力部15は、図5に例示する表を出力してもよく、割合を示す値に応じて図5に示すようにヒートマップで出力してもよい。

0054

このように、結果出力部15が再学習結果や更新結果を可視化して出力することで、人間が更新理由や更新タイミングを容易に把握できるため、結果として人的コストを低減できる。

0055

予測モデル更新判断部11と、予測モデル再学習部12と、予測モデル評価部13と、予測モデル更新部14と、結果出力部15とは、プログラム(予測モデル更新プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、予測モデル更新システムの記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、予測モデル更新判断部11、予測モデル再学習部12、予測モデル評価部13、予測モデル更新部14および結果出力部15として動作してもよい。

0056

また、予測モデル更新判断部11と、予測モデル再学習部12と、予測モデル評価部13と、予測モデル更新部14と、結果出力部15とは、それぞれが専用のハードウェアで実現されていてもよい。また、本発明による予測モデル更新システムは、2つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。

0057

次に、本実施形態の予測モデル更新システムの動作を説明する。図6は、本実施形態の予測モデル更新システムの動作例を示すフローチャートである。まず、予測モデル更新判断部11は、再学習ルールに基づいて、複数の予測モデルの中から更新候補の予測モデルを抽出する(ステップS11)。予測モデル再学習部12は、抽出された予測モデルを再学習する(ステップS12)。

0058

予測モデル評価部13は、更新評価ルールに基づいて、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する(ステップS13)。評価された性質の近さが更新評価ルールで規定される近さを満たす場合、予測モデル更新部14は、再学習後の予測モデルで再学習前の予測モデルを更新する(ステップS14)。

0059

以上のように、本実施形態では、予測モデル評価部13が、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価し、評価された性質の近さが更新評価ルールで規定される近さを満たす場合、予測モデル更新部14が、再学習後の予測モデルで再学習前の予測モデルを更新する。具体的には、予測モデル評価部13が、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価する。よって、予測モデルを更新する際の人的コストを低減できる。

0060

一般的に、解釈性のある予測モデルを用いて運用を行うと、ユーザは予測モデルの特性(例えば、当たりにくい状況や、予測モデルの活用方法など)を理解し、運用を最適化していく。そのため、例えば、性能指標だけでモデルを評価し、予測モデルを更新する方法の場合、予測モデルの構造自体が大きく変化してしまう場合もある。この場合、予測モデルの特性も大きく変化する為、ユーザは予測モデルの特性を把握しなおすとともに、運用方法も見直さなければならなくなるため、多くの人的コストがかかるおそれがある。

0061

しかし、本実施形態では、予測モデル評価部13が、再学習後の再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価し、その性質の近さが所定の条件を満たす場合に、予測モデル更新部14が予測モデルを更新する。そのため、更新される予測モデルは、更新前の予測モデルと性質的に近似することになる。この場合、予測モデルの特性の変化も抑えられるため、結果としてユーザの運用が効率的に回る可能性が高く、予測モデルの更新に伴う人的コストを低減できる。

0062

また、本実施形態では、予測モデル更新システムが、予測モデル更新判断部11、予測モデル再学習部12、予測モデル評価部13、予測モデル更新部14および結果出力部15を含む構成を例示した。

0063

ただし、結果出力部15が再学習結果と更新結果のいずれか一方を可視化して出力する場合、予測モデル更新システムの一部の構成で、別途システムが実現されてもよい。例えば、再学習結果に特化して可視化をする再学習結果可視化システムが、予測モデル更新判断部11と、予測モデル再学習部12と、結果出力部15を備える構成で実現されてもよい。また、更新結果に特化して可視化をする更新結果可視化システムが、予測モデル評価部13と、予測モデル更新部14と、結果出力部15を備える構成で実現されてもよい。

0064

次に、本発明の概要を説明する。図7は、本発明による予測モデル更新システムの概要を示すブロック図である。本発明による予測モデル更新システムは、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する予測モデル評価手段81(例えば、予測モデル評価部13)と、性質の近さが所定の条件(例えば、更新評価ルール)で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する予測モデル更新手段82(例えば、予測モデル更新部14)と備えている。

0065

そして、予測モデル評価手段81は、予測結果の近さ、または、構造的な近さを予測モデルの性質の近さとして評価する。そのような構成により、予測モデルを更新する際の人的コストを低減できる。

0066

また、予測モデル更新システムは、複数の予測モデルの中から、再学習するか否かを判断するためのルール(例えば、再学習ルール)で規定される条件を満たす予測モデルを抽出する予測モデル抽出手段(例えば、予測モデル更新判断部11)と、抽出された予測モデルを再学習する予測モデル再学習手段(例えば、予測モデル再学習部12)とを備えていてもよい。そして、予測モデル評価手段81は、予測モデル再学習手段による再学習後の予測モデルと、再学習前の予測モデルの性質の近さを評価してもよい。

0067

そのような構成によれば、再学習対象の予測モデルを絞り込むことができるため、計算に要するコスト(例えば、マシンリソースなど)を低減できる。これは、対象とする予測モデルが多くなればなるほど、より大きな効果を奏する。

0068

また、再学習前の予測モデルおよび再学習後の予測モデルが、予測対象のサンプルの内容に応じて、そのサンプルの予測に用いられるコンポーネントが決定される予測モデル(例えば、木構造の予測モデル、異種混合学習アルゴリズムにより生成される予測モデルなど)であってもよい。そして、予測モデル評価手段81は、予測対象のサンプルに対して、再学習前の予測モデルで決定されるコンポーネントと、再学習後の予測モデルで決定されるコンポーネントの無秩序の度合い(例えば、エントロピー、相互情報量)に基づいて予測モデルの性質の近さを評価してもよい。

0069

一方、予測モデル評価手段81は、再学習前の予測モデルによる予測結果と、再学習後の予測モデルによる予測結果の近さを、予測モデルの性質の近さ(例えば、予測結果の近さ)として評価してもよい。

0070

他にも、予測モデル評価手段81は、再学習前の予測モデルで用いられる属性(例えば、説明変数)と、再学習後の予測モデルで用いられる属性の重複度合いを、予測モデルの性質の近さ(例えば、構造的な近さ)として評価してもよい。

0071

他にも、予測モデル評価手段81は、再学習前の予測モデルで共通して分類されるサンプル点集合のうち、再学習後の予測モデルでも共通して分類されるサンプル点の割合を、予測モデルの性質の近さ(例えば、構造的な近さ)として評価してもよい。

0072

11予測モデル更新判断部
12 予測モデル再学習部
13 予測モデル評価部
14 予測モデル更新部
15結果出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 華為技術有限公司の「 モデル更新方法および装置、ならびにシステム」が 公開されました。( 2021/08/19)

    【課題・解決手段】本出願は、従来技術におけるモデルパフォーマンスの低下によるネットワークパフォーマンスの低下の問題を解決するための、モデル更新方法および装置、ならびにシステムを開示する。本方法は、第1... 詳細

  • ソフトバンクロボティクスグループ株式会社の「 学習装置、学習方法、及び学習プログラム」が 公開されました。( 2021/08/19)

    【課題】学習率を自律して更新可能な学習装置、学習方法及び学習プログラムを提供する。【解決手段】学習装置1は、学習モデル120によって出力された予測ラベルと教師ラベルとが一致した頻度を少なくとも示す共起... 詳細

  • 東芝メモリ株式会社の「 学習装置」が 公開されました。( 2021/08/19)

    【課題】誤り訂正符号の復号で用いられる重みの学習をより効率的に実行できる学習装置を提供する。【解決手段】実施形態の学習装置は、雑音生成部と、復号部と、生成部と、学習部と、を備える。雑音生成部は、第1符... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ