図面 (/)

技術 学習モデル評価装置、学習モデル評価方法、及び、コンピュータプログラム

出願人 株式会社豊田中央研究所
発明者 与語康宏柚木孝裕
出願日 2019年7月2日 (1年11ヶ月経過) 出願番号 2019-123912
公開日 2021年1月28日 (4ヶ月経過) 公開番号 2021-009618
状態 未査定
技術分野 学習型計算機
主要キーワード 機械学習モデル データ間距離 ブラックボックス化 偏回帰係数 削減対象 機械学習システム 付加割合 科学的根拠
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年1月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

機械学習モデル妥当性を評価する技術において、テストデータ信頼性に影響されない評価結果を得る。

解決手段

学習モデル評価装置は、ビッグデータから作成された機械学習モデルと、ビッグデータのうちの重要度が相対的に低い一部の変数についてのデータから、機械学習モデルと同じ機械学習手法により作成された評価用モデルと、を取得する取得部と、機械学習モデルの予測精度と、評価用モデルの予測精度とを比較することによって、機械学習モデルの妥当性を評価する評価部と、を備える。

概要

背景

機械学習によって作成された機械学習モデル(以降、単に「学習モデル」とも呼ぶ)は、製造現場をはじめとする種々の現場活用されている。機械学習では一般的に、データ中の変数重要度を評価し、重要度が相対的に高い変数のデータを学習モデルに取り込む一方、重要度が相対的に低い変数のデータは学習モデルに取り込まない、又は影響度を低くした状態で学習モデルに取り込む処理が行われる。しかし、数多くの変数を有するビッグデータから学習モデルを作成する場合、ビッグデータ中の変数の重要度の評価が正しく行われず、重要度が相対的に低い変数を用いて学習モデルが作成される場合がある(以降、「不適切な学習モデル」とも呼ぶ)。不適切な学習モデルを、例えば製造現場における検査工程に適用した場合、期待する検査精度が得られないため、不良品を検出できない、検査精度向上の取り組みのための工数が掛かる、といった問題があった。

そこで、不適切な学習モデルの実工程への適用を回避するため、作成された学習モデルの妥当性事前に評価したいという要望がある。しかし、学習モデルはブラックボックス化されていることが多いため、学習モデルの内部を詳細に観察し、評価することは困難である場合が多い。この点、例えば、非特許文献1には、学習モデルを交差検証(クロスバリデーション:Cross Validation)により評価することが記載されている。

概要

機械学習モデルの妥当性を評価する技術において、テストデータ信頼性に影響されない評価結果を得る。学習モデル評価装置は、ビッグデータから作成された機械学習モデルと、ビッグデータのうちの重要度が相対的に低い一部の変数についてのデータから、機械学習モデルと同じ機械学習手法により作成された評価用モデルと、を取得する取得部と、機械学習モデルの予測精度と、評価用モデルの予測精度とを比較することによって、機械学習モデルの妥当性を評価する評価部と、を備える。

目的

本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、機械学習モデルの妥当性を評価する技術において、テストデータの信頼性に影響されない評価結果を得ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

学習モデル評価装置であって、ビッグデータから作成された機械学習モデルと、前記ビッグデータのうちの重要度が相対的に低い一部の変数についてのデータから、前記機械学習モデルと同じ機械学習手法により作成された評価用モデルと、を取得する取得部と、前記機械学習モデルの予測精度と、前記評価用モデルの予測精度とを比較することによって、前記機械学習モデルの妥当性を評価する評価部と、を備える、学習モデル評価装置。

請求項2

請求項1に記載の学習モデル評価装置であって、前記評価部は、前記ビッグデータのうち、前記機械学習モデルの作成に使用されたデータを用いて、前記機械学習モデルの予測精度を求め、前記ビッグデータのうち、前記評価用モデルの作成に使用されたデータを用いて、前記評価用モデルの予測精度を求める、学習モデル評価装置。

請求項3

請求項1または請求項2に記載の学習モデル評価装置であって、前記評価部は、前記機械学習モデルの予測精度が所定の要求精度よりも高く、かつ、前記評価用モデルの予測精度が前記要求精度以下である場合に、前記機械学習モデルは妥当であると評価する、学習モデル評価装置。

請求項4

請求項1から請求項3のいずれか一項に記載の学習モデル評価装置であって、前記評価部は、前記機械学習モデルの予測精度が前記要求精度よりも高く、かつ、前記評価用モデルの予測精度が前記要求精度よりも高い場合に、前記ビッグデータの再取得を推奨する旨の案内を行う、学習モデル評価装置。

請求項5

請求項1または請求項2に記載の学習モデル評価装置であって、前記評価部は、前記機械学習モデルの予測精度が、前記評価用モデルの予測精度よりも高い場合に、前記機械学習モデルは妥当であると評価する、学習モデル評価装置。

請求項6

請求項1または請求項2に記載の学習モデル評価装置であって、前記評価部は、前記機械学習モデルの予測精度が、前記評価用モデルの予測精度に所定の付加割合を乗じた値よりも高い場合に、前記機械学習モデルは妥当であると評価する、学習モデル評価装置。

請求項7

請求項1から請求項6のいずれか一項に記載の学習モデル評価装置であって、前記評価用モデルの作成に使用されるデータを選択するための前記変数の重要度は、前記機械学習モデルの作成過程において決定される、学習モデル評価装置。

請求項8

請求項1から請求項7のいずれか一項に記載の学習モデル評価装置であって、さらに、前記機械学習モデルと、前記評価用モデルとを作成するモデル作成部を備える、学習モデル評価装置。

請求項9

学習モデル評価方法であって、情報処理装置が、ビッグデータから作成された機械学習モデルと、前記ビッグデータのうちの重要度が相対的に低い一部の変数についてのデータから、前記機械学習モデルと同じ機械学習手法により作成された評価用モデルと、を取得する工程と、前記機械学習モデルの予測精度と、前記評価用モデルの予測精度とを比較することによって、前記機械学習モデルの妥当性を評価する工程と、を備える、方法。

請求項10

コンピュータプログラムであって、情報処理装置に、ビッグデータから作成された機械学習モデルと、前記ビッグデータのうちの重要度が相対的に低い一部の変数についてのデータから、前記機械学習モデルと同じ機械学習手法により作成された評価用モデルと、を取得するステップと、前記機械学習モデルの予測精度と、前記評価用モデルの予測精度とを比較することによって、前記機械学習モデルの妥当性を評価するステップと、を実行させる、コンピュータプログラム。

技術分野

0001

本発明は、学習モデル評価装置、学習モデル評価方法、及び、コンピュータプログラムに関する。

背景技術

0002

機械学習によって作成された機械学習モデル(以降、単に「学習モデル」とも呼ぶ)は、製造現場をはじめとする種々の現場活用されている。機械学習では一般的に、データ中の変数重要度を評価し、重要度が相対的に高い変数のデータを学習モデルに取り込む一方、重要度が相対的に低い変数のデータは学習モデルに取り込まない、又は影響度を低くした状態で学習モデルに取り込む処理が行われる。しかし、数多くの変数を有するビッグデータから学習モデルを作成する場合、ビッグデータ中の変数の重要度の評価が正しく行われず、重要度が相対的に低い変数を用いて学習モデルが作成される場合がある(以降、「不適切な学習モデル」とも呼ぶ)。不適切な学習モデルを、例えば製造現場における検査工程に適用した場合、期待する検査精度が得られないため、不良品を検出できない、検査精度向上の取り組みのための工数が掛かる、といった問題があった。

0003

そこで、不適切な学習モデルの実工程への適用を回避するため、作成された学習モデルの妥当性事前に評価したいという要望がある。しかし、学習モデルはブラックボックス化されていることが多いため、学習モデルの内部を詳細に観察し、評価することは困難である場合が多い。この点、例えば、非特許文献1には、学習モデルを交差検証(クロスバリデーション:Cross Validation)により評価することが記載されている。

先行技術

0004

ピーターフラッハ,彰通、機械学習−データを読み解くアルゴリズム技法−、書店、2017年3月25日、19頁,344頁

発明が解決しようとする課題

0005

しかし、非特許文献1に記載の技術では、ビッグデータを、学習用データテストデータとに分割した上で、学習用データを用いて学習モデルを作成し、テストデータを用いて作成された学習モデルを評価する。すなわち、非特許文献1に記載の技術では、学習モデルの作成に使用される学習用データと、評価に使用されるテストデータとが異なるデータである。このため、学習用データとテストデータとが偶然大きく異なる場合も存在し、非特許文献1に記載の技術では、得られた評価結果において、テストデータの信頼性を疑う余地が残るという課題があった。なお、このような課題は、製造現場で活用される学習モデルに限らず、機械学習によって作成された学習モデルの全般に共通する。

0006

本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、機械学習モデルの妥当性を評価する技術において、テストデータの信頼性に影響されない評価結果を得ることを目的とする。

課題を解決するための手段

0007

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

0008

(1)本発明の一形態によれば、学習モデル評価装置が提供される。この学習モデル評価装置は、ビッグデータから作成された機械学習モデルと、前記ビッグデータのうちの重要度が相対的に低い一部の変数についてのデータから、前記機械学習モデルと同じ機械学習手法により作成された評価用モデルと、を取得する取得部と、前記機械学習モデルの予測精度と、前記評価用モデルの予測精度とを比較することによって、前記機械学習モデルの妥当性を評価する評価部と、を備える。

0009

この構成によれば、評価部は、機械学習モデルの予測精度と、評価用モデルの予測精度とを比較することによって、機械学習モデルの妥当性を評価する。このため、機械学習モデルの作成に使用された学習用データとは異なるテストデータを用いて機械学習モデルを評価する場合と比較して、テストデータの信頼性に影響されない評価結果を得ることができる。また、評価に使用される評価用モデルは、機械学習モデルの作成にも使用されたビッグデータのうちの、重要度が相対的に低い一部の変数についてのデータから、機械学習モデルと同じ機械学習手法により作成されている。このため、評価用モデルの予測精度は、機械学習モデルの予測精度に比べて低くなることが明らかである。評価部は、このような評価用モデルを用いて機械学習モデルの妥当性を評価するため、信頼性の高い評価結果を得ることができる。

0010

(2)上記形態の学習モデル評価装置において、前記評価部は、前記ビッグデータのうち、前記機械学習モデルの作成に使用されたデータを用いて、前記機械学習モデルの予測精度を求め、前記ビッグデータのうち、前記評価用モデルの作成に使用されたデータを用いて、前記評価用モデルの予測精度を求めてもよい。
この構成によれば、評価部は、機械学習モデルの作成に使用されたデータを用いて機械学習モデルの予測精度を求め、評価用モデルの作成に使用されたデータを用いて評価用モデルの予測精度を求める。すなわち、評価部は、同一のデータを用いてモデル作成と評価(具体的には、評価用の予測精度の算出)とを行うため、テストデータの信頼性に影響されない評価結果を得ることができる。

0011

(3)上記形態の学習モデル評価装置において、前記評価部は、前記機械学習モデルの予測精度が所定の要求精度よりも高く、かつ、前記評価用モデルの予測精度が前記要求精度以下である場合に、前記機械学習モデルは妥当であると評価してもよい。
評価用モデルは、機械学習モデルの作成にも使用されたビッグデータのうちの、重要度が相対的に低い一部の変数についてのデータから、機械学習モデルと同じ機械学習手法により作成されているため、評価用モデルの予測精度は低くなるのが妥当である。この点、本構成によれば、評価部は、機械学習モデルの予測精度が所定の要求精度よりも高く、かつ、評価用モデルの予測精度が要求精度以下である場合に、機械学習モデルは妥当であると評価する。このため、機械学習モデルの妥当性評価に加えてさらに、評価用モデルの妥当性評価をも実施することができる。

0012

(4)上記形態の学習モデル評価装置において、前記評価部は、前記機械学習モデルの予測精度が前記要求精度よりも高く、かつ、前記評価用モデルの予測精度が前記要求精度よりも高い場合に、前記ビッグデータの再取得を推奨する旨の案内を行ってもよい。
この構成によれば、評価部は、機械学習モデルが妥当でない場合に、推奨される解決策(ビッグデータの再取得)を案内するため、利便性を向上できる。

0013

(5)上記形態の学習モデル評価装置において、前記評価部は、前記機械学習モデルの予測精度が、前記評価用モデルの予測精度よりも高い場合に、前記機械学習モデルは妥当であると評価してもよい。
この構成によれば、評価部は、機械学習モデルの予測精度が、評価用モデルの予測精度よりも高い場合に、機械学習モデルは妥当であると評価するため、簡単に機械学習モデルの妥当性の評価結果を得ることができる。

0014

(6)上記形態の学習モデル評価装置において、前記評価部は、前記機械学習モデルの予測精度が、前記評価用モデルの予測精度に所定の付加割合を乗じた値よりも高い場合に、前記機械学習モデルは妥当であると評価してもよい。
この構成によれば、評価部は、機械学習モデルの予測精度が、評価用モデルの予測精度に所定の付加割合を乗じた値よりも高い場合に、機械学習モデルは妥当であると評価する。このため、所定の付加割合を調整することによって、妥当性判断の基準を簡単に調整できる。

0015

(7)上記形態の学習モデル評価装置において、前記評価用モデルの作成に使用されるデータを選択するための前記変数の重要度は、前記機械学習モデルの作成過程において決定されてもよい。
この構成によれば、ビッグデータのうち、評価用モデルの作成に使用されるデータを選択するための変数の重要度は、機械学習モデルの作成過程において決定される変数の重要度と同一となるため、信頼性の高い評価結果を得ることができる。

0016

(8)上記形態の学習モデル評価装置では、さらに、前記機械学習モデルと、前記評価用モデルとを作成するモデル作成部を備えてもよい。
この構成によれば、さらにモデル作成部を備えるため、モデル作成部によって機械学習モデルと評価用モデルとを作成した上で、評価部によって作成された機械学習モデルの妥当性を評価することができる。

0017

なお、本発明は、種々の態様で実現することが可能であり、例えば、予め作成された機械学習モデルを評価する学習モデル評価装置、機械学習モデルを作成し評価する学習モデル評価装置、学習モデル評価装置を含む機械学習システム、これら装置及びシステム制御方法、これら装置及びシステムにおいて実行されるコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

図面の簡単な説明

0018

本発明の一実施形態としての学習モデル評価装置の構成を例示した説明図である。
ビッグデータの構成を例示した説明図である。
評価処理の手順を例示した説明図である。
評価処理の具体例を例示した説明図である。
評価処理の具体例を例示した説明図である。
学習モデルの妥当性評価の方法を例示した説明図である。
評価部による評価の具体例を例示した説明図である。
評価部による評価の具体例を例示した説明図である。
第2実施形態の学習モデル評価装置の構成を例示した説明図である。
第2実施形態の評価処理の手順を例示した説明図である。

実施例

0019

<第1実施形態>
図1は、本発明の一実施形態としての学習モデル評価装置1の構成を例示した説明図である。学習モデル評価装置1は、ビッグデータから機械学習により作成された機械学習モデルの妥当性を評価する装置である。以降、機械学習モデルを単に「学習モデル」とも呼ぶ。本実施形態の学習モデル評価装置1は、評価用モデルを用いて学習モデルの妥当性を評価することにより、テストデータの信頼性に影響されない評価結果を得ることができる。

0020

学習モデル評価装置1は、例えばパーソナルコンピュータ(PC:Personal Computer)であり、CPU10と、記憶部20と、ROM/RAM30と、通信部40と、入出力部50とを備えている。学習モデル評価装置1の各部はバスにより相互に接続されている。

0021

CPU10は、ROM30に格納されているコンピュータプログラムをRAM30に展開して実行することにより、学習モデル評価装置1の各部を制御する。また、CPU10は、評価部11、モデル作成部12、及び取得部13としても機能する。評価部11、モデル作成部12、及び取得部13は、協働して後述の評価処理を実行する。評価処理は、ビッグデータ21から学習モデル22と評価用モデル23とを作成し、評価用モデル23を用いて学習モデル22の妥当性を評価する処理である。すなわち、評価処理において、学習モデル22は評価の対象となる機械学習モデルであり、評価用モデル23は評価のために用いられる機械学習モデルである。評価処理において、評価部11は、学習モデル22の妥当性を評価する。また、モデル作成部12は、学習モデル22と評価用モデル23とを作成する。取得部13は、モデル作成部12により作成された学習モデル22と評価用モデル23とを取得する。

0022

図2は、ビッグデータ21の構成を例示した説明図である。記憶部20は、ハードディスクフラッシュメモリメモリカードなどで構成される記憶媒体である。記憶部20には、予め、図2に示すビッグデータ21が記憶されている。図2に示すビッグデータ21の横軸は、n個(nは任意の自然数)の変数X1〜Xnを表している。ビッグデータ21の縦軸は、5個のエントリE1〜E5を表している。エントリE1〜E5には、変数X1〜Xnにそれぞれ対するデータの組(データセット)が記憶されている。なお、データセット中の「XXX」等の文字は、任意の数字や文字を意味する。図2の例では、n個の変数及び5個のエントリを例示したが、ビッグデータ21には、任意の数の変数及びエントリを含み得る。

0023

例えば、製造現場において使用されるビッグデータ21の場合、変数X1〜Xnとしては、例えば、製品製造条件としての温度、圧力、時間、回転数等や、製品の品質特性としての寸法、質量、強度等が採用できる。このとき、エントリE1〜E5に格納されるデータセットには、個別製品ごとの温度、圧力、時間、回転数、寸法、質量、強度等の計測値が格納される。なお、ビッグデータ21の構成は、ビッグデータ21及び学習モデル22が活用される種々の現場(例えば、商品販売現場、宿施設提供現場等)に応じて、適宜変更できる。

0024

図1戻り説明を続ける。記憶部20には、ビッグデータ21に加えて、後述の評価処理において、モデル作成部12によって作成された学習モデル22と、評価用モデル23とがそれぞれ記憶される。

0025

通信部40は、学習モデル評価装置1と他の装置との間における、通信インターフェースを介した通信を制御する。他の装置としては、例えば、他のサーバや、クライアント装置、及びビッグデータ21の各変数X1〜Xnのデータを取得する計測器等が挙げられる。入出力部50は、学習モデル評価装置1と、利用者との間の情報の入出力に使用される種々のインターフェースである。入出力部50としては、例えば、入力部としてのタッチパネルキーボードマウス、操作ボタンマイクや、出力部としてのタッチパネル、モニタスピーカーLED(Light Emitting Diode)インジケータ等を採用できる。

0026

図3は、評価処理の手順を例示した説明図である。図4及び図5は、評価処理の具体例を例示した説明図である。評価処理は、ビッグデータ21から学習モデル22と評価用モデル23とを作成し、評価用モデル23を用いて学習モデル22の妥当性を評価する処理である。評価処理は、種々の契機により開始することができるが、例えば、入出力部50からの所定のアプリケーション実行操作により開始される。

0027

テップS10において取得部13は、記憶部20に記憶されているビッグデータ21を取得する。ステップS12においてモデル作成部12は、ビッグデータ21から外れ値を除去するか否かを判定する。ここで「外れ値」とは、例えば計測器の不具合等によって、統計上、他の値から大きく外れた値を意味する。モデル作成部12は、ビッグデータ21の各変数X1〜Xnのデータについて、データ間距離(例えば、マハラノビス距離コサイン距離等)を算出することで外れ値の有無を求める。モデル作成部12は、外れ値が存在する場合に、外れ値を除去すると判定できる。なお、外れ値を除去するか否かは、利用者により予め設定されて、記憶部20に記憶されていてもよい。

0028

外れ値を除去する場合(ステップS12:YES)、ステップS14においてモデル作成部12は、図4(A)に示すように、ビッグデータ21中の外れ値VOを削除する。なお、モデル作成部12は、外れ値を含むエントリE4全体を削除してもよい。その後、モデル作成部12は処理をステップS16に遷移させる。外れ値を除去しない場合(ステップS12:NO)、モデル作成部12は処理をステップS16に遷移させる。

0029

ステップS16においてモデル作成部12は、ビッグデータ21から変数削減を実施するか否かを判定する。特にビッグデータ21に含まれる変数X1〜Xnの数が膨大である場合、適切な学習モデル22を得るために、学習モデル22の作成に先立ち変数X1〜Xnの一部を削除することがあり、これを「変数削減」と呼ぶ。モデル作成部12は、変数X1〜Xnと目的変数との相関を評価することで、変数削減の有無と、削減対象の変数とを決定する。なお、変数削減の有無と削減対象の変数とは、利用者により予め設定されて、記憶部20に記憶されていてもよい。この場合、利用者は、固有技術的な知見(科学的根拠に基づく知見、経験により得られた知見)により、目的変数と相関の低い変数、又は目的変数と明らかに関係のない変数を決定し、当該変数を削減対象の変数とできる。

0030

変数削減を実施する場合(ステップS16:YES)、ステップS18においてモデル作成部12は、図4(B)に示すように、ビッグデータ21から、削減対象の変数及び当該変数についてのデータを削除する。図4(B)の例では、モデル作成部12は、変数X5及び変数X5についてのデータを削除している。その後、モデル作成部12は処理をステップS20に遷移させる。変数削減を実施しない場合(ステップS16:NO)、モデル作成部12は処理をステップS20に遷移させる。

0031

なお、ステップS12〜S18は、モデル作成部12による学習モデル22及び評価用モデル23の作成のための前処理である。この前処理(ステップS12〜S18)は、少なくとも一部分、又は全部を省略してもよく、他の前処理が実施されてもよい。

0032

ステップS20においてモデル作成部12は、ビッグデータ21を、学習モデル22及び評価用モデル23作成のための学習用データDLと、学習モデル22の評価のためのテストデータDTと、に分割する。なお、テストデータDTは、学習モデル評価装置1による評価とは別の、周知の評価方法(例えば、交差検証等)のために使用するデータであり、本実施形態の学習モデル評価装置1では使用しない。モデル作成部12は、ビッグデータ21の分割を、予め定められた任意の規則に従って実施できる。図4(C)の例では、モデル作成部12は、エントリE1〜E3を学習用データDLとし、エントリE4,E5をテストデータDTとしている。なお、モデル作成部12は、ビッグデータ21の分割を行わず、エントリE1〜E5の全てを学習用データDLとしてもよい。

0033

ステップS22においてモデル作成部12は、ビッグデータ21の学習用データDLを用いて、機械学習により学習モデル22を作成する。この際、モデル作成部12は、ランダムフォレスト(Random Forest)、XGBoost(eXtreme Gradient Boosting)、及びLASSO(Least Absolute Shrinkage and Selection Operator)やRidge回帰といった正規化回帰手法等の、任意の機械学習手法を使用できる。図4(D)には、ビッグデータ21の学習用データDLから、学習モデル22が作成された様子を表している。モデル作成部12は、生成した学習モデル22を記憶部20に記憶させる。

0034

ステップS24において取得部13は、記憶部20の学習モデル22を取得する。また、ステップS24において評価部11は、学習モデル22の作成に使用されたデータ(すなわちビッグデータ21の学習用データDL)に対して、学習モデル22により予測を行い、学習モデル22の予測精度(以降、「予測精度22A」とも呼ぶ)を求める。なお、前処理(ステップS12〜S18)やデータ分割(ステップS20)が省略された場合、ステップS24においても同様に、前処理(ステップS12〜S18)やデータ分割(ステップS20)をしない状態のビッグデータ21に対して、学習モデル22による予測を実施する。図5(A)には、評価部11が予測精度22Aを求める様子を表している。評価部11は、求めた予測精度22Aを、記憶部20又はRAM30に記憶させる。

0035

ステップS26においてモデル作成部12は、ビッグデータ21の学習用データDLのうち、重要度が相対的に低い一部の変数についてのデータを用いて、評価用モデル23を作成する。ここで「重要度が相対的に低い変数」は、ステップS18において変数削減の対象とされた変数や、ステップS22の機械学習による学習モデル22の作成過程において、重要度が相対的に低いと判定された変数を意味する。機械学習において重要度が相対的に低いと判定されるのは、例えば、ランダムフォレストでimportanceが相対的に低いと判定された変数、XGBoostでGainが相対的に低いと判定された変数、LASSOやRidge回帰で標準化偏回帰係数が相対的に小さいと判定された変数である。「相対的に低い」ことの判定には、任意の手法を用いることができ、例えば、importance、Gain、及び標準化偏回帰係数に対する所定の閾値(例えば、0.05以下等)を設けてもよいし、各値が下位から所定割合に存在するか否か(例えば、全変数のうち下位から1/10等)により判定してもよい。

0036

図5(B)の例では、モデル作成部12は、ステップS18において変数削減の対象とされた変数X5と、ステップS22の学習モデル22の作成過程において重要度が相対的に低いと判定された変数X2及びX7と、についての学習用データDLを用いて、機械学習により評価用モデル23を作成する。この際、モデル作成部12は、学習モデル22の作成(ステップS22)の際に使用された手法と同じ機械学習手法を用いて、評価用モデル23を作成する。例えば、XGBoostにより学習モデル22が作成された場合、モデル作成部12は、XGBoostによって評価用モデル23を作成する。モデル作成部12は、生成した評価用モデル23を記憶部20に記憶させる。

0037

ステップS28において取得部13は、記憶部20の評価用モデル23を取得する。また、ステップS28において評価部11は、評価用モデル23の作成に使用されたデータ(すなわちビッグデータ21の学習用データDL)に対して、評価用モデル23により予測を行い、評価用モデル23の予測精度(以降、「評価用予測精度23A」とも呼ぶ)を求める。図5(C)には、評価部11が評価用予測精度23Aを求める様子を表している。評価部11は、求めた評価用予測精度23Aを、記憶部20又はRAM30に記憶させる。

0038

図6は、学習モデル22の妥当性評価の方法を例示した説明図である。図3のステップS30において評価部11は、ステップS24で求めた学習モデル22の予測精度22Aと、ステップS28で求めた評価用モデル23の評価用予測精度23Aとを比較して、学習モデル22の妥当性を評価する。

0039

図6の条件Cに示すように、評価部11は、所定の要求精度と、予測精度22A及び評価用予測精度23Aを比較することによって、学習モデル22の妥当性を評価している。所定の要求精度(以降、単に「要求精度」とも呼ぶ)は、予め定められて記憶部20に記憶されている。

0040

パターン1に示すように、予測精度22Aが要求精度よりも高く、かつ、評価用予測精度23Aが要求精度以下である場合、評価部11は、学習モデル22は妥当であると評価する。パターン1の場合、学習モデル22は、重要度が相対的に高い変数のデータを用いて作成された結果として高い予測精度22Aが得られたこと、一方、評価用予測精度23Aは、重要度が相対的に高い変数のデータを、重要度が相対的に低い変数のデータへと置き換えた結果として低い評価用予測精度23Aとなったこと、が推定できる。このため、パターン1の場合は、学習モデル22を実工程に適用してよいと評価できる。

0041

パターン2に示すように、予測精度22Aが要求精度よりも高く、かつ、評価用予測精度23Aが要求精度よりも高い(換言すれば、予測精度22Aと評価用予測精度23Aとの両方が要求精度よりも高い)場合、評価部11は、学習モデル22は妥当でないと評価する。パターン2の場合、ビッグデータ21の学習用データDLに、重要度が相対的に高い変数が含まれていないことが推定される。本来、重要度が相対的に低い変数のデータを用いて作成された学習モデルの予測精度は低くなるはずである。しかし、パターン2のように、予測精度22Aと評価用予測精度23Aとが共に高い場合は、学習モデル22が、学習用データDLに対して過剰に適合した結果、未知のデータに対する汎化誤差が大きくなった「過学習」の状態であることが推定できる。このため、パターン2の場合は、学習モデル22を実工程に適用することは妥当ではなく、学習モデル22を再作成すべきと評価できる。パターン2の場合、学習モデル22の再作成に先立って、新たな変数(新たな計測器等)の追加をすることが好ましい。

0042

パターン3に示すように、予測精度22Aが要求精度以下であり、かつ、評価用予測精度23Aが要求精度よりも高い場合は、通常想定されない。しかしながら、評価部11は、パターン3が生じた場合、学習モデル22は妥当でないと評価する。

0043

パターン4に示すように、予測精度22Aと評価用予測精度23Aとの両方が要求精度以下である場合、評価部11は、学習モデル22は妥当でないと評価する。パターン4の場合、パターン2と同様に、ビッグデータ21の学習用データDLに重要度が相対的に高い変数が含まれていないこと、又は、本来は重要度が相対的に低い変数を「重要度が高い」と誤評価したこと、のいずれかが原因であると推定できる。パターン4の場合、学習モデル22の過学習が起こらなかったことから、予測精度22Aと評価用予測精度23Aとの両方が低いと推定できる。このため、パターン4の場合は、学習モデル22を実工程に適用することは妥当ではなく、学習モデル22を再作成すべきと評価できる。パターン4の場合、ビッグデータ21の不足解消のためには、学習モデル22の再作成に先立って新たな変数(新たな計測器等)の追加をすることが好ましく、誤評価解消のためには、異なる機械学習手法を採用することが好ましい。

0044

なお、評価部11は、図6で説明した条件Cに代えて、以下に示す条件C1又は条件C2のいずれか一方を用いて、学習モデル22の妥当性を評価してもよい。

0045

(条件C1)
・評価部11は、予測精度22Aが評価用予測精度23Aよりも高い場合に、学習モデル22は妥当であると評価する(パターン1に相当)。
・評価部11は、予測精度22Aと評価用予測精度23Aとが等しい(又は所定の誤差範囲内にある)場合に、学習モデル22は妥当でないと評価する(パターン2又はパターン4に相当)。
・評価部11は、予測精度22Aが評価用予測精度23Aよりも低い場合に、学習モデル22は妥当でないと評価する(パターン3に相当)。

0046

条件C1によれば、評価部11は、学習モデル22の予測精度22Aが、評価用モデル23の評価用予測精度23Aよりも高い場合に、学習モデル22は妥当であると評価するため、簡単に学習モデル22の妥当性の評価結果を得ることができる。

0047

(条件C2)
・評価部11は、予測精度22Aが、評価用予測精度23Aに所定の付加割合を乗じた値よりも高い場合に、学習モデル22は妥当であると評価する(パターン1に相当)。ここで「付加割合」とは、妥当な学習モデル22であれば、当然に評価用モデル23よりも高いであろうと期待される精度の差分を求めるための割合(例えば10%等)であり、予め定められて記憶部20に記憶されている。
・評価部11は、予測精度22Aが、評価用予測精度23Aよりも高いものの、評価用予測精度23Aに所定の付加割合を乗じた値よりも低い場合に、学習モデル22は妥当でないと評価する(パターン2又はパターン4に相当)。
・評価部11は、予測精度22Aが評価用予測精度23Aよりも低い場合に、学習モデル22は妥当でないと評価する(パターン3に相当)。

0048

条件C2によれば、評価部11は、学習モデル22の予測精度22Aが、評価用モデル23の評価用予測精度23Aに所定の付加割合を乗じた値よりも高い場合に、学習モデル22は妥当であると評価する。このため、所定の付加割合を調整することによって、妥当性判断の基準を簡単に調整できる。

0049

図3に戻り説明を続ける。ステップS32において評価部11は、学習モデル22の妥当性の評価結果を、入出力部50を介して出力することにより、利用者に案内する。評価結果には、学習モデル22が妥当であるか否かのほか、ステップS30において求めたパターン(パターン1〜4)、学習モデル22が妥当でないと評価した理由、推奨される対応(新たな変数の追加とビッグデータの再取得、異なる機械学習手法の採用等)等のうちの少なくとも一部が含まれてもよい。その後、評価部11は処理を終了する。このような案内を行うことにより、評価部11は、学習モデル22の評価結果や、評価理由、学習モデル22が妥当でない場合に推奨される解決策等を案内するため、利便性を向上できる。

0050

図7及び図8は、評価部11による評価の具体例を例示した説明図である。図7(A)には、ビッグデータ21に含まれるある変数Xについて、学習モデル22により求めた予測精度22Aの一例を示す。図7(B)には、同変数Xについて、評価用モデル23により求めた評価用予測精度23Aの一例を示す。この変数Xは、×印を付したデータD1が基準線Lより上部にプロットされ、○印を付したデータD2が基準線Lより下部にプロットされた場合に「一致」と判定される。図7(A)及び(B)に示すように、予測精度22Aと、評価用予測精度23Aとは共に、高い一致率(約99%)であった。このため、評価部11は、本試験に用いた学習モデル22はパターン2に該当し、妥当でないと評価する。

0051

図8には、図7の学習モデル22を、未知のデータに適用して求めた予測精度22Aの一例を示す。図8に示すように、基準線Lよりも上部に位置すべき×印を付したデータD1と、基準線Lよりも下部に位置すべき○印を付したデータD2とが混在している。これは、図7の学習モデル22によって、期待する予測精度が得られていないことを意味している。このように、評価部11は、学習モデル22の予測精度22Aと、評価用モデル23の評価用予測精度23Aとを比較することによって、学習モデル22の妥当性を評価できる。

0052

以上のように、第1実施形態の学習モデル評価装置1によれば、評価部11は、学習モデル22の予測精度22Aと、評価用モデル23の評価用予測精度23Aとを比較することによって、学習モデル22の妥当性を評価する(図3:ステップS30、図6)。このため、学習モデル22の作成に使用された学習用データDLとは異なるテストデータDTを用いて学習モデル22を評価する場合と比較して、テストデータDTの信頼性に影響されない評価結果を得ることができる。また、評価に使用される評価用モデル23は、学習モデル22の作成にも使用されたビッグデータ21のうちの、重要度が相対的に低い一部の変数についてのデータから、学習モデル22と同じ機械学習手法により作成されている(ステップS26)。このため、評価用モデル23の評価用予測精度23Aは、学習モデル22の予測精度22Aに比べて低くなることが明らかである。評価部11は、このような評価用モデル23を用いて学習モデル22の妥当性を評価するため、信頼性の高い評価結果を得ることができる。

0053

この結果、第1実施形態の学習モデル評価装置1によれば、不適切な学習モデル22を実工程に適用することを回避できる。すなわち、不適切な学習モデル22を実工程に適用することに伴い生じる、期待する検査精度が得られない、不良品を検出できない、検査精度向上の取り組みのための工数が掛かる、といった問題の発生を抑制できる。

0054

また、第1実施形態の学習モデル評価装置1によれば、評価部11は、学習モデル22の作成に使用された学習用データDLを用いて学習モデル22の予測精度22Aを求め、評価用モデル23の作成に使用された学習用データDLを用いて評価用モデル23の評価用予測精度23Aを求める(図3:ステップS24,S28、図5)。すなわち、評価部11は、同一のデータを用いてモデル作成と評価(具体的には、評価用の予測精度22A,23Aの算出)とを行うため、テストデータDTの信頼性に影響されない評価結果を得ることができる。

0055

さらに、評価用モデル23は、学習モデル22の作成にも使用されたビッグデータ21のうちの、重要度が相対的に低い一部の変数についてのデータから、学習モデル22と同じ機械学習手法により作成されているため、評価用モデル23の評価用予測精度23Aは低くなるのが妥当である。この点、第1実施形態の学習モデル評価装置1によれば、評価部11は、条件Cによって、学習モデル22の予測精度22Aが所定の要求精度よりも高く、かつ、評価用モデル23の評価用予測精度23Aが要求精度以下である場合に、学習モデル22は妥当であると評価する(図6)。このため、学習モデル22の妥当性評価に加えてさらに、評価用モデル23の妥当性評価をも実施することができる。

0056

さらに、第1実施形態の学習モデル評価装置1によれば、ビッグデータ21のうち、評価用モデル23の作成に使用される学習用データDLを選択するための変数の重要度は、学習モデル22の作成過程において決定される変数の重要度と同一となるため、信頼性の高い評価結果を得ることができる(図3:ステップS26)。

0057

さらに、第1実施形態の学習モデル評価装置1は、モデル作成部12を備えるため、モデル作成部12によって学習モデル22と評価用モデル23とを作成した上で、評価部11によって作成された学習モデル22の妥当性を評価することができる。

0058

<第2実施形態>
図9は、第2実施形態の学習モデル評価装置1aの構成を例示した説明図である。第2実施形態の学習モデル評価装置1aは、学習モデル22及び評価用モデル23の作成を行わず、ネットワーク上に記憶されているビッグデータ21(図2)を用いて、学習モデル22の妥当性を評価する。図9に示すように、学習モデル評価装置1aは、第1実施形態で説明したモデル作成部12を備えておらず、取得部13に代えて取得部13aを備え、記憶部20に代えて記憶部20aを備えている。記憶部20aには、ビッグデータ21が記憶されておらず、かつ、学習モデル22及び評価用モデル23が予め記憶されている。学習モデル22及び評価用モデル23は、第1実施形態で説明した方法により機械学習されたモデルである。

0059

図10は、第2実施形態の評価処理の手順を例示した説明図である。第2実施形態の評価処理は、ステップS10に代えてステップS10aを備えると共に、第1実施形態(図3)で説明した前処理(ステップS12〜S18)、データ分割(ステップS20)、学習モデル22の作成(ステップS22)、及び評価用モデル23の作成(ステップS26)を備えていない。ステップS10aにおいて取得部13aは、通信部40を介して、ネットワーク上のデータサーバから、ビッグデータ21(図2)を取得する。その後、評価部11は、第1実施形態で説明した方法により、ステップS24,S28〜S32を実行する。

0060

このように、学習モデル評価装置1aの構成は種々の変更が可能であり、ビッグデータ21、学習モデル22、及び評価用モデル23の少なくとも一部がネットワーク上の他の装置に記憶されていてもよい。また、モデル作成部12による学習モデル22の作成と、モデル作成部12による評価用モデル23の作成と、の少なくとも一方は省略してもよい。さらに、評価部11が、取得部13の機能やモデル作成部12の機能を実行してもよい。このような第2実施形態の学習モデル評価装置1aによっても、上述した第1実施形態と同様の効果を奏することができる。

0061

<本実施形態の変形例>
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

0062

[変形例1]
上記第1,2実施形態では、学習モデル評価装置1,1aの一例を示した。しかし、学習モデル評価装置の構成は種々の変形が可能である。例えば、学習モデル評価装置は、1台の情報処理装置によって実現されてもよく、複数の情報処理装置によって実現されてもよい。例えば、学習モデル評価装置は、スマートフォン等のクライアント装置からの要求を受けて、当該クライアント装置に対して学習モデルの評価結果を出力してもよい。例えば、学習モデル評価装置は、異なる他の機能を実装した装置として構成されてもよい。

0063

[変形例2]
上記第1,2実施形態では、評価処理の一例を示した(図3)。しかし、評価処理の内容は種々の変更が可能であり、ステップにおける処理内容の追加/省略/変更をしてもよく、ステップの実行順序を変更してもよい。

0064

例えば、前処理(ステップS12〜S18)、データ分割(ステップS20)、学習モデル22の作成(ステップS22)、及び評価用モデル23の作成(ステップS26)のうちの少なくとも一部は、省略してもよく、実行順序を変更してもよい。また、前処理のうち、外れ値の除去(ステップS12,S14)、変数削減(ステップS16,S18)のいずれか一方は、省略してもよく、実行順序を変更してもよい。

0065

例えば、予測精度の算出処理(ステップS24,S28)では、学習用データDLに加えてさらに、テストデータDTの少なくとも一部又は全部を用いて、学習モデルの予測精度と、評価用モデルの評価用予測精度とを求めてもよい。なお、テストデータDTを用いる場合、テストデータの信頼性に影響されない評価結果を得るという観点から、学習用データDLを主体としつつ、一定割合(例えば、20%等)のテストデータDTを追加する態様とすることが好ましい。

0066

例えば、比較評価(ステップS30)では、上述した条件C,C1,C2以外の他の条件を用いてもよい。例えば、利用者の要求や、学習モデル22の作成に使用された機械学習手法等に応じて、比較評価(ステップS30)において採用される条件(条件C,C1,C2,他の条件)が変更可能であってもよい。

0067

[変形例3]
上記第1,2実施形態の学習モデル評価装置の構成、及び上記変形例1,2の学習モデル評価装置の構成は、適宜組み合わせてもよい。

0068

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

0069

1,1a…学習モデル評価装置
10…CPU
11…評価部
12…モデル作成部
13,13a…取得部
20,20a…記憶部
21…ビッグデータ
22…学習モデル
22A…予測精度
23…評価用モデル
23A…評価用予測精度
30…ROM/RAM
40…通信部
50…入出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ