図面 (/)

技術 機械学習用モデル生成装置及びプログラム。

出願人 富士ゼロックス株式会社
発明者 谷口元樹大熊智子鈴木星児
出願日 2016年9月8日 (4年5ヶ月経過) 出願番号 2016-175389
公開日 2018年3月15日 (2年11ヶ月経過) 公開番号 2018-041300
状態 特許登録済
技術分野 検索装置 学習型計算機
主要キーワード 隠れユニット 正準相関分析 機械学習処理 未知データ 推定確率 追加学習 機械学習手法 事前学習
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

追加学習用のモデルを生成する際に、事前学習の条件の探索のために時間をかけることなく、自動的に事前学習時のクラスを決定して事前学習を行うこと。

解決手段

本発明の画像読取装置は、予め関係性が定義されたクラスの互いの関係性に基づいて、前記クラス間類似度を算出する、第一類似度算出手段と、前記クラスの特徴量に基づいて、前記クラス間の類似度を算出する、第二類似度算出手段と、前記第一算出手段及び前記第二算出手段の算出結果に基づき、前記クラス間が類似しているか否かを判定する、判定手段と、前記判定手段によって類似していると判定されたクラス同士を、一つのクラスに統合するクラス統合手段と、教師あり機械学習処理を行う機械学習手段と、を具えている。

概要

背景

自然言語処理を用いたアプリケーション要素技術としても用いられる固有表現抽出は、テキストに含まれる固有名詞等の固有表現を抽出する技術であり、Support Vector Machine(SVM)や、Conditional Random FieldsCRFs)などの識別問題(分類問題)を扱う機械学習手法を用いたシステムが知られている。

下記特許文献1には、既存のモデルパラメータへの影響を少なくしたままで、追加データ適応したモデルパラメータ推定することができる、モデルパラメータ推定方法が開示されている。

下記非特許文献1には、CRFsに隠れユニット層が追加されたCRFsの派生一種であるHidden-Unit CRF(HUCRF)が開示されている。

下記非特許文献2には、ラベル付けされていないデータ群に対して正準相関分析を利用したクラスタリングによって仮のラベル付けをしたデータをHUCRFに学習させ、得られるパラメータを初期値として実際にラベルがつけられているデータで追加学習を行う事前学習の方法が開示されている。

概要

追加学習用のモデルを生成する際に、事前学習の条件の探索のために時間をかけることなく、自動的に事前学習時のクラスを決定して事前学習を行うこと。本発明の画像読取装置は、予め関係性が定義されたクラスの互いの関係性に基づいて、前記クラス間類似度を算出する、第一類似度算出手段と、前記クラスの特徴量に基づいて、前記クラス間の類似度を算出する、第二類似度算出手段と、前記第一算出手段及び前記第二算出手段の算出結果に基づき、前記クラス間が類似しているか否かを判定する、判定手段と、前記判定手段によって類似していると判定されたクラス同士を、一つのクラスに統合するクラス統合手段と、教師あり機械学習処理を行う機械学習手段と、を具えている。

目的

本発明は、事前学習の際にクラスの統合を行わない場合と比較して、学習精度が高くなるようなモデルを生成することのできる機械学習用モデル生成装置及びプログラムの提供を目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

予め関係性が定義されたクラスの互いの関係性に基づいて、前記クラス間類似度を算出する、第一類似度算出手段と、前記クラスの特徴量に基づいて、前記クラス間の類似度を算出する、第二類似度算出手段と、前記第一算出手段及び前記第二算出手段の算出結果に基づき、前記クラス間が類似しているか否かを判定する、判定手段と、前記判定手段によって類似していると判定されたクラス同士を、一つのクラスに統合するクラス統合手段と、教師あり機械学習処理を行う機械学習手段と、を具えた、機械学習用モデル生成装置

請求項2

前記関係性が階層構造またはグラフ構造である、請求項1記載の機械学習用モデル生成装置。

請求項3

前記機械学習手段が、モデルパラメータ推定するモデルパラメータ推定手段と、学習されたモデルパラメータからデータの各クラスにおける事後確率を推定する手段と、を具えている請求項1又は2記載のモデル生成装置。

請求項4

予め関係性が定義されたクラスの互いの関係性に基づいて、前記クラス間の類似度を第一類似度として算出するステップと、前記クラスの特徴量に基づいて、前記クラス間の類似度を第二類似度として算出するステップと、前記第一類似度及び前記第二類似度に基づき、前記クラス間が類似しているか否かを判定するステップと、類似していると判定されたクラス同士を、一つのクラスに統合するステップと、教師あり機械学習処理を行うステップと、をコンピュータに実行させるためのプログラム

技術分野

0001

本発明は、機械学習用モデル生成装置及びプログラムに関する。

背景技術

0002

自然言語処理を用いたアプリケーション要素技術としても用いられる固有表現抽出は、テキストに含まれる固有名詞等の固有表現を抽出する技術であり、Support Vector Machine(SVM)や、Conditional Random FieldsCRFs)などの識別問題(分類問題)を扱う機械学習手法を用いたシステムが知られている。

0003

下記特許文献1には、既存のモデルパラメータへの影響を少なくしたままで、追加データ適応したモデルパラメータ推定することができる、モデルパラメータ推定方法が開示されている。

0004

下記非特許文献1には、CRFsに隠れユニット層が追加されたCRFsの派生一種であるHidden-Unit CRF(HUCRF)が開示されている。

0005

下記非特許文献2には、ラベル付けされていないデータ群に対して正準相関分析を利用したクラスタリングによって仮のラベル付けをしたデータをHUCRFに学習させ、得られるパラメータを初期値として実際にラベルがつけられているデータで追加学習を行う事前学習の方法が開示されている。

0006

特開2015− 38709号公報

先行技術

0007

L.maaten, M.welling, L.K.Saul "Hidden-Unit Conditional Random Fields" Int. Conf. on Artificial Intelligence & Statistics pp.479-488, 2011
Y.B.Kim, K.Stratos, R.Sarikaya, "Pre-training of Hidden-UnitCRFs" Association for Computational Linguistics, pp.192-198, 2015

発明が解決しようとする課題

0008

識別問題においては、一般的に、ラベル(「タグ」等ともいわれる)が既に付与されている学習データ(既知データ)を与えて学習させる教師あり学習が行われ、学習の結果得られたモデルパラメータを用いて未知データの識別(いずれかのラベルを付与することによるクラス分類)を行う。このような、機械学習手法を用いて高い精度を達成するためには、一般的に大量の学習データ(コーパス辞書)が必要となる。

0009

例えば、企業内の文書には機密性の高い情報を含むものや、各企業独自の知識やルール前提にしないと意味を理解できないものが多いため、企業内文書に対して固有表現抽出を行うためには、学習用コーパスを独自に用意する必要が生じる。このような企業内文書に対して大量のアノテーション(関連する注釈情報)を付与するには極めてコストがかかるため、結果として、企業内文書に対して固有表現抽出を行おうとしても、高精度を達成できるだけの大量の学習データを用意することは現実的ではない。

0010

学習データを大量に用意できないタスクの場合でも、大量の学習データが存在する別のタスクで事前学習させたモデルパラメータ(「モデル」ともいう)の一部を初期条件として、目的のタスクで追加学習することで、学習精度(識別問題であれば、得られたモデルを用いて未知データを識別する場合の精度)を向上させられる場合があるが、精度が高くなるような適切な事前学習の条件が不明であるため、条件の探索に時間がかかる。

0011

本発明は、事前学習の際にクラスの統合を行わない場合と比較して、学習精度が高くなるようなモデルを生成することのできる機械学習用モデル生成装置及びプログラムの提供を目的とする。

課題を解決するための手段

0012

[機械学習用モデル生成装置]
請求項1に係る本発明は、予め関係性が定義されたクラスの互いの関係性に基づいて、前記クラス間類似度を算出する、第一類似度算出手段と、
前記クラスの特徴量に基づいて、前記クラス間の類似度を算出する、第二類似度算出手段と、
前記第一算出手段及び前記第二算出手段の算出結果に基づき、前記クラス間が類似しているか否かを判定する、判定手段と、
前記判定手段によって類似していると判定されたクラス同士を、一つのクラスに統合するクラス統合手段と、
教師あり機械学習処理を行う機械学習手段と、
を具えた、機械学習用モデル生成装置である。

0013

請求項2に係る本発明は、前記関係性が階層構造またはグラフ構造である、請求項1記載の機械学習用モデル生成装置である。

0014

請求項3に係る本発明は、前記機械学習手段が、モデルパラメータを推定するモデルパラメータ推定手段と、学習されたモデルパラメータからデータの各クラスにおける事後確率を推定する手段と、を具えている請求項1又は2記載のモデル生成装置である。

0015

[プログラム]
請求項4に係る本発明は、予め関係性が定義されたクラスの互いの関係性に基づいて、前記クラス間の類似度を第一類似度として算出するステップと、
前記クラスの特徴量に基づいて、前記クラス間の類似度を第二類似度として算出するステップと、
前記第一類似度及び前記第二類似度に基づき、前記クラス間が類似しているか否かを判定するステップと、
類似していると判定されたクラス同士を、一つのクラスに統合するステップと、
教師あり機械学習処理を行うステップと、
コンピュータに実行させるためのプログラムである。

発明の効果

0016

請求項1に係る本発明よれば、事前学習の際にクラスの統合を行わない場合と比較して、学習精度が高くなるようなモデルを生成することが可能となる。

0017

請求項2に係る本発明よれば、請求項1の効果に加えて、クラスの関係性が階層構造又はグラフ構造の場合に適用可能となる。

0018

請求項3に係る本発明よれば、請求項1又は2の効果に加えて、事後確率に基づいて算出された第二類似度に基づいてクラス間が類似しているか否かを判定される、機械学習用モデル生成装置が得られる。

0019

請求項4に係る本発明よれば、事前学習の際にクラスの統合を行わない場合と比較して、学習精度が高くなるようなモデルを生成することが可能となる。

図面の簡単な説明

0020

本発明の実施形態に係るモデル生成装置10の機能構成を示すブロック図である。
本発明の実施形態に係るモデル生成装置10のハードウェア構成を示すブロック図である。
本発明の実施形態に係るモデル生成装置10の動作を説明するためのフローチャートである。
実施例1に係るクラスの階層構造の例を示す。
実施例1に係るクラスにおける、各インスタンス推定確率の例である。
実施例1に係る学習クラス間の相関係数を示す行列である。
実施例1に係る学習クラス間の階層構造上の類似度と、クラスの階層構造との関係を示す。
実施例1において、クラスの統合処理がされた後の階層構造を示す。
実施例2に係るクラスのグラフ構造の例を示す。
実施例2に係るクラスにおける、各インスタンスの推定確率の例である。
実施例2に係る学習クラス間の相関係数を示す行列である。
実施例2に係る学習クラス間のグラフ構造上の類似度と、クラスのグラフ構造との関係を示す。
実施例2において、クラスの統合処理がされた後のグラフ構造を示す。

0021

図1は、本発明の実施形態に係るモデル生成装置10の機能構成を示すブロック図である。本実施形態のモデル生成装置10は、機械学習部11と、第一類似度算出部12と、第二類似度算出部13と、判定部14と、クラス統合部15と、出力部16を具えている。

0022

機械学習部11では、ラベル付き学習データが記録された学習データ17から機械学習処理が行われ、モデルパラメータの推定、及び、インスタンス(一件ごとの学習データ)がどのクラスに該当するのかというクラス分類に関する事後確率の推定、を行う。

0023

第一類似度算出部12では、機械学習部11で推定された各インスタンスの事後確率(以下、「推定確率」ともいう)を基にして生成されるベクトル量を各クラスの特徴量として、当該特徴量に基づいて各クラス間の類似度(「特徴量類似度」)を算出する。

0024

第二類似度算出部13では、クラスの関係性の情報18(例えば「クラスの階層」の情報)に基づいて、各クラス間の類似度(「関係性類似度」)を算出する。クラスの関係性の情報の初期値は、学習データ16のラベルを基に人手構築する。

0025

判定部14では、特徴量類似度と関係性類似度のそれぞれにおいて、各所定の閾値を超えている場合、そのクラスペアを「類似している」と判定する。

0026

クラス統合部15では、判定部14において「類似している」と判定されたクラスペアを一つのクラスに統合する処理を行い、学習データ17のラベルとクラスの関係性の情報18を更新する。

0027

出力部16では、判定部14において「類似している」と判定されたクラスペアが存在しない場合、機械学習部11によって推定されたモデルパラメータを出力する。

0028

図2は、モデル生成装置10ハードウェア構成を示す図である。モデル生成装置10は、CPU21、メモリ22、ハードディスクドライブ(HDD)等の記憶装置23、表示装置24を有し、これらの構成要素は、制御バス25を介して互いに接続されている。

0029

CPU21は、メモリ22または記憶装置23に格納された(あるいはCD−ROM等の記憶媒体(図示しない)から提供される)制御プログラム、に基づいて所定の処理を実行して、モデル生成装置10の動作を制御する。

0030

なお、本発明の実施に当たっては、モデル生成装置10が、キーボードタッチパネルなどの各種入力用インターフェイス装置を更に具えていても良い。

0031

次に、図3のフローチャートを参照しながら、各クラスの特徴量を各インスタンスの推定確率を基に算出する場合を例に、本実施形態に係るモデル生成装置の動作を説明する。以下に示す実施例は、事前に定義されたクラスの関係性が、図4に示す階層構造を有している場合(実施例1)、図9に示すグラフ構造を有している場合(実施例2)である。

0032

ステップS1では、階層構造の最下位のクラス(「法人名」、「政治組織名」、「都道府県名」、「市町村名」、「人名」)で機械学習処理が実行された後、各インスタンスについて推定確率が算出され、ステップS2へ進む。以下、各インスタンスの推定確率が、図5に示した値となった場合を例として説明する。(インスタンス1のデータの推定確率は、法人名:0.1、政治組織名:0.1、都道府県名:0.4、市町村名:0.3、人名:0.1となっている。)

0033

各クラスの特徴量は、例えば、各インスタンスの推定確率の値を各次元の値として持つベクトル量として算出することができる。

0034

ステップS2では、各インスタンスの推定確率から各学習クラスの特徴量が生成された後、生成された各学習クラスの特徴量に基づいて学習クラス間の相関係数が算出される。図6には、特徴量の相関行列として表現した。

0035

ステップS1、S2と並列で行うことが可能なステップS3では、クラスの階層構造に基づいて、各学習クラス間の階層構造上の類似度を算出する。例えば、同一の上位階層(親)の配下に存在するクラス同士(兄弟クラス)を類似度「1」とし、それ以外のクラス間については類似度「0」とすることで、階層構造上の類似度を算出することができる。

0036

図4の階層構造を例にした場合、「法人名」と「政治組織名」、及び、「都道府県名」と「市町村名」の組み合わせは、それぞれ、同一の親(「組織名」、「地名」)を親としているため、階層構造上の類似度は「1」となり、これら以外の組み合わせについては、階層構造上の類似度は「0」となる。図7には、各学習クラス間の類似度を行列として表現した。

0037

ステップS2及びS3の完了後にステップS4へ進み、ステップS4では、ステップS2で算出された特徴量の相関係数、及び、ステップS3で算出された階層構造上の類似度、がそれぞれ所定の閾値以上である学習クラスペアが、類似しているクラスペアとして抽出される。例として、特徴量の相関係数の閾値を0.5、階層構造上の類似度の閾値を0.5とした場合は、「市町村名」と「都道府県名」のペアが類似しているクラスペアとして抽出されることになる。

0038

ステップS4に続くステップS5では、類似しているクラスペアが存在するかどうかの判定が行われ、類似しているペアが存在する場合は、ステップS6へ進み、類似しているクラスペアが存在しない場合は、ステップS7へ進む。

0039

ステップS6では、ステップS4で抽出された類似しているクラスペアを一つのクラスに統合する。具体的には、階層構造として記録されているクラスの関係性の情報(階層構造の情報)と学習データのラベルの更新を行う。「市町村名」と「都道府県名」のペアが類似しているクラスペアであった場合、両者が統合され、統合後のクラス名(ラベル)としては、例えば、階層構造上の上位階層名(例:「地名」)を用いることができる(図8)。クラスの統合処理後、ステップS1、S3へ進む。

0040

再び進んだステップS1及びS3では、更新された階層構造の情報及び学習データのラベルに基づいて、それぞれ機械学習処理、各学習クラス間の階層構造上の類似度の算出が再度行われる。階層構造の更新により、「地名」が追加され、「市町村名」と「都道府県名」が削除された結果、階層構造の最下位のクラスは、「法人名」、「政治組織名」、「地名」、「人名」となる。

0041

このように、類似しているペアが存在しなくなるまでループが繰り返され、最終的にステップS7では、モデルが出力されて終了となる。

0042

実施例2では、小説のテキストから作者を推定するというタスクを想定したものであり、師弟・友人関係などから定義される作者間の関係性は、図9に示したようなグラフ構造を取る(線で結ばれるクラス(小説家名)間に、師弟関係や友人関係が存在することを示している)。

0043

ステップS1では、グラフ構造を構成する全クラスで機械学習処理が実行された後、各インスタンスについて推定確率が算出され、ステップS2へ進む。以下、各インスタンスの推定確率が、図5に示した値となった場合を例として説明する。(インスタンス1のデータの推定確率は、小説家A:0.1、小説家B:0.1、小説家C:0.4、小説家D:0.3、小説家E:0.1となっている。)

0044

各クラスの特徴量は、例えば、各インスタンスの推定確率の値を各次元の値として持つベクトル量として算出することができる。

0045

ステップS2では、各インスタンスの推定確率から各学習クラスの特徴量が生成された後、生成された各学習クラスの特徴量に基づいて学習クラス間の相関係数が算出される。図11には、特徴量の相関行列として表現した。

0046

ステップS1、S2と並列で行うことが可能なステップS3では、クラスのグラフ構造に基づいて、各学習クラス間のグラフ構造上の類似度を算出する。例えば、線で直接接続されているクラス同士を類似度「1」とし、それ以外のクラス間については類似度「0」とすることで、グラフ構造上の類似度を算出することができる。

0047

図12のグラフ構造を例にした場合、例えば「小説家A」は、「小説家B」、「小説家C」及び「小説家D」との組み合わせについて、グラフ構造上の類似度が「1」となり、「小説家E」との類似度は「0」となる。図12には、各学習クラス間の類似度を行列として表現した。

0048

ステップS2及びS3の完了後にステップS4へ進み、ステップS4では、ステップS2で算出された特徴量の相関係数、及び、ステップS3で算出されたグラフ構造上の類似度、がそれぞれ所定の閾値以上である学習クラスペアが、類似しているクラスペアとして抽出される。例として、特徴量の相関係数の閾値を0.5、グラフ構造上の類似度の閾値を0.5とした場合は、「小説家C」と「小説家D」のペアが類似しているクラスペアとして抽出されることになる。

0049

ステップS4に続くステップS5では、類似しているクラスペアが存在するかどうかの判定が行われ、類似しているペアが存在する場合は、ステップS6へ進み、類似しているクラスペアが存在しない場合は、ステップS7へ進む。

0050

ステップS6では、ステップS4で抽出された類似しているクラスペアを一つのクラスに統合する。具体的には、グラフ構造として記録されているクラスの関係性の情報(グラフ構造の情報)と学習データのラベルの更新を行う。例として、「小説家C」と「小説家D」のペアが類似しているクラスペアであった場合の統合処理後のグラフ構造を図13に示す。統合後のクラス名(ラベル)としては、例えば、統合前の両者の名称を結合した名称を用いることができる。クラスの統合処理後、ステップS1、S3へ進む。

0051

再び進んだステップS1及びS3では、更新されたグラフ構造の情報及び学習データのラベルに基づいて、それぞれ機械学習処理、各学習クラス間のグラフ構造上の類似度の算出が再度行われる。

実施例

0052

このように、類似しているペアが存在しなくなるまでループが繰り返され、最終的にステップS7では、モデルが出力されて終了となる。

0053

以上で説明をしたように、本発明は、機械学習用モデル生成装置及びプログラムに適用することができる。

0054

10モデル生成装置
11機械学習部
12 第一類似度算出部
13 第二類似度算出部
14 判定部
15クラス統合部
16 出力部
17 学習データ
18 クラスの関係性の情報
21 CPU
22メモリ
23記憶装置
24表示装置
25 制御バス

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ