図面 (/)

技術 学習装置、プログラムパラメータおよび学習方法

出願人 ヤフー株式会社
発明者 宮崎祐小林隼人菅原晃平野口正樹
出願日 2017年10月19日 (2年4ヶ月経過) 出願番号 2017-202996
公開日 2019年5月23日 (9ヶ月経過) 公開番号 2019-079088
状態 未査定
技術分野 学習型計算機
主要キーワード 特徴行列 中間レイヤ リカレントニューラルネットワーク スマートデバイス 各入力情報 各中間層 復元器 アテンション
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年5月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

入力情報の特徴に応じて出力される出力情報をより適切にする。

解決手段

本願に係る学習装置は、入力情報が入力される入力層、当該入力層の出力から前記入力情報の特徴を段階的に抽出する複数の中間層、および前記複数の中間層により抽出された前記入力情報の特徴を出力する出力層とを有する符号化器と、前記符号化器の出力に対して、前記複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、前記適用器によってアテンション行列が適用された前記符号化器の出力から、前記入力情報に応じた出力情報を生成する復元器とを学習する学習部を有することを特徴とする。

概要

背景

近年、多段に接続されたニューロンを有するDNN(Deep Neural Network)を利用して言語認識画像認識等、入力された情報の特徴を学習する技術が知られている。例えば、このような技術が適用されたモデルは、入力情報次元量圧縮することで特徴を抽出し、抽出した特徴の次元量を徐々に拡大することで、入力情報の特徴に応じた出力情報を生成する。

概要

入力情報の特徴に応じて出力される出力情報をより適切にする。本願に係る学習装置は、入力情報が入力される入力層、当該入力層の出力から前記入力情報の特徴を段階的に抽出する複数の中間層、および前記複数の中間層により抽出された前記入力情報の特徴を出力する出力層とを有する符号化器と、前記符号化器の出力に対して、前記複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、前記適用器によってアテンション行列が適用された前記符号化器の出力から、前記入力情報に応じた出力情報を生成する復元器とを学習する学習部を有することを特徴とする。

目的

本願は、上記に鑑みてなされたものであって、入力情報の特徴に応じて出力される出力情報をより適切にすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力情報が入力される入力層、当該入力層の出力から前記入力情報の特徴を段階的に抽出する複数の中間層、および前記複数の中間層により抽出された前記入力情報の特徴を出力する出力層とを有する符号化器と、前記符号化器の出力に対して、前記複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、前記適用器によってアテンション行列が適用された前記符号化器の出力から、前記入力情報に応じた出力情報を生成する復元器とを学習する学習部を有することを特徴とする学習装置

請求項2

前記学習部は、前記入力層に対して情報を入力した際における前記中間層に含まれるノードの状態に基づいた複数の列成分を有するアテンション行列を適用する適用器を学習することを特徴とする請求項1に記載の学習装置。

請求項3

前記学習部は、同じ中間層に含まれる各ノードの状態に応じた値を同じ列に配置したアテンション行列を適用する適用器を学習することを特徴とする請求項2に記載の学習装置。

請求項4

前記学習部は、前記複数の中間層に含まれるノードのうち、一部のノードの状態に応じた複数の小行列に基づいたアテンション行列を適用する適用器を学習することを特徴とする請求項3に記載の学習装置。

請求項5

前記学習部は、新たに入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成するノードを含む複数の中間層を有する符号化器を学習することを特徴とする請求項1〜4のうちいずれか1つに記載の学習装置。

請求項6

前記学習部は、前記符号化器が有する複数の中間層が他の層に情報を提供する時系列的な構造に応じた要素の値を有するアテンション行列を適用する適用器を学習することを特徴とする請求項5に記載の学習装置。

請求項7

前記学習部は、前記複数の中間層が有するノードと対応する要素を含むアテンション行列であって、所定の情報を前記入力層に入力した際における各ノードの状態に応じた列成分を有し、各ノードの時系列的な状態に応じた行成分を有するアテンション行列を適用する適用器を学習することを特徴とする請求項5または6に記載の学習装置。

請求項8

前記学習部は、ある時系列において他のノードから情報が提供されないノードと対応する行成分を0とするアテンション行列を適用する適用器を学習することを特徴とする請求項7に記載の学習装置。

請求項9

前記学習部は、前記符号化器の出力に対して、前記アテンション行列の固有値固有ベクトル、若しくは特異値を適用する適用器を学習することを特徴とする請求項1〜8のうちいずれか1つに記載の学習装置。

請求項10

入力情報が入力される入力層、当該入力層の出力から前記入力情報の特徴を段階的に抽出する複数の中間層、および前記複数の中間層により抽出された前記入力情報の特徴を出力する出力層とを有する符号化器と、前記符号化器の出力に対して、前記複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、前記適用器によってアテンション行列が適用された前記符号化器の出力から、前記入力情報に応じた出力情報を生成する復元器とを学習する学習工程を含むことを特徴とする学習方法で生成される符号化器と適用器と復元器とからなるリカレントニューラルネットワークを含むプログラムパラメータ

請求項11

学習装置が実行する学習方法であって、入力情報が入力される入力層、当該入力層の出力から前記入力情報の特徴を段階的に抽出する複数の中間層、および前記複数の中間層により抽出された前記入力情報の特徴を出力する出力層とを有する符号化器と、前記符号化器の出力に対して、前記複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、前記適用器によってアテンション行列が適用された前記符号化器の出力から、前記入力情報に応じた出力情報を生成する復元器とを学習する学習工程を含むことを特徴とする学習方法。

技術分野

0001

本発明は、学習装置プログラムパラメータおよび学習方法に関する。

背景技術

0002

近年、多段に接続されたニューロンを有するDNN(Deep Neural Network)を利用して言語認識画像認識等、入力された情報の特徴を学習する技術が知られている。例えば、このような技術が適用されたモデルは、入力情報次元量圧縮することで特徴を抽出し、抽出した特徴の次元量を徐々に拡大することで、入力情報の特徴に応じた出力情報を生成する。

0003

特開2006−127077号公報

先行技術

0004

“Learning Phrase Representations using RNNEncoder−Decoder for Statistical Machine Translation”,Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio, arXiv:1406.1078v3 [cs.CL] 3 Sep 2014
“Neural Responding Machine for Short-Text Conversation” Lifeng Shang, Zhengdong Lu, Hang Li

発明が解決しようとする課題

0005

しかしながら、上記の従来技術では、入力情報の特徴に応じて適切な出力情報を出力しているとは言えない場合がある。

0006

例えば、入力情報の次元数を圧縮することで特徴を抽出した場合、特徴の周辺情報消失してしまう恐れがある。このような特徴の周辺情報が消失した場合、入力情報が有する特徴の周辺情報を考慮した出力情報を生成することができない。このため、例えば、上述した従来技術では、利用者発話を入力情報とし、発話に対する応答を出力情報とした場合、発話に含まれる特徴のみを用いて応答を出力してしまうため、発話に直接現れていない意図を反映させた応答等、自然な内容の文章を出力情報として生成できない恐れがある。

0007

本願は、上記に鑑みてなされたものであって、入力情報の特徴に応じて出力される出力情報をより適切にすることを目的とする。

課題を解決するための手段

0008

本願に係る学習装置は、入力情報が入力される入力層、当該入力層の出力から前記入力情報の特徴を段階的に抽出する複数の中間層、および前記複数の中間層により抽出された前記入力情報の特徴を出力する出力層とを有する符号化器と、前記符号化器の出力に対して、前記複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、前記適用器によってアテンション行列が適用された前記符号化器の出力から、前記入力情報に応じた出力情報を生成する復元器とを学習する学習部を有することを特徴とする。

発明の効果

0009

実施形態の一態様によれば、入力情報の特徴に応じて出力される出力情報をより適切にすることができる。

図面の簡単な説明

0010

図1は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。
図2は、実施形態に係るエンコーダの中間層における時系列的な構造の一例を示す図である。
図3は、実施形態に係る学習装置の構成例を示す図である。
図4は、実施形態に係る正解データデータベース登録される情報の一例を示す図である。
図5は、実施形態に係る処理の流れの一例を説明するフローチャートである。
図6は、ハードウェア構成の一例を示す図である。

実施例

0011

以下に、本願に係る学習装置、プログラムパラメータおよび学習方法を実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置、プログラムパラメータおよび学習方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

0012

[実施形態]
〔1−1.学習装置の一例〕
まず、図1を用いて、学習装置が実行する学習処理の一例について説明する。図1は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。図1では、学習装置10は、以下に説明する学習処理を実行する情報処理装置であり、例えば、サーバ装置クラウドシステム等により実現される。

0013

より具体的には、学習装置10は、インターネット等の所定のネットワークN(例えば、図3参照)を介して、任意の利用者が使用する情報処理装置100、200と通信可能である。例えば、学習装置10は、情報処理装置100、200との間で、各種データの送受信を行う。

0014

なお、情報処理装置100、200は、スマートフォンタブレット等のスマートデバイスデスクトップPC(Personal Computer)やノートPC等、サーバ装置等の情報処理装置により実現されるものとする。

0015

〔1−2.情報処理装置が学習するモデルの概要について〕
ここで、学習装置10は、入力された情報(以下、「入力情報」と記載する。)に対し、入力情報に対応する情報(以下、「出力情報」と記載する。)を出力するモデルL10の作成を行う。例えば、モデルL10は、w2v(word2vec)やs2v(sentence2vec)等、単語や文章をベクトル多次元量)に変換し、変換後のベクトルを用いて入力された文章に対応する応答を出力する。また、他の例では、モデルL10は、入力された静止画像動画像に対応する静止画像や動画像を出力する。また、他の例では、モデルL10は、利用者の属性が入力情報として入力された際に、利用者に対して提供する広告の内容や種別を示す情報を出力する。

0016

また、モデルL10は、例えば、ニュースやSNS(Social Networking Service)に利用者が投稿した各種の投稿情報等、任意のコンテンツが入力情報として入力された際に、対応する任意のコンテンツを出力情報として出力する。すなわち、モデルL10は、入力情報が入力された際に対応する出力情報を出力するのであれば、任意の種別の情報を入力情報および出力情報としてよい。

0017

ここで、モデルL10として、DNNが採用される場合、入力情報の特徴を抽出し、抽出した特徴に基づいて出力情報を生成する構成が考えられる。例えば、モデルL10の構成として、入力情報の特徴を抽出するエンコーダENと、エンコーダENの出力に基づいて、出力情報を生成するデコーダDCとを有する構成が考えられる。このようなモデルL10のエンコーダENやデコーダDCは、オートエンコーダ、RNN(Recurrent Neural Networks)、LSTM(Long short-term memory)等、各種のニューラルネットで構成される。

0018

ここで、エンコーダENは、入力情報の特徴を抽出するため、例えば、入力情報から入力情報が有する特徴を抽出するための複数の中間層を有する。例えば、エンコーダENがオートエンコーダにより実現される場合、エンコーダENは、入力情報の次元数を徐々に減少させる複数の中間層を有する。このような中間層は、入力情報の次元数を徐々に減少させることで、入力情報が有する特徴を抽出する。

0019

ここで、モデルL10のデコーダDCは、入力情報が有する特徴に基づいて、出力情報を生成する。しかしながら、エンコーダENが出力する特徴は、入力情報の次元数を徐々に減少させることにより抽出されるため、出力情報の生成に有用な情報が欠落している恐れがある。すなわち、エンコーダENは、入力情報が有する特徴のみをデコーダDCに引き渡すこととなるため、デコーダDCが出力する出力情報の精度を悪化させる恐れがある。

0020

そこで、学習装置10は、以下の学習処理を実行する。例えば、学習装置10は、入力情報が入力される入力層、入力層の出力から入力情報の特徴を段階的に抽出する複数の中間層、および複数の中間層により抽出された入力情報の特徴を出力する出力層とを有する符号化器と、符号化器の出力に対して、複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、適用器によってアテンション行列が適用された符号化器の出力から、入力情報に応じた出力情報を生成する復元器とを学習する。

0021

例えば、学習装置10は、入力層に対して情報を入力した際における中間層に含まれるノードの状態に基づいた複数の列成分を有するアテンション行列を適用する適用器の学習を行う。また、例えば、学習装置10は、同じ中間層に含まれる各ノードの状態に応じた値を同じ列に配置したアテンション行列を適用する適用器を学習する。

0022

すなわち、情報処理装置100は、エンコーダの出力に対し、エンコーダが入力情報から抽出する複数の特徴に基づいたアテンション行列を適用し、エンコーダの出力を値としてではなく行列としてデコーダに引き渡す。そして、学習装置10は、アテンション行列を適用したエンコーダの出力から、出力情報を生成するようにデコーダの学習を行う。

0023

このようにして適用されるアテンション行列は、入力情報をエンコーダに入力した際の、中間層におけるノードの状態の特徴を示す。換言すると、アテンション行列は、入力情報が有する特徴のみならず、特徴の周辺情報を示すと考えられる。このようなアテンション行列をエンコーダの出力、すなわち、エンコーダが入力情報から抽出した特徴を示す情報に適用することで、情報処理装置100は、中間層において消失される情報(すなわち、特徴の周辺情報の特徴)を、エンコーダの出力に適用することができる。そして、情報処理装置100は、エンコーダが抽出した特徴と、アテンション行列が示す特徴とを示す行列から出力情報をデコーダに生成させる。この結果、情報処理装置100は、モデルが生成する出力情報の精度を向上させることができる。

0024

〔1−3.エンコーダについて〕
ここで、学習装置10は、エンコーダとして、RNN、LSTM、CNN(Convolutional Neural Network)、DPCN(Deep Predictive Coding Networks)等、任意の構造を有するニューラルネットワークをエンコーダとして採用してよい。また、学習装置10は、各レイヤごとに、DPCNの構造を有するニューラルネットワークを採用してもよい。

0025

例えば、学習装置10は、エンコーダとして、RNNの構造を有するニューラルネットワークを採用する場合、新たに入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成するノードを含む複数の中間層を有するエンコーダを学習することとなる。このように、学習装置10は、複数のレイヤを有する中間層を備えたエンコーダを学習するのであれば、任意の形式のエンコーダを学習してよい。

0026

〔1−4.アテンション行列の生成について〕
ここで、学習装置10は、エンコーダが有する中間層、すなわち、入力情報の特徴を抽出する中間層のうち、複数のノードの状態に基づいて、アテンション行列の列成分を設定するのであれば、任意の手法によりアテンション行列の列成分を設定してよい。例えば、学習装置10は、エンコーダが出力層側から第1中間層、第2中間層、および第3中間層を有する場合、第1中間層に含まれるノードをアテンション行列の第1の行に対応付け、第2中間層に含まれるノードをアテンション行列の第2の行に対応付け、第3中間層に含まれるノードをアテンション行列の第3の行に対応付ける。そして、学習装置10は、各ノードが出力する値やノードの状況等に基づいて、アテンション行列の各値を設定する。すなわち、学習装置10は、複数の中間層に含まれるノードのそれぞれに基づいて、複数の列成分を有するアテンション行列を生成する適用器の学習を行う。

0027

ここで、学習装置10は、複数の中間層に対して所定の大きさの窓を設定し、中間層に含まれるノードのうち、窓に含まれるノードの状態や出力に基づいてアテンション行列を構成する小行列を設定してもよい。また、学習装置10は、このような窓を適宜移動させることで、複数の小行列を生成し、生成した複数の小行列からアテンション行列を設定してもよい。すなわち、学習装置10は、複数の中間層に含まれるノードのうち、一部のノードの状態に応じた複数の小行列に基づいたアテンション行列を適用する適用器を学習してもよい。

0028

また、学習装置10は、エンコーダの中間層がRNN等、前回出力した情報と新たに入力された情報とに基づいて新たな情報を出力する構造を有する場合、中間層が他の層に情報を提供する時系列的な構造に応じた要素の値を有するアテンション行列を適用する適用器を学習してもよい。例えば、出力層側から第1中間層、第2中間層、および第3中間層を有するエンコーダについて考える。このようなエンコーダの各中間層に属するノードは、前回出力した情報と新たに受付けた情報とに基づいて、新たな情報を出力することとなるが、どのタイミングで新たな情報を次の層へと伝達するか、どの情報に基づいて新たな情報を生成するかといった情報を提供する時系列的なバリエーションが存在する。

0029

例えば、図2は、実施形態に係るエンコーダの中間層における時系列的な構造の一例を示す図である。なお、図2に示す例では、エンコーダが有する3つの中間層が情報を提供する際の時系列的な構造の一例について記載した。また、図2は、中間層が情報を提供する際の時系列的な構造の一例を示すに過ぎず、実施形態を限定するものではない。

0030

例えば、学習装置10は、第1中間層から第m中間層までの中間層を有するデコーダにおいて、タイミングtからタイミングt+nまでの間における各中間層の状況に応じたアテンション行列を適用する場合、m行n−1列のアテンション行列を適用する適用器の学習を行う。すなわち、学習装置10は、複数の中間層が有するノードと対応する要素を含むアテンション行列であって、所定の情報を入力した際における各ノードの状態に応じた列成分を有し、各ノードの時系列的な状態に応じた行成分を有するアテンション行列を適用する適用器を学習する。

0031

例えば、図2中(A)に示すように、ある情報が入力されたタイミングtにおいて、第1中間層のノードから第2中間層のノードへと情報が伝達され、第2中間層のノードから第3中間層のノードへと情報が伝達されるone to one構造を有するエンコーダを考える。このような場合、学習装置10は、第3中間層のノードに基づく要素x11と、第2中間層のノードに基づく要素x21と、第1中間層のノードに基づく要素x31とを有するアテンション行列を適用する適用器を学習する。すなわち、学習装置10は、各ノードに応じた要素を列方向に並べたアテンション行列を設定する。

0032

また、例えば、図2中(B)に示すように、タイミングtにおいて、第1中間層のノードから第2中間層のノードへと情報が伝達され、第2中間層のノードから第3中間層のノードへと情報が伝達されるとともに、タイミングt+1において、第2中間層のノードがタイミングtで出力した値に基づいて新たな値を第3中間層へと伝達し、タイミングt+2において第2中間層のノードがタイミングt+1で出力した値に基づいて新たな値を第3中間層へと伝達するone to many構造を有するエンコーダを考える。このような場合、学習装置10は、タイミングtにおける各ノードの状態に基づく要素を第1列目に配置し、タイミングt+1における各ノードの状態に基づく要素を第2列目に配置し、タイミングt+3における各ノードの状態に基づく要素を第3列目に配置したアテンション行列を設定する適用器を学習する。

0033

より具体的には、学習装置10は、タイミングtにおける第3中間層のノードに基づく要素x11と、第2中間層のノードに基づく要素x21と、第1中間層のノードに基づく要素x31とを有するアテンション行列を適用する適用器を学習する。また、学習装置10は、タイミングt+1における第3中間層のノードに基づく要素x12と、第2中間層のノードに基づく要素x22と、第1中間層のノードに基づく要素x32とを有するアテンション行列を適用する適用器を学習する。また学習装置10は、タイミングt+2における第3中間層のノードに基づく要素x13と、第2中間層のノードに基づく要素x23と、第1中間層のノードに基づく要素x33とを有するアテンション行列を適用する適用器を学習する。

0034

ここで、タイミングt+1およびタイミングt+2において、第1中間層のノードには、入力層から情報が入力されず、情報を出力しない。そこで、学習装置10は、ある時系列において他のノードから情報が提供されないノードと対応する行成分を0とするアテンション行列を適用する適用器を学習する。より具体的には、学習装置10は、要素x32と要素x33の値として「0」を採用する。

0035

同様に、図2中(C)に示すように、タイミングtにおいて、第1中間層のノードから第2中間層のノードへと情報が伝達され、タイミングt+1において、第1中間層のノードから第2中間層のノードへと情報が伝達されるとともに、第2中間層のノードがタイミングtで生成した情報が第2中間層のノードへとフィードバックされ、タイミングt+2において、第1中間層のノードから第2中間層のノードへと情報が伝達され、第2中間層のノードがタイミングt+1で生成した情報と第1中間層のノードから伝達された情報とに基づいた情報を第3中間層のノードへと伝達するmany to one構造を有するエンコーダを考える。このような場合、学習装置10は、タイミングtおよびタイミングt+1において、第3中間層のノードは、値が入力されない。そこで、学習装置10は、要素x11と要素x12の値がして「0」となり、各ノードが各タイミングにおいて各ノードが出力した情報に基づく値となるアテンション行列を適用する適用器を学習する。

0036

ここで、適用器は、1つの中間層に含まれるノードの状態に基づいて、アテンション行列が有する複数の要素を設定してもよい。例えば、適用器は、第1中間層から第3中間層までの中間層を有するデコーダにおいて、タイミングtからタイミングt+4までの間における各中間層の状況に応じたアテンション行列を適用する場合、3行5列のアテンション行列を適用してもよい。

0037

例えば、図2中(D)に示すように、タイミングt〜t+2の間、第1中間層のノードから第2中間層のノードへと情報が伝達され、タイミングt〜t+4の間、第2中間層のノードの出力が第2中間層のノードへとフィードバックされるとともに、タイミングt+2〜t+4の間、第2中間層のノードの出力が第3中間層のノードへと伝達されるmany to many構造を有するエンコーダを考える。このような場合、適用器は、タイミングt〜t+4における第1中間層の出力に基づいて、アテンション行列の5行目の要素x51〜x55を設定し、タイミングt〜t+4における第2中間層の出力に基づいて、アテンション行列の2行目〜4行目の要素x21〜x25、x31〜x35、x41〜x45を設定し、タイミングt〜t+4における第3中間層の出力に基づいて、アテンション行列の1行目の要素x11〜x15を設定してもよい。

0038

なお、適用部は、例えば、第2中間層に対する入力に基づいて、アテンション行列の4行目の要素x41〜x45を設定し、第2中間層の状態に基づいて、アテンション行列の3行目の要素x31〜x35を設定し、第2中間層の出力に基づいて、アテンション行列の2行目の要素x21〜x25を設定してもよい。また、適用部は、例えば、第1中間層から第2中間層への接続係数に基づいてアテンション行列の4行目の要素x41〜x45を設定し、第2中間層の出力に基づいて、アテンション行列の3行目の要素x31〜x35を設定し、第2中間層から第3中間層へと接続係数に基づいて、アテンション行列の2行目の要素x21〜x25を設定してもよい。

0039

また、例えば、図2中(E)に示すように、タイミングt〜t+2の間、第1中間層のノードから第2中間層のノードへと情報が伝達され、タイミングt〜t+2の間、第2中間層のノードの出力が第2中間層のノードへとフィードバックされるとともに、タイミングt〜t+2の間、第2中間層のノードの出力が第3中間層のノードへと伝達されるmany to many構造を有するエンコーダを考える。このような場合、適用器は、各タイミングt〜t+2における第1中間層の出力に基づいて、アテンション行列の3行目の要素x31〜x33を設定し、第2中間層の出力に基づいて、アテンション行列の2行目の要素x21〜x23を設定し、第3中間層の出力に基づいて、アテンション行列の1行目の要素x11〜x13を設定してもよい。

0040

また、学習装置10は、任意の手法により、アテンション行列をエンコーダの出力に適用してよい。例えば、学習装置10は、単純にエンコーダの出力にアテンション行列を積算した行列を特徴行列として採用してもよい。また、学習装置10は、アテンション行列に基づいた行列をエンコーダの出力に適用してもよい。

0041

例えば、アテンション行列の固有値固有ベクトルは、アテンション行列が有する特徴、すなわち、単語群が有する特徴を示すとも考えられる。そこで、学習装置10は、エンコーダの出力に対して、アテンション行列の固有値や固有ベクトルを適用してもよい。例えば、学習装置10は、アテンション行列の固有値とエンコーダの出力との積をデコーダに入力してもよく、アテンション行列の固有ベクトルとエンコーダの出力との積をデコーダに入力してもよい。また、学習装置10は、アテンション行列の特異値をエンコーダの出力に適用し、デコーダに入力してもよい。

0042

〔1−5.デコーダの構成について〕
ここで、学習装置10は、アテンション行列が適用されたエンコーダの出力から、出力情報を生成するデコーダであれば、任意の構成を有するデコーダの学習をおこなってよい。例えば、学習装置10は、CNN、RNN、LSTM、DPCN等のニューラルネットワークにより実現されるデコーダの学習を行ってよい。

0043

例えば、デコーダは、入力層側から出力層側に向けて、状態レイヤ復元レイヤ、および単語復元レイヤを有する。このようなデコーダは、アテンション行列が適用されたエンコーダの出力を受付けると、状態レイヤが有する1つ又は複数のノードの状態を状態h1へと遷移させる。そして、デコーダは、復元レイヤにて、状態レイヤのノードの状態h1から最初に入力された入力情報の属性z1を復元するとともに、単語復元レイヤにて、状態h1と属性z1とから最初の入力情報y1を復元し、入力情報y1と状態h1から状態レイヤのノードの状態を状態h2へと遷移させる。なお、デコーダは、状態レイヤにLSTMやDPCNの機能を持たせることで、出力した属性z1を考慮して状態レイヤのノードの状態を状態h2へと遷移させてもよい。続いて、デコーダは、復元レイヤにて、前回復元した属性z1と状態レイヤのノードの現在の状態h2から、2番目に入力された入力情報の属性z2を復元し、属性z2と前回復元した入力情報y1とから、2番目に入力された入力情報y2を復元する。

0044

このようなデコーダにおいて、復元レイヤにDPCN等といった再帰型ニューラルネットワークの機能を持たせた状態で、エンコーダに入力された入力情報を復元するようにデコーダの学習を行った場合、復元レイヤは、入力情報の順序の特徴を学習することとなる。この結果、デコーダは、前回復元した入力情報の属性に基づいて、次に復元する入力情報の属性の予測を行うこととなる。すなわち、デコーダは、入力情報の出現順序を予測することとなる。このようなデコーダは、測定時において複数の入力情報が順次入力された場合に、順序に応じた入力情報の重要度を考慮して、出力情報を生成することとなる。

0045

〔1−6.測定処理について〕
なお、学習装置10は、上述した学習処理により学習が行われたモデルを用いて、情報処理装置100から受信した入力情報から出力情報を生成する測定処理を実行する。例えば、学習装置10は、情報処理装置100から入力情報を受信すると、受信した入力情報を順にモデルのエンコーダに入力し、デコーダが生成した出力情報を順次情報処理装置100へと出力する。

0046

〔1−7.学習装置10が実行する処理の一例〕
次に、図1を用いて、学習装置10が実行する学習処理および測定処理の一例について説明する。まず、学習装置10は、正解データとなる入力情報を情報処理装置200から取得する(ステップS1)。なお、正解データとなる入力情報は、例えば、論文や特許公報、ブログマイクロブログ、インターネット上のニュース記事等、任意のコンテンツが採用可能である。

0047

このような場合、学習装置10は、複数の中間レイヤを有するエンコーダENと、中間レイヤのノードの状態遷移の特徴を示すアテンション行列をエンコーダの出力に適用する適用器CGと、適用器の出力から出力情報を出力するデコーダDCとを学習する(ステップS2)。例えば、図1に示す例では、学習装置10は、エンコーダENとなるモデルと、適用器CGとなるモデルと、デコーダDCとなるモデルとを有するモデルL10を生成する。

0048

より詳細には、学習装置10は、入力情報の入力を受付ける入力層L11、入力層L11からの出力に基づいて入力情報の特徴を抽出する複数の中間層L12、および中間層L12の出力に基づいて入力情報の特徴を出力する出力層L13とを有するエンコーダENを生成する。ここで、中間層L12は、入力層L11が出力した情報の次元数を段階的に減少させることで、入力情報の特徴を抽出する機能を有するものとする。

0049

また、学習装置10は、入力情報が入力される度にエンコーダENが生成した値、すなわち、特徴を示す値に対して、中間層L12における各ノードの状態や接続係数に基づいたアテンション行列を適用する適用器CGを生成する。例えば、学習装置10は、ある入力情報を入力した際における中間層L12に含まれる各ノードの状態、出力、或いは接続係数に基づいた値を列成分とし、入力情報を順次入力した際における各ノードの状態の時系列的な変化を行成分としたアテンション行列を生成し、生成したアテンション行列をエンコーダENの出力に対して適用する適用器CGを生成する。

0050

また、学習装置10は、RNNであるデコーダDCであって、状態レイヤL20、復元レイヤL21、および復元レイヤL22を有するデコーダDCを生成する。そして、学習装置10は、文章に含まれる各入力情報を順次エンコーダENに入力した際に、適用器CGがエンコーダENにアテンション行列AMを適用した特徴行列Ctを出力し、デコーダDCが、特徴行列Ctから元の入力情報を順に復元するように、モデルL10の学習を行う。

0051

例えば、図1に示す例では、学習装置10は、入力情報C10を入力層L11のノードに入力する。この結果、エンコーダENは、入力情報の特徴Cを出力層L13から出力する。また、適用器CGは、特徴Cに対し、中間層L12に含まれる各ノードの状態に基づくアテンション行列AMを生成し、生成したアテンション行列AMを特徴Cと積算することで、特徴行列Ctを生成する。そして、適用器CGは、生成した特徴行列CtをデコーダDCに入力する。このような場合、デコーダDCは、特徴行列Ctから出力情報C20を生成する。

0052

ここで、学習装置10は、入力情報C10と出力情報C20とが同じになるように、若しくは、出力情報C20が入力情報C10と対応する内容となるように、モデルL10の各種パラメータを調整する。例えば、学習装置10は、エンコーダENやデコーダDCが有するノード間の接続係数を調整するとともに、適用器CGがエンコーダENの中間層L12からアテンション行列AMを生成する際のパラメータを調整する。例えば、学習装置10は、ノードの状態がどのような状態である際に、アテンション行列AMの対応する要素の値をどのような値にするかを示すパラメータ(例えば、係数等)の修正を行う。

0053

この結果、学習装置10は、入力情報C10が有する特徴をモデルL10に学習させるとともに、入力情報C10が有する特徴に応じた出力情報C20を生成するように、モデルL10の学習を行わせることができる。ここで、モデルL10は、出力情報を生成する際に、エンコーダENが出力する単純な値ではなく、エンコーダENが有する中間層L12のノードの状態に基づいたアテンション行列AMに基づいて、出力情報を生成する。すなわち、モデルL10は、エンコーダENに入力した入力情報が有するトピックを示すアテンション行列AMと、エンコーダENに入力した入力情報の特徴とに基づいて、出力情報を生成する。このため、学習装置10は、入力情報の特徴のみならず、エンコーダENにおいて除外される特徴の周辺情報に基づいて、出力情報を生成させることができるので、入力情報の特徴に応じて出力される出力情報をより適切にすることができる。

0054

続いて、学習装置10は、情報処理装置100から入力情報C31を取得する(ステップS3)。このような場合、学習装置10は、学習したモデルL10に入力情報C31を入力することで、出力情報C30を生成する測定処理を実行する(ステップS4)。そして、学習装置10は、生成した出力情報C30を情報処理装置100へと出力する(ステップS5)。

0055

〔2.学習装置の構成〕
以下、上記した学習処理を実現する学習装置10が有する機能構成の一例について説明する。図3は、実施形態に係る学習装置の構成例を示す図である。図3に示すように、学習装置10は、通信部20、記憶部30、および制御部40を有する。

0056

通信部20は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、情報処理装置100、200との間で情報の送受信を行う。

0057

記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク光ディスク等の記憶装置によって実現される。また、記憶部30は、正解データデータベース31およびモデルデータベース32を記憶する。

0058

正解データデータベース31には、正解データとなる入力情報と出力情報とが登録されている。例えば、図4は、実施形態に係る正解データデータベースに登録される情報の一例を示す図である。図4に示す例では、正解データデータベース31には、「正解データID(Identifier)」、「入力情報」、「出力情報」等といった項目を有する情報が登録される。

0059

ここで、「正解データID」は、正解データとなる入力情報や出力情報を識別するための情報である。また、「入力情報」とは、正解データとなる入力情報である。また、「出力情報」とは、対応付けられた「入力情報」がエンコーダENに入力された際に、デコーダDCに出力させたい出力情報、すなわち、正解データとなるsh通力情報である。なお、正解データデータベース31には、「入力情報」や「出力情報」以外にも、正解データに関する各種の情報が登録されているものとする。

0060

例えば、図4に示す例では、正解データID「ID#1」、入力情報「入力情報#1」、出力情報「出力情報#1」が対応付けて登録されている。このような情報は、正解データID「ID#1」が示す正解データが、入力情報「入力情報#1」と出力情報「出力情報#1」である旨を示す。なお、図4に示す例では、「入力情報#1」、「出力情報#1」等といった概念的な値について記載したが、実際には、入力情報やその入力情報が出力された際に所望される出力情報の各種コンテンツデータが登録されることとなる。

0061

図3戻り、説明を続ける。モデルデータベース32には、学習対象となるエンコーダENおよびデコーダDCを含むモデルL10のデータが登録される。例えば、モデルデータベース32には、モデルL10として用いられるニューラルネットワークにおけるノード同士の接続関係、各ノードに用いられる関数、各ノード間で値を伝達する際の重みである接続係数等が登録される。

0062

なお、モデルL10は、例えば、入力情報群に関する情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第1要素と、第1要素と第1要素の重みとに基づいて値が算出される第2要素と、を含み、入力層に入力された情報に対し、出力層以外の各層に属する各要素を第1要素として、第1要素と第1要素の重みとに基づく演算を行うことにより、各入力情報の属性と出現順序とに応じた重要度に基づいて、入力情報と対応する出力情報を生成し、生成した出力情報を出力層から出力するよう、コンピュータを機能させるためのモデルである。

0063

制御部40は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、学習装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部40は、コントローラ(controller)であり、例えば、ASIC(Application Specific IntegratedCircuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。

0064

また、制御部40は、記憶部30に記憶されるモデルL10に従った情報処理により、モデルL10の入力層に入力された入力情報群に関する情報に対し、モデルL10が有する係数(すなわち、モデルL10が学習した特徴に対応する係数)に基づく演算を行い、入力情報が入力される入力層、入力層の出力から入力情報の特徴を段階的に抽出する複数の中間層、および複数の中間層により抽出された入力情報の特徴を出力する出力層とを有する符号化器と、符号化器の出力に対して、複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、適用器によってアテンション行列が適用された符号化器の出力から、入力情報に応じた出力情報を生成する復元器として動作する。

0065

図3に示すように、制御部40は、抽出部41、学習部42、受付部43、生成部44、および出力部45を有する。なお、抽出部41および学習部42は、上述した学習処理を実行し、受付部43〜出力部45は、上述した測定処理を実行する。

0066

抽出部41は、入力情報を抽出する。例えば、抽出部41は、情報処理装置200から正解データとして入力情報と出力情報とを受信すると、受信した入力情報と出力情報とを正解データデータベース31に登録する。また、抽出部41は、学習処理を実行する所定のタイミングで、正解データデータベース31に登録された入力情報と出力情報との組を抽出し、抽出した入力情報と出力情報との組を学習部42に出力する。

0067

学習部42は、入力情報が入力される入力層、入力層の出力から入力情報の特徴を段階的に抽出する複数の中間層、および複数の中間層により抽出された入力情報の特徴を出力する出力層とを有する符号化器、すなわちエンコーダENの学習を行う。また、学習部42は、符号化器の出力に対して、複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器の学習を行う。また、学習部42は、適用器によってアテンション行列が適用された符号化器の出力から、入力情報に応じた出力情報を生成する復元器の学習を行う。

0068

ここで、学習部42は、入力層に対して情報を入力した際における中間層に含まれるノードの状態に基づいた複数の列成分を有するアテンション行列を適用する。例えば、学習部42は、同じ中間層に含まれる各ノードの状態に応じた値を同じ列に配置したアテンション行列を適用する適用器を学習する。

0069

なお、学習部42は、複数の中間層に含まれるノードのうち、一部のノードの状態に応じた複数の小行列に基づいたアテンション行列を適用する適用器を学習してもよい。また、学習部42は、新たに入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成するノードを含む複数の中間層を有する符号化器、すなわち、RNNの機能を有する中間層を有する符号化器を学習してもよい。

0070

ここで、学習部42は、符号化器がRNNの機能を有する中間層を有する場合、複数の中間層が他の層に情報を提供する時系列的な構造に応じた要素の値を有するアテンション行列を適用する適用器を学習する。例えば、学習部42は、複数の中間層が有するノードと対応する要素を含むアテンション行列であって、所定の情報を入力層に入力した際における各ノードの状態に応じた列成分を有し、各ノードの時系列的な状態に応じた行成分を有するアテンション行列を適用する適用器を学習する。また、学習部42は、ある時系列において他のノードから情報が提供されないノードと対応する行成分を0とするアテンション行列を適用する適用器を学習する。

0071

なお、学習部42は、符号化器の出力に対して、アテンション行列の固有値、固有ベクトル、若しくは特異値を適用する適用器を学習してもよい。

0072

例えば、学習部42は、入力層と複数の中間層と出力層とを有するエンコーダENを生成する。また、学習部42は、エンコーダENが有する複数の中間層の状態に基づいて、アテンション行列を生成し、生成したアテンション行列をエンコーダENの出力に対して適用する適用器CGを生成する。また、学習部42は、適用器CGによってアテンション行列が適用されたエンコーダENの出力、すなわち、特徴行列から入力情報に対応する出力情報を出力するデコーダDCを生成する。

0073

また、学習部42は、正解データとなる入力情報と出力情報との組を抽出部41から受付けると、受付けた入力情報をエンコーダENの入力層に入力し、デコーダDCに出力情報を出力させる。そして、学習部42は、デコーダDCが出力する出力情報が、正解データとなる出力情報に近づくように、デコーダDC、適用器CG、およびエンコーダENの学習を行う。例えば、学習部42は、バックプロパゲーション等の手法により、デコーダDCやエンコーダENが有する接続係数を修正する。なお、学習部42は、適用器CGが中間層の状態からアテンション行列を生成する際の各種パラメータを修正してもよい。そして、学習部42は、学習が行われたエンコーダEN、適用器CG、およびデコーダDCを有するモデルL10をモデルデータベース32へと登録する。

0074

ここで、エンコーダENがRNNの機能を有する中間層を有する場合、中間層が有するノードの時刻tにおける出力は、例えば、式(1)中の関数fとして示されるロジスティック関数により表すことができる。ここで、式(1)における添え字のtは、入力情報群のうちどの入力情報までが入力されたかという時系列を示す。また、式(1)中のyt−1は、エンコーダの出力層のノードの前回の出力を示し、St−1は、中間層のノードの前回の出力を示し、Ctは、新たな入力層の出力を示す。

0075

0076

ここで、以下の式(2)のαtjで示される重みパラメータを導入する。ここで、式(2)中のhは、エンコーダの出力を示す。

0077

0078

このような重みパラメータによる行列をアテンション行列とした場合、適用器が出力する特徴行列は、以下の式(3)で示される行列により表すことができる。

0079

0080

受付部43は、情報処理装置100から入力情報を受付ける。このような場合、受付部43は、受付けた入力情報を生成部44に出力する。

0081

生成部44は、上述した学習処理により学習が行われたモデルL10を用いて、入力情報から出力情報を生成する。例えば、生成部44は、モデルL10が有するエンコーダENの入力層に入力情報を入力する。そして、生成部44は、モデルL10が有するデコーダDCの出力層から出力される情報に基づいて、出力情報を生成する。

0082

出力部45は、情報処理装置100から受信した入力情報に対応する出力情報を出力する。例えば、出力部45は、生成部44が生成した出力情報を情報処理装置100へと送信する。

0083

〔3.学習装置が実行する処理の流れの一例〕
次に、図5を用いて、学習装置10が実行する処理の流れの一例について説明する。図5は、実施形態に係る処理の流れの一例を説明するフローチャートである。まず、学習装置10は、正解データを取得する(ステップS101)。続いて、学習装置10は、正解データとして取得した入力情報と出力情報とを抽出し(ステップS102)、複数の中間レイヤを有するエンコーダと、中間レイヤのノードの状態遷移の特徴を示すアテンション行列をエンコーダの出力に適用する適用器と、適用器の出力から出力情報を出力するデコーダとを学習する(ステップS103)。また、学習装置10は、測定対象として受付けた入力情報をエンコーダに入力し(ステップS104)、モデルが出力した出力情報を出力し(ステップS105)、処理を終了する。

0084

〔4.変形例〕
上記では、学習装置10による学習処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、学習装置10が実行する学習処理のバリエーションについて説明する。

0085

〔4−1.DPCNについて〕
また、学習装置10は、全体で一つのDPCNにより構成されるエンコーダENやデコーダDCを有するモデルL10の学習を行ってもよい。また、学習装置10は、状態レイヤL20、復元レイヤL21、復元レイヤL22がそれぞれDPCNにより構成されるデコーダDCを有するモデルL10の学習を行ってもよい。

0086

〔4−2.装置構成
上述した例では、学習装置10は、学習装置10内で学習処理および測定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、学習装置10は、学習処理のみを実行し、測定処理については、他の装置が実行してもよい。例えば、学習装置10が上述した学習処理によって生成したエンコーダおよびデコーダを有するモデルL10を含むプログラムパラメータを用いることで、学習装置10以外の情報処理装置が、上述した測定処理を実現してもよい。また、学習装置10は、正解データデータベース31を外部のストレージサーバに記憶させてもよい。

0087

〔4−3.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

0088

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

0089

また、上記してきた各実施形態は、処理内容矛盾させない範囲で適宜組み合わせることが可能である。

0090

〔5.プログラム〕
また、上述してきた実施形態に係る学習装置10は、例えば図6に示すような構成のコンピュータ1000によって実現される。図6は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。

0091

演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。

0092

出力IF1060は、モニタプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格コネクタにより実現される。また、入力IF1070は、マウスキーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。

0093

なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体テープ媒体磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。

0094

ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。

0095

演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。

0096

例えば、コンピュータ1000が学習装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムまたはデータ(例えば、モデル)を実行することにより、制御部40の機能を実現する。コンピュータ1000の演算装置1030は、これらのプログラムまたはデータ(例えば、モデル)を一次記憶装置1040から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。

0097

〔6.効果〕
上述したように、学習装置10は、入力情報が入力される入力層、入力層の出力から入力情報の特徴を段階的に抽出する複数の中間層、および複数の中間層により抽出された入力情報の特徴を出力する出力層とを有する符号化器と、符号化器の出力に対して、複数の中間層が抽出した複数の属性に基づいた複数の列成分を有するアテンション行列を適用する適用器と、適用器によってアテンション行列が適用された符号化器の出力から、入力情報に応じた出力情報を生成する復元器とを学習する。

0098

また、学習装置10は、入力層に対して情報を入力した際における中間層に含まれるノードの状態に基づいた複数の列成分を有するアテンション行列を適用する適用器を学習する。また、学習装置10は、同じ中間層に含まれる各ノードの状態に応じた値を同じ列に配置したアテンション行列を適用する適用器を学習する。

0099

また、学習装置10は、複数の中間層に含まれるノードのうち、一部のノードの状態に応じた複数の小行列に基づいたアテンション行列を適用する適用器を学習する。また、学習装置10は、新たに入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成するノードを含む複数の中間層を有する符号化器を学習する。

0100

また、学習装置10は、符号化器が有する複数の中間層が他の層に情報を提供する時系列的な構造に応じた要素の値を有するアテンション行列を適用する適用器を学習する。また、学習装置10は、複数の中間層が有するノードと対応する要素を含むアテンション行列であって、所定の情報を前記入力層に入力した際における各ノードの状態に応じた列成分を有し、各ノードの時系列的な状態に応じた行成分を有するアテンション行列を適用する適用器を学習する。例えば、学習装置10は、ある時系列において他のノードから情報が提供されないノードと対応する行成分を0とするアテンション行列を適用する適用器を学習する。

0101

また、学習装置10は、符号化器の出力に対して、アテンション行列の固有値、固有ベクトル、若しくは特異値を適用する適用器を学習する。

0102

このような処理の結果、学習装置10は、符号化の際に損失する情報(すなわち、特徴の周辺情報)を考慮して、入力情報から出力情報を生成するモデルL10を学習することができるので、入力情報の特徴に応じて適切な出力情報を出力することができる。

0103

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

0104

また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

0105

10学習装置
20通信部
30 記憶部
31正解データデータベース
32モデルデータベース
40 制御部
41 抽出部
42 学習部
43 受付部
44 生成部
45 出力部
100、200 情報処理装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • オムロン株式会社の「 学習装置、学習方法、及びそのプログラム」が 公開されました。( 2019/09/19)

    【課題】処理対象物に対しての加工・組立等の処理において、制御対象に与える指令値を生成するための補正量を学習する技術を提供する。【解決手段】補正量に基づいて目標値を補正した指令値を出力するコントローラと... 詳細

  • オムロン株式会社の「 学習装置、学習方法、及びそのプログラム」が 公開されました。( 2019/09/19)

    【課題】処理対象物に対する、加工・組立等の処理において、制御対象に与える指令値を生成するための補正量を効率的に学習する技術を提供する。【解決手段】補正量に基づいて目標値を補正した指令値を出力するコント... 詳細

  • 富士通株式会社の「 最適化装置及び最適化装置の制御方法」が 公開されました。( 2019/09/19)

    【課題】評価関数がペナルティ関数項を含む最適化問題に対して計算時間を短縮する。【解決手段】第1評価関数計算部21は評価関数のうちコスト関数項Eiを、第2評価関数計算部22は評価関数のうちペナルティ関数... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ