図面 (/)

技術 学習装置、プログラムパラメータ、学習方法およびモデル

出願人 ヤフー株式会社
発明者 宮崎祐小林隼人谷尾香里菅原晃平野口正樹
出願日 2017年7月20日 (2年7ヶ月経過) 出願番号 2017-141314
公開日 2019年2月7日 (1年0ヶ月経過) 公開番号 2019-021218
状態 未査定
技術分野 機械翻訳 検索装置 学習型計算機
主要キーワード フィルター関数 概念構造 活性化関数 部分モデル セレンディピティ リカレントニューラルネットワーク スマートデバイス サブ行列
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年2月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

適切なテキスト類推を行う。

解決手段

本願に係る学習装置10は、所定の文章に含まれる単語群を抽出する抽出部41と、前記単語群に含まれる各単語が前記文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器と、前記単語群に含まれる各単語と、当該各単語の属性と、当該各単語が前記文章中に出現する順序とを前記文章中における各単語の属性系列とともに前記特徴から復元する復元器とを学習する学習部42とを有することを特徴とする。

概要

背景

従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、入力されたテキストに含まれる単語、文章文脈多次元ベクトルに変換して解析し、解析結果に基づいて、入力されたテキストと類似するテキストや、入力されたテキストに続くテキストを類推し、類推結果を出力する自然言語処理の技術が知られている。

概要

適切なテキストの類推を行う。本願に係る学習装置10は、所定の文章に含まれる単語群を抽出する抽出部41と、前記単語群に含まれる各単語が前記文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器と、前記単語群に含まれる各単語と、当該各単語の属性と、当該各単語が前記文章中に出現する順序とを前記文章中における各単語の属性系列とともに前記特徴から復元する復元器とを学習する学習部42とを有することを特徴とする。

目的

本願は、上記に鑑みてなされたものであって、適切なテキストの類推を行うことを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定の文章に含まれる単語群を抽出する抽出部と、前記単語群に含まれる各単語が前記文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器と、前記単語群に含まれる各単語と、当該各単語の属性と、当該各単語が前記文章中に出現する順序とを前記文章中における各単語の属性系列とともに前記特徴から復元する復元器とを学習する学習部とを有することを特徴とする学習装置

請求項2

前記学習部は、前記単語群に含まれる各単語が前記文章中に出現する順序とともに当該単語群が有する特徴を学習する符号化器、および、前記単語群に含まれる各単語の属性と当該各単語が前記文章中に出現する順序とに基づく各単語の前記所定の文章における重要度に基づいて、前記単語群に含まれる各単語と当該各単語が前記文章中に出現する順序とを前記文章中における各単語の属性系列とともに前記特徴から復元する復元器とを学習することを特徴とする請求項1に記載の学習装置。

請求項3

前記学習部は、前記復元器として、前記特徴から前記単語群に含まれる各単語の属性を復元する第1の層であって、入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成する第1の層と、当該第1の層の出力から前記単語群に含まれる各単語を復元する第2の層とを有する復元器を学習することを特徴とする請求項1または2に記載の学習装置。

請求項4

前記学習部は、前記第1の層として、入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成する第1の層との畳み込みに基づいて、新たに出力する情報を生成する第1の層を有する復元器を学習することを特徴とする請求項3に記載の学習装置。

請求項5

前記学習部は、前記第1の層として、DPCN(DeepPredictiveCodingNetworks)の構造を有する復元器を学習することを特徴とする請求項3または4に記載の学習装置。

請求項6

前記学習部は、前記符号化器として、前記単語群に含まれる各単語を入力する第3の層と、各単語の属性を入力する第4の層とを有し、当該第3の層および第4の層の出力から出力する特徴を生成する符号化器を学習することを特徴とする請求項1〜5のうちいずれか1つに記載の学習装置。

請求項7

所定の文章に含まれる単語群を抽出する抽出工程と、前記単語群に含まれる各単語が前記文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器と、前記単語群に含まれる各単語と、当該各単語の属性と、当該各単語が前記文章中に出現する順序とを前記文章中における各単語の属性系列とともに前記特徴から復元する復元器とを学習する学習工程とを含むことを特徴とする学習方法で生成される符号化器と復元器とからなるリカレントニューラルネットワークを含むプログラムパラメータ

請求項8

学習装置が実行する学習方法であって、所定の文章に含まれる単語群を抽出する抽出工程と、前記単語群に含まれる各単語が前記文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器と、前記単語群に含まれる各単語と、当該各単語の属性と、当該各単語が前記文章中に出現する順序とを前記文章中における各単語の属性系列とともに前記特徴から復元する復元器とを学習する学習工程とを含むことを特徴とする学習方法。

請求項9

単語群に含まれる各単語が前記文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器と、前記単語群に含まれる各単語と、当該各単語の属性と、当該各単語が前記文章中に出現する順序とを前記文章中における各単語の属性系列とともに前記特徴から復元する復元器とを含み前記符号化器が有する入力層に入力された所定の文章に関する情報に対し、前記復元器が有する出力層以外の層に属する各要素の出力と、各要素の出力に対する重みとに基づく演算を行うことにより、前記復元器が有する出力層から、前記単語群に含まれる各単語と各単語が前記文章中に出現する順序と前記文章中における各単語の属性系列とを示す情報を出力するようコンピュータを機能させるためのモデル

技術分野

0001

本発明は、学習装置プログラムパラメータ学習方法およびモデルに関する。

背景技術

0002

従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、入力されたテキストに含まれる単語、文章文脈多次元ベクトルに変換して解析し、解析結果に基づいて、入力されたテキストと類似するテキストや、入力されたテキストに続くテキストを類推し、類推結果を出力する自然言語処理の技術が知られている。

0003

特開2006−127077号公報

先行技術

0004

“Learning Phrase Representations using RNNEncoder−Decoder for Statistical Machine Translation”,Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio, arXiv:1406.1078v3 [cs.CL] 3 Sep 2014
"Unsupervised Learning of Visual Structure using Predictive Generative Networks” William Lotter, Gabriel Kreiman, David Cox <インターネット>https://arxiv.org/abs/1511.06380
"A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification” Ye Zhang, Byron Wallace <インターネット>https://arxiv.org/abs/1510.03820

発明が解決しようとする課題

0005

しかしながら、上記の従来技術では、適切なテキストの類推を行うことが難しい。

0006

例えば、上述の従来技術では、入力された単語やテキストと類似する単語やテキスト等を出力しているに過ぎない。このため、例えば、出力対象となる複数の単語が存在する場合に、単語同士の係り受けといった属性系列を考慮して、適切な構造を有する自然な文章を出力することができない。

0007

また、同じ単語が含まれる文章であっても、文章が主として示すトピックは、文章に含まれる各単語の属性と、各単語が出現する順序とに応じて変化すると考えられる。しかしながら、上述の従来技術では、入力された単語やテキストと類似する単語やテキスト等を出力しているに過ぎないため、文章が主として示すトピックを適切に反映させた自然言語処理を実現できない恐れがある。

0008

本願は、上記に鑑みてなされたものであって、適切なテキストの類推を行うことを目的とする。

課題を解決するための手段

0009

本願に係る学習装置は、所定の文章に含まれる単語群を抽出する抽出部と、前記単語群に含まれる各単語が前記文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器と、前記単語群に含まれる各単語と、当該各単語の属性と、当該各単語が前記文章中に出現する順序とを前記文章中における各単語の属性系列とともに前記特徴から復元する復元器とを学習する学習部とを有することを特徴とする。

発明の効果

0010

実施形態の一態様によれば、適切なテキストの類推を行うことができる。

図面の簡単な説明

0011

図1は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。
図2は、実施形態に係る学習装置の構成例を示す図である。
図3は、実施形態に係る正解データデータベース登録される情報の一例を示す図である。
図4は、実施形態に係る属性レイヤの模式的な構造の一例を示す図である。
図5は、実施形態に係るモデルが言語の畳み込みを行う技術の一例を示す図である。
図6は、実施形態に係る学習装置が学習するデコーダバリエーションを説明するための図である。
図7は、実施形態に係る学習装置が学習するエンコーダのバリエーションを示す図である。
図8は、実施形態に係る処理の流れの一例を説明するフローチャートである。
図9は、ハードウェア構成の一例を示す図である。

実施例

0012

以下に、本願に係る学習装置、プログラムパラメータ、学習方法およびモデルを実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置、プログラムパラメータ、学習方法およびモデルが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

0013

[実施形態]
〔1−1.学習装置の一例〕
まず、図1を用いて、学習装置が実行する学習処理の一例について説明する。図1は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。図1では、学習装置10は、以下に説明する学習処理を実行する情報処理装置であり、例えば、サーバ装置クラウドシステム等により実現される。

0014

より具体的には、学習装置10は、インターネット等の所定のネットワークN(例えば、図2参照)を介して、任意の利用者が使用する情報処理装置100、200と通信可能である。例えば、学習装置10は、情報処理装置100、200との間で、複数の単語(以下、「単語群」と記載する場合がある。)を含む文章の送受信を行う。

0015

なお、情報処理装置100、200は、スマートフォンタブレット等のスマートデバイスデスクトップPC(Personal Computer)やノートPC等、サーバ装置等の情報処理装置により実現されるものとする。

0016

〔1−2.学習処理について〕
ここで、情報処理装置100は、入力された文章に対応する応答を出力する。例えば、情報処理装置100は、w2v(word2vec)やs2v(sentence2vec)等、単語や文章をベクトル多次元量)に変換し、変換後のベクトルを用いて入力された文章に対応する応答を出力する。より具体的な例を挙げると、情報処理装置100は、利用者の発言に含まれる単語群から、異なる分野の単語群であって、利用者の発言に含まれる単語群と同様の概念構造を有する単語群を特定する。このような単語群を文章化して出力した場合には、利用者の発言と概念構造が類似する文章であって、利用者の発言とは異なる分野に属する概念の文章を出力することができるので、利用者のセレンディピティを生じさせることができると考えられる。

0017

しかしながら、文章には、単語群が有する概念以外にも、単語群を接続する係り受け等の各種属性の概念(以下、「属性系列」と記載する。)が含まれるため、このような単語群から適切な構造を有する自然な文章を生成するのは難しい。そこで、学習装置10は、以下の学習処理と測定処理とを実行する。

0018

例えば、学習装置10は、文章に含まれる単語群の特徴と、各単語が文章中に出現する順序の特徴とともに、各単語の属性をニューラルネットワーク等のモデルに学習させる。より具体的には、学習装置10は、情報処理装置200から受信する正解データを用いて、以下の学習処理を実行する。まず、学習装置10は、所定の文章に含まれる単語群を抽出する。そして、学習装置10は、単語群に含まれる各単語が文章中に出現する順序とともにその単語群が有する特徴を学習するエンコーダ(符号化器)と、単語群に含まれる各単語と、各単語の属性と、各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに特徴から復元するデコーダ(復元器)とを学習する。ここで、属性系列は、例えば、係り受けを示す係り受け情報である。

0019

より具体的には、学習装置10は、正解データとして受信した文章から単語群を抽出する。そして、学習装置10は、抽出した単語群に含まれる各単語を、文章に出現する順序でエンコーダに入力した際に、エンコーダが出力した特徴から、各単語の属性と各単語とを属性系列とともに、正解データとして受信した文章に出現する順序でデコーダが復元するように、モデル全体の学習を行う。このような学習は、例えば、バックプロパゲーション等の任意の学習手法が採用可能である。

0020

ここで、単語の属性とは、単語の品詞や単語の原型、所定の分類処理により単語を分類した際のクラスタリングの結果等、表面的には表れない単語の性質を示す情報である。すなわち、学習装置10は、単語群が文章中に出現する順序や属性系列といった表面的な言語情報の特徴(すなわち、意味構造の特徴)のみならず、文章中に現れない単語の性質(すなわち、言語構造の特徴)をも学習する。

0021

このような学習を行ったモデルに、情報処理装置100から受信した単語群を入力した場合は、単語群に含まれる各単語の属性が考慮された状態で、各単語が文章中に出現する順序で、属性系列とともに復元される。すなわち、モデルは、情報処理装置100から受信した単語群を含むであろう文章を、各単語の属性を考慮して復元する。この結果、学習装置10は、単語群に含まれる各単語の属性を考慮した上で、自然な文章を生成することができる。

0022

ここで、文章の構造によっては、文章が主として示す内容(トピック)が変化すると考えられる。例えば、同一の単語群を含む文章であっても、各単語の出願順序が異なる場合は、文章のトピックが変化する場合がある。より具体的な例を挙げると「彼はリンゴが好きです」という文章と「彼が好きなのはリンゴです」という文章とを比較した場合、後者の文章においては、「リンゴ」という目的語が「好き」という動詞よりも後に配置されているため、「リンゴ」という単語がより強調された文章となっている。このように、文章のトピックは、文章に含まれる各単語の属性と、各単語が文章中に出現する相対的な順序(例えば、目的語が動詞よりも前にあるか後ろにあるか等)によって変化すると考えられる。換言すると、文章中に含まれる各単語の重要性は、各単語の属性と、各単語が文章中に出現する順序(以下、「出現順序」と記載する。)とに関連していると考えられる。

0023

そこで、情報処理装置100は、各単語が出現する順序を考慮した文章の生成を実現するため、以下の学習処理を実行する。まず、学習装置100は、所定の文章に含まれる単語群を抽出する。そして、学習装置10は、復元器として、単語群に含まれる各単語の属性と各単語が文章中に出現する順序とに基づく各単語の所定の文章における重要度に基づいて、単語群に含まれる各単語と各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに特徴から復元する復元器を学習する。

0024

このように、学習装置10は、所定の文章に含まれる単語群を抽出する。また、学習装置10は、抽出した単語群に含まれる各単語が文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器の学習を行う。また、学習装置10は、単語群に含まれる各単語と、各単語の属性と、各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに符号化器が出力する特徴から復元する復元器を学習する。すなわち、学習装置10は、各単語が影響を受ける文法構造(例えば、文章中に出現する順番)を重みとして学習するためのしくみを畳み込み処理で実現する。

0025

より具体的には、学習装置10は、各単語の属性と出現順序とに基づく各単語の相対的な重要性をさらに復元器に学習させる。そして、学習装置10は、文章化の対象となる単語群から、単語群が有する相対的な重要性と各単語の属性とに基づいた順序で各単語が出現する文章を生成する復号器の学習を行う。この結果、学習装置10は、各単語の相対的な重要性に基づいて、各単語が出現する文章を生成することができるので、文章化の対象となる単語群からより自然な文章を生成することができる。

0026

〔1−3.デコーダの構成について〕
ここで、学習装置10は、エンコーダが出力した特徴から、各単語の重要度に基づいて、単語群に含まれる各単語と各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに特徴から復元するデコーダであれば、任意の構成を有するデコーダの学習をおこなってよい。例えば、学習装置10は、エンコーダが出力した特徴から、各単語の属性を復元する属性レイヤと、属性レイヤの出力から、各単語を文章中に出現する順序で復元する単語レイヤとを有するデコーダを学習する。より具体的には、学習装置10は、エンコーダが出力した特徴から各単語の属性を各単語が文章中に出現する順序で復元する属性レイヤと、エンコーダが出力した特徴と属性レイヤが復元した属性とに基づいて、文章中に出現する順序で各単語を復元する単語レイヤとを有するデコーダを学習する。

0027

ここで、学習装置10は、属性レイヤとして、単語群に含まれる各単語の属性と各単語が文章中に出現する順序とに基づく各単語の所定の文章における重要度に基づいて、各単語が文章中に出現する順序を復元するレイヤを有するデコーダの学習を行う。すなわち、学習装置10は、前回の出力と新たな入力とに基づいて、次の単語の属性を重要性に基づいて推定し、推定した属性から次の単語を導出するデコーダーを生成する。このようなデコーダは、例えば、特徴から単語群に含まれる各単語の属性を復元するニューラルネットワークであって、入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成する機能を有するニューラルネットワークにより実現される。このようなニューラルネットワークは、例えば、RNN(Recurrent Neural Networks)やLSTM(Long short-term memory)と呼ばれる構造を有するニューラルネットワークにより実現される。なお、学習装置10は、全体としてLSTMの構成を有するデコーダを学習する必要はなく、少なくとも、属性を復元する属性レイヤがLSTMの構成を有していればよい。

0028

さらに、学習装置10は、情報の畳み込みを行うニューラルネットワーク、すなわち、CNN(Convolutional Neural Network)を用いて、新たに出力する情報を生成してもよい。例えば、学習装置10は、属性レイヤとして、LSTMの機能のみならず、CNNの機能を有するニューラルネットワークを用いてもよい。このようなニューラルネットワークは、例えば、DPCN(Deep Predictive Coding Networks)と呼ばれるニューラルネットワークにより実現可能である(例えば、非特許文献2参照)。また、言語の畳み込みについては、単語群に含まれる各単語を同じ次元数のベクトルに変換し、変換後の各ベクトルの畳み込みを行う技術により実現可能である(例えば、非特許文献3参照)。なお、学習装置10は、少なくとも、属性を復元する属性レイヤにおいてDPCNの構造を有するデコーダを学習すればよい。

0029

以下、より具体的なデコーダの構成例について説明する。例えば、モデルのエンコーダおよびデコーダは、ノードの状態を順次遷移させることで、単語群の符号化および復号化を実現する。例えば、エンコーダは、単語を文章中に出現する順(以下、「出現順」と記載する。)でノードに入力することで、単語群の特徴や各単語が文章中に出現する順序とともに、文章中における各単語の重要度を符号化した特徴を生成する。そして、学習装置10は、エンコーダが出力する特徴をデコーダのノードに入力し、ノードの状態を順次遷移させることで、符号化された単語を、文章中に出現する順序で属性系列とともに復元させることで、単語群の特徴や属性、出現順序に基づく重要度をデコーダに学習させる。

0030

例えば、デコーダは、入力層側から出力層側に向けて、状態レイヤ、属性レイヤ、および単語レイヤを有する。このようなデコーダは、エンコーダの出力を受付けると、状態レイヤが有する1つ又は複数のノードの状態を状態h1へと遷移させる。そして、デコーダは、属性レイヤにて、状態レイヤのノードの状態h1から最初の単語の属性z1を復元するとともに、単語レイヤにて、状態h1と属性z1とから最初の単語y1を属性系列とともに復元し、単語y1と状態h1から状態レイヤのノードの状態を状態h2へと遷移させる。なお、デコーダは、状態レイヤにLSTMやDPCNの機能を持たせることで、出力した属性z1を考慮して状態レイヤのノードの状態を状態h2へと遷移させてもよい。続いて、デコーダは、属性レイヤにて、前回復元した属性z1と状態レイヤのノードの現在の状態h2から、2番目の単語の属性z2を復元し、属性z2と前回復元した単語y1とから、2番目の単語y2を属性系列とともに復元する。

0031

すなわち、デコーダは、状態h2を前の状態h1と前回復元した単語y1と前回復元した属性z1とから生成し、属性z2を前の属性z1と状態h2と前回復元した単語y1とから生成し、単語y2を前回復元した単語y1と属性z2と状態h2とから生成する。なお、デコーダは、前回復元した属性z1を考慮せずに、前回の状態h1と前回復元した単語y1とから状態h2を生成してもよい。また、デコーダは、前回復元した単語y1を考慮せずに、前回復元した属性z1と状態h2とから属性z2を生成してもよい。

0032

このようなデコーダにおいて、属性レイヤにDPCN等といった再帰型ニューラルネットワークの機能を持たせた状態で、エンコーダに入力された文章を復元するようにデコーダの学習を行った場合、属性レイヤは、文章中における単語の出現順序の特徴を学習することとなる。この結果、デコーダは、前回復元した単語の属性に基づいて、次に復元する単語の属性の予測を行うこととなる。すなわち、デコーダは、文章中における単語の属性の順序を予測することとなる。このようなデコーダは、測定時において単語群が入力された場合に、各単語の属性と予測される出現順序とに応じた単語の重要度を考慮して、文章に含まれる単語と属性系列とを復元することとなる。すなわち、デコーダは、測定時において、単語群に含まれる各単語の重要度に基づいて、文章化の対象となる単語群の属性と、予測される各単語の出現順序とを復元することとなるので、各単語の重要度に応じた文章化を実現することができる。

0033

なお、学習装置10は、それぞれ異なる種別の属性を復元する複数の属性レイヤを有するエンコーダの学習を行ってもよい。すなわち、学習装置10は、特徴から単語群に含まれる各単語の属性であって、それぞれ異なる属性を復元する複数の属性レイヤと、複数の属性レイヤの出力から単語群に含まれる各単語を文章に出現する順序で復元する単語レイヤとを有するデコーダの学習を行ってもよい。なお、学習装置10は、任意の数の属性レイヤを有するデコーダの学習を行ってもよい。

0034

例えば、学習装置10は、エンコーダが出力した特徴から、単語群に含まれる各単語の品詞を、各単語が文章中に出現する順序で復元する第1の属性レイヤと、エンコーダが出力した特徴から、単語群に含まれる各単語のクラスタリング結果を、各単語が文章中に出現する順序で復元する第2の属性レイヤとを有するデコーダの学習を行ってもよい。なお、このようなデコーダの単語レイヤは、第1の属性レイヤが復元した属性と、第2の属性レイヤが復元した属性と、エンコーダが出力した特徴とから、各単語を文章に含まれる順序で属性系列とともに復元することとなる。なお、このような各属性レイヤは、それぞれ異なるDPCNにより構成されてもよい。

0035

〔1−4.エンコーダの構成について〕
ここで、学習装置10は、必須ではないものの、単語群に含まれる各単語の特徴と、各単語が文章中に出現する順序とを、各単語の属性とともに符号化するエンコーダの学習を行ってもよい。すなわち、学習装置10は、単語群に含まれる各単語の特徴と、各単語が文章中に出現する順序とを、各単語の属性とともにエンコーダに学習させてもよい。

0036

例えば、学習装置10は、単語群に含まれる各単語を入力するレイヤと、各単語の属性を入力するレイヤとを含むエンコーダを学習する。より具体的には、学習装置10は、正解データとして取得した所定の文章に含まれる単語群と、単語群に含まれる各単語の属性とを抽出する。そして、学習装置10は、エンコーダとして、単語群に含まれる各単語を入力する単語レイヤと、各単語の属性を入力する属性レイヤとを有し、単語レイヤおよび属性レイヤの出力から、出力する特徴を生成するエンコーダの学習を行ってもよい。また、学習装置10は、DPCNの構造を有するニューラルネットワークをエンコーダとしてもよく、エンコーダが有する各レイヤごとに、DPCNの構造を有するニューラルネットワークを採用してもよい。

0037

〔1−5.トピックレイヤについて〕
また、学習装置10は、いわゆるトピックモデル(例えば、非特許文献2を参照)を用いて、単語群から文章の生成を行ってもよい。例えば、学習装置10は、エンコーダが出力した特徴から、所定の文章が示すトピックを復元するトピックレイヤを有するモデルを生成する。そして、学習装置10は、トピックレイヤの出力から、単語群に含まれる各単語と、各単語の属性と、各単語が所定の文章中に出現する順序とを属性系列とともに復元するデコーダを学習してもよい。

0038

ここで、トピックモデルとは、ある文章が生成される過程を確率的に表現したモデルである。例えば、トピックモデルでは、文章に含まれる各単語が属する分野、すなわち文章毎のトピックの比率と、トピックの分布とから、文章を確率的に生成する。例えば、トピックモデルでは、文章に含まれる各単語の集合をθ、文章ごとのトピックの比率をP(z|θ)、トピックの分布をP(wn|z)とすると、以下の式(1)で表される過程により文章を確率的に生成する。なおnは、トピックの分布の種別を示す添え字である。

0039

0040

トピックレイヤは、このようなトピックモデルに基づいて、エンコーダが出力した特徴から、文章全体のトピックを示す情報、すなわち、文章のコンテキストを示すコンテキスト情報を抽出する。そして、トピックレイヤは、抽出したコンテキスト情報をデコーダに入力する。このような処理の結果、デコーダは、文章全体のコンテキストを考慮して、エンコーダが出力した特徴から各単語や各単語の属性を復元するので、より自然な文章を生成することができる。

0041

なお、トピックレイヤは、文章が出現する位置(例えば、見出しや本文等)や、文章が出現する時間(例えば、文章が投稿されやすい日時)等、文章のコンテキストであれば任意のコンテキストを抽出してよい。

0042

〔1−6.測定処理について〕
なお、学習装置10は、上述した学習処理により学習が行われたモデルを用いて、情報処理装置100から受信した単語群から文章を生成する測定処理を実行する。例えば、学習装置10は、情報処理装置100から単語群を受信すると、受信した単語群を順にモデルのエンコーダに入力し、デコーダが属性系列とともに復元した単語群、すなわち、文章を情報処理装置100へと出力する。

0043

〔1−7.学習装置10が実行する処理の一例〕
次に、図1を用いて、学習装置10が実行する学習処理および測定処理の一例について説明する。まず、学習装置10は、正解データとなる文章を情報処理装置200から取得する(ステップS1)。なお、正解データとなる文章は、例えば、論文や特許公報、ブログマイクロブログ、インターネット上のニュース記事等、任意の文章が採用可能である。

0044

このような場合、学習装置10は、LSTMを含むDPCNを属性レイヤとして含んだデコーダに対して、文章に含まれる各単語の重要度に基づいて、文章に含まれる各単語と、単語の属性と、単語が出現する順序とを係り受けとともに復元するデコーダを学習する(ステップS2)。例えば、図1に示す例では、学習装置10は、エンコーダL11と、デコーダL12と、トピックレイヤL13と、を有するモデルL10を生成する。また、学習装置10は、状態レイヤL14、属性レイヤL15、および単語レイヤL16を有するデコーダL12を生成する。ここで、デコーダL12は、属性レイヤL15として、DPCNが採用されている。

0045

また、学習装置10は、正解データとして取得した文章C10から、単語群C11を抽出する。そして、学習装置10は、単語群C11に含まれる各単語と、各単語の属性と、各単語が出現する順序との特徴をモデルL10に学習させる。より具体的には、学習装置10は、単語群C11をエンコーダL11に入力した際に、デコーダL12が出力する文章C20が文章C10と同じになるように、モデルL10の学習を行う。

0046

例えば、図1に示す例では、学習装置10は、単語群の各単語x1〜x3を、各単語x1〜x3が文章C10中に出現する順序で、エンコーダL11のノードに入力する。この結果、エンコーダL11は、各単語x1〜x3と各単語x1〜x3が文章C10に出現する順序との特徴Cを出力する。そして、学習装置10は、特徴C10をデコーダL12とトピックレイヤC13とに入力する。

0047

このような場合、デコーダL12は、特徴とトピックレイヤL13の出力とから単語y1〜y3を復元する。より具体的には、トピックレイヤL13は、特徴Cから文章C10のトピックを示す情報を出力する。そして、デコーダL12は、特徴CとトピックレイヤL13の出力とから、属性レイヤL14の状態h1を生成し、状態h1から、各単語y1〜y3の属性と各単語y1〜y3の属性系列とともに、各単語y1〜y3を、各単語y1〜y3が文章C20中に出現する順序で復元する。

0048

例えば、デコーダL12の状態レイヤL14は、特徴Cに基づいて状態h1へと遷移する。このような場合、属性レイヤL15は、状態レイヤL14の状態h1から、単語群C11のうち、文章C10中に最初に出現する単語の属性z1を復元する。そして、単語レイヤL16は、状態レイヤL14の状態h1と属性レイヤL15が復元した属性z1とに基づいて、単語群C11のうち文章C10に最初に出現する単語y1を復元する。

0049

続いて、状態レイヤL14は、前回の状態h1と、復元された単語y1と、属性レイヤL15が前回復元した属性z1とに基づいて、状態h2へと遷移する。このような場合、属性レイヤL15は、状態レイヤL14の状態h2と、属性レイヤL15が前回復元した属性z1と、単語レイヤL16が前回復元した単語y1とに基づいて、単語群C11のうち、単語y1の次に出現する単語の属性z2を復元する。そして、単語レイヤL16は、状態レイヤL14の状態h2と属性レイヤL15が復元した属性z2と前回復元した単語y1とに基づいて、単語群C11のうち単語y1の次に出現する単語y2を復元する。

0050

続いて、状態レイヤL14は、前回の状態h2と、復元された単語y2と、属性レイヤL15が前回復元した属性z2とに基づいて、状態h3へと遷移する。このような場合、属性レイヤL15は、状態レイヤL14の状態h3と、属性レイヤL15が前回復元した属性z2と、単語レイヤL16が前回復元した単語y2とに基づいて、単語群C11のうち、単語y2の次に出現する単語の属性z3を復元する。そして、単語レイヤL16は、状態レイヤL14の状態h3と属性レイヤL15が復元した属性z3と前回復元した単語y2とに基づいて、単語群C11のうち単語y2の次に出現する単語y3を復元する。

0051

ここで、学習装置10は、文章C10と文章C20とが同じになるように、モデルL10の各種パラメータを調整する。例えば、学習装置10は、文章C10に含まれる各単語x1〜x3と、モデルが出力した各単語y1〜y3とが同一となるように、モデルL10のパラメータを調整する。また、学習装置10は、各単語x1〜x3の属性系列と、各単語y1〜y3の属性系列とが同一となるように、モデルL10のパラメータを調整する。また、学習装置10は、各単語x1〜x3の属性と、復元された属性z1〜z3とが同一となるように、モデルL10のパラメータを調整する。この結果、学習装置10は、単語x1〜x3が有する特徴、単語x1〜x3が出現する順序、および単語x1〜x3が有する属性の特徴をモデルL10に学習させることができる。

0052

ここで、モデルL10は、属性を復元する際に、LSTMの技術を用いることでそれまでに復元した属性を考慮して新たな属性を復元することとなる。このようなモデルL10の学習を行った場合、モデルL10は、属性レイヤL15として採用したDPCNにおいて、単語x1〜x3の属性と出現順序との組、すなわち、文章C10における各単語の重要性を考慮して単語群の属性を復元することとなる。このため、学習装置10は、モデルL10に単語の属性と出現順序とに基づく重要性を学習させることができる。

0053

続いて、学習装置10は、情報処理装置100から文章化する単語群C31を取得する(ステップS3)。このような場合、学習装置10は、学習したモデルL10に単語群を入力することで、単語群に含まれる各単語を含む文章C30を生成する測定処理を実行する(ステップS4)。そして、学習装置10は、生成した文章C30を情報処理装置100へと出力する(ステップS5)。この結果、情報処理装置100は、単語群C31を含む自然な文章C30を得ることができる。

0054

〔2.学習装置の構成〕
以下、上記した学習処理を実現する学習装置10が有する機能構成の一例について説明する。図2は、実施形態に係る学習装置の構成例を示す図である。図2に示すように、学習装置10は、通信部20、記憶部30、および制御部40を有する。

0055

通信部20は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、情報処理装置100、200との間で情報の送受信を行う。

0056

記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク光ディスク等の記憶装置によって実現される。また、記憶部30は、正解データデータベース31およびモデルデータベース32を記憶する。

0057

正解データデータベース31には、正解データとなる文章が登録されている。例えば、図3は、実施形態に係る正解データデータベースに登録される情報の一例を示す図である。図3に示す例では、正解データデータベース31には、「文章ID(Identifier)」、「文章データ」、「第1単語」、「第2単語」等といった項目を有する情報が登録される。

0058

ここで、「文章ID(Identifier)」は、正解データとなる文章を識別するための情報である。また、「文章データ」とは、文章のテキストデータである。また、「第1単語」とは、対応付けられた「文章データ」に含まれる単語群のうち、文章内に最初に出現する単語であり、「第2単語」とは、対応付けられた「文章データ」に含まれる単語群のうち、文章内に2番目に出現する単語である。なお、正解データデータベース31には、「第1単語」や「第2単語」以外にも、文章に含まれる単語が順に登録されているものとする。

0059

例えば、図3に示す例では、文章ID「ID#1」、文章データ「文章データ#1」、第1単語「単語#1−1」、および第2単語「単語#1−2」が対応付けて登録されている。このような情報は、文章ID「ID#1」が示す文章が文章データ「文章データ#1」であり、かかる文章中に第1単語「単語#1−1」および第2単語「単語#1−2」が順に含まれている旨を示す。

0060

なお、図3に示す例では、「文章データ#1」、「単語#1−1」、「単語#1−2」等といった概念的な値について記載したが、実際には文章のテキストデータや単語のテキストデータが登録されることとなる。

0061

図2戻り、説明を続ける。モデルデータベース32には、学習対象となるエンコーダL11およびデコーダL12を含むモデルL10のデータが登録される。例えば、モデルデータベース32には、モデルL10として用いられるニューラルネットワークにおけるノード同士の接続関係、各ノードに用いられる関数、各ノード間で値を伝達する際の重みである接続係数等が登録される。

0062

なお、モデルL10は、単語群に関する情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第1要素と、第1要素と第1要素の重みとに基づいて値が算出される第2要素と、を含み、入力層に入力された情報に対し、出力層以外の各層に属する各要素を第1要素として、第1要素と第1要素の重みとに基づく演算を行うことにより、各単語の属性と出現順序とに応じた重要度に基づいて、属性系列と単語群とを復元し、復元した属性系列と単語群とを出力層から出力するよう、コンピュータを機能させるためのモデルである。

0063

制御部40は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、学習装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部40は、コントローラ(controller)であり、例えば、ASIC(Application Specific IntegratedCircuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。

0064

また、制御部40は、記憶部30に記憶されるモデルL10に従った情報処理により、モデルL10の入力層に入力された単語群に関する情報に対し、モデルL10が有する係数(すなわち、モデルL10が学習した特徴に対応する係数)に基づく演算を行い、モデルL10の出力層から、各単語の属性と出現順序とに応じた重要度に基づいて、属性系列と単語群とを順に復元し、復元した属性系列と単語群とを出力層から出力する。

0065

図2に示すように、制御部40は、抽出部41、学習部42、受付部43、生成部44、および出力部45を有する。なお、抽出部41および学習部42は、上述した学習処理を実行し、受付部43〜出力部45は、上述した測定処理を実行する。

0066

抽出部41は、所定の文章に含まれる単語群を抽出する。例えば、抽出部41は、情報処理装置200から正解データとして文章を受信すると、形態素解析等により、文章に含まれる単語群を抽出する。そして、抽出部41は、受信した文章と、文章に含まれる単語群とを正解データデータベース31に登録する。より具体的には、抽出部41は、単語群に含まれる各単語を、文章中に出現する順に、正解データデータベース31に登録する。

0067

学習部42は、単語群に含まれる各単語が文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器と、単語群に含まれる各単語と、各単語の属性と、各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに特徴から復元する復元器との学習を行う。より具体的には、学習部42は、単語群に含まれる各単語が文章中に出現する順序とともに単語群が有する特徴を学習するエンコーダと、単語群に含まれる各単語と、各単語の属性と、各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに特徴から復元するデコーダとの学習を行う。

0068

ここで、学習部42は、デコーダとして、単語群に含まれる各単語の属性と各単語が文章中に出現する順序とに基づく各単語の文章における重要度に基づいて、単語群に含まれる各単語と各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに特徴から復元するデコーダを学習する。例えば、学習部42は、特徴から単語群に含まれる各単語の属性を復元する第1の層(例えば、属性レイヤL15)であって、入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成する第1の層と、第1の層の出力から単語群に含まれる各単語を属性系列とともに復元する第2の層とを有するデコーダを学習する。

0069

また、例えば、学習部42は、第1の層として、入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成する第1の層との畳み込みに基づいて、新たに出力する情報を生成する第1の層を有するデコーダを学習する。より具体的な例を挙げると、学習部42は、第1の層として、DPCN(Deep Predictive Coding Networks)の構造を有するデコーダを学習する。

0070

例えば、学習部42は、エンコーダL11とデコーダL12とを有するモデルL10を生成する。続いて、学習部42は、正解データデータベース31に登録された文章と、その文章に含まれる単語群とを抽出する。そして、学習部42は、抽出した単語群を、文章中に出現する順序でモデルL10のエンコーダL11に入力した際に、エンコーダL11が出力した特徴から、エンコーダL11に入力した単語群と、各単語の属性とを、抽出した文章中に各単語が出現する順で、抽出した文章に含まれる属性系列とともに復元するように、エンコーダL11およびデコーダL12の調整を行う。すなわち、学習部42は、モデルL10に入力した文章と出力した文章とが同じになるように、モデルL10の調整を行う。

0071

ここで、学習部42は、デコーダとして、特徴の元となる単語群に含まれる各単語の重要度に基づく順序で、各単語の属性を復元する属性レイヤL15と、属性レイヤの出力から単語群に含まれる各単語を復元する単語レイヤL16とを有するデコーダの学習を行う。例えば、学習部42は、状態h1から最初に出現する単語の属性z1を復元する属性レイヤL15と、状態h1および属性z1から最初に出現する単語y1を復元する単語レイヤL16とを有するデコーダL12の学習を行う。

0072

また、学習部42は、属性レイヤL15として、DPCNの構造を有するレイヤを含むモデルL10の学習を行う。例えば、図4は、実施形態に係る属性レイヤの模式的な構造の一例を示す図である。図4に示すように、DPCNにおいては、新たな入力値と前回の出力値との畳み込みにより新たな値を出力する畳み込みLSTMの機能を有する部分モデルE1、畳み込みニューラルネットワークの機能を有する部分モデルA1、畳み込みニューラルネットワークの機能と値の保持機能とを有する部分モデルA2、および、所定の活性化関数に基づいて部分モデルA1の出力と部分モデルA2の出力との差に応じた値を出力する部分モデルE2とにより構成される。

0073

例えば、時刻tにおいて、部分モデルE1は、時刻t−1において部分モデルE2が出力した値Et-1lと、時刻t−1において部分モデルE1が出力した値Rt-1lとに基づいて、新たな値Rtlを出力する。また、部分モデルA1は、時刻tにおいて部分モデルE1が出力した値Rtlに基づいて、新たな値A’tlを出力する。部分モデルA2は、状態レイヤL14から出力された値xtを入力として受付けると、受付けた値xtに基づく値Atlを出力する。部分モデルE2は、部分モデルA1が出力した値A’tlと部分モデルA2が出力した値Atlとに基づいて、新たな値Etlを出力する。このような処理を繰り返すことで、属性レイヤL15は、状態レイヤL14が出力する値から単語群の属性を示す値を順次出力することとなる。

0074

なお、時刻tにおいて部分モデルA2が出力する値値Atlは、以下の式(2)で表すことができる。また、時刻tにおいて部分モデルA1が出力する値A’tlは、以下の式(3)で表すことができる。また、時刻tにおいて部分モデルE2が出力する値Etlは、以下の式(4)で表すことができる。また、時刻tにおいて部分モデルE1が出力する値Rtlは、以下の式(5)で表すことができる。ここで、式(2)、式(3)中におけるCONVとは、所定の畳み込み処理を示し、式(2)、式(3)、式(4)に示すRELUは、所定の活性化関数を示す。また、式(5)におけるCONVLSTMは、所定の畳み込みLSTMの処理を示す。なお、式(3)においては、カンマハットで示した。

0075

0076

0077

0078

0079

なお、図4に示すDPCNの構造はあくまで一例であり、これに限定されるものではない。例えば、非特許文献2に開示される構造を有するDPCNは、図4に示すDPCNと同様の機能を発揮することができ、学習装置10は、非特許文献2に開示される構造のDPCNを属性レイヤL15に採用してもよい。

0080

ここで、DPCNにおいては、畳み込みニューラルネットワークの機能が含まれるため、単語の出現位置に応じた重要度であって、周囲に出現する単語との相対的な重要度を処理に反映させることができる。ここで、言語の畳み込みについては、非特許文献3に開示された技術が採用可能である。

0081

例えば、図5は、実施形態に係るモデルが言語の畳み込みを行う技術の一例を示す図である。例えば、モデルL10は、ある文章からs個の単語が抽出された場合、各単語をそれぞれ同じd次元のベクトルに変換し、変換後のベクトルを合わせたs行d列の行列Aを生成する。なお、このような行列Aは、以下の式(6)で示すことができる。また、図7に示す例では、d=5、s=7の例について記載した。

0082

0083

このような場合、モデルL10は、図5中(A)に示すように、行列Aのサブ行列を生成する。このようなサブ行列は、行列Aのうち以下の式(7)で示される範囲を、可能な行番号i、jの組み合わせについて抽出したものとなる。

0084

0085

次に、モデルL10は、図5中(B)に示すように、各サブ行列の畳み込みを行う。例えば、図5中(B)に示すサブ行列の畳み込み結果となる行列の要素oiは、以下の式(8)で示すことができる。ここで、式(8)中のwは、サブ行列の重みであり、hは、サブ行列の幅を示す。

0086

0087

また、サブ行列の畳み込み結果となる行列の列数は、以下の式(9)で表される。

0088

0089

なお、モデルL10は、以下の式(10)で示される所定のフィルター関数fを考慮してもよい。

0090

0091

また、モデルL10は、図5中(C)に示すように、各サブ行列の畳み込み結果をさらに畳み込むとともに、図5中(D)に示すように、各畳み込み結果を合成したベクトルを生成する。そして、モデルL10は、図5中(E)に示すように、生成したベクトルをさらに畳み込むことで、単語群が有する特徴の畳み込みを実現する。

0092

なお、学習部42は、特徴から単語群に含まれる各単語の属性であって、それぞれ異なる属性を復元する複数の属性レイヤと、複数の属性レイヤの出力から単語群に含まれる各単語を復元する単語レイヤとを有するデコーダを学習してもよい。例えば、図6は、実施形態に係る学習装置が学習するデコーダのバリエーションを説明するための図である。例えば、図6に示す例では、デコーダL12は、単語レイヤL16と、第1属性レイヤL17と、第2属性レイヤL18とを有する。

0093

ここで、第1属性レイヤL17と第2属性レイヤL18とは、それぞれ異なる属性を復元する。例えば、第1属性レイヤL17は、単語の品詞を復元し、第2属性レイヤL18は、単語の原型を復元する。そして、単語レイヤL16は、第1属性レイヤL17と第2属性レイヤL18との出力から、単語を復元する。

0094

より詳細には、デコーダL12は、エンコーダL11が出力した特徴Cと、トピックレイヤL13の出力とに基づいて、状態h1を生成する。このような場合、第1属性レイヤL17は、状態h1から属性z1を復元する。また、第2属性レイヤL18は、状態h1から属性u1を復元する。そして、単語レイヤL16は、状態h1と、属性z1と、属性u1とから、単語y1を生成する。

0095

ここで、図6では矢印を省略したが、デコーダL12は、状態h1と、属性z1と、属性u1と、単語y1とから状態h2を生成する。そして、第1属性レイヤL16は、属性z1と状態h2とから属性z2を復元する。なお、第1属性レイヤL17は、単語y1をさらに考慮して属性z2を復元してもよい。また、第2属性レイヤL18は、属性u1と状態h2とから属性u2を復元する。なお、第2属性レイヤL18は、単語y1をさらに考慮して属性u2を復元してもよい。そして、単語レイヤL16は、状態h2と、属性z2と、属性u2と、単語y1とから、単語y2を生成する。

0096

また、学習部42は、特徴から所定の文章が示すトピックを復元するトピックレイヤの出力から、単語群に含まれる各単語と、各単語の属性と、各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに復元するデコーダを学習してもよい。すなわち、学習部42は、トピックレイヤL13が文章C10のトピックを復元するように、モデルL10の調整を行ってもよい。

0097

また、学習部42は、エンコーダとして、単語群に含まれる各単語を入力する単語レイヤと、各単語の属性を入力する属性レイヤとを有し、単語レイヤおよび属性レイヤの出力から特徴を生成するエンコーダを学習してもよい。例えば、図7は、実施形態に係る学習装置が学習するエンコーダのバリエーションを示す図である。

0098

例えば、学習部42は、単語群に含まれる各単語x1〜x3を出現順に受け付ける単語レイヤL19と、単語群の属性a1〜a3を、各単語の出現順に受け付ける属性レイヤL20とを有するエンコーダL11を生成する。このようなエンコーダL11においては、属性a1が入力された属性レイヤL20のノードが状態c1となり、状態c1と単語x1とから単語レイヤL19のノードが状態d1となる。また、属性レイヤL20のノードは、状態c1および状態d1と属性a2とから状態c2となり、単語レイヤL19のノードが状態c2と状態d1と単語x2とから状態d2となる。また、属性レイヤL20のノードは、状態c2および状態d2と属性a3とから状態c3となり、単語レイヤL19のノードが状態c3と状態d2と単語x3とから状態d3となる。そして、エンコーダL11は、状態d3に基づく特徴Cを出力する。

0099

なお、図7に示すエンコーダL11の構成は、必ずしも必須ではない。すなわち、エンコーダL11側には、単語群の属性を学習させずとも、デコーダL12側に単語群の属性から各単語の属性を復元させるように学習を行った場合には、デコーダL12のみならず、エンコーダL11にも、単語群の属性を学習させることができると考えられる。この結果、エンコーダL11は、単語群の属性を入力する属性レイヤL20を有さずとも、単語群の属性を考慮した特徴の抽出、すなわち符号化を行うことができる。

0100

図2に戻り、説明を続ける。受付部43は、情報処理装置100から文章化する単語群を受付ける。このような場合、受付部43は、受付けた単語群を生成部44に出力する。

0101

生成部44は、上述した学習処理により学習が行われたモデルL10を用いて、受付部43が受け付けた単語群から文章を生成する。例えば、生成部44は、モデルL10に受付部43が受け付けた単語群を順に入力する。そして、生成部44は、モデルL10が属性系列とともに復元した単語群から文章を生成する。

0102

出力部45は、情報処理装置100から受信した単語群を用いた文章を出力する。例えば、出力部45は、生成部44が生成した文章を情報処理装置100へと送信する。

0103

〔3.学習装置が実行する処理の流れの一例〕
次に、図8を用いて、学習装置10が実行する処理の流れの一例について説明する。図8は、実施形態に係る処理の流れの一例を説明するフローチャートである。まず、学習装置10は、正解データとなる文章を取得すると(ステップS101)、取得した文章から単語群を抽出する(ステップS102)。そして、学習装置10は、単語群の各単語を出現順にエンコーダに入力した際にエンコーダが出力した情報から、単語の属性と出現順序とに基づく重要度に基づいて、単語と、単語の属性と、単語の出現順序とを係り受けとともに復元するデコーダの学習を行う(ステップS103)。

0104

また、学習装置10は、文章化する単語群を受けつけると、単語群を学習済みのモデルに入力する(ステップS104)。このような場合、学習装置10は、モデルが属性系列とともに出力した単語、すなわち、文章を出力し(ステップS105)、処理を終了する。

0105

〔4.変形例〕
上記では、学習装置10による学習処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、学習装置10が実行する学習処理のバリエーションについて説明する。

0106

〔4−1.トピックモデルについて〕
上述した例では、学習装置10は、文章のトピックを出力するトピックレイヤL13を有するモデルを生成した。しかしながら、実施形態は、これに限定されるものではない。例えば、学習装置10は、トピックレイヤL13を有しないモデルを生成してもよい。また、学習装置10は、それぞれ異なるトピックモデルに基づいたトピックを出力する複数のトピックレイヤを有するモデルを生成してもよい。

0107

また、学習装置10は、PLSA(Probabilistic Latent Semantic Analysis)や、LDA(Latent Dirichlet Allocation)等、任意のトピックモデルに基づいて、特徴Cからトピックを抽出するトピックレイヤL13を有してもよい。また、学習装置10は、特徴CとトピックレイヤL13とから単語を復元するのではなく、トピックレイヤL13の出力のみから単語を復元するデコーダL12を学習してもよい。

0108

〔4−2.DPCNについて〕
また、学習装置10は、全体で一つのDPCNにより構成されるデコーダL12を有するモデルL10の学習を行ってもよい。また、学習装置10は、状態レイヤL14、属性レイヤL15、単語レイヤL16がそれぞれDPCNにより構成されるデコーダL12を有するモデルL10の学習を行ってもよい。また、学習装置10は、DPCNにより構成されるエンコーダL11の学習を行ってもよい。

0109

〔4−3.装置構成
上述した例では、学習装置10は、学習装置10内で学習処理および測定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、学習装置10は、学習処理のみを実行し、測定処理については、他の装置が実行してもよい。例えば、学習装置10が上述した学習処理によって生成したエンコーダおよびデコーダを有するモデルL10を含むプログラムパラメータを用いることで、学習装置10以外の情報処理装置が、上述した測定処理を実現してもよい。また、学習装置10は、正解データデータベース31を外部のストレージサーバに記憶させてもよい。

0110

〔4−4.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

0111

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

0112

また、上記してきた各実施形態は、処理内容矛盾させない範囲で適宜組み合わせることが可能である。

0113

〔5.プログラム〕
また、上述してきた実施形態に係る学習装置10は、例えば図9に示すような構成のコンピュータ1000によって実現される。図9は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。

0114

演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。

0115

出力IF1060は、モニタプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格コネクタにより実現される。また、入力IF1070は、マウスキーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。

0116

なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体テープ媒体磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。

0117

ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。

0118

演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。

0119

例えば、コンピュータ1000が学習装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムまたはデータ(例えば、モデル)を実行することにより、制御部40の機能を実現する。コンピュータ1000の演算装置1030は、これらのプログラムまたはデータ(例えば、モデル)を一次記憶装置1040から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。

0120

〔6.効果〕
上述したように、学習装置10は、所定の文章に含まれる単語群を抽出する。また、学習装置10は、抽出した単語群に含まれる各単語が文章中に出現する順序とともに、各単語が影響を受ける文法構造を重みとして学習するための符号化器の学習を行う。また、学習装置10は、単語群に含まれる各単語と、各単語の属性と、各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに符号化器が出力する特徴から復元する復元器を学習する。

0121

また、学習装置10は、単語群に含まれる各単語が文章中に出現する順序とともに単語群が有する特徴を学習するエンコーダ、および、単語群に含まれる各単語の属性と各単語が文章中に出現する順序とに基づく各単語の文章における重要度に基づいて、単語群に含まれる各単語と各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに特徴から復元するデコーダとを学習する。

0122

このような処理の結果、学習装置10は、各単語の属性のみならず、各単語の属性と各単語の出現順序とに基づく重要度を考慮して、単語群から属性系列を含む文章を生成するモデルL10を学習することができるので、適切なテキストを類推し、適切な構造を有する自然な文章を作成することができる。

0123

また、学習装置10は、特徴から単語群に含まれる各単語の属性を復元する第1の層であって、入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成する第1の層と、第1の層の出力から単語群に含まれる各単語を復元する第2の層とを有するデコーダを学習する。この結果、学習装置10は、単語の出現順序に基づく重要度をデコーダに学習させることができるので、適切な構造を有する自然な文章を作成することができる。

0124

また、学習装置10は、第1の層として、入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成する第1の層との畳み込みに基づいて、新たに出力する情報を生成する第1の層を有するデコーダを学習する。例えば、学習装置10は、第1の層として、DPCN(Deep Predictive Coding Networks)の構造を有するデコーダを学習する。この結果、学習装置10は、単語の出現順序に基づく重要度をデコーダに学習させることができるので、適切な構造を有する自然な文章を作成することができる。

0125

また、学習装置10は、エンコーダとして、単語群に含まれる各単語を入力する第3の層と、各単語の属性を入力する第4の層とを有し、第3の層および第4の層の出力から特徴を生成するエンコーダを学習する。このため、学習装置10は、各単語の属性を考慮して、単語群から属性系列を含む文章を生成するモデルL10を学習することができる。

0126

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

0127

また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

0128

20通信部
30 記憶部
31正解データデータベース
32モデルデータベース
40 制御部
41 抽出部
42 学習部
43 受付部
44 生成部
45 出力部
100、200 情報処理装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ