図面 (/)

技術 グループ間インデックスを用いた人工ニューラルネットワークにおける加重値の表現

出願人 富士通株式会社
発明者 リー・マイケル
出願日 2017年4月13日 (4年2ヶ月経過) 出願番号 2017-079962
公開日 2018年2月15日 (3年3ヶ月経過) 公開番号 2018-026102
状態 特許登録済
技術分野 学習型計算機
主要キーワード 認知作業 グループインデックス 略線形 インデックス付与 仮想グループ 人工ニューラルネットワーク コンピュータ実施 シナプス結合
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

人工ニューラルネットワークのサイズの増大に伴う実行の遅れ緩和する。

解決手段

ニューロンニューロン間シナプス結合とを含み、各シナプス結合は加重を含む人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、加重の略線形パターンに基づいて並べた加重をグループに分けるステップと、ベースグループと従属グループとして他のグループとを指定するステップと、ベースグループの加重の値をメモリに記憶するステップと、各従属グループのグループインデックスをメモリに記憶するステップと、従属グループの加重の値はメモリに記憶せずにベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを含む。

概要

背景

人工ニューラルネットワークは、ニューロンネットワークを利用して複雑な認知作業を行うものである。例えば、コンピュータビジョン音声認識に関する作業は、従来の、規則に基づくプログラミングを用いては非常に困難であるが、人工ニューラルネットワークを用いて行える。

人工ニューラルネットワークのニューロンは、例えば、ニューロン間シナプス結合により互いに通信するように構成されている。2つのニューロン間の各シナプス結合は、例えば、その2つのニューロン間の通信の重要性を反映するように調整された値を有する加重と関連付けられている。人工ニューラルネットワークが大きくなるにつれ、シナプス結合の数が増え、それに対応して加重の数も増えることになる。しかし、加重値は一般的にメモリに格納されるので、人工ニューラルネットワークのサイズの増大は問題となり得る。加重値のためのメモリの必要量利用可能メモリを越え、その結果として比較的低速のストレージを「仮想メモリ」として用いることとなり、人工ニューラルネットワークの実行を大幅に遅らせることがあるからである。

特許請求の範囲に記載した主題は、何らかの欠点を解消する実施形態や、上記のような環境のみで動作する実施形態に限定されない。むしろ、この背景技術は、この明細書に説明する幾つかの実施形態を実施できる技術分野例を示すだけである。

概要

人工ニューラルネットワークのサイズの増大に伴う実行の遅れ緩和する。ニューロンとニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、加重の略線形パターンに基づいて並べた加重をグループに分けるステップと、ベースグループと従属グループとして他のグループとを指定するステップと、ベースグループの加重の値をメモリに記憶するステップと、各従属グループのグループインデックスをメモリに記憶するステップと、従属グループの加重の値はメモリに記憶せずにベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを含む。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

グループ間インデックスを用いた人工ニューラルネットワークにおける加重値表現する、コンピュータ実施の方法であって、ニューロンと、ニューロン間シナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、加重の略線形パターンに基づいて、並べた加重をグループに分けるステップと、ベースグループと、従属グループとして他のグループとを指定するステップと、ベースグループの加重の値をメモリに記憶するステップと、各従属グループのグループインデックスをメモリに記憶するステップと、従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを含む、方法。

請求項2

ベースグループを指定するステップは、最も線形である略線形パターンを有するグループをベースグループとして指定するステップを含む、請求項1に記載の方法。

請求項3

ベースグループを指定するステップは、仮想グループをベースグループとして指定するステップを含む、請求項1に記載の方法。

請求項4

ベースグループの加重の値をメモリに記憶するステップは、ベースグループの加重の値を浮動小数点数としてメモリに記憶するステップを含む、請求項1に記載の方法。

請求項5

従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶するステップを含む、請求項4に記載の方法。

請求項6

各従属グループの傾き及び切片を計算するステップと、各従属グループの傾き及び切片をメモリに記憶するステップとをさらに含む、請求項1に記載の方法。

請求項7

従属グループの傾き及び切片をメモリから読み出すステップと、メモリから従属グループの加重のインデックスを読み出すステップと、読み出したインデックスが対応するベースグループの加重の値をメモリから読み出すステップと、読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成するステップとを含む、請求項6に記載の方法。

請求項8

グループ間インデックスを用いて人工ニューラルネットワークにおいて加重を表現するコンピュータプログラムであって、コンピュータに、ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、加重の略線形パターンに基づいて、並べた加重をグループに分けるステップと、ベースグループと、従属グループとして他のグループとを指定するステップと、ベースグループの加重の値をメモリに記憶するステップと、各従属グループのグループインデックスをメモリに記憶するステップと、従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを実行させる、コンピュータプログラム。

請求項9

ベースグループの指定は、最も線形である略線形パターンを有するグループをベースグループとして指定するステップを含む、請求項8に記載のコンピュータプログラム。

請求項10

ベースグループを指定するステップは、仮想グループをベースグループとして指定するステップを含む、請求項8に記載のコンピュータプログラム。

請求項11

ベースグループの加重の値をメモリに記憶するステップは、ベースグループの加重の値を浮動小数点数としてメモリに記憶するステップを含む、請求項8に記載のコンピュータプログラム。

請求項12

従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶するステップを含む、請求項11に記載のコンピュータプログラム。

請求項13

各従属グループの傾きと切片を計算するステップと、各従属グループの傾きと切片をメモリに記憶するステップとをさらに含む、請求項8に記載のコンピュータプログラム。

請求項14

従属グループの傾きと切片をメモリから読み出すステップと、メモリから従属グループの加重のインデックスを読み出すステップと、読み出したインデックスが対応するベースグループの加重の値をメモリから読み出すステップと、読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成するステップとをさらに含む、請求項13に記載のコンピュータプログラム。

請求項15

グループ間インデックスを用いた人工ニューラルネットワークにおける加重値を表現する、コンピュータアーキテクチャであって、メモリと、プロセッサとを有し、該プロセッサは、ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにアクセスし、加重を昇順に並べ、加重の略線形パターンに基づいて、並べた加重をグループに分け、ベースグループと、従属グループとして他のグループとを指定し、ベースグループの加重の値をメモリに記憶し、各従属グループのグループインデックスをメモリに記憶し、各従属グループの傾きと切片を計算し、各従属グループの傾きと切片をメモリに記憶し、従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶する、コンピュータアーキテクチャ。

請求項16

ベースグループを指定することは、最も線形である略線形パターンを有するグループをベースグループとして指定することを含む、請求項15に記載のコンピュータアーキテクチャ。

請求項17

ベースグループを指定することは、仮想グループをベースグループとして指定することを含む、請求項15に記載のコンピュータアーキテクチャ。

請求項18

ベースグループの加重の値をメモリに記憶することは、ベースグループの加重の値を浮動小数点数としてメモリに記憶することを含む、請求項15に記載のコンピュータアーキテクチャ。

請求項19

従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶することは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶することを含む、請求項18に記載のコンピュータアーキテクチャ。

請求項20

加重修正器をさらに有し、該加重修正器は、従属グループの傾きと切片をメモリから読み出し、メモリから従属グループの加重のインデックスを読み出し、読み出したインデックスが対応するベースグループの加重の値をメモリから読み出し、読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成する、請求項15に記載のコンピュータアーキテクチャ。

技術分野

0001

本明細書で説明する実施形態は、グループ間インデックス(inter−group indexing)を用いた人工ニューラルネットワークにおける加重値表現に関する。

背景技術

0002

人工ニューラルネットワークは、ニューロンネットワークを利用して複雑な認知作業を行うものである。例えば、コンピュータビジョン音声認識に関する作業は、従来の、規則に基づくプログラミングを用いては非常に困難であるが、人工ニューラルネットワークを用いて行える。

0003

人工ニューラルネットワークのニューロンは、例えば、ニューロン間シナプス結合により互いに通信するように構成されている。2つのニューロン間の各シナプス結合は、例えば、その2つのニューロン間の通信の重要性を反映するように調整された値を有する加重と関連付けられている。人工ニューラルネットワークが大きくなるにつれ、シナプス結合の数が増え、それに対応して加重の数も増えることになる。しかし、加重値は一般的にメモリに格納されるので、人工ニューラルネットワークのサイズの増大は問題となり得る。加重値のためのメモリの必要量利用可能メモリを越え、その結果として比較的低速のストレージを「仮想メモリ」として用いることとなり、人工ニューラルネットワークの実行を大幅に遅らせることがあるからである。

0004

特許請求の範囲に記載した主題は、何らかの欠点を解消する実施形態や、上記のような環境のみで動作する実施形態に限定されない。むしろ、この背景技術は、この明細書に説明する幾つかの実施形態を実施できる技術分野例を示すだけである。

0005

一実施形態の一態様では、グループ間インデックスを用いた人工ニューラルネットワークにおける加重値を表現する、コンピュータ実施の方法は、ニューロンと、前記ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップを含んでもよい。また、本方法は、加重の略線形パターンに基づいて、並べた加重をグループに分けるステップを含んでもよい。本方法は、さらに、ベースグループと、従属グループとして他のグループとを指定するステップを含んでもよい。また、本方法は、ベースグループの加重の値をメモリに記憶するステップを含んでもよい。本方法は、さらに、各従属グループのグループインデックスをメモリに記憶するステップを含んでもよい。また、本方法は、従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップを含んでもよい。

0006

実施形態の目的と利点は、少なくとも、特許請求の範囲に具体的に記載した要素、特徴、及び組み合わせにより実現及び達成され得る。

0007

言うまでもなく、上記の概要と、下記の詳細な説明とは、例であり、説明をするためのものであり、特許請求の範囲に記載された発明を制限するものではない。

図面の簡単な説明

0008

添付した図面を用いて、実施形態の例をさらに具体的に詳しく説明する。

0009

人工ニューラルネットワークの一例を示す図である。

0010

図1の人工ニューラルネットワークにおける位置と加重値の例を示す図である。

0011

昇順に並べられグループに分割された、図2の位置と加重値の例を示す図である。

0012

従属グループの一例の加重の1つが、ベースグループの一例の加重の1つでインデックスされることを示す図である。

0013

グループ間インデックス作成をするコンピュータアーキテクチャの一例を示す図である。

0014

グループ間インデックスを用いたシミュレーション結果の例を示す図である。

0015

グループ間インデックスを用いた、推定されるメモリ使用量の低減の例を示す図である。

0016

グループ間インデックスを用いて人工ニューラルネットワークにおける加重値の表現の方法の一例を示すフローチャートである。

0017

グループ間インデックスを用いて人工ニューラルネットワークにおける加重値の表現の方法の他の一例を示すフローチャートである。

実施例

0018

本明細書で説明する幾つかの実施形態は、グループ間インデックス(inter−group indexing)を用いた人工ニューラルネットワークにおける加重値の表現に関する。複雑な認知作業行うためにコンピュータアーキテクチャにおける人工ニューラルネットワークの使用の増加により、人工ニューラルネットワークのサイズが増大している。この人工ニューラルネットワークのサイズの増大は、人工ニューラルネットワークのシナプス結合の加重値の増加を記憶するコンピュータアーキテクチャにおけるメモリの利用可能量の増大より、時として速い。コンピュータアーキテクチャ中のメモリがいっぱいになり、加重値が比較的遅いストレージに、「仮想メモリ」として記憶されることになると、人工ニューラルネットワークの性能は大幅に低下することがある。

0019

人工ニューラルネットワークにおける加重値のメモリ必要量を低減する努力は、加重値のクラスタリング(clustering)を含む。加重クラスタリングは、ある範囲のすべての加重値を、1つの離散的な加重値に再割当(reassigning)することを含む。加重クラスタリングにより、人工ニューラルネットワークにおける加重値のメモリ必要量は低減するが、再割当された加重値の精度が大幅に失われ、人工ニューラルネットワークの性能が劣化

0020

本明細書で説明するグループ間インデックス(inter−group indexing)を用いた人工ニューラルネットワークにおける加重値の表現(representation)は、概して、人工ニューラルネットワークの加重を昇順に並べ、次いで、並べられた加重を、加重の略線形パターンに基づいてグループに分割し、1つのグループをベースグループとして指定し、他のグループを従属グループとして指定することを含む。ベースグループ中の加重値は、メモリに記憶され、従属グループ中の加重は、ベースグループ中の加重に対してインデックス(indexed to)される。従属グループ中の加重の、ベースグループ中の加重に対するグループ間インデックスにより、従属グループ中の加重の実際の値をメモリに記憶しなくても、従属グループ中の加重値が、比較的高い精度で、後で合成できる。これにより、加重クラスタリングで一般的に見られる精度の大幅な損失を起こさずに、人工ニューラルネットワークのメモリ必要量を低減できる。

0021

ここで、本開示の実施形態を、添付した図面を参照して説明する。

0022

図1は、人工ニューラルネットワーク100の一例を示す図である。人工ニューラルネットワーク100を用いて、例えば、コンピュータビジョンや音声認識を含むがこれらに限定されない複雑な認知作業を実行できる。人工ニューラルネットワーク100は、複数レイヤのニューロンを含んでもよく、例えば、入力レイヤのニューロンi1−ini、隠しレイヤのニューロンh1−hnh、及び出力レイヤのニューロンo1−onoを含んでもよい。各々が加重wを有するシナプス結合(図1においてニューロン間の線で表す)を用いて、入力レイヤのニューロンi1−iniは、隠しレイヤのニューロンh1−hnhと通信でき、隠しレイヤのニューロンh1−hnhは、出力レイヤのニューロンo1−onoと通信できる。例えば、入力レイヤのニューロンi1と隠しレイヤのニューロンh1との間のシナプス結合は加重w11を有し、入力レイヤのニューロンi1と隠しレイヤのニューロンh2との間のシナプス結合は加重w12を有する。各加重wを用いて、2つのニューロン間のシナプス結合を介した通信の重要性を調整する。

0023

人工ニューラルネットワーク100が大きくなるにつれ、シナプス結合の数が増え、それに対応して加重の数も増えることになる。しかし、加重値は一般的にメモリに格納されるので、人工ニューラルネットワーク100のサイズの増大は問題となり得る。加重値のためのメモリの必要量が利用可能メモリを越え、その結果として比較的低速のストレージを「仮想メモリ」として用いることとなり、人工ニューラルネットワークの実行を大幅に送らせることがあるからである。この性能劣化を避ける為、人工ニューラルネットワーク100の多くの又はほとんどの加重値は、実際の加重値をメモリに記憶せずに、グループ間インデックスを用いて、メモリ内で表され得る。これにより、インデックスされた加重値の精度の大幅に損なわずに、人工ニューラルネットワーク100のメモリ必要量が低減される。以下、説明する。

0024

図2は、図1の人工ニューラルネットワーク100における位置と加重値wの例を示すグラフ200である。図1図2に開示するように、人工ニューラルネットワーク100の加重値は、−6.0と6.0の範囲にあり、人工ニューラルネットワーク100において様々なシーケンシャル位置(sequential positions)を有するシナプス結合の加重に対応している。例えば、位置1の加重は加重w11であってもよく、位置2の加重は加重w12であってもよい。

0025

図3は、昇順に並べられグループに分割された、図2の位置と加重値の例を示すグラフ300である。この、加重の昇順での配列と、加重のグループへの分割は、本明細書に開示するグループ間インデックス付与(inter−group indexing)中に実行されてもよい。

0026

図1−3に開示するように、加重wのグループへの分割は、加重の略線形パターンに基づくものであってもよい。例えば、位置0−13間の加重値は、第1の略線形パターンを示し、位置14−99間の加重値は、第1の略線形パターンとは略異なる傾きを有する第2の略線形パターンを示し、位置0−13間の加重は、グループ302にグループ分けされても良く、位置14−99間の加重は、グループ304にグループ分けされてもよい。

0027

図1ないし図3に開示するように、グループ302−310のうち1つが、ベースグループに指定され、他のグループが、従属グループに指定されてもよい。この指定は、ベースグループとして最も線形な略線形パターン(approximately linear pattern)を有するグループを指定することを含む。例えば、グループ304の略線形パターンがグループ302−310のうち最も線形なものなので、グループ304がベースグループとして指定され、グループ302、306−310が従属グループ(dependent groups)として指定されてもよい。他の一例では、ベースグループを指定することは、仮想グループをベースグループとして指定することを含んでもよい。例えば、グループ302−310に含まれない仮想グループをベースグループとして指定し、すべてのグループ302−310を従属グループとして指定してもよい。このベースグループと従属グループの指定は、ベースグループの加重の加重値をメモリに記憶できるようにして、従属グループの加重の加重値をベースグループの加重に対してインデックスして、従属グループの加重の加重値をメモリに記憶しなければならないことを避けるため、本明細書に開示するグループ間インデックス付与(inter−group indexing)の一部として行われてもよい。各従属グループには、加重値ではなく、最小量のデータをメモリに記憶してもよい。例えば、各従属グループに対してグループインデックスを割り当て、メモリに記憶してもよい。

0028

図4は、従属グループの一例の加重の1つが、ベースグループの一例の加重の1つでインデックスされることを示すグラフ400である。具体的に、グラフ400は、従属グループの加重の加重値yjが、ベースグループの加重の加重値ziにインデックスされることを表している。例えば、従属グループの加重値yjは、ベースグループの加重値ziにインデックスされ、次式



により、近似的加重値yj*が得られる。ここで、
Δyは従属グループの最大加重値ymと最小加重値ylとの差分であり、
Δzはベースグループの最大加重値zmと最小加重値zlとの差分であり、
Dyzは従属グループの最小加重値ylとベースグループの最小加重値zlとの間の差分である。
図4のグラフ400のこの式を用いて、ベースグループの加重値をメモリに記憶して、従属グループの加重の加重をメモリに記憶することなく、ベースグループの加重に対応する従属グループの加重のインデックスをメモリに記憶でき、人工ニューラルネットワークのメモリ必要量を低減することができる。

0029

図5は、グループ間インデックス作成をするコンピュータアーキテクチャ500の一例を示す図である。コンピュータアーキテクチャ500は、メモリ502、メモリコントローラ504、処理要素506、及び加重修正器508を含み得る。

0030

図5の処理要素506は、人工ニューラルネットワークを生成またはそれにアクセスし、本明細書に開示するグループ間インデックス作成を実行するように構成され得る。具体的に、処理要素506は、図3を参照して説明した、加重を並べて、加重をグループに分割すること、及び図4を参照して説明した、ベースグループの加重値を記憶し、従属グループの加重でインデックスすることを実行するように構成されていてもよい。さらに、処理要素506は、各従属グループの傾き及び切片(slope and intercept modifiers)を計算するように構成されていてもよい。例えば、図4を再び参照して、従属グループの傾きは次式



として表し得る。同様に、従属グループの切片は次式



として表し得る。処理要素506は、各従属グループの傾き及び切片を計算した後、メモリコントローラ504を用いて、これらの傾き及び切片をメモリ502に記憶するように構成されていてもよい。

0031

図5の加重修正器508は、従属グループの加重の値の合成に用いられるように構成されていてもよい。例えば、加重修正器508は、人工ニューラルネットワークの第1のレイヤの第1のニューロンaim−1と第2のレイヤの第2のニューロンajmとの間のシナプス結合の加重wijの値を合成する。ここで、
iは第1のレイヤのニューロンインデックスであり、
jは第2のレイヤのニューロンインデックスであり、
mはレイヤインデックスである。
加重wijの値を合成するため、加重修正器508は、wijが属する従属グループの傾き及び切片をメモリ502から読み出し、加重wijの1つのインデックスをメモリ502から読み出し、読み出したインデックスが対応する対応するベースグループの加重wxyの値をメモリ502から読み出すように構成されていてもよい。加重修正器508は、読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重wxyの値とを用いて、従属グループの加重wijを合成し、それにより図4の式により合成された加重値yj*を計算する。

0032

図6は、グループ間インデックスを用いたシミュレーション結果の例を示すグラフ600である。グラフ600は、グループ間インデックス付与により合成される加重値yj*を用いたシミュレーション結果602が、従来のアプローチを用いて得られたシミュレーション結果604と精度において同等であることを示す。

0033

図7は、グループ間インデックスを用いた、推定されるメモリ使用量の低減の例を示すグラフ700である。グラフ700は、グループ間インデックス付与を用いたメモリ使用量の推定低減量が、ベースグループに割り当てられる加重の総数パーセンテージに応じて、及び従属グループの数に基づいて、約1.5倍から約5.5倍の間で増加することを示す。

0034

図8は、本開示で説明する少なくとも1つの実施形態により構成されるグループ間インデックス付与(inter−group indexing)を用いて人工ニューラルネットワークにおいて加重値を表す方法800の一例を示すフローチャートである。方法800は、幾つかの実施形態では、図5のコンピュータアーキテクチャ500の処理要素506により実施されてもよい。離散的ブロックとして示したが、目標とする実施形態に応じて、様々なブロックは、複数のブロックに分割されてもよく、より少ないブロックに結合されてもよく、又は削除されてもよい。

0035

方法800は、ブロック802で始まり、そこで人工ニューラルネットワークがアクセスされる。人工ニューラルネットワークは、ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む。例えば、人工ニューラルネットワークは図1に示した人工ニューラルネットワークと同様のものであり得る。

0036

ブロック804において、加重は昇順で配列されてもよい。加重の昇順(ascending order)は加重の値に基づいてもよい。少なくとも幾つかの実施形態では、加重の値は浮動小数点数であってもよい。例えば、加重は、図3に開示されたように、図2に開示された加重が昇順で配列されたように、昇順で配列(arrange)されてもよい。

0037

ブロック806において、配列された加重は、加重の略線形パターン(approximately linear patterns)に基づいて、複数のグループに分割されてもよい。例えば、一組の加重の値のすべてが、略線形傾斜を有する線上にある場合、この一組の加重は1つのグループとされてもよい(divided into a group)。例えば、図3の配列された加重が複数のグループ302−310に分割されたのと同様に、配列された加重が複数のグループに分割されてもよい。

0038

ブロック808において、ベースグループが指定され、他のグループが従属グループ(dependent groups)として指定されてもよい。少なくとも幾つかの実施形態では、ベースグループを指定することは、最も線形である略線形パターンを有するグループをベースグループとして指定することを含む。例えば、ベースグループが指定され、他のグループが従属グループとして指定されるのは、グループ304がベースグループとして指定され、グループ302、306、308及び310が従属グループとして指定されたのと同様であってもよい。 あるいは、ベースグループを指定することは、仮想グループをベースグループとして指定することを含んでもよい。

0039

ブロック810において、ベースグループの加重の値をメモリに記憶してもよい。 前述の通り、ベースグループの加重の値を、浮動小数点数として、メモリに記憶してもよい。メモリは、例えば、図5のコンピュータアーキテクチャ500のメモリと同様であってもよい。

0040

ブロック812において、各従属グループのグループインデックスがメモリに記憶されてもよい。

0041

ブロック814において、傾きと切片が各従属グループについて計算されてもよい。例えば、傾きと切片は、図5を参照して開示した傾きと切片と同様であってもよい。

0042

ブロック816において、各従属グループの傾きと切片がメモリに記憶されてもよい。

0043

ブロック818において、従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶してもよい。例えば、インデックスは図4に開示の式を用いて計算してもよい。

0044

それゆえ方法800を利用して、グループ間インデックス付与(inter−group indexing)を用いて、人工ニューラルネットワークにおいて加重値を表すことができる。グループ間インデックス付与は、ベースグループの加重の値をメモリに記憶すること、及び単に従属グループの加重をベースグループの加重でインデックスすることを含んでもよい。従属グループ中の加重の、ベースグループ中の加重に対するグループ間インデックスにより、従属グループ中の加重の実際の値をメモリに記憶しなくても、図9を参照して以下に説明するように、従属グループ中の加重値が、比較的高い精度で、後で合成できる。これにより、加重クラスタリングで一般的に見られる精度の大幅な損失を起こさずに、人工ニューラルネットワークのメモリ必要量を低減できる。

0045

図9は、本開示で説明する少なくとも1つの実施形態により構成されるグループ間インデックス付与(inter−group indexing)を用いて人工ニューラルネットワークにおいて加重値を表す方法900の他の一例を示すフローチャートである。方法900は、幾つかの実施形態では、図5のコンピュータアーキテクチャ500の加重修正器508により実施されてもよい。また、方法900は、一般的に、方法800の実施後に実施されてもよい。離散的ブロックとして示したが、目標とする実施形態に応じて、様々なブロックは、複数のブロックに分割されてもよく、より少ないブロックに結合されてもよく、又は削除されてもよい。

0046

方法900は、ブロック902で始まり、従属グループの1つの傾き及び切片(slope and intercept modifiers)がメモリから読み出される。例えば、方法800のブロック814でメモリに記憶された傾きと切片が、メモリから読み出されてもよい。

0047

ブロック904において、従属グループの加重の1つのインデックスが、メモリから読み出される。例えば、方法800のブロック816においてメモリに記憶された従属グループの加重の1つのインデックスが、メモリから読み出されてもよい。

0048

ブロック906において、読み出したインデックスが対応するベースグループの加重の値が、メモリから読み出される。例えば、方法800のブロック810においてメモリに記憶された、読み出されたインデックスが対応するベースグループの加重の値が、メモリから読み出されてもよい。

0049

ブロック908において、従属グループの加重の値が、読み出された加重のインデックスと、読み出された従属グループの傾き及び切片と、読み出されたベースグループの加重の値とを用いて、合成される。例えば、合成される値は、図5を参照して開示する式を用いて計算してもよい。

0050

それゆえ、方法900を利用して、グループ間インデックス付与を用いて、人工ニューラルネットワークの加重値を表すことができる。グループ間インデックス付与により、従属グループの加重の実際の値をメモリに記憶しなくても、従属グループの加重の値を、比較的高い精度で合成することができ、加重クラスタリングで一般的に見られる精度の大幅な低減を起こさずに、人工ニューラルネットワークのメモリ必要量を低減することができる。

0051

本技術分野の当業者には言うまでもないが、ここに開示のこれらの及びその他のプロセス及び方法について、そのプロセス及び方法で実行される機能は、異なる順序実装されてもよい。さらに、概要を述べたステップと動作は、単なる例であり、開示された実施形態の本質を損なうことなく、そのステップと動作のうち幾つかは、任意的であり、結合されてより少ないステップと動作にされてもよく、拡張されてより多くのステップと動作にされてもよい。

0052

本開示に用い、特に添付した特許請求の範囲で用いる用語は、一般的に「オープンタームであることが意図されている(例えば、用語「含む」は「含むが限定されない」と解釈すべきであり、用語「有する」は「少なくとも〜を有する」と解釈すべきであり、用語「含む」は「含むが限定されない」と解釈すべきである。

0053

また、請求項において数を特定しようと意図する場合は、請求項中に明示的に記載し、そうでなければ、そのような意図はない。例えば、理解の助けとして、下記に添付した特許請求の範囲は、その記載に「少なくとも1つの」や「一以上の」との導入を含んでいることがある。しかし、かかるフレーズの使用は、不定詞「a」または「an」を付けることが、たとえ同じ請求項が「一以上の」又は「少なくとも1つの」という導入句と「a」や「an」などの不定冠詞を含んでいたとしても、かかる請求項記載を含む請求項を、かかる記載を1つだけ含む実施形態に限定することを示唆していると解してはならない。(例えば、「a」及び/又は「an」は「少なくとも1つの」又は「一以上の」を意味するものと解釈すべきである);請求項記載を導入する定冠詞の使用についても同様である。

0054

また、導入された請求項記載について特定の数が明示的に記載されていたとしても、当業者には言うまでもなく、かかる記載は少なくとも記載された数という意味と解釈すべきである(例えば、他の修飾語を付けずに「2つの」と言った場合、これは少なくとも2つ、すなわち2以上を意味する)。さらに、「A,B,及びCなどのうち少なくとも1つ」又は「A,B、及びCなどのうち一以上」などの表現を用いる場合、一般的に、かかる表現は、Aのみ、Bのみ、Cのみ、AとB、AとC、BとC、又はAとBとCなどを含むことを意図している。

0055

さらに、2以上の代替的用語を提示する宣言的単語又は句は、明細書、特許請求の範囲、又は図面にかかわらず、その用語のうち一つ、その用語のどちらか、又は両方の用語を含む可能性を想定していると理解すべきである。例えば、「AまたはB」は、「A」、または「B」、又は「A及びB」の可能性を含むと理解すべきである。

0056

本開示に記載したすべての例と条件付き言葉は、発明者が技術発展に対してなした本開示とコンセプトとを、読者が理解しやすいようにするためのものであり、その解釈は具体的に記載した実施例や条件に限定されるべきではない。 本開示の実施形態を詳細に説明したが、言うまでもなく、本開示の精神と範囲から逸脱することなく、これらの実施形態に変更、置換、代替を施すことができる。
実施形態を付記する。
(付記1)グループ間インデックスを用いた人工ニューラルネットワークにおける加重値を表現する、コンピュータ実施の方法であって、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、
加重の略線形パターンに基づいて、並べた加重をグループに分けるステップと、
ベースグループと、従属グループとして他のグループとを指定するステップと、
ベースグループの加重の値をメモリに記憶するステップと、
各従属グループのグループインデックスをメモリに記憶するステップと、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを含む、
方法。
(付記2) ベースグループを指定するステップは、最も線形である略線形パターンを有するグループをベースグループとして指定するステップを含む、
付記1に記載の方法。
(付記3) ベースグループを指定するステップは、仮想グループをベースグループとして指定するステップを含む、
付記1に記載の方法。
(付記4) ベースグループの加重の値をメモリに記憶するステップは、ベースグループの加重の値を浮動小数点数としてメモリに記憶するステップを含む、
付記1に記載の方法。
(付記5) 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶するステップを含む、
付記4に記載の方法。
(付記6) 各従属グループの傾き及び切片を計算するステップと、
各従属グループの傾き及び切片をメモリに記憶するステップとをさらに含む、
付記1に記載の方法。
(付記7) 従属グループの傾き及び切片をメモリから読み出すステップと、
メモリから従属グループの加重のインデックスを読み出すステップと、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出すステップと、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成するステップとを含む、
付記6に記載の方法。
(付記8) グループ間インデックスを用いて人工ニューラルネットワークにおいて加重を表現するコンピュータプログラムであって、コンピュータに、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、
加重の略線形パターンに基づいて、並べた加重をグループに分けるステップと、
ベースグループと、従属グループとして他のグループとを指定するステップと、
ベースグループの加重の値をメモリに記憶するステップと、
各従属グループのグループインデックスをメモリに記憶するステップと、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを実行させる、
コンピュータプログラム。
(付記9) ベースグループの指定は、最も線形である略線形パターンを有するグループをベースグループとして指定するステップを含む、
付記8に記載のコンピュータプログラム。
(付記10) ベースグループを指定するステップは、仮想グループをベースグループとして指定するステップを含む、
付記8に記載のコンピュータプログラム。
(付記11) ベースグループの加重の値をメモリに記憶するステップは、ベースグループの加重の値を浮動小数点数としてメモリに記憶するステップを含む、
付記8に記載のコンピュータプログラム。
(付記12) 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶するステップを含む、
付記11に記載のコンピュータプログラム。
(付記13) 各従属グループの傾きと切片を計算するステップと、
各従属グループの傾きと切片をメモリに記憶するステップとをさらに含む、
付記8に記載のコンピュータプログラム。
(付記14) 従属グループの傾きと切片をメモリから読み出すステップと、
メモリから従属グループの加重のインデックスを読み出すステップと、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出すステップと、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成するステップとをさらに含む、
付記13に記載のコンピュータプログラム。
(付記15) グループ間インデックスを用いた人工ニューラルネットワークにおける加重値を表現する、コンピュータアーキテクチャであって、
メモリと、
プロセッサとを有し、該プロセッサは、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにアクセスし、
加重を昇順に並べ、
加重の略線形パターンに基づいて、並べた加重をグループに分け、
ベースグループと、従属グループとして他のグループとを指定し、
ベースグループの加重の値をメモリに記憶し、
各従属グループのグループインデックスをメモリに記憶し、
各従属グループの傾きと切片を計算し、
各従属グループの傾きと切片をメモリに記憶し、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶する、
コンピュータアーキテクチャ。
(付記16) ベースグループを指定することは、最も線形である略線形パターンを有するグループをベースグループとして指定することを含む、
付記15に記載のコンピュータアーキテクチャ。
(付記17) ベースグループを指定することは、仮想グループをベースグループとして指定することを含む、
付記15に記載のコンピュータアーキテクチャ。
(付記18) ベースグループの加重の値をメモリに記憶することは、ベースグループの加重の値を浮動小数点数としてメモリに記憶することを含む、
付記15に記載のコンピュータアーキテクチャ。
(付記19) 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶することは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶することを含む、
付記18に記載のコンピュータアーキテクチャ。
(付記20) 加重修正器をさらに有し、該加重修正器は、
従属グループの傾きと切片をメモリから読み出し、
メモリから従属グループの加重のインデックスを読み出し、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出し、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成する、
付記15に記載のコンピュータアーキテクチャ。

0057

500コンピュータアーキテクチャ
502メモリ
504メモリコントローラ
508加重修正器
506 処理要素

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ