図面 (/)

技術 スパース結合性をもたらす局所競合学習則のための方法および装置

出願人 クゥアルコム・インコーポレイテッド
発明者 アパリン、ブラディミル
出願日 2012年6月21日 (7年8ヶ月経過) 出願番号 2014-517178
公開日 2014年8月21日 (5年6ヶ月経過) 公開番号 2014-520349
状態 不明
技術分野
  • -
主要キーワード スパーシティ デジタル構成要素 共通因数 次視覚野 シナプス重み ON領域 入力重み OFF領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年8月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題・解決手段

本開示のいくつかの態様は、計算ネットワーク処理ユニットの間のスパース結合性をもたらす、上記ネットワークにおいて適用される局所競合学習則をサポートする。本開示は、Oja則において2乗重みの和への制約を変更する、Oja学習則への変更を提供する。この制約は、明示的であり、処理ユニットのすべての入力重みの各々を個別に更新するためにそれらの入力重みについての知識を必要とする、通常使用される乗法正規化および減算的正規化とは対照的に、本質的で局所的であり得る。提示される法則は、元のOja則によって学習された重みベクトルよりもスパースである(すなわち、より多くの0要素を有する)重みベクトルへの収束を提供する。そのようなスパース結合性は、特定の特徴に対する処理ユニットのより高い選択性をもたらすことがあり、それは、ネットワーク構成を記憶するためにより少ないメモリを必要とし、それを動作させるためにより少ないエネルギーを必要とし得る。

概要

背景

人間および動物の発生中の脳は、幼年期においてシナプス成長スパートを経験し、その後、大量のシナプスプルーニング(synaptic pruning)が行われ、それにより、成人期までにシナプスの約1/2が除去される。成熟脳においてシナプス再配線構造的可塑性)が継続するが、より遅い速度で行われる。シナプスプルーニングは、活性依存性(activity dependent)であり、より弱いシナプスを除去することがわかっている。そのために、それは、シナプスが神経栄養因子(neurotrophic factor)などの有限リソースについて競合する、シナプス可塑性(synaptic plasticity)によって説明され得る。シナプスプルーニングは、脳効率を高めるのを助け、これは、一般に、より少ないシナプスと同じ機能として定義され得る。シナプスを介した信号の伝達にはエネルギーが必要とされるので、より高い効率はより低いエネルギーをも意味する。

既存の教師なし学習則(unsupervised learning rule)は、明示的に、乗法正規化(multiplicative normalization)または減算的正規化(subtractive normalization)によって、あるいは暗黙的に、限られたリソースについてのシナプス競合をモデル化する。しかしながら、明示的正規化は非局所的であり得、すなわち、明示的正規化は、ニューロンのすべての入力重みの各々を個別に更新するためにそれらの入力重みについての知識を必要とする。ただし、これは生物学的にもっともらしくないことがある。一方、Oja則は、シナプスの重み更新を計算するためにシナプスにとって利用可能な局所情報のみを使用するが、それは、生物学的な正当とする理由を有しない、2乗重みの和を漸近的制約する。

概要

本開示のいくつかの態様は、計算ネットワーク処理ユニットの間のスパース結合性をもたらす、上記ネットワークにおいて適用される局所競合学習則をサポートする。本開示は、Oja則において2乗重みの和への制約を変更する、Oja学習則への変更を提供する。この制約は、明示的であり、処理ユニットのすべての入力重みの各々を個別に更新するためにそれらの入力重みについての知識を必要とする、通常使用される乗法的正規化および減算的正規化とは対照的に、本質的で局所的であり得る。提示される法則は、元のOja則によって学習された重みベクトルよりもスパースである(すなわち、より多くの0要素を有する)重みベクトルへの収束を提供する。そのようなスパース結合性は、特定の特徴に対する処理ユニットのより高い選択性をもたらすことがあり、それは、ネットワーク構成を記憶するためにより少ないメモリを必要とし、それを動作させるためにより少ないエネルギーを必要とし得る。

目的

本開示のいくつかの態様は、計算ネットワークをトレーニングする方法を提供する

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

計算ネットワークトレーニングする方法であって、少なくとも1つの既存の重みに少なくとも部分的に基づいて前記計算ネットワーク中の処理ユニットの出力を計算することと、局所トレーニング則を使用して前記処理ユニットの前記少なくとも1つの重みを変更することであって、前記局所トレーニング則が前記計算ネットワークの処理ユニット間のスパース結合性を生成する、変更することとを備える、方法。

請求項2

前記局所トレーニング則を使用して前記少なくとも1つの重みを変更することが、前記処理ユニットにおける1つまたは複数の入力、前記出力、または前記変更の前の前記少なくとも1つの既存の重みのうちの少なくとも1つに基づいて前記少なくとも1つの重みを更新することを備える、請求項1に記載の方法。

請求項3

前記スパース結合性が、前記少なくとも1つの重みの複数の更新の後に生成される、請求項2に記載の方法。

請求項4

前記計算ネットワークがニューラルネットワークを備え、前記処理ユニットがニューロン回路を備える、請求項1に記載の方法。

請求項5

前記局所トレーニング則が、前記重みの絶対値の和に制約課する、請求項1に記載の方法。

請求項6

前記制約付き重みが前記処理ユニットへの入力接続に関連する、請求項5に記載の方法。

請求項7

前記局所トレーニング則が、平衡点において前記処理ユニットへの入力接続に関連する入力重みベクトルを制約する、請求項1に記載の方法。

請求項8

前記局所トレーニング則がいくつかの非0重みを制約する、請求項1に記載の方法。

請求項9

前記制約付き重みが前記処理ユニットへの入力接続に関連する、請求項8に記載の方法。

請求項10

前記処理ユニットが1つまたは複数の非線形演算を利用する、請求項1に記載の方法。

請求項11

前記局所トレーニング則が、前記処理ユニットへの入力接続に関連する個々の重みに制限を課する、請求項1に記載の方法。

請求項12

前記個々の重みの最大値が上限によって制限される、請求項11に記載の方法。

請求項13

前記個々の重みの最小値が下限によって制限される、請求項11に記載の方法。

請求項14

前記個々の重みの最大値と最小値の両方が制限される、請求項11に記載の方法。

請求項15

前記制限が前記個々の重みについて異なる、請求項11に記載の方法。

請求項16

計算ネットワークの装置であって、少なくとも1つの既存の重みに少なくとも部分的に基づいて前記計算ネットワーク中の前記装置の出力を計算するように構成された第1の回路と、局所トレーニング則を使用して前記装置の前記少なくとも1つの重みを変更するように構成された第2の回路であって、前記局所トレーニング則が、前記計算ネットワークの装置間のスパース結合性を生成する、第2の回路とを備える、装置。

請求項17

前記第2の回路がまた、前記装置における1つまたは複数の入力、前記出力、または前記変更の前の前記少なくとも1つの既存の重みのうちの少なくとも1つに基づいて前記少なくとも1つの重みを更新するように構成された、請求項16に記載の装置。

請求項18

前記スパース結合性が、前記少なくとも1つの重みの複数の更新の後に生成される、請求項17に記載の装置。

請求項19

前記計算ネットワークがニューラルネットワークを備え、前記装置がニューロン回路を備える、請求項16に記載の装置。

請求項20

前記局所トレーニング則が、前記重みの絶対値の和に制約を課する、請求項16に記載の装置。

請求項21

前記制約付き重みが前記装置への入力接続に関連する、請求項20に記載の装置。

請求項22

前記局所トレーニング則が、平衡点において前記装置への入力接続に関連する入力重みベクトルを制約する、請求項16に記載の装置。

請求項23

前記局所トレーニング則が、いくつかの非0重みを制約する、請求項16に記載の装置。

請求項24

前記制約付き重みが前記装置への入力接続に関連する、請求項23に記載の装置。

請求項25

前記装置が1つまたは複数の非線形演算を利用する、請求項16に記載の装置。

請求項26

前記局所トレーニング則が、前記装置への入力接続に関連する個々の重みに制限を課する、請求項16に記載の装置。

請求項27

前記個々の重みの最大値が上限によって制限される、請求項26に記載の装置。

請求項28

前記個々の重みの最小値が下限によって制限される、請求項26に記載の装置。

請求項29

前記個々の重みの最大値と最小値の両方が制限される、請求項26に記載の装置。

請求項30

前記制限が前記個々の重みについて異なる、請求項26に記載の装置。

請求項31

計算ネットワークの装置であって、少なくとも1つの既存の重みに少なくとも部分的に基づいて前記計算ネットワーク中の前記装置の出力を計算するための手段と、局所トレーニング則を使用して前記処理ユニットの前記少なくとも1つの重みを変更するための手段であって、前記局所トレーニング則が前記計算ネットワークの装置間のスパース結合性を生成する、変更するための手段とを備える、装置。

請求項32

前記局所トレーニング則を使用して前記少なくとも1つの重みを変更するための前記手段が、前記装置における1つまたは複数の入力、前記出力、または前記変更の前の前記少なくとも1つの既存の重みのうちの少なくとも1つに基づいて前記少なくとも1つの重みを更新するための手段を備える、請求項31に記載の装置。

請求項33

前記スパース結合性が、前記少なくとも1つの重みの複数の更新の後に生成される、請求項32に記載の装置。

請求項34

前記計算ネットワークがニューラルネットワークを備え、前記装置がニューロン回路を備える、請求項31に記載の装置。

請求項35

前記局所トレーニング則が、前記重みの絶対値の和に制約を課する、請求項31に記載の装置。

請求項36

前記制約付き重みが前記装置への入力接続に関連する、請求項35に記載の装置。

請求項37

前記局所トレーニング則が、平衡点において前記装置への入力接続に関連する入力重みベクトルを制約する、請求項31に記載の装置。

請求項38

前記局所トレーニング則が、いくつかの非0重みを制約する、請求項31に記載の装置。

請求項39

前記制約付き重みが前記装置への入力接続に関連する、請求項38に記載の装置。

請求項40

前記装置が1つまたは複数の非線形演算を利用する、請求項31に記載の装置。

請求項41

前記局所トレーニング則が、前記装置への入力接続に関連する個々の重みに制限を課する、請求項31に記載の装置。

請求項42

前記個々の重みの最大値が上限によって制限される、請求項41に記載の装置。

請求項43

前記個々の重みの最小値が下限によって制限される、請求項41に記載の装置。

請求項44

前記個々の重みの最大値と最小値の両方が制限される、請求項41に記載の装置。

請求項45

前記制限が前記個々の重みについて異なる、請求項41に記載の装置。

請求項46

計算ネットワークをトレーニングするためのコンピュータプログラム製品であって、少なくとも1つの既存の重みに少なくとも部分的に基づいて前記計算ネットワーク中の処理ユニットの出力を計算することと、局所トレーニング則を使用して前記処理ユニットの前記少なくとも1つの重みを変更することであって、前記局所トレーニング則が前記計算ネットワークの処理ユニット間のスパース結合性を生成する、変更することとを行うのためのコードを備えるコンピュータ可読媒体を備える、コンピュータプログラム製品。

請求項47

前記コンピュータ可読媒体が、前記処理ユニットにおける1つまたは複数の入力、前記出力、または前記変更の前の前記少なくとも1つの既存の重みのうちの少なくとも1つに基づいて前記少なくとも1つの重みを更新することを行うためのコードをさらに備える、請求項46に記載のコンピュータプログラム製品。

請求項48

前記スパース結合性が、前記少なくとも1つの重みの複数の更新の後に生成される、請求項47に記載のコンピュータプログラム製品。

請求項49

前記計算ネットワークがニューラルネットワークを備え、前記処理ユニットがニューロン回路を備える、請求項46に記載のコンピュータプログラム製品。

請求項50

前記局所トレーニング則が、前記重みの絶対値の和に制約を課する、請求項46に記載のコンピュータプログラム製品。

請求項51

前記制約付き重みが前記処理ユニットへの入力接続に関連する、請求項50に記載のコンピュータプログラム製品。

請求項52

前記局所トレーニング則が、平衡点において前記処理ユニットへの入力接続に関連する入力重みベクトルを制約する、請求項46に記載のコンピュータプログラム製品。

請求項53

前記局所トレーニング則が、いくつかの非0重みを制約する、請求項46に記載のコンピュータプログラム製品。

請求項54

前記制約付き重みが前記処理ユニットへの入力接続に関連する、請求項53に記載のコンピュータプログラム製品。

請求項55

前記処理ユニットが1つまたは複数の非線形演算を利用する、請求項46に記載のコンピュータプログラム製品。

請求項56

前記局所トレーニング則が、前記処理ユニットへの入力接続に関連する個々の重みに制限を課する、請求項46に記載のコンピュータプログラム製品。

請求項57

前記個々の重みの最大値が上限によって制限される、請求項56に記載のコンピュータプログラム製品。

請求項58

前記個々の重みの最小値が下限によって制限される、請求項56に記載のコンピュータプログラム製品。

請求項59

前記個々の重みの最大値と最小値の両方が制限される、請求項56に記載のコンピュータプログラム製品。

請求項60

前記制限が前記個々の重みについて異なる、請求項56に記載のコンピュータプログラム製品。

技術分野

0001

本開示のいくつかの態様は、一般に、神経システム工学に関し、より詳細には、スパース結合性(sparse connectivity)を生成する局所トレーニング則を使用して計算ネットワークをトレーニングするための方法および装置に関する。

背景技術

0002

人間および動物の発生中の脳は、幼年期においてシナプス成長スパートを経験し、その後、大量のシナプスプルーニング(synaptic pruning)が行われ、それにより、成人期までにシナプスの約1/2が除去される。成熟脳においてシナプス再配線構造的可塑性)が継続するが、より遅い速度で行われる。シナプスプルーニングは、活性依存性(activity dependent)であり、より弱いシナプスを除去することがわかっている。そのために、それは、シナプスが神経栄養因子(neurotrophic factor)などの有限リソースについて競合する、シナプス可塑性(synaptic plasticity)によって説明され得る。シナプスプルーニングは、脳効率を高めるのを助け、これは、一般に、より少ないシナプスと同じ機能として定義され得る。シナプスを介した信号の伝達にはエネルギーが必要とされるので、より高い効率はより低いエネルギーをも意味する。

0003

既存の教師なし学習則(unsupervised learning rule)は、明示的に、乗法正規化(multiplicative normalization)または減算的正規化(subtractive normalization)によって、あるいは暗黙的に、限られたリソースについてのシナプス競合をモデル化する。しかしながら、明示的正規化は非局所的であり得、すなわち、明示的正規化は、ニューロンのすべての入力重みの各々を個別に更新するためにそれらの入力重みについての知識を必要とする。ただし、これは生物学的にもっともらしくないことがある。一方、Oja則は、シナプスの重み更新を計算するためにシナプスにとって利用可能な局所情報のみを使用するが、それは、生物学的な正当とする理由を有しない、2乗重みの和を漸近的制約する。

0004

本開示のいくつかの態様は、計算ネットワークをトレーニングする方法を提供する。本方法は、概して、少なくとも1つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の処理ユニットの出力を計算することと、局所トレーニング則を使用して処理ユニットの少なくとも1つの重みを変更することであって、局所トレーニング則が計算ネットワークの処理ユニット間のスパース結合性を生成する、変更することとを含む。

0005

本開示のいくつかの態様は、計算ネットワークの装置を提供する。本装置は、概して、少なくとも1つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の装置の出力を計算するように構成された第1の回路と、局所トレーニング則を使用して装置の少なくとも1つの重みを変更するように構成された第2の回路であって、局所トレーニング則が計算ネットワークの装置間のスパース結合性を生成する、第2の回路とを含む。

0006

本開示のいくつかの態様は、計算ネットワークの装置を提供する。本装置は、概して、少なくとも1つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の装置の出力を計算するための手段と、局所トレーニング則を使用して処理ユニットの少なくとも1つの重みを変更するための手段であって、局所トレーニング則が計算ネットワークの装置間のスパース結合性を生成する、変更するための手段とを含む。

0007

本開示のいくつかの態様は、計算ネットワークをトレーニングするためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、少なくとも1つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の処理ユニットの出力を計算することと、局所トレーニング則を使用して処理ユニットの少なくとも1つの重みを変更することであって、局所トレーニング則が計算ネットワークの処理ユニット間のスパース結合性を生成する、変更することとを行うためのコードを備えるコンピュータ可読媒体を含む。

0008

本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約したより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、その範囲を限定するものと見なすべきではないことに留意されたい。

図面の簡単な説明

0009

本開示のいくつかの態様による、神経システムの例示的な処理ユニットを示す図。
本開示のいくつかの態様による、漸近解の例示的な幾何学的分析を示す図。
本開示のいくつかの態様による、局所トレーニング則を使用して神経システムのシナプス重みを更新するための動作を示す図。
図3に示した動作を実行することが可能な例示的な構成要素を示す図。
本開示のいくつかの態様による、4つの異なる法則によってトレーニングされる単純型細胞(simple cell)の求心性受容野(afferent receptive field)を示す図。
本開示のいくつかの態様による、網膜神経節細胞対単純型細胞(RGC対S1:Retinal Ganglion Cell to simple-cell)重みの分布を示す図。
本開示のいくつかの態様による、単純型細胞のプールから同じ複雑型細胞(complex cell)への結合(connection)をもつ単純型細胞配向マップを示す図。
本開示のいくつかの態様による、4つの異なる法則によってトレーニングされる単純型細胞対複雑型細胞(S1対C1:simple-cell to complex-cell)重みの分布を示す図。
本開示のいくつかの態様による、汎用プロセッサを使用した局所トレーニング則の例示的なソフトウェア実装形態を示す図。
本開示のいくつかの態様による、重みメモリが個々の分散処理ユニットインターフェースされる局所トレーニング則の例示的な実装形態を示す図。
本開示のいくつかの態様による、分散重みメモリと分散処理ユニットとに基づく局所トレーニング則の例示的な実装形態を示す図。

実施例

0010

添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置を実装し、または方法を実施し得る。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示の任意の態様が請求項の1つまたは複数の要素によって実施され得ることを理解されたい。

0011

「例示的」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好適または有利なものと解釈すべきではない。

0012

本明細書では特定の態様について説明するが、これらの態様の多くの変形体および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

0013

例示的な神経システム
図1に、本開示のいくつかの態様による、計算ネットワーク(たとえば、神経システム)の処理ユニット(たとえば、ニューロン)102の一例100を示す。ニューロン102は、神経システムの外部にある信号、または同じ神経システムの他のニューロンによって生成された信号、またはその両方であり得る、複数の入力信号1041〜104N(x1〜xN)を受信し得る。入力信号は、電流または電圧実数値または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み1061〜106N(w1〜wN)に従って信号をスケーリングするシナプス結合を通してニューロン102に伝えられ得、Nはニューロン102の入力接続総数であり得る。

0014

ニューロン102は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号108(すなわち、信号y)を生成し得る。出力信号108は、電流または電圧、実数値または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。出力信号108は、次いで、同じ神経システムの他のニューロンへの入力信号として、または同じニューロン102への入力信号として、または神経システムの出力として伝達され得る。

0015

処理ユニット(ニューロン)102は電気回路によってエミュレートされ得、それの入力および出力接続は、シナプス回路をもつワイヤによってエミュレートされ得る。処理ユニット102、それの入力および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニット102はまた、電気回路によってエミュレートされ得るが、それの入力および出力接続はソフトウェアコードによってエミュレートされ得る。本開示の一態様では、計算ネットワーク中の処理ユニット102はアナログ電気回路を備え得る。別の態様では、処理ユニット102はデジタル電気回路を備え得る。さらに別の態様では、処理ユニット102は、アナログ構成要素デジタル構成要素の両方をもつ混合信号電気回路を備え得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを備え得る。そのような処理ユニットを使用した計算ネットワーク(神経システム)は、画像およびパターン認識機械学習モータ制御など、広い範囲の適用例において利用され得る。

0016

L1制約を用いた局所競合学習
本開示のいくつかの態様は、図1に示した重み1061〜106Nなど、計算ネットワーク(神経システム)の1つまたは複数の処理ユニット(ニューロン)に関連する重みを更新するための局所競合学習則をサポートする。学習プロセスが完了すると、適用された局所競合学習則は処理ユニット間のスパース結合性をもたらし得、すなわち、重みのいくつかは、0に等しくなるか、またはあるしきい値を下回り得る。

0017

一態様では、シナプス重みの一般的なヘッブの学習則は、次のように表され得る。

0018

上式で、Δwiはi番目のシナプス重みwiの変化であり、ηは学習率であり、xiはi番目の入力(シナプス前反応(presynaptic response))であり、yはニューロン出力(シナプス後反応(postsynaptic response))である。式(1)によって定義される法則は非有界(unbounded)重み成長を生じることがあり、したがって、シナプス強化(synaptic potentiation)のための脳の限られたリソースと、これらのリソースについてのシナプス間の結果として生じる競合とを考慮することができない。

0019

ヘッブの法則へのいくつかの変更は、それの欠点を克服するのを助け得る。たとえば、重み成長を制限するために、式(1)に受動重み減衰項が加算され得る。

0020

この法則は、低い活性をもつ結合をプルーニングし得、それは、γが慎重に選択されない場合、すべての結合をプルーニングし得る。さらに、減衰項がシナプス後活性(postsynaptic activity)yでゲートされ得る、いわゆる「インスター則(instar rule)」は、次式によって与えられるようにこの問題を回避し得る。

0021

式(3)によって定義される法則と同様の法則が自己組織化マップにおいて利用され得る。この法則はwi=xiに収束し得ることに留意されたい。

0022

xiおよびyの非0平均によりヘッブの法則のバイアスを除去し得、同時に、次式によって与えられるようにシナプス抑制(synaptic depression)を加え得る、共分散則(covariance rule)が提案され得る。

0023

上式で、〈xi〉および〈y〉は、それぞれ平均シナプス前活性(presynaptic activity)およびシナプス後活性である。ヘッブの法則とまったく同様に、式(4)によって定義される法則は、重み成長を制限し得ず、シナプス競合を強制し得ない。

0024

シナプス競合を達成するために、平均シナプス後活性〈y〉とともに線形的に成長する場合よりも速く成長するシナプス後しきい値が使用され得る。BCM則(Bienenstock−Cooper−Munro則)と呼ばれる、得られた学習則は、次のように書かれ得る。

0025

上式で、y0は〈y〉の漸近ターゲットを表し、p>1は定数である。

0026

重みの非有界成長を防ぐために、重みは、次式によって与えられるように、それらを一定に保つためにそれらの和で除算され得る。

0027

上式で、w’i(t)=wi(t−1)+ηxiyであり、αはΣiwi(t)のターゲットであり、tは時間インデックスである。このタイプの重み制限は乗法的正規化と呼ばれることがある。それの元の形態では、乗法的正規化は単極重みに適用され得る。ただし、それは、式(6)中の分母をL1−normΣi|w’i|に変更することによって双極重みに拡張され得る。それはまた、その分母を

0028

に変更することによって重みベクトル長(L2−norm)を制限するように変更され得る。式(6)中の重みはヘッブの法則によってトレーニングされ、次いで共通因数によってスケーリングされ得るので、式(1)および式(6)によって定義される両方の学習則は、同じ方向を指すが、異なる長さを有する重みベクトルに収束し得る。

0029

また、各重みが、式(1)によって定義される学習則によって変更された後に、各重みから等しい量を減算し得、その量は、重みの総和が一定のままであり得るように選択される。

0030

上式で、Nは入力の数である。このタイプの重み制限は減算的正規化と呼ばれることがある。w’i(t)=wi(t−1)+ηxiyを式(7)に代入し、Σiwi(t−1)=αを考慮に入れると、(7)によって定義される学習則は次式に帰着し得る。

0031

減算的正規化は、一般に、単極重みに適用され得、したがって、重みがそれらの符号を変更するのを防ぐために、0限界を必要とし得る。0限界を用いると、式(7)によってトレーニングされるニューロンのすべての入力重みが、1つの重みを除いて漸近的に0に収束し得る。単一の非0重みを防ぐために、重み値(weight magnitude)に対する上限も課され得る。乗法的正規化および減算的正規化の主要な欠点は、それらが非局所的であること、すなわち、それらは、各重みを個別に計算するためにニューロンのすべての入力重みまたは入力の知識を必要とし得ることであり得る。

0032

Oja学習則として知られる局所学習則は、平衡点において入力重みベクトルのL2ノルムを制約し得る。一般的な形態では、Oja則は次のように書かれ得る。

0033

上式で、αは、平衡点における

0034

のターゲットである。この法則は、限られたリソースについてのシナプス重み間の競合を生成し得るが、これらのリソースを2乗重みの和としてモデリングすることは生物学的に正当化され得ない。

0035

上述の学習則は、興奮性ニューロン(excitatory neuron)からの結合が正の重みを有する必要があり得、抑制性ニューロン(inhibitory neuron)からの結合が負の重みを有する必要があり得るという原理に従うように、一般に、単極重みに適用され得る。一態様では、0限界を使用することによって、重みがそれらの符号を変更することが許され得ない。法則が求心性神経(afferent)を隔離することができる場合、0限界は、しばしば、多くの0要素(スパースベクトル)をもつ重みベクトルをもたらし得る。しかしながら、重みがそれらの符号を変更することが許される場合、上述の法則は、少数の0要素(非スパースベクトル)をもつ重みベクトルに収束し得る。

0036

本開示のいくつかの態様によれば、式(9)によって定義されるOja則への変更が、次式によって与えられるように提案される。

0037

上式で、Δwiはi番目のシナプス重みwiの変化であり、ηは学習率であり、xiはi番目の入力(シナプス前反応)であり、yはニューロン出力(シナプス後反応)であり、αはΣi|wi|のターゲットであり、sgn( )は符号関数である。

0038

式(10)によって与えられる提案する法則が平衡点においてΣi|wi|をαに制約することを証明するために、出力yがニューロンの入力の重み付け和として生成されると仮定され得る。すなわち、

0039

式(11)を式(10)に代入し、入力パターンが提示される時間に対して重み変更が遅いと仮定して、結果の時間平均〈 〉を取ると、次式になり得る。

0040

または、行列形式では、次式になり得る。

0041

上式で、wは入力重みベクトルであり、上付き文字のTは転置を意味し、要素Cik=〈xixk〉をもつ行列Cは、入力の相関行列である。

0042

平衡点において、平均重み変更は0に等しくなるべきである、すなわち、

0043

式(14)の両辺に左側からwTを掛け、得られた式をスカラー[wTCw]で除算し、項を並べ替えると、次式になり得る。

0044

すなわち、重みベクトルwのL1ノルムは平衡点においてαに等しくなり得る。

0045

同様の方法で、以下の法則が平衡点において重みベクトルのL0ノルムを制約し得ることが証明され得る。

0046

上式で、βは定数(たとえば、β=1またはβ=0)であり、αはw中の非0要素の数のターゲットである。wiによる除算のために、式(16)によって定義される法則は、wiが0に近いときに大きいΔwi更新を生成し、0限界が使用されない限り、それは0の周り振動することになり、決してターゲットに達し得ない。一方、式(10)によって定義される学習則は、そのような挙動を示さないことがあり、以下でさらに詳細に示すように、0限界を用いてまたは用いずにスパースwに収束し得る。

0047

単純な例として、2つの入力x1およびx2をもつ線形ニューロンと、対応する重みw1およびw2とについて考えることができる。その場合、ニューロン出力は次式によって与えられ得る。

0048

上式で、すべての量は、正、負、または0のいずれかであり得る。入力が0平均である場合、出力yも0平均であり得、式(4)によって定義される共分散則は、式(1)によって定義されるヘッブの法則に帰着し得る。ヘッブの法則は、コスト関数Eの勾配の方向における最適化ステップと見なされ得る。

0049

E=y2/2、すなわち、ヘッブの法則が、ニューロンエネルギー、したがって重み値の非有界成長を最大にし得ることが示され得る。yの初期値に応じて、放物線y2/2の左側(y<0)および右側(y>0)に沿って、勾配上昇の2つの可能な解経路があり得る。簡単のために、この初期値は、式(18)によって定義される学習則が放物線y2/2の右側に沿って移動するように、正であると仮定され得る。この場合、y2/2の最大化はyの最大化に等価であり得る。非有界重み成長を防ぐために、重み値に制約が課され得る、すなわち、|w1|≦αおよび|w2|≦α。この制約は、図2Aに示すように、(w1,w2)平面上で方形202を描き得る。直線204は、所与のy、x1、およびx2のためのすべての可能な(w1,w2)解を描き得る。線204の傾きは−x1/x2によって決定され得、中心に対するそれの位置はy/x2によって決定され得る。yの最大化は、中心から離れて(x2<0である場合は上に、またはx2>0である場合は下に)線204を移動し得る。漸近解(w1(∞),w2(∞))は、それが、x1=0またはx2=0でない限り、常に角のうちの1つであり得る、ただ1つの点において方形202に接するまで、線204を、増加するyの方向に移動することによって見つけられ得る。図2Aにおいて観測され得るように、入力の大部分について、指定された限界を用いたヘッブの法則は、すべての重みが最大値を有する解につながり得る、すなわち、|w1|=|w2|=α。

0050

式(7)によって定義される減算的正規化を用いたヘッブの法則は、重みの総和を一定に維持し得る、すなわち、w1+w2=α。この制約は、図2Bに示すように(w1,w2)平面上で(α,0)および(0,α)を通る直線206を描き得る。線206は非負重みに関連し得、別の線208は双極重みに関連し得るという2つの制約が示されている。可能な漸近解は210でマークされている。減算的正規化は、一般に非負重みに適用され得、その場合、α>0であり、重みは0に制限される、すなわち、w1≧0およびw2≧0。漸近解は(α,0)および(0,α)であり得、両方ともスパースである。重みがそれらの符号を変更することが許される場合、漸近解は、限界が強制され得ない限り、非有界であり得る。最大重み値がαにおいて制約される場合、漸近解は(−α,α)および(α,−α)であり、両方とも非スパースである。

0051

次近似まで、式(9)によって定義されるOja則は、ヘッブ項(式(9)の丸括弧中の第1の項)と、制約項(式(9)の丸括弧中の第2の項)とに分けられ得る。ヘッブ項は、最初の出力yが正であると仮定すると、出力yを最大にし得、第2の項は、漸近解に制約

0052

を課し得る。この制約は、図2Cに示すように、(w1,w2)平面上で半径

0053

をもつ円212を描き得る。漸近解(w1(∞),w2(∞))は、式(17)によって定義される解線(solution line)214が円212に接する点として見つけられ得る。図2Cにおいて観測され得るように、x1=0またはx2=0でない限り、Oja則を用いたスパース解を取得することは不可能であり得る。より厳密な分析により、Oja則は、Cik=〈xixk〉をもつデータ共分散行列Cの主固有ベクトルに収束し得ることを示すことができる。

0054

本開示のいくつかの態様は、漸近制約|w1|+|w2|=αを課し得る、式(10)によって定義される局所学習則をサポートする。この制約は、図2Dに示すように、(w1,w2)平面上ですべての辺が

0055

に等しいひし形216を描き得る。漸近解(w1(∞),w2(∞))は、それが、|x1|=|x2|でない限り、常に頂点のうちの1つであり得る、ただ1つの点においてひし形216に接するまで、式(17)によって定義される解線218を、増加する出力yの方向に移動することによって見つけられ得る。したがって、入力の大部分について、提案する法則はスパース解を与え得る(すなわち、2つの重みのうちの1つが0であり得る)。

0056

N個の入力重みの一般的な場合では、式(10)によって定義される法則は、理論的には、値αのただ1つの非0重みをもつ解に収束し得る。重みベクトルが2つ以上の非0要素を有することを可能にすることが望ましいことがある。それを達成するために、wmax<αであるように、各重み値に対する上限wmaxが課され得、上式で、α/wmaxは、w中の非0要素の数のターゲットであり得る。一態様では、αの選択は任意であり得る。ただし、ネットワーク中のすべての入力および出力が同じ限界(たとえば、xi∈[−1,1]およびy∈[−1,1])内にあることが望まれる場合、αのための適切な値は1であり得る。この場合、学習則に必要な唯一入力パラメータは、学習率ηと、重み値制限wmax≦1とであり得る。

0057

また、式(16)によって定義されるL0制約則は、最大重み値をwmax=1/αに制限することによってネットワーク入力および出力を同じ限界内に保つことを強制され得、αは各重みベクトル中の非0要素の数である。

0058

図3に、本開示の態様による、計算ネットワーク(ニューラルネットワーク)をトレーニングするための例示的な動作300を示す。302において、少なくとも1つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の処理ユニット(ニューロン)の出力を計算する。304において、局所トレーニング則を使用して処理ユニットの少なくとも1つの重みを変更し、局所トレーニング則は計算ネットワークの処理ユニット間のスパース結合性を生成する。

0059

本開示のいくつかの態様によれば、局所トレーニング則を使用して少なくとも1つの重みを変更することは、処理ユニットにおける1つまたは複数の入力、出力、または変更の前の少なくとも1つの既存の重みのうちの少なくとも1つに基づいて少なくとも1つの重みを更新することを備え得る。いくつかの実施形態によれば、スパース結合性が、少なくとも1つの重みの複数の更新の後に生成され得る。

0060

本開示のいくつかの実施形態を示すために、式(10)によって定義される学習則、および他の法則とのそれの差は、1次視覚野(V1)ニューラルネットワークモデル中のフィードフォワード結合重みをトレーニングするために使用され得る。ネットワークは、光受容体(photoreceptor)と、網膜神経節細胞(RGC)と、V1単純型細胞(S1)と、V1複雑型細胞(C1)との4つの2次元層からなり得る。光受容体は、入力画像ピクセルに1:1でマッピングされ得る。各光受容体は、[−1,1]の範囲内の対応するピクセルの光度をコーディングし得る。光受容体出力は、ガウス差分(DoG:Difference of Gaussians)を用いて入力画像の空間フィルタリングを実行する固定重み結合を通して、網膜局所的にマッピングされたRGCに供給され得る。

0061

各RGCの出力は、重み付けされた入力の線形和として計算され得る。それは、正、負、または0のいずれかであり得る。そのようなRGCは、同じ入力と、反対の極性の入力重みとをもつON型細胞(ON cell)およびOFF型細胞(OFF cell)を結合し得る。それの出力は、対応するON型細胞出力およびOFF型細胞出力の差に等しくなり得る。RGC出力は、対応するON型細胞およびOFF型細胞からの重み間の差をモデル化し得る適応可能な双極重みを通して単純型細胞に供給され得る。これらのRGC対S1重みは単純型細胞の受容野を判断し得る。また、S1層は短距離興奮および長距離抑制との側方結合(lateral connection)を有し得る。これらの側方結合は、単純型細胞が、風車型構造(pinwheel)および線形領域をもつ配向マップに自己組織化するのを助け得る。各単純型細胞S1は、出力の正の部分を維持し、負の部分を0にクリッピングし得る半波整流器を通過した、重み付けされた入力の和としてモデル化され得る。S1の正の出力は、適応可能な正の重みを通してC1に供給され得る。

0062

最初に、式(7)によって定義される減算的正規化を用いたヘッブの法則と、式(9)によって定義されるOja則と、式(10)によって定義される、提案する局所学習則と、(16)によって定義される、変更された局所学習則との4つの法則を使用して、RGC対S1結合をトレーニングした。すべての4つの法則は重み制限を生じ得、学習される重みは、[−wmax,wmax]の範囲に制限され得る。

0063

図4A〜図4Dに、出現したRGC対S1重み行列の例を示し、黒い円は正の重み(ON領域)を表し、白抜きの円は負の重み(OFF領域)を表す。円の直径は重み値に比例し得る。重みは、[−wmax,wmax]制限を用いた4つの上述の法則によってトレーニングされ得る。図4Aは、減算的正規化を用いたヘッブの法則によってトレーニングされる重みを示す。図4Bは、Oja則によってトレーニングされる重みを示す。図4Cは、L1制約を用いた、式(10)によって定義される法則によってトレーニングされる重みを示す。図4Dは、式(16)によって定義される、L0制約を用いた法則によってトレーニングされる重みを示す。

0064

図5A〜図5Dに、すべてのRGC対S1重みの対応する分布を示す。図5Aに示すように、減算的正規化を用いたヘッブの法則は最大値の重みに収束し得る。図5Bに示すOja則は段階的な重みに収束し得、それらの重みのうちのいくつかは、小さいが非0の値を有し得る。図5Cに示す、式(10)によって定義される提案する法則は、明確なON領域およびOFF領域と、多数の0に近い要素とをもつ重み行列に収束し得る。図5Dに示す、式(16)によって定義される法則は、wiによる除算のためにスパース重み行列に収束することができないことがあり、それにより小さい重みが0の周りで振動することになる。それらの法則のいずれかにおいて0限界なしに正確に0の重みを取得することは不可能であり得る。したがって、重み行列のスパーシティ推定するために、選択された丸め誤差内で0である重みが計数され得る。0:01wmaxの丸め誤差の場合、式(10)によって定義される提案する法則によってトレーニングされるRGC対S1重みの約54%は0であり得るが、他の3つの法則によってトレーニングされる重みの3%未満は0であり得る。

0065

図6A〜図6Dに、S1対C1結合をトレーニングするために使用される同じ4つの法則を示す。このとき、各法則は、[0,wmax]への加えられた重み制限を有し得る。S1層のフラグメント図6A〜図6Dに示されており、これは、単純型細胞の2次元配列を単純型細胞の好適な配向の等配向等高線プロットとして示す(等高線上の値が、これらの等高線下に位置する単純型細胞の好適な配向を表す)。ボックス602、604、606、608はS1細胞のプールを概説し得、それの出力は同じ複雑型細胞に供給され得る。それらのボックス内の白抜きの円612、614、616、618は、これらの単純型細胞から、選択された複雑型細胞への結合強度を示し得、すなわち、円が大きいほど、重みは大きい。図6Aは、減算的正規化を用いたヘッブの法則によってトレーニングされる重みを示す。図6Bは、Oja則によってトレーニングされる重みを示す。図6Cは、L1制約を用いた、式(10)によって定義される法則によってトレーニングされる重みを示す。図6Dは、L0制約を用いた、式(16)によって定義される法則によってトレーニングされる重みを示す。

0066

図7A〜図7Dに、すべてのS1対C1重みの対応する分布を示す。減算的正規化を用いたヘッブの法則は0下限によるスパースS1対C1結合性を生成し得ることが、図7Aにおいて観測され得る。図7Bは、Oja則が、ボックス内のすべての単純型細胞への、さらには直交配向をもつすべての単純型細胞への可変強度の結合を生成することを示す。本開示のいくつかの態様によれば、図7Cに示すように、式(10)によって定義される提案する局所学習則は、同様の配向の単純型細胞への強い結合と、配向選択的およびシフト不変複雑型細胞の生物学的データに一致し得る他の配向の単純型細胞への0強度結合とを生成し得る。図7Dに示すように、式(16)によって定義される学習則はまた、0への負の重みのクリッピングによるスパースS1対C1結合性を生成し得る。

0067

図8に、本開示のいくつかの態様による、汎用プロセッサ802を使用した上述の局所トレーニング則の例示的なソフトウェア実装形態800を示す。汎用プロセッサ802において実行される局所トレーニング則に関係する命令プログラムメモリ806からロードされ得る間、計算ネットワーク(ニューラルネットワーク)の各処理ユニット(ニューロン)に関連する既存の重みがメモリブロック804に記憶され得る。本開示のいくつかの態様によれば、ロードされた命令は、メモリブロック804に記憶された少なくとも1つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の各処理ユニットの出力を計算するためのコードを備え得る。さらに、ロードされた命令は、局所トレーニング則に従ってその処理ユニットの少なくとも1つの重みを変更するためのコードを備え得、局所トレーニング則は計算ネットワークの処理ユニット間のスパース結合性を生成し得る。本開示の一態様では、その処理ユニットの少なくとも1つの重みを変更するためのコードは、その処理ユニットにおける1つまたは複数の入力、前に計算された出力、または変更の前の少なくとも1つの既存の重みのうちの少なくとも1つに基づいて少なくとも1つの重みを更新するためのコードを備え得る。更新された重みはメモリブロック804に記憶され、古い重みを交換し得る。

0068

図9に、本開示のいくつかの態様による、重みメモリ902が、計算ネットワーク(ニューラルネットワーク)の個々の(分散)処理ユニット(ニューロン)906をもつ相互接続ネットワーク904を介してインターフェースされる、上述の局所トレーニング則の例示的な実装形態900を示す。処理ユニット906に関連する少なくとも1つの既存の重みが、その処理ユニット906への相互接続ネットワーク904の(1つまたは複数の)接続を介してメモリ902からロードされ得る。処理ユニット906は、少なくとも1つの既存の重みに少なくとも部分的に基づいてそれの出力を計算するように構成され得る。さらに、処理ユニット906は、局所トレーニング則に従ってその処理ユニットに関連する少なくとも1つの重みを変更するように構成され得、局所トレーニング則は計算ネットワークの処理ユニット906間のスパース結合性を生成し得る。本開示の一態様では、局所学習則に従って少なくとも1つの重みを変更することは、処理ユニット906における1つまたは複数の入力、処理ユニット906の、前に計算された出力、またはその変更の前の少なくとも1つの既存の重みのうちの少なくとも1つに基づいて少なくとも1つの重みを更新することをさらに備え得る。更新された重みはメモリ904に記憶され、その処理ユニット906に関連する古い重みを交換し得る。

0069

図10に、本開示のいくつかの態様による、分散重みメモリ1002と分散処理ユニット1004とに基づく上述の局所トレーニング則の例示的な実装形態1000を示す。図10に示すように、1つの重みメモリバンク1002は、計算ネットワーク(ニューラルネットワーク)の1つの処理ユニット(ニューロン)1004と直接インターフェースされ得、そのメモリバンク1002は、その処理ユニット1004に関連する少なくとも1つの既存の重みを記憶し得る。処理ユニット1004は、対応する重みメモリバンク1002からロードされた少なくとも1つの既存の重みに少なくとも部分的に基づいてそれの出力を計算するように構成され得る。さらに、処理ユニット1004は、局所トレーニング則に従ってその処理ユニットに関連する少なくとも1つの重みを変更するように構成され得、局所トレーニング則は計算ネットワークの処理ユニット1004間のスパース結合性を生成し得る。本開示の一態様では、局所学習則に従って処理ユニット1004によって少なくとも1つの重みを変更することは、処理ユニット1004における1つまたは複数の入力、処理ユニット1004の前に計算された出力、または変更の前の少なくとも1つの既存の重みのうちの少なくとも1つに基づいて少なくとも1つの重みを更新することをさらに備え得る。更新された重みは対応するメモリブロック1002に記憶され、古い重みを交換し得る。

0070

本開示の態様によれば、提案する学習則は、平衡点においてニューロンの入力重みベクトルのL1ノルムを制約し得る。その学習則は局所的で本質的であり得、これによりソフトウェアおよびハードウェア実装形態がより単純になり得る。この法則は、0限界を用いてまたは用いずに元のOja則によって学習された重みベクトルよりもスパースな重みベクトルに収束し得る。そのようなスパース結合性は、多くの生物学的研究において発見され得る、特定の特徴に対するニューロンのより高い選択性をもたらし得る。L2ノルムの代わりにL1ノルムを制約する別の利点は、α=1を選択することによってネットワークにおける入力および出力を同じ限界内に保つことの簡単さであり得る。

0071

上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路ASIC)、またはプロセッサを含む、様々な(1つまたは複数の)ハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含み得る。一般に、図に示す動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図3に示す動作300は、図3Aに示す構成要素300Aに対応する。

0072

本明細書で使用する「判断」という用語は、多種多様アクション包含する。たとえば、「判断」および「決定」は、計算、算出、処理、導出調査、探索(たとえば、テーブル、データベース、または別のデータ構造での探索)、確認などを含み得る。また、「判断」および「決定」は、受信(たとえば、情報の受信)、アクセス(たとえば、メモリ中のデータへのアクセス)などを含み得る。また、「判断」および「決定」は、解決、選択、選出確立などを含み得る。

0073

本明細書で使用する、項目リスト「のうちの少なくとも1つ」を指すは、単一のメンバーを含む、それらのアイテムの任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a−b、a−c、b−c、およびa−b−cをカバーするものとする。

0074

上記で説明した方法の様々な動作は、(1つまたは複数の)様々なハードウェアおよび/またはソフトウェア構成要素、回路、および/または(1つまたは複数の)モジュールなど、それらの動作を実行することが可能な任意の好適な手段によって実行され得る。一般に、図に示すどの動作も、その動作を実行することが可能な対応する機能的手段によって実行され得る。

0075

本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)または他のプログラマブル論理デバイスPLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラマイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコア連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

0076

本開示に関連して説明した方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、フラッシュメモリEPROMメモリ、EEPROMメモリレジスタハードディスクリムーバブルディスクCD−ROMなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取り、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。

0077

本明細書で開示した方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は特許請求の範囲の範囲から逸脱することなく変更され得る。

0078

説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラム転送を可能にする任意の媒体を含む、コンピュータ記憶媒体コンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル光ファイバケーブルツイストペアデジタル加入者回線(DSL)、または赤外線(IR)、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイトサーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー登録商標)ディスク(disk)、およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザ光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体(たとえば、有形媒体)を備え得る。さらに、他の態様の場合、コンピュータ可読媒体は一時的コンピュータ可読媒体(たとえば、信号)を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

0079

したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために1つまたは複数のプロセッサによって実行可能である命令をその上に記憶した(および/または符号化した)コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

0080

ソフトウェアまたは命令はまた、送信媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、送信媒体の定義に含まれる。

0081

さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合にユーザ端末および/または基地局によってダウンロードおよび/または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実行するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および/または基地局が記憶手段をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピーディスクなどの物理記憶媒体など)によって提供され得る。さらに、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法を利用することができる。

0082

特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲の範囲から逸脱することなく、様々な改変、変更および変形を行い得る。

0083

上記は本開示の態様を対象とするが、本開示の他の態様およびさらなる態様は、その基本的範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって判断される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ