図面 (/)

技術 確率的演算法によるニューラルネットワーク素子の学習法

出願人 パナソニック株式会社
発明者 堀道弘上田路人
出願日 2007年11月27日 (13年1ヶ月経過) 出願番号 2007-305402
公開日 2009年6月11日 (11年6ヶ月経過) 公開番号 2009-129302
状態 未査定
技術分野 学習型計算機
主要キーワード 学習式 非線形変換器 混合信号回路 二進数表記 定数乗算器 閾値判定器 荷重係数 出力パルス列
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年6月11日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

従来の確率的演算によるニューラルネットワーク回路学習法では、荷重係数等の値が非常に大きくなる場合があった。このため、これをそのまま回路として実装するには困難であるという課題を有していた。

解決手段

スケーリング因子デジタル値λ1、λ2を投入できるレジスター277、279、281,283を備え、積分器で積分された荷重係数値がある値の範囲を越えると荷重係数の値とスケーリング因子の値をそれぞれ半分にする事によって、荷重係数がある決められた値の範囲に収めることができるため処理が破綻することなく、最適な荷重係数値へ収束するまで演算を実行でき、混合信号が分離できる。

概要

背景

混合信号分離は将来的に非常に汎用的な応用が期待できる技術である。混合信号とはいくつかの信号が重ね合わされた信号をいう。混合信号分離問題とは、いくつかの源信号があり、センサーでそれらを観測すると源信号が混ざり合った混合信号が観測されるが、混合信号のみから如何に源信号を推測するかという問題である。従来、混合信号分離問題を解く手法として、ニューラルネットワークを用いるものが提案されている(例えば、非特許文献1参照)。

ここで、非特許文献1は、確率的演算(ストカスティックコンピューティング(SC))と呼ばれる確率的に発生するパルスを用いて情報処理を行うシステム(非特許文献3参照)によって混合信号分離演算を実行している。この確率的演算は、特に、情報がパルスの頻度に変換され処理されるという理由でその回路構成が簡素化できるという効果があり、近年ニューラルネットワーク素子で着目されている技術である。

図4は2入力の場合の回路概略図である。夫々のパーツは確率的演算の様式に従っていて、夫々の基本演算を確率的に実行する。まず、混合信号y1、y2に荷重係数乗算器301、303によってそれぞれ乗算し、その出力をお互いに減算器305、307で減算し、出力信号s1、s2を出力する。そして、学習アルゴリズム309によって出力信号s1、s2の状態に応じて荷重係数を調節する。学習法計算式を下に示す。

ここで、w12、w21は荷重係数、μは学習係数、φ(s)、ψ(s)はそれぞれの出力信号をパラメーターとする非線形関数である。時間毎に出力信号の値の代入を繰り返す事によって、この式の解である荷重係数w12、w21へと収束させることができ、混合信号を分離できるのである。図4において、この学習式を回路化し模式化した図が学習アルゴリズム309である。パーツ311、313、315、317は非線形関数変換器である。非線形関数変換器とはあるアナログ値に対応したパルス列が入るとそのアナログ値をパラメーターとした非線形関数の値のパルス列を出力するものである。その出力をそれぞれ乗算器319、321で乗算し、その出力を積分器323、325に入力する。そして、その出力にはそれぞれの荷重係数w12、w21が計算され、その値のパルス密度が出力されるように動作する。

しかしながら、非特許文献1で用いられた混合信号分離問題の学習法は分離する源信号が全く違うスケールの時には分離できず、また、収束安定性で問題があり、混合信号y1、y2の混合の仕方が非常に限られた場合にのみ分離が可能であるということで、実用的なものではなかった。そこで、非特許文献2に記載されている別の学習則が提案された。

図5は、非特許文献2に記載された信号分離学習法を模式的に示した図である。同図において、入力した混合信号x1(t)、x2(t)にそれぞれの荷重係数を乗算器401、403、405、407でそれぞれ乗算し、それぞれの出力を和算器409、411を用いて和算し、出力信号y1(t)、y2(t)を出力する。そして、学習アルゴリズム413によって出力信号y1(t)、y2(t)の状態に応じて荷重係数を調節して最適値へ収束させることで、混合信号をより安定的に分離することができるのである。
"K. Fanghanel and K. Kollmann and H. Zeidler and R. Plesmann and K. Riemschneider"著, "Parallel Bit-Stream Neurohardware for Blind Separation of Sources",雑誌"1997IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP'97)", Vol. 5, p4149, 1997年発行
"A.Cichocki and R. Unbehauen"著, "Robust Neural Networks with On-Line Learning for Blind Identification and Blind Separation of Sources", 雑誌 "IEEE Transactions on Circuits and Systems : Fundamental Theory and Applications", Vol. 43, No. 11, p894〜p906, 1996年発行
"B. R. Gaines"著, "Stochastic Computing Systems", 本 "Advances in Information Systems Science" J. F. Tou編(Plenum, New York), Vol. 2, Chap. 2, p37, 1969年発行

概要

従来の確率的演算によるニューラルネットワーク回路の学習法では、荷重係数等の値が非常に大きくなる場合があった。このため、これをそのまま回路として実装するには困難であるという課題を有していた。スケーリング因子デジタル値λ1、λ2を投入できるレジスター277、279、281,283を備え、積分器で積分された荷重係数値がある値の範囲を越えると荷重係数の値とスケーリング因子の値をそれぞれ半分にする事によって、荷重係数がある決められた値の範囲に収めることができるため処理が破綻することなく、最適な荷重係数値へ収束するまで演算を実行でき、混合信号が分離できる。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

確率的演算法によるニューラルネットワーク素子を用いて混合信号を分離する際の学習法であって、荷重係数が所定の範囲を越える場合に、0より大きく1より小さい更新係数αを、前記荷重係数とスケーリング因子乗算することを特徴とする確率的演算法によるニューラルネットワーク素子の学習法。

請求項2

前記荷重係数がデジタル値としてレジスタに格納されるニューラルネットワーク素子の学習法であって、前記荷重係数または前記スケーリング因子の値を表すデジタル値と、これらの前記所定の範囲の中心値を表すデジタル値の夫々を低ビット側に1つシフトし、これらを加算することで更新係数αを0.5とする請求項1に記載の確率的演算法によるニューラルネットワーク素子の学習法。

技術分野

0001

本発明は混ざり合った信号を独立な信号に分ける混合信号分離ニューラルネットワーク素子学習法に関するものであり、特に確率的演算法(ストカスティックコンピューティング法)により演算を実行する素子の学習法に関するものである。

背景技術

0002

混合信号分離は将来的に非常に汎用的な応用が期待できる技術である。混合信号とはいくつかの信号が重ね合わされた信号をいう。混合信号分離問題とは、いくつかの源信号があり、センサーでそれらを観測すると源信号が混ざり合った混合信号が観測されるが、混合信号のみから如何に源信号を推測するかという問題である。従来、混合信号分離問題を解く手法として、ニューラルネットワークを用いるものが提案されている(例えば、非特許文献1参照)。

0003

ここで、非特許文献1は、確率的演算(ストカスティック・コンピューティング(SC))と呼ばれる確率的に発生するパルスを用いて情報処理を行うシステム(非特許文献3参照)によって混合信号分離演算を実行している。この確率的演算は、特に、情報がパルスの頻度に変換され処理されるという理由でその回路構成が簡素化できるという効果があり、近年ニューラルネットワーク素子で着目されている技術である。

0004

図4は2入力の場合の回路概略図である。夫々のパーツは確率的演算の様式に従っていて、夫々の基本演算を確率的に実行する。まず、混合信号y1、y2に荷重係数乗算器301、303によってそれぞれ乗算し、その出力をお互いに減算器305、307で減算し、出力信号s1、s2を出力する。そして、学習アルゴリズム309によって出力信号s1、s2の状態に応じて荷重係数を調節する。学習法の計算式を下に示す。

0005

0006

ここで、w12、w21は荷重係数、μは学習係数、φ(s)、ψ(s)はそれぞれの出力信号をパラメーターとする非線形関数である。時間毎に出力信号の値の代入を繰り返す事によって、この式の解である荷重係数w12、w21へと収束させることができ、混合信号を分離できるのである。図4において、この学習式を回路化し模式化した図が学習アルゴリズム309である。パーツ311、313、315、317は非線形関数変換器である。非線形関数変換器とはあるアナログ値に対応したパルス列が入るとそのアナログ値をパラメーターとした非線形関数の値のパルス列を出力するものである。その出力をそれぞれ乗算器319、321で乗算し、その出力を積分器323、325に入力する。そして、その出力にはそれぞれの荷重係数w12、w21が計算され、その値のパルス密度が出力されるように動作する。

0007

しかしながら、非特許文献1で用いられた混合信号分離問題の学習法は分離する源信号が全く違うスケールの時には分離できず、また、収束安定性で問題があり、混合信号y1、y2の混合の仕方が非常に限られた場合にのみ分離が可能であるということで、実用的なものではなかった。そこで、非特許文献2に記載されている別の学習則が提案された。

0008

図5は、非特許文献2に記載された信号分離学習法を模式的に示した図である。同図において、入力した混合信号x1(t)、x2(t)にそれぞれの荷重係数を乗算器401、403、405、407でそれぞれ乗算し、それぞれの出力を和算器409、411を用いて和算し、出力信号y1(t)、y2(t)を出力する。そして、学習アルゴリズム413によって出力信号y1(t)、y2(t)の状態に応じて荷重係数を調節して最適値へ収束させることで、混合信号をより安定的に分離することができるのである。
"K. Fanghanel and K. Kollmann and H. Zeidler and R. Plesmann and K. Riemschneider"著, "Parallel Bit-Stream Neurohardware for Blind Separation of Sources",雑誌"1997IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP'97)", Vol. 5, p4149, 1997年発行
"A.Cichocki and R. Unbehauen"著, "Robust Neural Networks with On-Line Learning for Blind Identification and Blind Separation of Sources", 雑誌 "IEEE Transactions on Circuits and Systems : Fundamental Theory and Applications", Vol. 43, No. 11, p894〜p906, 1996年発行
"B. R. Gaines"著, "Stochastic Computing Systems", 本 "Advances in Information Systems Science" J. F. Tou編(Plenum, New York), Vol. 2, Chap. 2, p37, 1969年発行

発明が解決しようとする課題

0009

しかしながら、この非特許文献2の学習法では、荷重係数等の値が非常に大きくなる場合があった。このため、これをそのまま回路として実装するには困難であるという課題を有していた。

課題を解決するための手段

0010

このような課題を解決するため、本発明のニューラルネットワーク素子の学習法は、荷重係数が所定の範囲を越えそうになった際に、0より大きく1より小さい更新係数αを乗じると同時に、出力信号振幅に関わるスケーリング因子にもαを乗じることを特徴とする。

発明の効果

0011

本発明のニューラルネットワーク素子の学習法によれば、初期状態がw11=w12かつw21=w22という場合を除いて、どのような場合であっても荷重係数が常に所定範囲内にあるようにすることができ、安定した信号分離処理が可能となる。

発明を実施するための最良の形態

0012

以下本発明の実施の形態について、図面を参照しながら説明する。

0013

(実施の形態)
図1は本発明の実施の形態における2入力の確率的演算による混合信号分離回路の構成図である。まず、源信号が混ざり合った混合信号X1(t),X2(t)が入力され、ビットモジュレーター101、103によって混合信号をパルス列に変換する。ビットモジュレーターとはアナログ値を、疑似乱数を使用してパルス列に変換する回路である。そして、荷重係数w11、w12、w21、w22のパルス列を確率的乗算器105、107、109、111によってそれぞれ乗算し、乗算されたそれぞれのパルス列を確率的加算器113、115によって加算し、推定された出力信号Y1(t),Y2(t)を出力する。そして、その出力信号を学習アルゴリズム117に入力する事によって、その学習アルゴリズムから独立な信号を見つけ出す。

0014

本学習アルゴリズムは、非特許文献2で提案された学習法をSC素子上で実行するために独自の処理手順を組み込むことにより、安定動作を実現したものである。計算式を下に示す。

0015

0016

ここで、W(t)は荷重係数行列、μ(t)は学習係数、Λは出力信号の振幅に関わるスケーリング因子行列で対角行列となる。スケーリング因子とは出力信号の振幅に関わり、この大きさで出力信号の振幅の大きさが決定する。また、f[y(t)]及びg[y(t)]は出力信号を変数とする非線形関数ベクトルである。この式を時間毎に出力信号や荷重係数の値を代入する事により、荷重係数の値が収束し解が得られ、混合信号を分離して独立な信号を導き出せるのである。

0017

この式をSC素子上で実行する手順について図2を用いて説明する。図2図1の学習アルゴリズム117の回路構成を示している。なお、図2において、図1と同じ構成要素については同じ符号を用い、説明を省略する。

0018

まず、出力信号Y1(t)、Y2(t)のパルス列をそれぞれ非線形変換器201、203、205、207に入力する。非線形変換器は、入力値に対してそれをパラメーターとするある非線形関数の値を出力する機能を有する。そして、非線形変換器201、203、205、207の出力値を夫々ビットモジュレーター209、211、213、215によってパルス列に変換する。そのビットモジュレーター209、211、213、215の出力パルス列を夫々乗算器217、219、221、223により乗算し、結果を加算器225、227を用いて加算する。そして、乗算器229、231、233、235及び確率的符号反転器237、239、241、243、またスケーリング因子の値を格納したレジスター277、279、281、283等を用いて加算と乗算を行う。さらに学習係数μ(t)を乗算することで、式(2)のSCによる学習演算が実行できる。その後、出力されたパルス列を積分器269、271、273、275により積分することで、荷重係数w11、w12、w21、w22を表すパルス列が得られる。これらは図1に示す荷重係数w11、w12、w21、w22として出力され、それを時間毎に繰り返されることによって正解値へと収束していくことで、分離された独立な源信号が得られることになる。

0019

しかしながら課題で述べたように、回路に実装可能にするためには、荷重係数w11、w12、w21、w22は所定の値の範囲内に留めておく必要があるが、この荷重係数の値は非常に大きな値になる場合がある。

0020

そこで本実施形態では、荷重係数が決めた値の範囲を越える場合、以下に述べる新規な学習則を適用することで、荷重係数が所定の値の範囲内に留まるようにすることに成功した。その手順について以下、説明する。

0021

学習過程では、そのままでは式(2)に従って荷重係数が更新されていくので、そのままでは荷重係数の値は状況次第で如何なる実数値も取り得、回路で表現できる値の範囲を超える場合がある。そこで本発明者らは、荷重係数w11、w12のアナログ値の絶対値が1より大きくなる場合、荷重係数w11、w12、スケーリング因子λ1のアナログ値に0より大きく1より小さい更新係数αを乗じることで、荷重係数を常に−1から1の範囲に留めつつ、且つ処理を実行できることを見出した。その付加された回路を図2に示す。出力された荷重係数w11、w12、w21、w22の値を閾値判定器によって夫々の荷重係数のアナログ値が−1から1の値を越える場合は確率的定数乗算器によって、荷重係数、スケーリング因子にαを乗算する。αの値は本実施形態では例として0.5としている。このような動作は、例えばレジスター277、279にスケーリング因子λ1のアナログ値をデジタル値に変換したものを格納しておき、w11、もしくはw12が−1または1を越える度にそのデジタル値のビットを小さいビットに1つシフトしたものと、スケーリング因子が取りうる値の中心値、ここでは0に対応するデジタル値を低いビットに1つシフトしたものを加算する事で達成される。ここで、レジスターにおいて低ビット側へ値を1つシフトするという動作は0.5を乗ずることに対応する。例えば二進数で0100という数値十進数では4を表すが、この数値で低ビット側へ値を1つシフトして得られる0010は十進数では2を表し0.5を乗じた結果が得られている。なお、二進数表記の1桁目は乗算の切捨誤差となる。荷重係数w11、w12についても同様に行う。

0022

具体的には、以下の手順で更新係数0.5を乗じる。なお、以下では例としてスケーリング因子の場合を述べるが、荷重係数においても同様である。その手順を表したものが図3である。

0023

(a)更新前のスケーリング因子と予め設定されたスケーリング因子の中心値を取得する。

0024

(b)夫々のデジタル値を低ビット側に1つシフトする。(更新係数0.5を乗じることに相当する。)その後、加算する。

0025

(c)その結果、更新後のスケーリング因子が得られる。

0026

以上の動作で、スケーリング因子に更新係数0.5を乗じる動作が完了する。

0027

一方、荷重係数w21、w22のアナログ値が−1より小さくなる、または1より大きくなる場合、w21、w22、スケーリング因子λ2のアナログ値を半分にする。このスケーリング因子λ2も先ほどと同様にレジスター281、283を用い達成される。荷重係数w21、w22についても同様である。以上の手順によって荷重係数の値を−1から1の間に留めて計算を継続することができる。

0028

このような手順で処理が破綻しない理由について、数式を用いて、2入力混合信号の場合について以下、説明する。2入力の場合の学習アルゴリズムの式を下に示す。

0029

0030

ここで、式2と式3の対応関係

0031

0032

まず、荷重係数w11、またはw12が−1または1を越える場合、w11かつw12かつλ1の値を半分にする。

0033

0034

同様に荷重係数w21、またはw22が−1または1を越える場合、w21かつw22かつλ2の値を半分にする。

0035

0036

このような学習アルゴリズムとすることで、荷重係数の値は−1と1の間に留まり、継続的に学習処理させて荷重係数を収束させ、混合信号を分離して独立な信号を得ることが可能となる。すなわち、素子の動作安定性を確実なものとすることが可能となり、産業に寄与すること大なるものである。

0037

なお、本実施形態では入力が2つの場合について説明したが、これが3つ、4つと増加しても同様に処理可能であることは言うまでも無い。

0038

本発明にかかる混合信号分離ニューラルネットワーク素子の学習法は、確率的演算の混合信号分離ニューラルネットワーク素子において安定な収束性能の荷重学習を実現するものであり、独立な信号を見つける機能を有し、なおかつ軽量化の可能性があるため、生体信号分離処理素子として有用である。例えば、体内臓器の発する電気信号が挙げられる。体内では心臓の発生する筋電位信号が強いため、他の臓器、例えば脳などの微弱な電気信号を検出するための信号分離に用いることができる。また、音声信号、特に人の声の混合に適用することで、補聴器などに応用できる。

図面の簡単な説明

0039

本発明の実施形態における確率的演算(ストカスティック・コンピューティング。SC)による混合信号分離回路の回路構成図
同実施形態におけるSCによる混合信号回路の学習法の回路構成図
スケーリング因子の更新説明図
従来の確率的演算を用いた混合信号分離回路構成図
従来の学習法説明図

符号の説明

0040

101、103ビットモジュレーター
105、107、109、111 確率的乗算器
113、115 確率的加算器
117学習アルゴリズム
201、203、205、207非線形変換器
209、211、213、215 ビットモジュレーター
217、219、221、223 確率的乗算器
225、227 確率的加算器
229、231、233、235 確率的乗算器
237、239、241、243 確率的符号反転器
245、247、249、251 確率的乗算器
253、255、257、259 確率的加算器
261、263、265、267 確率的乗算器
269、271、273、275 確率的積分器
277、279、281、283レジスター
285、287閾値判定器
289、291 確率的定数乗算器
301、303 確率的乗算器
305、307 確率的減算器
311、313、315、317 確率的非線形関数変換器
319、321 確率的乗算器
323、325 確率的積分器
401、403、405、407 乗算器
409、411 加算器
413 学習アルゴリズム

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ