図面 (/)

技術 ネオコグニトロン

出願人 富士通株式会社
発明者 勝山裕
出願日 1994年8月26日 (26年3ヶ月経過) 出願番号 1994-201818
公開日 1996年3月8日 (24年8ヶ月経過) 公開番号 1996-063554
状態 未査定
技術分野 文字認識 学習型計算機 イメージ分析
主要キーワード 入出力ゲイン 可変入力 視覚パターン プロット位置 層出力 刺激入力 選択的注意 重み付け総和
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1996年3月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

目的

本発明は、不完全パターンネオコグニトロン本体へ刺激入力された場合であっても、正しい連想パターンが短時間で得られるネオコグニトロンの提供を目的とする。

構成

ネオコグニトロン本体10に相関パターン作成部12,相関パターン統合部14,相関パターン代表位置算出部16,特徴画面生成部18,特徴辞書記憶部20,特徴データ選択部22,特徴画面作成部24,画像出力部26を追加し、相関パターン作成部12は、複数のパターンを作成し、相関パターン統合部14は学習パターングループ毎に統合し、相関パターン代表位置算出部16は位置を求め、特徴画面生成部18は単一の画面を生成する。特徴辞書記憶部20には特徴データが格納されており、特徴データ選択部22は特徴データを選択し、特徴画面作成部24は移動された画面を作成し、画像出力部26はネオコグニトロン本体10の第2層出力に代えてそのネオコグニトロン本体10へ入力する。

概要

背景

共立出版,bit臨時増刊,「人工ニューラルネットワーク」 甘利俊一,後英一編 1989年.9 Vol21,No.11 第2章pp.24〜38にネオコグニトロンの構造や機能が示されており、以下、そのネオコグニトロンを説明する。

大脳視覚野には図形の部分的な特徴に反応する細胞が存在しており、さらに上位の中枢では単純な図形や複雑なパターンに選択的に反応する細胞が存在しているものと考えられる。

したがって、視覚神経系は刺激パターンから単純な特徴を最初に抽出し、その後、単純な特徴を組み合せながら次第に複雑な特徴を抽出する階層的な処理が行なわれると推定される。

この階層的な処理が行なわれる視神経回路内において、上位側となるほど細胞が網膜上の広い範囲から視覚情報下位側から受け取り、刺激パターン提示位置移動による影響が受けにくくなる。

また、大脳には視覚関与する領野が複数存在しており、それらの領野間にはトポロジカル位置関係を保ちながら相互に往復する規則的な結合が確認されている。

このため、末梢から中枢へ向かう求心性情報伝達経路とともに、中枢から末梢へ向かう遠心性情報経路が存在し、その遠心性の経路も視覚の情報処理にとって重要なものと考えられる。

さらに、視覚パターンを認識し、記憶し、学習するのは、視神経細胞が枝を延出して他の視神経細胞と結合し、視神経の回路が新たな機能を獲得していくためと考えられる。そして、視神経細胞はパルス的な信号を出力し、重要な視覚情報はパルス信号密度で表わされるものと考えられる。

図2は視神経回路のモデルを示しており、同図のモデルは細胞が層(二次元平面)状に並べられた細胞層を階層的に接続したもので、細胞層間には入力層から上位の細胞層へ向かう求心性の結合と上位から下位の細胞層へ向かう遠心性の結合が存在している。求心性の信号はパターン認識の機能を受け持ち、遠心性の信号は選択的注意,パターンのセグメンテーション連想などの機能に寄与する。

図3はモデルにおける視神経細胞(アナログ型の細胞)の構成を示し、瞬時のパルス密度に比例した正または0のアナログ値入出力信号とする。同図における入力結合の重みa(1),a(2)・・・a(N)とbは可変で、自己組織化過程において強化される。

また、興奮性効果e(興奮性入力の重み付け総和)は抑制性効果hで分流的に抑制される。なお、固定入力結合の細胞や興奮性入力が非直線的加算される細胞も回路内に設けられる。

図4は視神経回路モデル内における信号の処理を説明するもので、求心性信号と遠心性信号を伝達する経路部分に各細胞層が分けられている。このモデルにおける求心性経路始端には入力層が設けられており、入力層の各細胞は刺激入力の強さに応じた値の信号を出力する。

入力層より上位側となる各中間層の細胞は下位層側となる複数の細胞から出力を受け取って上位層側の細胞へ出力を与える。刺激入力の視覚情報はこの信号伝達の過程で次第に統合される。

求心性経路の終端に設けられた認識出力層には最終的な認識結果を出力する認識細胞が並べられており、入力パターンの各カテゴリに関する認識結果はいずれかの認識細胞から出力される。

認識出力層の出力は中間層における遠心性経路を下位側へ伝達され、その際に求心性信号は遠心性信号の流れをゲートし、遠心性信号は求心性信号の流れを促通させる。

そして遠心性経路の終端には連想出力層が設けられており、連想記憶における想起出力がこの連想出力層で得られる(セグメンテーションの結果が連想出力層に現れる)。

この連想出力層の細胞は入力層の細胞と対にされており、連想出力層へ到達した認識反応は入力層へフィードバックされる。図5では求心性経路と遠心性経路が説明されており、図6では隣接段(層)を跨ぐ細胞間の空間的な結合状態が拡大して示されている。

記号uは求心性経路の細胞を、記号Wは遠心性経路の細胞を各々表し、記号Uc0は刺激入力を受け付ける入力の細胞層,記号Uc3は認識結果が得られる細胞層,記号Wc0は選択的注意の信号をフィードバックする連想出力層となる。

図5,図6において、求心性経路には細胞uSと細胞uCの層が交互に並べられており、細胞uSは特徴抽出細胞で、入力結合に可塑性を有し、特定の入力結合のみが学習により強化される。学習が完了すると、入力パターンにおける局所的な特徴のいずれかに選択的な反応を示し、これを出力する。

いずれの局所的な特徴を抽出するかは学習時に与えられたパターンで定まり、例えば、下位側では入力から特定の方向に傾斜した線分が抽出され、より上位側では対象となるパターンの一部分が抽出される。

細胞uSから細胞uCに至る結合は学習によって変化しない固定的なものとされており、細胞uCは局所的な特徴の位置誤差を吸収する。図7では求心性経路のパターン認識作用が説明されており、その下側には細胞uS,uC間の結合状態が拡大して示されている。

同図において、初段の細胞面(U0)にはパターン’A’が入力され、第2段細胞面の細胞uS(US1)はパターン’A’の頭部分(k=1),左中間部分(k=2),右中間部分(k=3),左下の足部分(k=4),右下の足部分(k=5)を局所的な特徴として抽出する。

そして第2段細胞面の細胞uC(Uc1)は細胞uSより視野範囲が広く、パターン’A’の頭部分(k=1),左中間部分(k=2),右中間部分(k=3)を第3段細胞面の細胞uSへ出力する。

この第3段細胞面においては、全細胞uSの視野範囲を細胞uCの視野範囲がカバーしており、したがって、パターン’A’の頭部分(k=1),左中間部分(k=2),右中間部分(k=3)が統合されて最終段細胞面の細胞uSへ出力され、その結果、最終段細胞面の細胞uCで入力パターン’A’の認識出力が得られる。

以上のように、各段の細胞uSがその視野範囲から局所的な特徴を抽出し、細胞uCが細胞uSより広い範囲を視野として細胞uSの抽出した特徴を次段へ出力し、その処理が繰り返されるので、局所的な特徴の位置ずれ許容しながら、下位側の局所的な特徴が次第に大局的な特徴へ組み上げられる。

このため図8のように、パターン’A’の頭部分(k=1),左中間部分(k=2),右中間部分(k=3)が抽出された場合で、それらが次段の視野範囲へ入るときにおいては、パターン’A’がその大小(変形)にかかわらず、正しく認識される。

すなわち入力パターンの形態は、その位置,大きさ,変形に影響されることなく、誤りなく認識される。この認識結果を回路は教師なしで学習しており、パターン認識能力を自力で獲得し、自己組織化を進める。その学習の際には細胞間の結合が図9のようにして強化される。

図9において、単一の特徴抽出細胞uSとその1段前に設けられた4個の細胞uCとが求心性結合をしており、細胞uSは各細胞uCから興奮性可変結合の信号を受け取る。

また、細胞uSVは抑制性の細胞で、前段の各細胞uCと固定結合(学習によっては変化しない)するとともに、細胞uSと可変結合し、各細胞uCの出力を平均した値の信号を細胞uSへ出力する。

学習開始前初期状態においては、細胞uS,uSV間の可変結合値はほとんどゼロとされている(自己組織化は可変結合値が完全にゼロの場合は開始されないため)。

そして、細胞uSへ刺激入力が与えられた場合において(パターン呈示)、同細胞uSの反応出力値が他の細胞uSより大きかったときには、最大値検出仮説に従い(前段と可変入力の結合した細胞のうち、他より大きな出力が得られたものの入力結合で、信号が実際に送り込まれたもののみが入力の信号値に比例して強化される)、実際に値を出力した細胞uCとの結合が強化される。

この刺激性入力の結合強化が行なわれると(強化後)、刺激入力のパターンと完全に一致したテンプレートマスクが、結合の空間分布として自動的に形成される。

細胞uCから細胞uSVへ至る抑制性の結合も同様にして強化され、したがって、平均値以上の出力が得られた細胞uCから細胞uSへ直接至る興奮性経路が細胞uSVを経由した抑制性経路に比して強化され、無出力や平均値以下の出力が得られた細胞uCの抑制性経路がより強められる。その結果、細胞uSが特定のいずれかの特徴のみに選択的な反応を示す能力(すなわち、入力からパターンを分離する能力)が高められる。

さらに、最大の出力が得られた細胞uSは核となって周囲(同一細胞面内)に存在する他の細胞uSにおける入力結合の強化にも影響を与え、これら細胞uSの入力結合が同一の空間分布を共有するように成長する。

したがって、各細胞面の全細胞uSは同一の反応特性同一構造受容野)となり、入力の学習パターンに含まれた特徴のいずれかを抽出する。これらの違いは、特徴を抽出する受容野の位置のみとなる。

最終段に設けられた認識細胞層UcL(図5においてはL=3で、UC3)の反応出力は遠心性の結合を介して下位側へ伝達され、遠心性経路の最下位となる連想出力層Wc0へ達する。

図6において、細胞WSから前段側の細胞WCへ向かって遠心性可変結合が発散しており、その可変結合の強度値は同細胞WSと対の特徴抽出細胞uSへ向かう求心性可変結合の強度値に比例する。したがって、細胞uSへ向かい前段の細胞uCより収束する求心性信号と逆の経路を細胞WSから発散した遠心性の信号が伝達される。

抑制性細胞uSVに対応した同じく補助的な抑制性細胞WSVを経由する遠心性の抑制信号も、対の細胞uSVを経由する求心性の抑制信号と逆の経路で、伝達される。

このため求心性経路の特徴抽出細胞uSが細胞uCの興奮性信号で反応すると、その求心性経路に対応した遠心性経路上では、同特徴抽出細胞uSと対の細胞WCへ細胞WSから興奮性の信号が出力される。

また、求心性経路上において細胞uCから抑制性細胞uSVを介して細胞uSへ与えられる抑制性信号が細胞uCから直接与えられる興奮性信号より強い場合は、遠心性経路においても、細胞WSVを経由する抑制性の信号が細胞WSから細胞WCへ向かう興奮性の信号より強くなり、細胞WCは抑制性の影響を受ける。

すなわち、求心性の経路が興奮すると遠心性の経路も興奮性となり、求心性の経路が抑制性になると遠心性の経路も抑制性になる。

ただし、細胞WSは細胞WCから遠心性の興奮信号を受け取るとともに、対応の細胞uSからゲート信号を受け取って細胞uSと細胞Wcの双方から信号を受け取ったときにのみ、信号を出力する。

その結果、遠心性信号は求心性信号に導かれて求心性信号と同一の伝達経路を逆方向へ伝達される(図10参照)。したがって、入力パターンが学習パターンを変形したものであっても、遠心性信号は入力された変形パターンの位置へ正確に戻される。

遠心性信号が反応した最終段細胞uCLのみから戻されるので、入力されたパターンのうち実際に認識されたいずれかに対応したもののみが選択的に連想出力層WC0へ到達し(このため、連想出力層WC0の反応は自己想起型連想記憶回路の想起出力と解釈できる)、変形した入力パターンがそのまま切り出される。

さらに、遠心性信号は求心性信号の影響を受けるのみならず、求心性信号に影響を及ぼす。

遠心性側の細胞WCは対応した細胞uCへゲイン制御信号送出し、同細胞WCが無出力の場合は細胞uCの入出力ゲインが時間の経過とともに減衰するが、細胞WCからゲイン制御信号が送出されると、この減衰が強制的に回復されて入出力間ゲイン低下が防止され、遠心性信号の経路上に存在した細胞uCに対して促通作用が働く。

このため複数のパターンが重なった刺激が与えられると、現在認識されているパターンの求心性信号のみが遠心性信号で促通されるものの、他の入力パターンに関する求心性信号は次第に減衰し、いずれかの刺激パターンのみへ注意が選択的に向けられる。

パターンの認識が行なわれてから、遠心性信号が瞬時的に停止されると、他のパターンへ注意が移される。細胞uCは細胞WCから与えられていた促通信号が停止された場合、それまでにゲインが減衰していたときにはこれを回復し、また、増大していたときには低下させる。

したがって、認識されていたパターンの信号は求心性経路の通流阻害され、そのときの最終段細胞uCLに代り、反応していなかった他の最終段細胞uCLが活性化して別のパターンが認識される。

このため、パターン認識が行なわれる毎に遠心性信号を瞬断することで、入力の各パターンへ注意が順に向けられ、その都度、パターン認識,セグメンテーション,連想などの処理が行なわれる。

注意の対象となる入力パターンが不完全なものであったり学習時のものより大きく変形していた場合、求心性経路の特徴抽出細胞uSがしばしば無反応の状態となる。

その際には求心性信号で遠心性信号が導かれなくなり、遠心性信号の伝達経路が断たれるので、特徴の抽出が行なわれるよう細胞uSの入力しきい値が制御され、引き下げられる。

図5,図6において、細胞uCの入力側に配置された細胞uSのいずれもが信号を出力しなかった場合、細胞WCXはそれらの細胞uSへゲイン制御信号を出力し、各細胞uSのしきい値を引き下げる。

上位側で特徴が一旦抽出されると、その細胞uSでゲートが開かれた経路を下位側へ遠心性信号が伝達され、遠心性信号からは雑音などの成分が除かれるので、最終的に、連想出力層WC0へ完全な形態のパターンが戻される。

そして多くのパターンが刺激入力された場合,刺激入力のパターンが密接していたり重なっていた場合,欠損,変形,雑音の程度が著しいパターンが刺激入力された場合には、最終段の全細胞uCLで出力が得られなくなり、遠心性信号の送出が元から断たれるので、処理の進行停止を招く。

この場合(最終段の全細胞uCLで出力が得られなくなった場合)、図5の無出力検出回路50が経路Xを介して全段の各細胞uSへ制御信号を送出してしきい値を同時に引き下げる。

その制御信号の値は、いずれかの最終段細胞uCLで出力が得られるまで、徐々に増加し、したがって、全段各細胞uSのしきい値が継続的に引き下げられ、ついには、認識結果が出力される。

図11では数字2,3の複合パターンに対する反応過程が、図12では数字2が重なったパターンに対する反応過程が、図13では大きさが異なる2つの数字4が重なったパターンに対する反応過程が各々説明されており(数字1,2,3,4が予め教師されている)、各数字は注意が順に向けられて正確に認識され、完全な形態の正しいパターンが復元される。

概要

本発明は、不完全なパターンがネオコグニトロン本体へ刺激入力された場合であっても、正しい連想パターンが短時間で得られるネオコグニトロンの提供を目的とする。

ネオコグニトロン本体10に相関パターン作成部12,相関パターン統合部14,相関パターン代表位置算出部16,特徴画面生成部18,特徴辞書記憶部20,特徴データ選択部22,特徴画面作成部24,画像出力部26を追加し、相関パターン作成部12は、複数のパターンを作成し、相関パターン統合部14は学習パターンのグループ毎に統合し、相関パターン代表位置算出部16は位置を求め、特徴画面生成部18は単一の画面を生成する。特徴辞書記憶部20には特徴データが格納されており、特徴データ選択部22は特徴データを選択し、特徴画面作成部24は移動された画面を作成し、画像出力部26はネオコグニトロン本体10の第2層出力に代えてそのネオコグニトロン本体10へ入力する。

目的

本発明は上記従来の事情に鑑みてなされたものであり、その目的は、刺激入力された不完全なパターンを高速認識処理できるネオコグニトロンを提供することにある。

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ネオコグニトロン本体に呈示された入力パターンとネオコグニトロン本体における第2層の各学習パターンとを用いた処理で入力パターンと学習パターンとの相関性が各々示される複数のパターンを作成する相関パターン作成部と、作成されたパターンを対象が同一な学習パターンのグループ毎統合する相関パターン統合部と、統合された各パターンからパターン代表の位置を求める相関パターン代表位置算出部と、求められた全ての位置がプロットされ各プロット位置に学習パターンのグループが対応した単一の画面を生成する特徴画面生成部と、パターングループの相対的な位置関係を各々示す複数の特徴データが格納された特徴辞書記憶部と、生成された画面へプロットの各位置について学習パターンのグループとパターングループが同一で各プロット位置の相対的な位置関係にパターングループの相対的な位置関係が最も近似した特徴データを選択する特徴データ選択部と、選択された特徴データの各パターングループが生成された画面におけるプロット位置へ移動された画面を作成する特徴画面作成部と、作成された画面におけるグループのパターンが移動先に位置した画像をパターングループ毎に生成し、ネオコグニトロン本体へ同ネオコグニトロン本体10の第2層出力に代えて入力する画像出力部と、を有する、ことを特徴としたネオコグニトロン。

技術分野

0001

本発明は、視神経モデルとしたニューラルネットワークネオコグニトロンに関する。

0002

ネオコグニトロンは、複数のパターン呈示されると、それらのパターンを順に切り分けて認識でき、また、不完全なパターンが呈示されてもそのパターンを正しく認識して完全な入力パターン復元でき、さらに、数字のみならずアルファベット幾何学図形学習機能によって処理できる。したがって、現在のコンピュータパターン認識装置より人間に近い高度な能力を備えている。

背景技術

0003

共立出版,bit臨時増刊,「人工ニューラルネットワーク」 甘利俊一,後英一編 1989年.9 Vol21,No.11 第2章pp.24〜38にネオコグニトロンの構造や機能が示されており、以下、そのネオコグニトロンを説明する。

0004

大脳視覚野には図形の部分的な特徴に反応する細胞が存在しており、さらに上位の中枢では単純な図形や複雑なパターンに選択的に反応する細胞が存在しているものと考えられる。

0005

したがって、視覚神経系は刺激パターンから単純な特徴を最初に抽出し、その後、単純な特徴を組み合せながら次第に複雑な特徴を抽出する階層的な処理が行なわれると推定される。

0006

この階層的な処理が行なわれる視神経の回路内において、上位側となるほど細胞が網膜上の広い範囲から視覚情報下位側から受け取り、刺激パターン提示位置移動による影響が受けにくくなる。

0007

また、大脳には視覚関与する領野が複数存在しており、それらの領野間にはトポロジカル位置関係を保ちながら相互に往復する規則的な結合が確認されている。

0008

このため、末梢から中枢へ向かう求心性情報伝達経路とともに、中枢から末梢へ向かう遠心性情報経路が存在し、その遠心性の経路も視覚の情報処理にとって重要なものと考えられる。

0009

さらに、視覚パターンを認識し、記憶し、学習するのは、視神経細胞が枝を延出して他の視神経細胞と結合し、視神経の回路が新たな機能を獲得していくためと考えられる。そして、視神経細胞はパルス的な信号を出力し、重要な視覚情報はパルス信号密度で表わされるものと考えられる。

0010

図2は視神経回路のモデルを示しており、同図のモデルは細胞が層(二次元平面)状に並べられた細胞層を階層的に接続したもので、細胞層間には入力層から上位の細胞層へ向かう求心性の結合と上位から下位の細胞層へ向かう遠心性の結合が存在している。求心性の信号はパターン認識の機能を受け持ち、遠心性の信号は選択的注意,パターンのセグメンテーション連想などの機能に寄与する。

0011

図3はモデルにおける視神経細胞(アナログ型の細胞)の構成を示し、瞬時のパルス密度に比例した正または0のアナログ値入出力信号とする。同図における入力結合の重みa(1),a(2)・・・a(N)とbは可変で、自己組織化過程において強化される。

0012

また、興奮性効果e(興奮性入力の重み付け総和)は抑制性効果hで分流的に抑制される。なお、固定入力結合の細胞や興奮性入力が非直線的加算される細胞も回路内に設けられる。

0013

図4は視神経回路モデル内における信号の処理を説明するもので、求心性信号と遠心性信号を伝達する経路部分に各細胞層が分けられている。このモデルにおける求心性経路始端には入力層が設けられており、入力層の各細胞は刺激入力の強さに応じた値の信号を出力する。

0014

入力層より上位側となる各中間層の細胞は下位層側となる複数の細胞から出力を受け取って上位層側の細胞へ出力を与える。刺激入力の視覚情報はこの信号伝達の過程で次第に統合される。

0015

求心性経路の終端に設けられた認識出力層には最終的な認識結果を出力する認識細胞が並べられており、入力パターンの各カテゴリに関する認識結果はいずれかの認識細胞から出力される。

0016

認識出力層の出力は中間層における遠心性経路を下位側へ伝達され、その際に求心性信号は遠心性信号の流れをゲートし、遠心性信号は求心性信号の流れを促通させる。

0017

そして遠心性経路の終端には連想出力層が設けられており、連想記憶における想起出力がこの連想出力層で得られる(セグメンテーションの結果が連想出力層に現れる)。

0018

この連想出力層の細胞は入力層の細胞と対にされており、連想出力層へ到達した認識反応は入力層へフィードバックされる。図5では求心性経路と遠心性経路が説明されており、図6では隣接段(層)を跨ぐ細胞間の空間的な結合状態が拡大して示されている。

0019

記号uは求心性経路の細胞を、記号Wは遠心性経路の細胞を各々表し、記号Uc0は刺激入力を受け付ける入力の細胞層,記号Uc3は認識結果が得られる細胞層,記号Wc0は選択的注意の信号をフィードバックする連想出力層となる。

0020

図5図6において、求心性経路には細胞uSと細胞uCの層が交互に並べられており、細胞uSは特徴抽出細胞で、入力結合に可塑性を有し、特定の入力結合のみが学習により強化される。学習が完了すると、入力パターンにおける局所的な特徴のいずれかに選択的な反応を示し、これを出力する。

0021

いずれの局所的な特徴を抽出するかは学習時に与えられたパターンで定まり、例えば、下位側では入力から特定の方向に傾斜した線分が抽出され、より上位側では対象となるパターンの一部分が抽出される。

0022

細胞uSから細胞uCに至る結合は学習によって変化しない固定的なものとされており、細胞uCは局所的な特徴の位置誤差を吸収する。図7では求心性経路のパターン認識作用が説明されており、その下側には細胞uS,uC間の結合状態が拡大して示されている。

0023

同図において、初段の細胞面(U0)にはパターン’A’が入力され、第2段細胞面の細胞uS(US1)はパターン’A’の頭部分(k=1),左中間部分(k=2),右中間部分(k=3),左下の足部分(k=4),右下の足部分(k=5)を局所的な特徴として抽出する。

0024

そして第2段細胞面の細胞uC(Uc1)は細胞uSより視野範囲が広く、パターン’A’の頭部分(k=1),左中間部分(k=2),右中間部分(k=3)を第3段細胞面の細胞uSへ出力する。

0025

この第3段細胞面においては、全細胞uSの視野範囲を細胞uCの視野範囲がカバーしており、したがって、パターン’A’の頭部分(k=1),左中間部分(k=2),右中間部分(k=3)が統合されて最終段細胞面の細胞uSへ出力され、その結果、最終段細胞面の細胞uCで入力パターン’A’の認識出力が得られる。

0026

以上のように、各段の細胞uSがその視野範囲から局所的な特徴を抽出し、細胞uCが細胞uSより広い範囲を視野として細胞uSの抽出した特徴を次段へ出力し、その処理が繰り返されるので、局所的な特徴の位置ずれ許容しながら、下位側の局所的な特徴が次第に大局的な特徴へ組み上げられる。

0027

このため図8のように、パターン’A’の頭部分(k=1),左中間部分(k=2),右中間部分(k=3)が抽出された場合で、それらが次段の視野範囲へ入るときにおいては、パターン’A’がその大小(変形)にかかわらず、正しく認識される。

0028

すなわち入力パターンの形態は、その位置,大きさ,変形に影響されることなく、誤りなく認識される。この認識結果を回路は教師なしで学習しており、パターン認識能力を自力で獲得し、自己組織化を進める。その学習の際には細胞間の結合が図9のようにして強化される。

0029

図9において、単一の特徴抽出細胞uSとその1段前に設けられた4個の細胞uCとが求心性結合をしており、細胞uSは各細胞uCから興奮性可変結合の信号を受け取る。

0030

また、細胞uSVは抑制性の細胞で、前段の各細胞uCと固定結合(学習によっては変化しない)するとともに、細胞uSと可変結合し、各細胞uCの出力を平均した値の信号を細胞uSへ出力する。

0031

学習開始前初期状態においては、細胞uS,uSV間の可変結合値はほとんどゼロとされている(自己組織化は可変結合値が完全にゼロの場合は開始されないため)。

0032

そして、細胞uSへ刺激入力が与えられた場合において(パターン呈示)、同細胞uSの反応出力値が他の細胞uSより大きかったときには、最大値検出仮説に従い(前段と可変入力の結合した細胞のうち、他より大きな出力が得られたものの入力結合で、信号が実際に送り込まれたもののみが入力の信号値に比例して強化される)、実際に値を出力した細胞uCとの結合が強化される。

0033

この刺激性入力の結合強化が行なわれると(強化後)、刺激入力のパターンと完全に一致したテンプレートマスクが、結合の空間分布として自動的に形成される。

0034

細胞uCから細胞uSVへ至る抑制性の結合も同様にして強化され、したがって、平均値以上の出力が得られた細胞uCから細胞uSへ直接至る興奮性経路が細胞uSVを経由した抑制性経路に比して強化され、無出力や平均値以下の出力が得られた細胞uCの抑制性経路がより強められる。その結果、細胞uSが特定のいずれかの特徴のみに選択的な反応を示す能力(すなわち、入力からパターンを分離する能力)が高められる。

0035

さらに、最大の出力が得られた細胞uSは核となって周囲(同一細胞面内)に存在する他の細胞uSにおける入力結合の強化にも影響を与え、これら細胞uSの入力結合が同一の空間分布を共有するように成長する。

0036

したがって、各細胞面の全細胞uSは同一の反応特性同一構造受容野)となり、入力の学習パターンに含まれた特徴のいずれかを抽出する。これらの違いは、特徴を抽出する受容野の位置のみとなる。

0037

最終段に設けられた認識細胞層UcL(図5においてはL=3で、UC3)の反応出力は遠心性の結合を介して下位側へ伝達され、遠心性経路の最下位となる連想出力層Wc0へ達する。

0038

図6において、細胞WSから前段側の細胞WCへ向かって遠心性可変結合が発散しており、その可変結合の強度値は同細胞WSと対の特徴抽出細胞uSへ向かう求心性可変結合の強度値に比例する。したがって、細胞uSへ向かい前段の細胞uCより収束する求心性信号と逆の経路を細胞WSから発散した遠心性の信号が伝達される。

0039

抑制性細胞uSVに対応した同じく補助的な抑制性細胞WSVを経由する遠心性の抑制信号も、対の細胞uSVを経由する求心性の抑制信号と逆の経路で、伝達される。

0040

このため求心性経路の特徴抽出細胞uSが細胞uCの興奮性信号で反応すると、その求心性経路に対応した遠心性経路上では、同特徴抽出細胞uSと対の細胞WCへ細胞WSから興奮性の信号が出力される。

0041

また、求心性経路上において細胞uCから抑制性細胞uSVを介して細胞uSへ与えられる抑制性信号が細胞uCから直接与えられる興奮性信号より強い場合は、遠心性経路においても、細胞WSVを経由する抑制性の信号が細胞WSから細胞WCへ向かう興奮性の信号より強くなり、細胞WCは抑制性の影響を受ける。

0042

すなわち、求心性の経路が興奮すると遠心性の経路も興奮性となり、求心性の経路が抑制性になると遠心性の経路も抑制性になる。

0043

ただし、細胞WSは細胞WCから遠心性の興奮信号を受け取るとともに、対応の細胞uSからゲート信号を受け取って細胞uSと細胞Wcの双方から信号を受け取ったときにのみ、信号を出力する。

0044

その結果、遠心性信号は求心性信号に導かれて求心性信号と同一の伝達経路を逆方向へ伝達される(図10参照)。したがって、入力パターンが学習パターンを変形したものであっても、遠心性信号は入力された変形パターンの位置へ正確に戻される。

0045

遠心性信号が反応した最終段細胞uCLのみから戻されるので、入力されたパターンのうち実際に認識されたいずれかに対応したもののみが選択的に連想出力層WC0へ到達し(このため、連想出力層WC0の反応は自己想起型連想記憶回路の想起出力と解釈できる)、変形した入力パターンがそのまま切り出される。

0046

さらに、遠心性信号は求心性信号の影響を受けるのみならず、求心性信号に影響を及ぼす。

0047

遠心性側の細胞WCは対応した細胞uCへゲイン制御信号送出し、同細胞WCが無出力の場合は細胞uCの入出力ゲインが時間の経過とともに減衰するが、細胞WCからゲイン制御信号が送出されると、この減衰が強制的に回復されて入出力間ゲイン低下が防止され、遠心性信号の経路上に存在した細胞uCに対して促通作用が働く。

0048

このため複数のパターンが重なった刺激が与えられると、現在認識されているパターンの求心性信号のみが遠心性信号で促通されるものの、他の入力パターンに関する求心性信号は次第に減衰し、いずれかの刺激パターンのみへ注意が選択的に向けられる。

0049

パターンの認識が行なわれてから、遠心性信号が瞬時的に停止されると、他のパターンへ注意が移される。細胞uCは細胞WCから与えられていた促通信号が停止された場合、それまでにゲインが減衰していたときにはこれを回復し、また、増大していたときには低下させる。

0050

したがって、認識されていたパターンの信号は求心性経路の通流阻害され、そのときの最終段細胞uCLに代り、反応していなかった他の最終段細胞uCLが活性化して別のパターンが認識される。

0051

このため、パターン認識が行なわれる毎に遠心性信号を瞬断することで、入力の各パターンへ注意が順に向けられ、その都度、パターン認識,セグメンテーション,連想などの処理が行なわれる。

0052

注意の対象となる入力パターンが不完全なものであったり学習時のものより大きく変形していた場合、求心性経路の特徴抽出細胞uSがしばしば無反応の状態となる。

0053

その際には求心性信号で遠心性信号が導かれなくなり、遠心性信号の伝達経路が断たれるので、特徴の抽出が行なわれるよう細胞uSの入力しきい値が制御され、引き下げられる。

0054

図5図6において、細胞uCの入力側に配置された細胞uSのいずれもが信号を出力しなかった場合、細胞WCXはそれらの細胞uSへゲイン制御信号を出力し、各細胞uSのしきい値を引き下げる。

0055

上位側で特徴が一旦抽出されると、その細胞uSでゲートが開かれた経路を下位側へ遠心性信号が伝達され、遠心性信号からは雑音などの成分が除かれるので、最終的に、連想出力層WC0へ完全な形態のパターンが戻される。

0056

そして多くのパターンが刺激入力された場合,刺激入力のパターンが密接していたり重なっていた場合,欠損,変形,雑音の程度が著しいパターンが刺激入力された場合には、最終段の全細胞uCLで出力が得られなくなり、遠心性信号の送出が元から断たれるので、処理の進行停止を招く。

0057

この場合(最終段の全細胞uCLで出力が得られなくなった場合)、図5の無出力検出回路50が経路Xを介して全段の各細胞uSへ制御信号を送出してしきい値を同時に引き下げる。

0058

その制御信号の値は、いずれかの最終段細胞uCLで出力が得られるまで、徐々に増加し、したがって、全段各細胞uSのしきい値が継続的に引き下げられ、ついには、認識結果が出力される。

0059

図11では数字2,3の複合パターンに対する反応過程が、図12では数字2が重なったパターンに対する反応過程が、図13では大きさが異なる2つの数字4が重なったパターンに対する反応過程が各々説明されており(数字1,2,3,4が予め教師されている)、各数字は注意が順に向けられて正確に認識され、完全な形態の正しいパターンが復元される。

発明が解決しようとする課題

0060

しかしながら、不完全なパターンが刺激入力された場合には、完全な形態の正しい連想パターンが得られるまでに、ループ処理が多数回にわたり内部で繰り返されることから、その処理に時間を要していた。

0061

本発明は上記従来の事情に鑑みてなされたものであり、その目的は、刺激入力された不完全なパターンを高速認識処理できるネオコグニトロンを提供することにある。

課題を解決するための手段

0062

図1において、本発明のネオコグニトロンは、その本体10(従来と同様な構成)に相関パターン作成部12,相関パターン統合部14,相関パターン代表位置算出部16,特徴画面生成部18,特徴辞書記憶部20,特徴データ選択部22,特徴画面作成部24,画像出力部26を追加した構成とされている。

0063

同図の相関パターン作成部12は、ネオコグニトロン本体10に呈示された入力パターンとネオコグニトロン本体10における第2層の各学習パターンとを用いた処理で入力パターンと学習パターンとの相関性が各々示される複数のパターンを作成する。

0064

相関パターン統合部14は作成されたパターンを対象が同一な学習パターンのグループ毎に統合する。相関パターン代表位置算出部16は統合された各パターンからパターン代表の位置を求める。特徴画面生成部18は求められた全ての位置がプロットされ各プロット位置に学習パターンのグループが対応した単一の画面を生成する。

0065

特徴辞書記憶部20にはパターングループの相対的な位置関係を各々示す複数の特徴データが格納されており、特徴データ選択部22は生成された画面へプロットの各位置について学習パターンのグループとパターングループが同一で各プロット位置の相対的な位置関係にパターングループの相対的な位置関係が最も近似した特徴データを選択する。

0066

特徴画面作成部24は選択された特徴データの各パターングループが生成された画面におけるプロット位置へ移動された画面を作成する。画像出力部26は作成された画面におけるグループのパターンが移動先に位置した画像をパターングループ毎に生成してネオコグニトロン本体10の第2層出力に代えてそのネオコグニトロン本体10へ入力する。

0067

本発明においては、ネオコグニトロン本体10の入力パターンと第2層の学習パターンとから入力パターンの特徴を抽出し、抽出された特徴の相対的な位置関係を記述し、辞書と比較する。

0068

その辞書は各種のパターンについて特徴の相対的な位置関係を記述した内容とされており、抽出された特徴の相対的な位置関係とこれに最も近い辞書内容とを用いてネオコグニトロン本体10の第2層出力を生成する。

0069

このときに第2層出力は、抽出された特徴の相対的な位置関係の記述と最も近い辞書内容とを用いて組み立てられていることから、完全な形態の正しいパターンとなっている。

0070

そのパターンがネオコグニトロン本体10へ第2層の出力に代えて入力されるので、不完全なパターンがネオコグニトロン本体10へ刺激入力された場合であっても、ループ処理を何度も繰り返すことなく、正しい連想パターンがネオコグニトロン本体10において短時間で得られる。

0071

図1のネオコグニトロンは、そのネオコグニトロン本体10に相関パターン作成部12,相関パターン統合部14,相関パターン代表位置算出部16,特徴画面生成部18,特徴辞書記憶部20,特徴データ選択部22,特徴画面作成部24,画像出力部26を追加した構成とされており、ネオコグニトロン本体10は従来のネオコグニトロンと同様な構成とされている。

0072

図14はネオコグニトロン本体10における第2層の学習パターンを示しており、同図において、符号0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15・・・111,112・・・は学習パターンを各々示し、同一の特徴(文字の一部分)に関する学習パターンは同一行整列されている。

0073

相関パターン作成部12は、ネオコグニトロン本体10に呈示された入力パターンとこれらの学習パターンとを入力し、入力パターンと学習パターンとの相関性が各々示される複数のパターンを図15のようにして作成する。

0074

図15において、各学習パターン(図14参照)を二次元ガウス分布乗算し、それらの乗算結果と入力パターンとのたたみ込み処理を行い、たたみ込み処理の結果をしきい値と比較し、しきい値以上のときに、該当したパターン画面の対応した位置へ書き込む。以下のときには、0の値を書き込む(図15のパターンi参照)。

0075

第2層の学習パターンに二次元ガウス分布を乗算し、そのパターンと入力パターンとのテンプレートマッチングを行うことにより、入力パターンと学習パターンとの相関性が各々示されるパターンを作成しても良い。

0076

図16は相関パターン統合部14で行われる処理を示しており、同図において、相関パターン統合部14は相関パターン作成部12で作成されたパターンをグループ(図14参照)毎に重ね合わせてそれらパターンをグループ毎に統合している。

0077

相関パターン代表位置算出部16は、相関パターン統合部14でグループ毎に統合された各パターンから、パターン代表となる位置を求める(図16及び図17参照)。パターンの重心位置や値が最も高い位置をパターン代表の位置とすることが好ましい。

0078

特徴画面生成部18は図17のように各代表位置の番号(グループの番号)が該当の位置にプロットされた単一の特徴画面FX(実体は特徴画面FXの内容を記述したデータであって良い)を生成する。

0079

図17において、特徴辞書記憶部20は特徴画面FXと同一形式のものが記述された辞書データ(特徴データ)を複数格納しており、辞書データは図18のように記述される。

0080

特徴データ選択部22は特徴画面FXに最も近似した辞書データFdを特徴辞書記憶部20から選択する。例えば、特徴画面FXの各数字が最も多く含まれる辞書データFdを特徴画面FXに最も近似したものとして選択する。

0081

特徴画面作成部24は、図19のように、選択された辞書データFdの記述(各数字とそれらの相対的な位置関係)と特徴画面FXにおける各数字とその位置とで定まる内容の画面Fを作成する。

0082

このときには、初期化した画面Fへ特徴画面FXの数字(特徴)を同一の位置へ順にコピーし、数字のコピー毎に、辞書データFdから該当した記述を削除する。

0083

ただし、図20のように画面FXの数字0に関する部分が欠落していた場合は、同部分に関する記述がデータFdに残る。この場合、”0から見て1は右下方向にある”,”1から見て2は上方向にある”,”1から見て3は左方向にある”の記述が残るので、図20の下側のようにそれらの記述で領域を確定し、その領域の中心に欠落の数字を配置する。

0084

画像出力部26は作成された画面Fの数字毎に画面を用意し、各数字が示す像を該当の画面における対応した位置へ書き込む(図21参照)。実際には、像を一定の値が平面的に分布したものとし、これを二次元ガウス分布とたたみ込み、ボケさせる。

0085

さらに画像出力部26は以上の画面を、ネオコグニトロン本体10の第2層出力に代えてそのネオコグニトロン本体10へ入力する。

0086

ネオコグニトロン本体10は画像出力部26から入力された各画像を用いて処理を進め、連想出力WC0を得る。

0087

図22では以上の処理手順フローチャートを用いて説明されており、相関パターン作成部12,相関パターン統合部14,相関パターン代表位置算出部16,特徴画面生成部18,特徴データ選択部22,特徴画面作成部24,画像出力部26の処理ステップにはそれらの符号が付されている。

0088

このように、ネオコグニトロン本体10の入力パターンと第2層の学習パターンとから入力パターンの特徴が抽出され、それら特徴の相対的な位置関係が記述されて辞書と比較される。

0089

辞書には同様な記述内容を各種のパターンについて行った内容が格納されており、抽出された特徴に関する相対的な位置関係の記述内容とこれに最も近い辞書内容とを用いて完全な形態の正しいパターンが1回のループで直ちに組み立てられる。

0090

組み立てられたパターンはネオコグニトロン本体10へ第2層出力に代えて入力される。このため、不完全なパターンが刺激入力された場合であっても、ループ処理を繰り返すことなく、正しい連想パターンが短時間で得られ、したがって、ネオコグニトロンの処理能力が著しく高められる。

発明の効果

0091

以上説明したように本発明によれば、ネオコグニトロン本体の第2層出力となるパターンがその外部で直ちに組み立てられ、しかも、そのパターンの形態が完全で正しいものとなることから、不完全なパターンがネオコグニトロン本体へ刺激入力された場合であっても、ループ処理を繰り返すことなく、正しい連想パターンが短時間で得られ、したがって、ネオコグニトロンの処理能力を大幅に高めることが可能となる。

図面の簡単な説明

0092

図1実施例の構成説明図である。
図2視神経回路モデルの構成説明図である。
図3視神経回路モデルの細胞構成説明図である。
図4視神経回路モデルの信号処理説明図である。
図5求心性及び遠心性経路の説明図である。
図6隣接段を跨ぐ空間的な細胞間結合状態の説明図である。
図7求心性経路のパターン認識作用説明図である。
図8変形パターンの認識作用説明図である。
図9細胞の入力結合が強化される作用の説明図である。
図10求心性信号の伝達経路説明図である。
図11複合パターンに対する反応課程の説明図である。
図12重ね合わせパターンに対する反応課程の説明図である。
図13カテゴリ同一のパターンに対する反応課程の説明図である。
図14第2層学習パターンの説明図である。
図15相関パターン作成部の処理内容説明図である。
図16相関パターン統合部の処理内容説明図である。
図17特徴画面生成及び辞書比較の処理説明図である。
図18辞書データの説明図である。
図19特徴画面作成部の処理内容説明図である。
図20画面Fの作成作用説明図である。
図21画面出力部の処理内容説明図である。
図22実施例の処理手順を説明するフローチャートである。

--

0093

10ネオコグニトロン本体
12相関パターン作成部
14 相関パターン統合部
16 相関パターン代表位置算出部
18 特徴画面生成部
20特徴辞書記憶部
22特徴データ選択部
24 特徴画面作成部
26画像出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ