【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一般的には、いわゆる神経状回路網、すなわち動物または人の脳に類似するように構成され、また動作的に組織された電子回路網に関する。

【０００２】

【従来の技術】周知のように、いったん構成されたそのような回路網は、最高水準の、まだプログラムされていないコンピュータとして考えられうるが、その意味は、
それらは、何らかの機能を行なうためには、まずそれを行なうための訓練をなされるべきであるからである。 例えば、もし神経状回路が、最高水準のコンピュータに対して神経状回路網がその優越性を示す代表的な応用分野の１つである文字または一般的にはパターンまたは対象物の認識のための装置に使用される場合には、それはまず、文字、形状、または対象物を認識するための訓練を受けなくてはならない。 この段階は、「学習」段階として定義される。

【０００３】実際には、神経状回路網がその基本成分として「ニューロン」および「シナプス」を有すること、
および「シナプス」が「重み」を特性とすること、を考慮して、学習段階は、回路網が文字、パターン、または対象物を認識し、それによってそれが所望の１つに一致しているという正確な応答を生じるように、回路網の全てのシナプスに適切な「重み」を与えることとなる。

【０００４】多層パーセプトロン神経状回路網においては、学習段階は通常バックプロパゲーション・アルゴリズムによって実現される。 反復プロシージャが学習コンピュータの助けによって取扱われ、かつ行なわれて、該プロシージャ中に、回路網に対し、認識されえなくてはならない文字、形状、または対象物のパターンについての数が示される。 神経状回路網が生じる応答のみでなく、やはり得ることが所望される正確な応答もまた、そのコンピュータへ供給される。 学習反復プロシージャの目的は、後の近似により、学習配置集合を作っている単一配置に対応して少しずつ、所望の出力（目標）配置、
すなわち正確な応答、と、回路網が供給する配置と、の間の差を（理論的極限において）ゼロにするか、または最小にするシナプスの重みの配置に到達することである。 差のこの最小化は、配置の「収束」という用語で知られている。

【０００５】周知のように、認識プロセスの効率は、学習段階において回路網に与えられるモデルまたはサンプル（「パターン」）の数による。 しかし、収束の達成に必要な反復の回数は、サンプル数の増大に伴ってかなり増大し、たとえ極めて強力な計算機が使用されたとしても、極めて長いシミュレーション時間を要するほどに大きくなる（時々１００，０００回に達する）。

【０００６】反復回数のこのような増大を生ぜしめるもう１つ問題は、いわゆる「耐性」の問題、すなわち同一出願人による先行特許出願の教示によるこの問題に対するＥＰＲＯＭメモリセルの再プログラミングの最大数に関する問題である。

【０００７】しかし、この問題は、学習プロセスの加速により、またバックプロパゲーション・アルゴリズムの収束を実現するのに必要な反復回数の減少によって処理される。 この目的のためにいくつかの教示が提案された。

【０００８】しかし、そのような技術の検討に進む前に、バックプロパゲーション・アルゴリズムについて概略を考察する方がよいと思われる。

【０００９】バックプロパゲーション・アルゴリズムにおいては、重みは一般にランダム値において初期化される。 入力ベクトルＩ _pが与えられると、出力ベクトルＯ
_pが得られる。 このベクトルは、所望の応答Ｔ _pに対応するベクトルと比較され、補正が計算されて、出力（ｏ
ｕｔ）層のニューロンのシナプスの重みに作用せしめられる。

【００１０】この目的のために、量

【数１】

_p,out,j （１−Ｏ

_p,out,j ）は活動化（シグモイド）関数の導関数である。

【００１１】数１において、第１インデックスはサンプルまたは「パターン」（ｐ）に、第２インデックスは層（ｏｕｔ）に、第３インデックスはニューロン（ｊ）に関する。

【００１２】他の層に対しては、関係

【数２】

_kはｋ番目の層のニューロン数であり、Ｗ

_(k+1),ijは、（ｋ＋１）番目の層のｉ番目のニューロンがｊ番目の入力をフィルタする重みである。

【００１３】いったん全てのδが知られれば、重みに作用せしめられるべき補正

【数３】

Ｗ

_kij

^*は前の反復により得られたものである。

【００１４】収束条件は、全ての出力および全てのサンプルまたは「パターン」に対し、

【数４】

【００１５】必要な反復回数を最小化するために、Ｖｏ
ｇｌは、それぞれのサンプルの提示（「パターンによる学習」）すなわち「サンプル学習」）の後にではなく、
全学習用集合の提示（「エポックによる学習」すなわち「集合学習」）の後に、それぞれの反復に関係のあるシナプスの重みの更新を行なうことを示唆した。 彼はまた、アルゴリズムの収束が、前の反復の結果を考慮して各回ごとにパラメータηおよびαをもし更新すれば、かなり改善されることを示した。

【００１６】他の著者達は、最小化されるべき関数の局部的最小を消去する問題に関心を持っていたが、これは学習プロセスの可能な「飽和」の危険を制限するためであった。

【００１７】

【発明が解決しようとする課題】本発明の目的は、上述の困難を有せず、極めて多様なサンプル集合に対してもバックプロパゲーション・アルゴリズムの収束を速やかに達成しうる学習プロセスを提案することである。

【００１８】

【課題を解決するための手段】ここに提案されるプロセスは、バックプロパゲーション・アルゴリズムをさらに改訂したものではなく、学習サンプルまたはパターンを神経状回路に提示する反復技術に基づいて、上述のアルゴリズムの適用のためのある独創的な判断基準を確立する。

【００１９】前述の目的は、本発明によって達成され、
本発明は基礎的実施例において、基本的にはサンプルの集合を認識するための多層パーセプトロン形神経状回路網の学習プロセスを実現するために適用されるバックプロパゲーション・アルゴリズムの収束の加速方法を提供するものであり、該方法は、初期の学習サンプル集合に対して、前記回路網により認識された新しいサンプルを累進的に追加することによって該回路網の学習能力を累進的に増大させる第１段階と、前に認識されなかったサンプルを累進的に追加することによって該回路網の学習能力を累進的に増大させる第２段階と、認識されたサンプルと認識されなかったサンプルとの間の同化（ａｓｓ
ｉｍｉｌａｔｉｏｎ）の意味において累進的にコラプション（ｃｏｒｒｕｐｔｉｏｎ）を行ない、かつ後に該回路網に対してそれらを提示することによって該回路網の学習能力を累進的に増大させる第３段階と、を含む。

【００２０】本発明のその他の特徴および利点は、実施例が限定的な意味のものとしてではなく単なる例として示されている添付図面を参照しつつ行なわれる以下の開示によって明らかにされる。

【００２１】

【実施例】以下、添付図面を参照しつつ、本プロセスを詳細に開示する。 第１段階 （図１） 学習集合を形成する文字または配置または対象物の集合から、初期学習集合を形成するできるだけ統計的に意味のある多数の「パターン」が抽出される。 この部分集合は、できるだけ多数のものから成り、適度の時間内に収束に達する（最大で数千回の動作）必要性と両立しうるものでなくてはならない。 次に、学習動作が行なわれ、
次に全体集合に対し認識動作が行なわれる。 もし、初期部分集合のほかに新しい「パターン」が認識されれば、
これらの新たに認識された「パターン」は、前に認識された「パターン」の部分集合に追加される。 次に、全体集合に対して学習および認識の新しいサイクルが行なわれ、回路網によって認識された「パターン」の数の増加が得られなくなるまで再反復が行なわれる。

【００２２】実際には、認識された「パターン」を追加することにより、学習および認識の能力が増大するか否かがチェックされる。 新しく認識された「パターン」が発見されない時は、第II段階へ進む。

【００２３】 第２段階 （図２） 前の段階の終りに回路網により認識されなかった「パターン」が、一時に１つずつ、それぞれの時に学習動作を行なうことによって現在の学習部分集合に追加される。
もし、収束条件が制限された反復回数、例えば１００
回、以内に達成されれば、追加された「パターン」は現在の学習部分集合に属することが確認され、そうでない場合は「パターン」はしばらくわきへ置かれ、プロセスは新しい「パターン」について繰返される。

【００２４】図２からわかるように、収束が起こり、従って追加された「パターン」が現在の学習部分集合に属することが確認された時には、第１段階が繰返される。
すなわち、全体集合に対しての認識動作、次に他の認識された「パターン」の追加のための動作、従って新しい学習動作、が行なわれる。

【００２５】この段階は、第２段階の終りにおける全ての認識されなかった「パターン」に対して反復して行なわれるので、もし認識されなかった「パターン」がもはや存在しなければ、学習プロセスは終了したものと考えられうる。

【００２６】もし、逆に、認識されなかった「パターン」がまだ存在すれば、第３段階へ進むことになる。

【００２７】 第３段階 （図３） 第３段階は、２つの相異なるモードによって行なわれ、
これらの双方は、「コラプション」、すなわち文字、配置、または対象物の画像の少数の画素の改変、の概念に基づいている。

【００２８】図３に示されている第１実行モードにおいては、第１および第２段階の終りにおいて認識されなくなる全ての「パターン」を分離した後、それらの「パターン」をして一時に１つずつ反復するコラプションを受けしめる。 特に、その「パターン」のすでに認識された「パターン」に対する同化の意味においてその「パターン」をコラプションして、それを現在の学習集合に追加し、従って学習動作を実行する。 次に、コラプションされなかった「パターン」を認識するための動作が行なわれ、もしそのコラプションされなかった「パターン」が再び認識されなければ、既にコラプションされた「パターン」をして上述と同じ意味においてもう一度コラプションを受けしめ、同様に進んで、追加、学習、および認識動作を行ない、後のコラプションを再反復することにより、そのような初め認識されなかった「パターン」が最後には反対に認識されるようにする。 その時点において、準備された「パターン」は認識された「パターン」
の部分集合に追加され、学習動作が行なわれる。 このようにして、全ての残された認識されていない「パターン」へ進む。

【００２９】第２の（まだ説明されていない）実行モードにおいては、初期学習集合を形成する「パターン」
は、前の段階によってわきに置かれた認識されなかった「パターン」に対するそれらの同化の意味において、徐々にコラプションを受ける。 それぞれのコラプションにおいて、学習プロセスが繰返され、数十回以内の反復により収束が得られる。 回路網が、前に拒否された「パターン」を認識しうるようになるまで、このようなプロシージャが繰返される。

【００３０】この場合にも、第３段階において既にそうであったように、それぞれの反復の終りに認識されたはずの新しい「パターン」は、現在の学習集合に追加される。

【００３１】ここに開示されたプロセスは、第１層上に３２ニューロンを、また第２層上に１０ニューロンを有する、２層をなすパーセプトロン形の神経状回路網に対し、約５００「パターン」の学習集合を用いて適用された。 収束条件は、全体で約７００回の反復を（η＝０、
２およびα＝０において）実行することにより達成された。 そうでない場合は、回路網に対して、全学習集合を提示するとき、収束を達成するのに１００，０００回の反復でも不十分なようであった。

【００３２】以上においては、本発明の実施例を開示したが、本技術分野に習熟した者ならば、特許請求の範囲から逸脱することなく動作の系列および組合せに対し改変および変更を行ないうるはずである。

【００３３】以上説明に関して更に以下の項を開示する。 （１） サンプルパターンの集合を認識するための多層パーセプトロン形神経状回路網の学習プロセスを実現するために適用される後方伝搬アルゴリズムの収束の加速方法であって、初期の学習パターン集合に対して、前記回路網により認識された新しいパターンを累進的に追加することによって該回路網の学習能力を累進的に増大させる第１段階と、前に認識されなかったパターンを累進的に追加することによって該回路網の学習能力を累進的に増大させる第２段階と、認識されたパターンと認識されなかったパターンとの間の同化の意味における累進的コラプションおよび該回路網に対するそれらの後刻の提示によって該回路網の学習能力を累進的に増大させる第３段階と、を含む、神経状回路網の学習プロセスの加速方法。

【００３４】（２） 前記第１段階が、次の各項記載の動作を含む第１項記載の神経状回路網の学習プロセスの加速方法。 ｉ） できるだけ多くの統計的に意味のあるパターンを含む、速やかな収束の切迫した必要性と両立するできるだけ多くの出発学習集合の選択。 ii) 学習動作の実行。 iii) その後の全体的パターン集合に対する認識動作の実行。 iv) もし１つまたはそれ以上の新しいパターンが認識された場合の、該新しいパターンの前記出発学習集合への追加。 ｖ） 前記回路網により認識されたパターンによりもはや増大が得られなくなるまでの、ii) 、iii)、iv) の動作の反復。

【００３５】（３） 前記第２段階が次の各項記載の動作を含む、第１項および第２項記載の神経状回路網の学習プロセスの加速方法。 ｉ） 前記第１段階の終りにおいて前記回路網により認識されなかったパターンの分離。 ii) 既に認識されたパターンの集合への認識されなかったパターンの追加。 iii) 学習動作の実行。 iv) もし収束が起こらず従って追加が確認しえない場合に認識されなかったパターンをわきに置く動作。 またもし逆に収束が起こり、追加を確認した場合の、既にわきに置かれたものを含むパターンの全体集合に対しての認識動作の進行。 ｖ） もし１つまたはそれ以上の新しいパターンが認識された場合の、前記認識されたパターンの集合に対する該新しく認識されたパターンの追加。 vi) 学習動作の実行。 vii) なんらかの他のパターンの認識が得られるまでの、前記第１段階の終りにおいて認識されなかった全てのパターンに対するｉ）からvi) までの動作の反復。

【００３６】（４） 前記第３段階が次の各項記載の動作を含む、第１項、第２項、および第３項記載の神経状回路網の学習プロセスの加速方法。 ｉ） 前記第２段階の終りにおいて前記回路網により認識されなかったパターンの分離。 ii) 認識されなかったパターンをして、既に認識されたパターンに対するその同化の意味においてコラプションを受けしめ、それを認識されたパターンの集合に追加する動作。 iii) 学習動作の実行。 iv) コラプションされなかったパターンをして認識を受けしめる動作。 ｖ） もしコラプションされなかったパターンが認識された場合に、その認識されたパターンを他の認識されたパターンに追加する動作。 vi) 最後の学習動作の実行。 vii) もし逆にコラプションされなかったパターンが認識されなかった場合に於ける、それが認識されるまでの
ii) からｖ）までの動作の反復。 viii) 動作ｉ）において分離された全ての認識されなかったパターンに対するii) からvii)までの動作の反復。

【００３７】（５） 前記第３段階が次の各項記載の動作を含む、第１項、第２項、および第３項記載の神経状回路網の学習プロセスの加速方法。 ｉ） 前記第２段階の終りにおいて前記回路網により認識されなかったパターンの分離。 ii) 前記出発学習部分集合のパターンをして、前記第１段階においてわきに置かれた前記認識されなかったパターンに対するそれらの同化の意味において徐々にコラプションを受けしめる動作。 iii) 学習動作の実行。 iv) 前記認識されなかったパターンをして認識を受けしめる動作。 ｖ） もし前記前に認識されなかったパターンが今認識された場合に、その認識されたパターンを他の認識されたパターンに追加する動作。 vi) 最後の学習動作の実行。 vii) もし逆に前記前に認識されなかったパターンが今もなお認識されない場合における、それが認識されるまでのii) からｖ）までの動作の反復。 viii) 動作ｉ）において分離された全ての認識されなかったパターンに対するii) からvii)までの動作の反復。

【００３８】（６） 第１項から第５項までのいずれかに記載され、実質的にここに提示され開示されている多層パーセプトロン形神経状回路網における学習プロセスを実現するために適用されるバックプロパゲーション・
アルゴリズムの収束の加速方法。

【００３９】（７） 本発明の主題は、例えばサンプルの集合を認識するための多層パーセプトロン形神経状回路網における学習プロセスを実現するために適用されるバックプロパゲーション・アルゴリズムの収束の加速方法であり、該方法は、学習サンプルの出発集合に対して、前記回路網により認識された新しいサンプルを累進的に追加することによって該回路網の学習能力を累進的に増大させるという基本的概念に基づく第１段階と、前に認識されなかったサンプルを累進的に追加することによって該回路網の学習能力を累進的に増大させるという概念に基づく第２段階と、認識されたサンプルと認識されなかったサンプルとの間の同化の意味における累進的コラプションおよび該回路網に対するそれらの後刻の提示によって該回路網の学習能力を累進的に増大させるという概念に基づく第３段階と、を含む。

【図面の簡単な説明】

【図１】本プロセスの第１段階を形成する動作の集合を示す流れ図。

【図２】本プロセスの第２段階を形成する動作の集合を示す流れ図。

【図３】本プロセスの第３段階を形成する動作の集合を示す流れ図。