Learning system for neural network
专利汇可以提供Learning system for neural network专利检索，专利查询，专利分析的服务。并且PURPOSE: To obtain the leaning system of a neural network which can compose the neural network of high generalization ability by individually monitoring/ calculating the advance of the learning of an input pattern.
CONSTITUTION: A pattern P
1 is inputted to the input layer 1 of the neural network (ST 110), and calculated in a forward direction so as to obtain an output pattern 05 at an output layer (ST 120). Next, the square error E1 of a teacher pattern T
1 and the output pattern O
1 is calculated (ST 130). Then, when the square error E1 is over a value α which is previously set, weight is updated in a reverse direction in accordance with back-propagation algorithm and when being less than the value α, weight is not updated (ST 140). The operation of ST 110 to 140 is executed to the other input patterns (P
2 to PN) (ST 150) and when an average square error Em obtained by calculating to all the input patterns is less than set value β, the leaning of the neural network is stopped (ST 160, 170).
COPYRIGHT: (C)1993,JPO&Japio，下面是Learning system for neural network专利的具体信息内容。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、入力層、中間層および出力層からなる多層構造型ニューラルネットワークの学習方式に関する。
【０００２】
【従来の技術】入力層、中間層および出力層からなる多層構造型ニューラルネットワークに入力パターンと教師パターンを与えて、バックプロパゲーション・アルゴリズム［参考文献 Rumelhart,DEet al.:Parallel Dist
ributed Processing,Vol.1,MITPress（1986）］により、上記入力パターンと上記教師パターン間の相関関係を学習させる場合の従来技術を以下に説明する。
【０００３】図１は、多層構造型ニューラルネットワークの構成例を示す図である。 同図において、１は入力層のニューロンを、２は中間層のニューロンを、３は出力層のニューロンをそれぞれ示す。
【０００４】入力パターンをＰ i （ｉ＝１，２，…，
Ｎ）、教師パターンをＴ i （ｉ＝１，２，…，Ｎ）とする。 また、Ｐ iを入力したときのニューラルネットワークの出力層の出力パターンＯ i （ｉ＝１，２，…，Ｎ）
とする。
【０００５】従来技術では、すべての入力パターンを対象とした上記出力パターンと上記教師パターンとの平均２乗誤差Ｅ mの値があらかじめ設定した値よりも小さくなったとき、学習を停止するという方法が採用されていた。 出力層のニューロンの指標をｊ（ｊ＝１，２，…，
Ｍ）としたとき、Ｅ mは次のように定義される。
【０００６】 Ｅ m ＝（１／Ｎ）ΣＥ p （１） Ｅ p ＝（１／２）Σ（Ｔ pj −Ｏ pj ） 2 （２） 例えば、手書き数字のメッシュ特徴（図２（ａ）〜
（ｄ）は１６×１６メッシュの手書き数字「０」〜
「３」のメッシュ特徴の例である）を入力層１への入力パターンとし、出力層３への教師パターンとして、断定的な値を与えて（数字「０」を入力としたときには、
「０」に対応する出力層のニューロンだけに１、残りのニューロンには０を与え、他の数字のときも同様な教師パターンを与えて）、バックプロパゲーション・アルゴリズムにより学習を進め、平均２乗誤差が０．０１より小さくなったら学習を停止する。
【０００７】
【発明が解決しようとする課題】従来技術のように、入力パターンごとに区別することなく、すべての入力パターンでの平均２乗誤差で学習の停止条件を設定したときに生じる問題を説明する。
【０００８】一般的に言って、Ｎ個の入力パターンを学習に用いたとき、すべての入力パターンが同じ速度で学習されていくとはかぎらない。 比較的速く学習されるパターン（２乗誤差が速やかに小さくなっていくパターン）と、なかなか学習が進まないパターン（２乗誤差がなかなか小さくならないパターン）というように分かれる。 このような状況下で、従来技術のようにトータルに見て停止条件を設定すると、どの入力パターンも、ニューラルネットワークの学習に関して、同じくらい重要な意味をもつようなケースでは次のような問題が生じる。
【０００９】すなわち、従来技術では、もっと学習させたいのに（他のパターンが十分学習され、平均２乗誤差が設定値よりも小さくなってしまったために）学習を打ち切られたり、十分学習が行われているのに（他のパターンの学習が十分行われていないために）さらに学習を進めることになる。
【００１０】上記により、用意した入力パターンを満偏なく学習させる（各パターンでの２乗誤差をできるだけ同じように小さくする）ことができなくなる。 また、
上記により、必要以上に特定のパターンを学習させる（過剰学習させる）ことになる。 これらが原因で、汎化能力の高いニューラルネットワークを構築できないという問題が生じる。
【００１１】本発明は、上記に鑑みてなされたもので、
その目的とするところは、入力パターンの学習の進み具合いを個別に監視し、汎化能力の高いニューラルネットワークを構築し得るニューラルネットワークの学習方式を提供することにある。
【００１２】
【課題を解決するための手段】上記目的を達成するため、本発明のニューラルネットワークの学習方式は、入力層、中間層および出力層からなる多層構造型ニューラルネットワークに入力パターンと教師パターンを与えて、バックプロパゲーション・アルゴリズムにより入力パターンと教師パターンとの間の相関関係を学習させるニューラルネットワークの学習方式であって、入力パターンを入力したときの出力層の出力パターンと教師パターンとの２乗誤差が所定の値以上のときには、バックプロパゲーション・アルゴリズムによる重みの更新処理を行い、前記２乗誤差が所定の値未満のときに、前記重みの更新処理を行わないという動作を入力パターン毎に実行することを要旨とする。
【００１３】
【作用】本発明のニューラルネットワークの学習方式では、入力パターンを入力したときの出力層の出力パターンと教師パターンとの２乗誤差が所定の値以上のときには、バックプロパゲーション・アルゴリズムによる重みの更新処理を行い、前記２乗誤差が所定の値未満のときに、前記重みの更新処理を行わないという動作を入力パターン毎に実行している。
【００１４】
【実施例】以下、図面を用いて本発明の実施例を説明する。
【００１５】本実施例では、入力パターンとして、図２
に例示するような手書き数字のメッシュ特徴を与え、教師パターンとして、上述したように例えば数字「０」を入力したときには、「０」に対応する出力層のニューロンのみに１を与え、残りのニューロンには０を与えるというように断定的な値を与える場合を例にとって説明を行う。
【００１６】入力パターンをＰ i （ｉ＝１，２，…，
Ｎ）、教師パターンをＴ i （ｉ＝１，２，…，Ｎ）とする。 Ｐ iを入力したときの出力パターンをＯ i （ｉ＝
１，２，…，Ｎ）とする。
【００１７】Ｐ iが数字「０」の入力パターンのときには、Ｔ i ＝（１０００００００００）である（「０」に対応する出力層のニューロンには１、その他のニューロンには０を教師信号として与えるという意味）。 Ｐ iが数字「１」の入力パターンのときには、Ｔ i ＝（０１０
０００００００）である（他の数字に対応する入力パターンのときも同様）。
【００１８】多層構造型ニューラルネットワークの規模は、入力層のニューロン数は２５６個（入力パターンが１６×１６のメッシュ特徴なので）、出力層のニューロン数は１０個（手書き数字には、１０個のクラスがあるので）、中間層のニューロン数は２０個（これは通常、
試行錯誤的に決定する）である。
【００１９】次に、図３を参照して、作用を説明する。
【００２０】まず、パターンＰ 1をニューラルネットワークの入力層１に入力する（ステップ１１０）。 それから、順方向（入力層→中間層→出力層）に計算して、出力層での出力パターンＯ 1を得る（ステップ１２０）。
【００２１】前述した式（２）に従って、Ｔ 1とＯ 1との間の２乗誤差Ｅ 1を計算する（ステップ１３０）。 そして、計算した２乗誤差Ｅ 1があらかじめ設定した値α
以上のときには、バックプロパゲーション・アルゴリズムにしたがい、逆方向（出力層→中間層→入力層）で重みの更新を行なう。 α未満のときには重みの更新は行なわない（ステップ１４０）。
【００２２】そして、上記ステップ１１０〜ステップ１
４０と同様の動作を他の入力パターン（Ｐ 2 〜Ｐ N ）に対して実行する（ステップ１５０）。 すべての入力パターン（Ｐ 1 〜Ｐ N ）を対象とした平均２乗誤差Ｅ mを式（１）および式（２）にしたがって計算する（ステップ１６０）。
【００２３】計算した平均２乗誤差Ｅ mがあらかじめ設定した値β未満のときには、ニューラルネットワークの学習を停止する。 β以上のときには、上記の第１からの一連の動作を繰り返す（ステップ１７０）。
【００２４】例えば、α＝０．００５、β＝０．０１０
と設定して、上記の学習を実行させたとする。 従来の学習方式では、個々のパターンの学習の進み具合いを見ないで、平均２乗誤差だけで学習の停止条件を規定していた。 従って、特定のパターンでは２乗誤差が十分小さい（例えば０．００１）のに対し、学習の遅いパターンでは２乗誤差がかなり大きい（例えば０．０５０）のに学習が停止してしまうという、学習上のアンバランスが生じる。
【００２５】これに対し、本発明の学習方式では、２乗誤差が０．００５未満に到達したパターンに対する学習動作（重みの更新）は行なわず、２乗誤差が０．００５
以上のパターンに対する学習動作のみ実行する。
【００２６】従って、トータルに見たときの停止条件（平均２乗誤差がβ未満になったとき学習を終了する）
は従来技術と同じであるが、個々の入力パターンで見たときの学習内容がまったく異なってくる。 つまり、すべての入力パターンにおける２乗誤差が従来技術に比べて、ばらつきが少なく、減るように学習が進むようになる。
【００２７】従って、本発明の学習方式では、従来技術に比べて、入力パターンに関して偏りの少ない学習が実現できるとともに、特定のパターンに対する過剰学習を抑えることができる。 これらの結果として従来技術よりも汎化能力の高いニューラルネットワークを構築できることは明らかである。
【００２８】
【発明の効果】以上説明したように、本発明によれば、
入力パターンを入力したときの出力層の出力パターンと教師パターンとの２乗誤差が所定の値以上のときには、
バックプロパゲーション・アルゴリズムによる重みの更新処理を行い、前記２乗誤差が所定の値未満のときに、
前記重みの更新処理を行わないという動作を入力パターン毎に実行しているので、学習が十分進んだ状態にあるパターンの学習は停止し、学習がまだ十分でないパターンの学習のみ継続し、従って入力パターンに関して偏りの少ない学習が実現できるとともに、特定のパターンに対する過剰学習を抑えることができ、結果として汎化能力の高いニューラルネットワークを構築することができる。
【図１】多層構造型ニューラルネットワークの構成を示す図である。
【図２】手書き数字のメッシュ特徴の例を示す図である。
【図３】本発明の一実施例に係わるニューラルネットワークの学習方式の作用を示すフローチャートである。
１ 入力層のニューロン ２ 中間層のニューロン ３ 出力層のニューロン
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种降雨预测方法、系统及电子设备 | 2020-05-13 | 779 |
| 基于深度神经网络的超像素级SAR图像变化检测方法 | 2020-05-13 | 326 |
| 一种Web攻击检测方法、系统、介质和设备 | 2020-05-17 | 440 |
| 一种基于BP神经网络的过渡电阻预测方法 | 2020-05-11 | 880 |
| 一种基于数据融合和BP神经网络的跌倒检测系统及方法 | 2020-05-16 | 611 |
| 基于自样例增强的超分辨率图像重建方法 | 2020-05-08 | 548 |
| 基于脑机接口的智能家居控制方法及系统 | 2020-05-16 | 281 |
| 一种基于批次图像化的卷积自编码故障监测方法 | 2020-05-17 | 34 |
| 基于多卷积核残差网络的行为识别系统、方法、介质及设备 | 2020-05-11 | 705 |
| 胶凝砂砾石配合比关键指标预测抗压强度的BP神经网络分析方法 | 2020-05-11 | 764 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
