Neural network learning system
专利汇可以提供Neural network learning system专利检索，专利查询，专利分析的服务。并且PURPOSE: To reduce the variation of learning among categories and to enhance generalizing ability by giving an input pattern and a teacher pattern to a multllayered structure type neural network and learning pattern sorting mechanism by means of back propagation algorithm.
CONSTITUTION: At the time of inputting the input pattern to the multilayered structure type neural network composed of an input layer 1, an intermediate layer 2 and an output layer 3, when the root-mean-square error of a category to which the input pattern belongs is not less than a prescribed value, weight update processing is executed by means of back propagation algorithm and v-when the root-mean square error is less than the prescribed value, weight update processing is not executed. This operation is executed for each input pattern. Namely, the learning of an input pattern belonging to a category in a state where learning is sufficiently advanced is stopped and that of an input pattern belonging to a category in a state where learning is not sufficiently advanced is continued. Consequently, learning of little variation among the categories is realized.
COPYRIGHT: (C)1994,JPO，下面是Neural network learning system专利的具体信息内容。
該カテゴリの平均２乗誤差が所定値以上であるときには、バックプロパゲーション・アルゴリズムによる重みの更新処理を行い、所定値未満のときには、重みの更新処理を行わないという動作を各入力パターン毎に実行することを特徴とするニューラルネットワークの学習方式。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、入力層、中間層および出力層からなる多層構造型ニューラルネットワークに入力パターンと教師パターンを与えて、バックプロパゲーション・アルゴリズムによりパターン分類メカニズムを学習させるニューラルネットワークの学習方式に関する。
【０００２】
【従来の技術】入力層、中間層および出力層からなる多層構造型ニューラルネットワークに、入力パターンと教師パターンを与えて、バックプロパゲーション・アルゴリズム［参考文献 Rumelhart,DEet al.:Parallel Di
stributed Processing,Vol.1,MIT Press（1986）］により、パターン分類メカニズムを学習させる場合の従来技術を以下に説明する。
【０００３】図１は、多層構造型ニューラルネットワークの構成例を示す図である。 図１において、１は入力層のニューロンを、２は中間層のニューロンを、３は出力層のニューロンをそれぞれ示す。
【０００４】入力パターンをＰ i （ｉ＝１，２，・・
・，Ｎ）、教師パターンをＴ i （ｉ＝１，２，・・・，
Ｎ）とする。 また、入力パターンＰ iを入力したときのニューラルネットワークの出力層の出力パターンをＯ i
（ｉ＝１，２，・・・，Ｎ）とする。
【０００５】従来技術では、すべての入力パターンを対象とした上記出力パターンと上記教師パターンとの平均２乗誤差Ｅ mの値があらかじめ設定した値よりも小さくなったとき、学習を停止するという方法が採用されていた。 出力層のニューロンの指標をｈ（ｈ＝１，２，・・
・，Ｍ）としたとき、Ｅ mは次のように定義される。
【数１】
例えば、手書き数字のメッシュ特徴（図２（ａ）〜
（ｄ）は１６×１６メッシュの手書き数字「０」〜
「３」のメッシュ特徴の例である）を入力層１への入力パターンとし、出力層３への教師パターンとして、断定的な値を与えて（数字「０」を入力としたときには、
「０」に対応する出力層のニューロンだけに１、残りのニューロンには０を与え、他の数字のときも同様な教師パターンを与えて）、バックプロパゲーション・アルゴリズムにより学習を進め、平均２乗誤差が０．０１より小さくなったら学習を停止する。
【０００６】
【発明が解決しようとする課題】従来技術のように、カテゴリ毎に区別することなく、すべての入力パターンでの平均２乗誤差で学習の停止条件を設定したときに生じる問題を説明する。
【０００７】一般的に言って、複数個の入力パターンを学習に用いたとき、すべての入力パターンが同じ速度で学習されていくとはかぎらない。 比較的速く学習されるパターン（２乗誤差が速やかに小さくなっていくパターン）と、なかなか学習が進まないパターン（２乗誤差がなかなか小さくならないパターン）というように分かれる。 カテゴリ別にみたときには、あるカテゴリに属する入力パターンの平均２乗誤差は十分小さくなっているのに、他のカテゴリに属する入力パターンの平均２乗誤差は余り小さくならない。
【０００８】このような状況下で、従来技術のように全学習パターンの平均２乗誤差だけで学習の停止条件を設定すると、次のような問題が生じる。 すなわち、従来技術では、あるカテゴリに所属する入力パターンをもっと学習させたいのに、他のカテゴリに所属する入力パターンが十分学習され、平均２乗誤差が設定値よりも小さくなってしまったために学習を打ち切られたり、あるカテゴリに所属する入力パターンに対して十分学習が行われているのに、他のカテゴリに所属する入力パターンの学習が十分されていないためにさらに学習を進めることになる。
【０００９】上記により、カテゴリ間での偏りを少なく学習させる（入力パターンの２乗誤差をカテゴリ毎にみて、できるだけ同じように小さくする）ことができなくなる。 また、上記により、必要以上に特定のカテゴリに所属する入力パターンを学習させる（過剰学習させる）ことになる。 これらが原因で、汎化能力の高いニューラルネットワークを構築できないという問題が生じる。
【００１０】本発明は、上記に鑑みてなされたもので、
その目的とするところは、カテゴリ毎に学習の進み具合いを監視して、カテゴリ間の学習のばらつきを低減し、
汎化能力の高いニューラルネットワークの学習方式を提供することにある。
【００１１】
【課題を解決するための手段】上記目的を達成するため、本発明のニューラルネットワークの学習方式は、入力層、中間層および出力層からなる多層構造型ニューラルネットワークに入力パターンと教師パターンを与えて、バックプロパゲーション・アルゴリズムによりパターン分類メカニズムを学習させるニューラルネットワークの学習方式であって、入力パターンを分類するカテゴリ毎に当該カテゴリに所属するパターンを入力したときの出力層の出力パターンと教師パターンとの平均２乗誤差を求めておき、入力パターンを入力したとき、該入力パターンが所属するカテゴリを調べて、該カテゴリの平均２乗誤差が所定値以上であるときには、バックプロパゲーション・アルゴリズムによる重みの更新処理を行い、所定値未満のときには、重みの更新処理を行わないという動作を各入力パターン毎に実行することを要旨とする。
【００１２】
【作用】本発明のニューラルネットワークの学習方式では、入力パターンを入力したとき、該入力パターンが所属するカテゴリの平均２乗誤差が所定値以上であるときには、バックプロパゲーション・アルゴリズムによる重みの更新処理を行い、所定値未満のときには、重みの更新処理を行わないという動作を各入力パターン毎に実行する。
【００１３】
【実施例】以下、図面を用いて本発明の実施例を説明する。
【００１４】本実施例では、入力パターンとして、図２
に例示したような手書き数字のメッシュ特徴を教師パターンとして、上述したように例えば数字「０」を入力したときには、「０」に対応する出力層のニューロンだけに１を与え、残りのニューロンには０を与えるというような断定的な値を与える場合を例にとって説明する。
【００１５】入力パターンをＰ i （ｉ＝１，２，・・
・，Ｎ）、教師パターンをＴ i （ｉ＝１，２，・・・，
Ｎ）とする。 入力パターンＰ iを入力したときの出力パターンをＯ i （ｉ＝１，２，・・・，Ｎ）とする。
【００１６】Ｐ iが数字「０」の入力パターンのときには、Ｔ i ＝（１０００００００００）である（「０」に対応する出力層のニューロンには１、その他のニューロンには０を教師信号として与えるという意味）。 Ｐ iが数字「１」の入力パターンのときには、Ｔ i ＝（０１０
０００００００）である（他の数字に対応する入力パターンのときも同様）。
【００１７】多層構造型ニューラルネットワークの規模は、入力層のニューロン数は２５６個（入力パターンが１６×１６のメッシュ特徴なので）、出力層のニューロン数は１０個（手書き数字には、１０個のクラスがあるので）、中間層のニューロン数は２０個（これは通常、
試行錯誤的に決定する）である。
【００１８】次に、図３を参照して、作用を説明する。
【００１９】まず、カテゴリｊ毎に、所属する入力パターンに対応する２乗誤差の平均値Ｄ jを計算する（ステップ１１０）。 例えば、カテゴリ１に所属する入力パターンが１００個あったときには、これら１００個のパターンに対応する２乗誤差の平均値をＤ 1とする。
【００２０】学習処理を開始する最初のときには、２乗誤差を計算できないので、予め設定するパラメータαよりも十分大きな値としておく。
【００２１】次に、パターンＰ 1を入力層１に入力して、出力パターンＯ 1を計算する（ステップ１２０）。
【００２２】前述した式（２）にしたがって、Ｔ 1とＯ
1との２乗誤差Ｅ 1を計算する（ステップ１３０）。 Ｐ
1が所属するカテゴリｋを調べて、Ｄ kがα以上のときにはバックプロパゲーション・アルゴリズムに従って重みを更新する。 α未満のときには更新しない（ステップ１４０）。
【００２３】そして、ステップ１２０〜１４０と同様の動作をパターンＰ 2 〜Ｐ Nに対して実行する（ステップ１５０）。 全パターン（Ｐ 1 〜Ｐ N ）を対象とした平均２乗誤差Ｅ mを式（１）および式（２）にしたがって計算する（ステップ１６０）。
【００２４】計算した平均２乗誤差Ｅ mがβ未満のときには学習を停止する。 β以上のときには、ステップ１１
０からの一連の動作を繰り返す（ステップ１７０）。
【００２５】従来の学習方式では、カテゴリ毎の学習の進み具合いを見ないで、全パターンを対象とした平均２
乗誤差だけで学習の停止条件を規定していた。 この場合には、あるカテゴリに所属する入力パターンの平均２乗誤差がまだ十分小さくないのに（例えば、０．０１
５）、他のカテゴリに所属する入力パターンの平均２乗誤差が十分小さくなってしまったために（例えば、０．
００５）、全パターンを対象とした平均２乗誤差が０．
０１より小さくなり学習が停止してしまうという学習上のアンバランスが生じる。
【００２６】これに対し、α＝β＝０．０１と設定して、本発明の学習方式を実行させたとすると、本発明では、同一カテゴリ内の平均２乗誤差が０．０１未満に到達したカテゴリに所属するパターンに対する学習動作（重みの更新）は進めず、同一カテゴリ内の平均２乗誤差が０．０１以上のカテゴリに所属するパターンに対する学習動作のみ実行する。
【００２７】この場合、トータルに見たときの停止条件（全学習パターンを対象とした平均２乗誤差が、０．０
１未満になったとき学習を終了する）は従来技術と同じであるが、カテゴリ毎に見たときの学習内容がまったく異なってくる。 つまり、カテゴリ毎に見たときの平均２
乗誤差のバラツキが、従来技術と比べて小さくなるように学習が進められる。
【００２８】従って、本発明の学習方式では、カテゴリ毎に見て偏りの少ない学習が実現できるとともに、特定のカテゴリに対する過剰学習を抑えることができる。 これらの結果として従来技術よりも汎化能力の高いニューラルネットワークを構築できることは明らかである。
【００２９】
【発明の効果】以上説明したように、本発明によれば、
入力パターンを入力したとき、該入力パターンが所属するカテゴリの平均２乗誤差が所定値以上であるときには、バックプロパゲーション・アルゴリズムによる重みの更新処理を行い、所定値未満のときには、重みの更新処理を行わないという動作を各入力パターン毎に実行するので、学習が十分進んだ状態にあるカテゴリに所属する入力パターンの学習は停止し、学習がまだ十分でないカテゴリに所属する入力パターンの学習は継続して行い、従ってカテゴリ間での偏りの少ない学習を実現できるとともに、特定のカテゴリに所属する入力パターンに対する過剰学習を抑えることができ、汎化能力の高いニューラルネットワークを構築することができる。
【図１】多層構造型ニューラルネットワークの構成を示す図である。
【図２】手書き数字のメッシュ特徴の例を示す図である。
【図３】本発明の一実施例に係わるニューラルネットワークの学習方式の作用を示すフローチャートである。
１ 入力層のニューロン ２ 中間層のニューロン ３ 出力層のニューロン
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种降雨预测方法、系统及电子设备 | 2020-05-13 | 779 |
| 基于深度神经网络的超像素级SAR图像变化检测方法 | 2020-05-13 | 326 |
| 一种Web攻击检测方法、系统、介质和设备 | 2020-05-17 | 440 |
| 一种基于BP神经网络的过渡电阻预测方法 | 2020-05-11 | 880 |
| 一种基于数据融合和BP神经网络的跌倒检测系统及方法 | 2020-05-16 | 611 |
| 基于自样例增强的超分辨率图像重建方法 | 2020-05-08 | 548 |
| 基于脑机接口的智能家居控制方法及系统 | 2020-05-16 | 281 |
| 一种基于批次图像化的卷积自编码故障监测方法 | 2020-05-17 | 34 |
| 基于多卷积核残差网络的行为识别系统、方法、介质及设备 | 2020-05-11 | 705 |
| 胶凝砂砾石配合比关键指标预测抗压强度的BP神经网络分析方法 | 2020-05-11 | 764 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
