Error signal generating method for making neuro network efficiently learn multilayered perceptron
专利汇可以提供Error signal generating method for making neuro network efficiently learn multilayered perceptron专利检索，专利查询，专利分析的服务。并且PURPOSE: To obtain a new error function for improving the algorithm performance for learning the reverse propagation of a multilayered perceptron. CONSTITUTION: When a learning pattern x=(x1 , x2 ,..., xNO) is inputted to a multilayered perceptron composed of L layers, calculation is made in all directions (S1), the output error signal of an output layer is calculated (S2), the error signal of a lower layer is calculated through reverse propagation (S3), and the weighted value of respective hierarchies is changed (S4). This proposed error function reduces the occurrence of such a phenomenon that an output node is inappropriately saturated from the learning process of a neuro network by generating a strong error signal when the difference between the target value and output value of the output layer becomes larger. When the target value approaches the output value, the error function prevents the neuro network from excessively learning the learning pattern by generating a weak error signal.，下面是Error signal generating method for making neuro network efficiently learn multilayered perceptron专利的具体信息内容。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はパターン認識問題の学習に広く使用される多層パーセプトロンの神経回路網（mu
lti-layer perceptron neural networks）モデルの効率的な学習方法に関するものである。
【０００２】
【従来の技術】多層パーセプトロンを学習させるとき、
学習時間が長時間の間所要されるが、幾つかのパターンに対しては全く学習されない現象が発生する場合もある。
【０００３】
【発明が解決しようとする課題】本発明は上記のような問題点を解消するためになされたもので、多層パーセプトロンを利用したパターン認識問題の学習時間を短縮して迅速化を図り、学習パターンに対してもありのまま学習できることを目的とする。
【０００４】
【課題を解決するための手段】本発明に係る請求項１記載の多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法は、生命体の情報処理を模倣した神経回路網モデルの一つとして、神経細胞（neuro
n）を意味するノードと、各ノードを連結する連接部加重値が階層的に構成されている多層パーセプトロンから誤差信号を発生させる方法において、前記多層パーセプトロンの逆伝播学習時に出力ノードが不適切に飽和される場合は強い誤差信号を発生させ、前記出力ノードが適切に飽和される場合は弱い誤差信号を発生させることを特徴とする。
【０００５】
【作用】本発明に係る請求項１記載の多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法によれば、逆伝播学習時に出力ノードが不適切に飽和される場合は強い誤差信号を発生させ、前記出力ノードが適切に飽和される場合は弱い誤差信号を発生させるので、出力ノードが不適切に飽和される現象が減り、神経網が学習パターンを過度に学習することが防止される。
【０００６】
【実施例】本発明の説明のために次のように用語を定義する。
【０００７】まず、“多層パーセプトロン”とは、生命体の情報処理を模倣した神経回路網モデルの一つであり、図１に図示のように、神経細胞（neuron）を意味するノードとノードを連結する連接部加重値（synapse we
ight value）が階層的に構成されている。
【０００８】この多層パーセプトロンの各ノードはその状態が下層ノードの状態値とその連結加重値の“加重値の合計”を入力として受け入れて、図２のようにシグモイド変換した値を出力する。
【０００９】シグモイド関数は傾きが小さい両側面の飽和領域と傾きが大きい中央の活性領域と分けられる。
【００１０】“学習パターン”とは、パターン認識問題を学習させるために任意に収集したパターンである。
【００１１】“試験パターン”とは、パターン認識問題の学習程度を試験する基準とするために任意に収集したパターンである。
【００１２】これらのパターンは多数個の“集団”と分けることができ、“パターン認識”とは、入力されたパターンがどの集団に属するかを決定するものである。
【００１３】最終階層ノードの状態が入力パターンが属する集団を示す。
【００１４】“逆伝播学習（Back Propagating Trainin
g）”とは、この多層パーセプトロンを学習させる方法として、学習パターンを入力させた後に、最終階層ノードの出力値が所望の目標値となるように誤差信号により最終階層ノードに連結された加重値を変更させており、
その下層のノードは上の階層から逆伝播された誤差信号により連結加重値を変更させる方法である。
【００１５】“誤差関数”とは、逆伝播学習から誤差信号を如何に発生させるかを決定する関数である。
【００１６】“ノードの飽和とは、ノードの加重値の合計の入力値がシグモイド関数の傾きが小さい領域に位置することを指称する。
【００１７】ノードが目標値と同じ飽和領域に位置すると“適切な飽和”、反対側の飽和領域に位置すると“不適切な飽和”という。
【００１８】多層パーセプトロンの“逆伝播学習アルゴリズム”の具体的な内容は図３のように示される。
【００１９】学習パターンｘ＝［ｘ 1 ，ｘ 2 ，…，ｘ N0 ］
が入力されると、Ｌ層からなる多層パーセプトロンは、
ステップＳ１において、全ての方向の計算によって１層のｊ番目のノード状態が
【００２０】
【数１】
【００２１】のように決定される。
【００２２】ここで、
【００２３】
【数２】
【００２４】であり、ｗ ji (l)はｘ i (l-1)とｘ j (l)の間の連結加重値、ｗ jo (l)はｘ j (l)のｂｉａｓを示す。
【００２５】このように最終階層ノードの状態ｘ K (L)が求められると、多層パーセプトロンの誤差関数は入力パターンに対する目標パターンｔ＝［ｔ 1 ，ｔ 2 ，…，
ｔ NL ］との関係によって
【００２６】
【数３】
【００２７】と定義され、この誤差関数値を減らすように誤差信号が発生され、この誤差信号により各加重値が変更される。
【００２８】即ち、ステップＳ２において出力層の誤差信号は、
【００２９】
【数４】
【００３０】と計算される。
【００３１】次にステップＳ３において下層の誤差信号は逆伝播によって、
【００３２】
【数５】
【００３３】と計算される。
【００３４】次にステップＳ４において各階層の加重値は、
【００３５】
【数６】
【００３６】により変更されて一つのパターンに対して学習が行なわれる。
【００３７】この過程をすべての学習パターンに対して一回遂行したことをsweepという単位で表示する。
【００３８】上述の逆伝播アルゴリズムから、誤差信号δ K (L)は目標値と実際値の差異にシグモイド活性化関数の傾きが乗算された形態である。
【００３９】もし、ｘ K (L)が-1或いは+1に近接の値であると、傾きに対する項のため、δ K (L)は極めて小さい値になる。
【００４０】即ち、tk = 1であり、ｘ K (L)が-1に近似している場合、或いはその反対の場合に、ｘ K (L)は連結された加重値を調整するのに充分に強い誤差信号を発生させない。
【００４１】このような出力ノードの不適切な飽和が逆伝播学習からEmの最小化を遅延させ、あるパターンの学習を妨害する。
【００４２】本発明は学習のための誤差関数を、
【００４３】
【数７】
【００４４】と変えており、この誤差関数を利用して出力ノードの誤差信号が
【００４５】
【数８】
【００４６】となるようにしたものである。
【００４７】図４はtk = 1の場合にｘ K (L)による誤差信号を比較したものであり、符号ＣＥで示す曲線は従来の誤差関数により得られる従来の誤差信号（Cnventionl E
rrorSignal）を表し、符号ＰＥで示す曲線は本発明で提案された誤差関数により得られる提案誤差信号（Propos
ed Error Signal）を表す。
【００４８】なお、学習のための他の数式は誤差関数Em
を利用した従来の逆伝播アルゴリズムと同一である。
【００４９】
【発明の効果】本発明に係る請求項１記載の多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法によれば、提案された誤差関数を利用した逆伝播アルゴリズムは、出力層の目標値が出力値との差異が大差になると強い誤差信号を発生させ、出力ノードが不適切に飽和される現象を減らし、出力層の目標値が出力値と近接の値になると弱い誤差信号を発生させて神経網が学習パターンを過度に学習することを防止するので、学習時間を短縮して迅速化を図り、学習パターンに対してもありのまま学習することができる。
【図１】 多層パーセプトロンの神経回路網の構造を示す図である。
【図２】 シグモイドの活性化関数を示す図である。
【図３】 多層パーセプトロンの一般的な逆伝播の学習方法を示すフローチャートである。
【図４】 効率的な学習のための誤差信号を示す図である。
ＣＥ 従来の誤差信号（Cnventionl Error Signal）、
ＰＥ 提案誤差信号（Proposed Error Signal）。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于GAN的高光谱遥感影像分类方法 | 2020-05-11 | 1010 |
| 一种基于特征选择和集成学习的软件缺陷个数预测方法 | 2020-05-18 | 531 |
| 一种基于三维空间时序建模的深度视频人体行为识别方法 | 2020-05-19 | 456 |
| 视频数据传输码率自适应方法、系统、装置和存储介质 | 2020-05-08 | 849 |
| 一种基于自适应连接神经网络的图像处理方法及装置 | 2020-05-08 | 329 |
| 一种鉴别煤炭种类的方法及装置 | 2020-05-17 | 970 |
| 基于极端随机树的非线性全光谱水体浊度定量分析方法 | 2020-05-17 | 955 |
| 一种基于结构化用户属性描述的个性化任务型对话系统 | 2020-05-19 | 384 |
| 用于监测车辆盲区的方法和装置 | 2020-05-12 | 964 |
| 一种具有杀菌功能的灯条 | 2020-05-11 | 171 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
-
10 寬域空燃比感知器
