模式特征向量与多层前馈神经网络的适配
专利汇可以提供模式特征向量与多层前馈神经网络的适配专利检索，专利查询，专利分析的服务。并且本 发明 属于 人工神经元 网络技术领域。本发明用于加快多层前馈(又称为B-P)型神经网络对模式特征的学习速度，它包括对模式特征值进行编码和对B-P网络 输入层 的 节点 进行扩充两个方法。其中编码方法是将特征值先作纯小数处理，然后采用二进制代码对小数点后各位数进行代换。B-P网络输入层节点的扩充方法是：将B-P网络输入层的节点数增加到与特征值的二进制代码的位数相等，并使每一个码位对应输入一个输入节点。，下面是模式特征向量与多层前馈神经网络的适配专利的具体信息内容。
本发明属于人工神经元网络技术领域。
人工神经元网络是模式识别的一个有力工具。目前使用较多的是多层前馈型神经网络，由于这种网络的学习算法采用回传（Back-Propagation）方式，因而人们也把这种多层前馈网络称为B-P网络。
在模式识别过程中，为了将模式的有用信息与噪声分离，亦为了降低数据的维数以简化分类器所要进行的计算，常采用特征抽取方法从一个模式的原始采样数据中抽取n维特征向量。若要用B-P网络实现m类模式识别，则必须首先将训练集的m×n维持征向量矩阵输入B-P网络进行学习。根据B-P网络输入节点对输入数据的要求，必须将所有特征数据进行归一化处理后才能输入B-P网络，归一化处理后每一个特征值Xij满足
0≤Xij≤1 i＝1，2……，m，j＝1，2……，n.（1）
在当前的现有技术中。若要对第i类的模式样本进行训练学习，则是将该模式样本的n个归一化后的特征值Xi1，Xi2，……，Xin直接输入B-P网络的n个输入节点，使B-P网络对之进行学习。但是，这种直接输入法导致网络的学习速度极慢，常常学习几千次乃至上万次也难以收敛到期望值。
本发明的目的在于采用一种模式特征向量与B-P网络的适配技术，从而大大加快B-P网络的学习速度。
本发明所采用的适配技术包括下述两个方法：
（一）对归一化后的模式特征向量数值进行编码。
（二）对B-P网络的输入节点进行扩充，并将编码后的特征值输入扩充后的输入节点。
设归一化后的模式向量各特征值小数点后有K位十进制有效数字，则其编码方法如下：
（1）纯小数处理：
若特征值为1.00……0，则令其为0.99……9。然后转向第（2）步。
（2）编码：
对于特征值小数点后的每一位十进制数字，均采用四位二进制代码表示，编码方式可采用表1中四种编码方式中的任何一种，即可以采用8421 码（又称为BCD码），5421码，2421码或余三代码中的任何一种。
例如，某特征值为0.538，若采用8421编码方式，则其编码值为010100111000。
表1、四种编码方式： 十进制数 8421码 5421码 2421码 余三代码 0 0000 0000 0000 0011 1 0001 0001 0001 0100 2 0010 0010 0010 0101 3 0011 0011 0011 0110 4 0100 0100 0100 0111 5 0101 1000 0101 1000 6 0110 1001 1100 1001 7 0111 1010 1101 1010 8 1000 1011 1110 1011 9 1001 1100 1111 1100
B-P网络入节点的扩充方法是：
若原来对应n维特征向量的常规输入节点为n个，设归一化后的特征值小数点后有K位十进制有效数字，则扩充后的输入节点应为4kn个。每个编码数字位对应输入一个输入节点，且每一个输入节点与B-P网络第一隐 层的所有节点均具有权重连接。
本发明的理论依据如下：
在B-P网络进行学习时，必须进行前向计算，对于第一隐层来说，第l节点的输出值为：
式中Wil表示输入节点i至第一隐层第l节点的连接权重，X1表示输入节点i的特征值，T1表示第一隐层第l节点的阈值。
如所周知，B-P网络的节点输出函数如下：
f(α)= 1/(1-e-α) (3)
式（3）所表示的是一个S（Sigmoid）形函数，其中
从式（2）、（3）、（4）可以看出，在固定Tl的情况下，Xl的变化范围如果太小，则将导致f（α）的变化范围十分微小，这不利于使B-P网络迅速跳出局部极小点而趋向收敛。而现有技术将归一化后的特征值直接输入，这些特征值介于0和1之间，彼此的差异较小，而使f（α）的动态范围很小。本发明所输入的Xl或者为“1”，或者为“0”，其变化范围大，从而使f（α）具有较大的动态范围，这有利于B-P网络迅速向期望输出值收敛。
另外，本发明使输入层的节点数扩展4K倍（其中K为归一化后特征值小数点后的有效位数），这也大大加强了B-P网络输入层的记忆能力，这有利于B-P网络的快速学习。
由于常规方法所输入B-P网络的特征向量值均介于“0”与“1”之间，这为B-P网络用于模式识别时的硬件化带来困难，而本发明所输入B-P网络的特征向量值是二进制的“0”、“1”码，这无疑为硬件化提供了方便。
综上所述，本发明与现有技术相比，具有加快B-P网络的学习速度和便于B-P网络用于模式识别场合的硬件化设计的优点。
所做的对比实验告诉我们，使用相同的B-P训练算法，同样的B-P网络结构（仅输入节点数不同）并使用同一组训练样本特征向量集合，利用现有技术训练2500次（用时7500秒）仍远远未达到比较理想的收敛结果，而采用本发明的适配技术，仅训练200次（用时1800秒）就达到了令人满意的收敛结果。这说明本发明使B-P网络的学习速度得到了大幅度提高。
本发明适用于利用B-P型神经网络进行模式识别的场合。特别适用于归一化后的模式特征值介于0与1之间且不全为0和1的模式识别场合。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于节气特征的土遗址温度预测方法 | 2020-05-11 | 236 |
| 面向循证医学领域的类别检测方法 | 2020-05-13 | 77 |
| 一种智能学习的纯电动汽车能量管理控制方法 | 2020-05-13 | 823 |
| 一种基于图神经网络和注意力机制的上下文推荐方法 | 2020-05-15 | 173 |
| 一种基于语句信息的方面级情感分类方法 | 2020-05-15 | 53 |
| 一种基于BERT并融合可区分属性特征的刑事案件刑期预测方法 | 2020-05-08 | 650 |
| 一种对话系统中的句子多样性生成方法及系统 | 2020-05-16 | 987 |
| 一种用于分布式光伏发电系统短期出力的预测方法 | 2020-05-11 | 93 |
| 一种基于代码更改关键类判定的代码提交注释预测方法 | 2020-05-14 | 1019 |
| 具有学习教练的异步代理以及在不降低性能的情况下在结构上修改深度神经网络 | 2020-05-15 | 748 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
