受大脑抑制反馈机制启发的人工神经网络构建方法及系统
阅读：1025发布：2020-06-07
专利汇可以提供受大脑抑制反馈机制启发的人工神经网络构建方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 提供一种受大脑抑制反馈机制启发的 人工神经网络 构建方法及系统，所述构建方法包括：将多个参考样本的人工神经网络中的神经元区分为兴奋性神经元和抑制性神经元；通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络；将抑制性反馈神经网络重组为闭环神经网络，用于针对当前样本的反馈学习确定决策规则本发明通过引入神经科学中的兴奋性和抑制性神经元的概念，可优化整体神经网络的性能；进一步通过引入抑制反馈后的 闭环系统 可提高鲁棒性能。，下面是受大脑抑制反馈机制启发的人工神经网络构建方法及系统专利的具体信息内容。
1.一种受大脑抑制反馈机制启发的人工神经网络构建方法，其特征在于，所述构建方法包括：
将多个参考样本的人工神经网络中的神经元区分为兴奋性神经元和抑制性神经元；
通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络；
将抑制性反馈神经网络重组为闭环神经网络，用于针对当前样本的反馈学习确定决策规则。
2.根据权利要求1所述的受大脑抑制反馈机制启发的人工神经网络构建方法，其特征在于，所述通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络，具体包括：
建立含有抑制性反馈单元的数学模型，确定反馈学习规则；
根据所述反馈学习规则，对抑制性神经元进行抑制，得到抑制性反馈神经网络。
3.根据权利要求2所述的受大脑抑制反馈机制启发的人工神经网络构建方法，其特征在于，所述建立含有抑制性反馈单元的数学模型，确定反馈学习规则，具体包括：
基于抑制性反馈单元的输入和输出的函数关系，建立网络前向数学模型；
根据网络前向数学模型，确定反馈函数；其中，所述反馈函数的反馈向量基于隐层和抑制性神经元之间的连接权重、以及抑制性神经元向量确定；
基于所述反馈函数，根据输入和反馈获得该神经元的输出；
确定反馈学习的学习规则；在所述规则中，反馈量基于隐层和输出层之间的连接权重和输出层确定。
4.根据权利要求2所述的受大脑抑制反馈机制启发的人工神经网络构建方法，其特征在于，所述对抑制性神经元进行抑制作用，分为前向抑制和反馈抑制；其中，前向抑制是信息通过神经网络正向流动，对抑制性输出的神经元起到抑制作用；反馈抑制是信息反向流动，通过抑制性神经元反作用于抑制性神经元的输入神经元，对输入神经元起到抑制作用。
5.根据权利要求2所述的受大脑抑制反馈机制启发的人工神经网络构建方法，其特征在于，在所述数学模型中，抑制性神经元的输入为兴奋性神经元的输入和抑制性神经元的输出。
6.根据权利要求1所述的受大脑抑制反馈机制启发的人工神经网络构建方法，其特征在于，所述兴奋性神经元提供正的输出，对所述兴奋性神经元输出的神经元起到激励作用，所述兴奋性神经元激活兴奋性神经元和抑制性神经元；所述抑制性神经元提供负的输出，对所述抑制性神经元输出的神经元起到抑制作用，所述抑制性神经元能抑制兴奋性神经元的激活。
7.根据权利要求1所述的受大脑抑制反馈机制启发的人工神经网络构建方法，其特征在于，所述决策规则包括快速决策、有偏决策及反复决策；其中，快速决策是在前向无反馈的条件下，确定决策结果；有偏决策是先入为主地假定样本属于某一类的先验，经过输入神经元和反馈后共同输出的决策结果；反复决策是依次考虑样本属于某一类的先验，最后融合多个分类决策结果给出最终的结果。
8.一种受大脑抑制反馈机制启发的人工神经网络构建系统，其特征在于，所述构建系统包括：
区分单元，用于将多个参考样本的人工神经网络中的神经元区分为兴奋性神经元和抑制性神经元；
抑制性反馈单元，用于通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络；
结构重组单元，用于将抑制性反馈神经网络重组为闭环神经网络，用于针对当前样本的反馈学习确定决策规则。
9.根据权利要求8所述的受大脑抑制反馈机制启发的人工神经网络构建系统，其特征在于，所述抑制性反馈单元包括：
建模模块，用于建立含有抑制性反馈单元的数学模型，确定反馈学习规则；
抑制模块，用于根据所述反馈学习规则，对抑制性神经元进行抑制，得到抑制性反馈神经网络。
10.根据权利要求9所述的受大脑抑制反馈机制启发的人工神经网络构建系统，其特征在于，所述建模模块包括：
建模子模块，用于基于抑制性反馈单元的输入和输出的函数关系，建立网络前向数学模型；
函数确定子模块，用于根据网络前向数学模型，确定反馈函数；其中，所述反馈函数的反馈向量基于隐层和抑制性神经元之间的连接权重、以及抑制性神经元向量确定；
输出子模块，用于基于所述反馈函数，根据输入和反馈获得该神经元的输出；
学习规则确定子模块，用于确定反馈学习的学习规则；在所述规则中，反馈量基于隐层和输出层之间的连接权重和输出层确定。
受大脑抑制反馈机制启发的人工神经网络构建方法及系统
[0001] 本申请要求于2018年11月12日提交中国专利局、申请号为201811341201.2、发明名称为“受大脑抑制反馈机制启发的人工神经网络”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
[0002] 本发明属于计算机科学中的人工神经网络及脑神经科学领域技术领域，具体涉及一种受大脑抑制反馈机制启发的人工神经网络构建方法及系统。
背景技术
[0003] 人工神经网络是上世纪中后期在人工智能领域兴起的一种技术。它在一定程度上对人脑神经元细胞进行了数学上的抽象，建立了信息科学意义上的神经元模型，并对这些神经元按照一定的连接，形成了不同的网络结构。随着人工神经网络的深入研究，该技术已经获得了重要的应用价值，在多个领域已表现出了出色的效果。
[0004] 人工神经网络模型的出现最早见于1943年的Warren McCulloch与Walter Pitts基于数学和逻辑算法提出的McCulloch-Pitts(MP)模型。该模型通过神经递质传播该神经元的兴奋和抑制信息。类似于生物神经网络的神经元，MP模型中的神经元也同时接受其它神经元的输入，该输入通常是其它神经元输出通过一定权重的线性叠加。类似于生物神经元的激活，MP模型中也定义了一定形式的激活函数，当神经元的输入满足激活函数的条件，它便被激活或者类似于生物神经元的“放电”，并输出给网络中的其它神经元。把许多个这样的神经元按照一定的层次结构连接起来，就可以得到各种形式的多层人工神经网络。
[0005] 自MP模型之后，来自神经科学和计算机科学的科学家们对人工神经网络的概念和方法进行了不断地推进。1949年Hebb等人在神经生物学领域提出了突触学习，该规则指出神经元之间突触联系是可变的假说。在该规则中，两个神经元的突触的联接强度当两个神经元对刺激处于同时相应的一致性而增强，当神经元所处对激励不同时响应的不一致性而减弱。依据Hebb学习理论，Rochester，Holland和IBM公司的研究人员合作，在IBM701计算机上用网络学习经验改变强度的方式来模拟Hebb学习，并取得了成功。后来，人工智能的主要创始人之一，Minsky仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能实现XOR逻辑函数问题，并且不能解决高阶谓词问题。这些研究直接否定了早期的人工神经网络，并给后续一些年的人工神经网络发展带来很大的负面影响。然而，到了上世纪80年代，各种人工神经网络技术陆续出现。1982年，J.J.Hopfield提出了Hopfield神经网格模型和连续时间的Hopfield神经网络模型，进一步推进了神经网络的新模型和方法的研究。1984年，Hinton等人用模拟退火算法提出了Boltzman机模型，给出了多层网络的训练方法。而到了1986年，Rumelhart,Hinton,Williams发展了BP算法，该算法被广泛的应用到后来的多层神经网络，乃至当前影响最大的深度学习技术。
[0006] 2006年，Hinton等人提出了深度置信神经网络(DBN)的概念，并给出了逐层非监督学习的训练方法，从此，对人工神经网络的研究进一步飞跃至深度学习时代。经过10几年的发展，深度学习算法遍地开花，出现了多种不同的神经网络，除深度置信网络外，还包括卷积神经网络、反复神经网络、限制波尔兹曼积、自动编解码等多种变种。其中，卷积神经网络在层次上更类似于人脑的视觉通路层状结构，而其中的局部卷积，感受野等概念，更和人类的神经元特性非常相近。从一定意义上说，卷积神经网络是目前为止最类脑的人工神经网络。
[0007] 虽然人工神经网络中的神经元和人脑中的神经元有着共同的名字和相似的特征，两者的区别也非常明显。前者具有特定且相对简单的数学模型，而后者的模型相对复杂得多；前者在神经网络中的种类比较单一，而后者种类更多，其中包括兴奋性和抑制性两大类不同的神经元；前者通过数学的方法不断学习神经元之间连接的权重，后者对应的是一系列突触学习规则。
发明内容
[0008] 为了解决现有技术中的上述问题，即为了优化人工神经网络的结构，改善现有人工神经网络的性能，本发明提供了一种受大脑抑制反馈机制启发的人工神经网络构建方法及系统。
[0009] 为实现上述目的，本发明提供了如下方案：
[0010] 一种受大脑抑制反馈机制启发的人工神经网络构建方法，所述构建方法包括：
[0011] 将多个参考样本的人工神经网络中的神经元区分为兴奋性神经元和抑制性神经元；
[0012] 通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络；
[0013] 将抑制性反馈神经网络重组为闭环神经网络，用于针对当前样本的反馈学习确定决策规则。
[0014] 优选地，所述通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络，具体包括：
[0015] 建立含有抑制性反馈单元的数学模型，确定反馈学习规则；
[0016] 根据所述反馈学习规则，对抑制性神经元进行抑制，得到抑制性反馈神经网络。
[0017] 优选地，所述建立含有抑制性反馈单元的数学模型，确定反馈学习规则，具体包括：
[0018] 基于抑制性反馈单元的输入和输出的函数关系，建立网络前向数学模型；
[0019] 根据网络前向数学模型，确定反馈函数；其中，所述反馈函数的反馈向量基于隐层和抑制性神经元之间的连接权重、以及抑制性神经元向量确定；
[0020] 基于所述反馈函数，根据输入和反馈获得该神经元的输出；
[0022] 优选地，所述对抑制性神经元进行抑制作用，分为前向抑制和反馈抑制；其中，前向抑制是信息通过神经网络正向流动，对抑制性输出的神经元起到抑制作用；反馈抑制是信息反向流动，通过抑制性神经元反作用于抑制性神经元的输入神经元，对输入神经元起到抑制作用。
[0023] 优选地，在所述数学模型中，抑制性神经元的输入为兴奋性神经元的输入和抑制性神经元的输出。
[0024] 优选地，所述兴奋性神经元提供正的输出，对所述兴奋性神经元输出的神经元起到激励作用，所述兴奋性神经元激活兴奋性神经元和抑制性神经元；所述抑制性神经元提供负的输出，对所述抑制性神经元输出的神经元起到抑制作用，所述抑制性神经元能抑制兴奋性神经元的激活。
[0025] 优选地，所述决策规则包括快速决策、有偏决策及反复决策；其中，快速决策是在前向无反馈的条件下，确定决策结果；有偏决策是先入为主地假定样本属于某一类的先验，经过输入神经元和反馈后共同输出的决策结果；反复决策是依次考虑样本属于某一类的先验，最后融合多个分类决策结果给出最终的结果。
[0026] 为解决上述技术问题，本发明还提供了如下方案：
[0027] 一种受大脑抑制反馈机制启发的人工神经网络构建系统，所述构建系统包括：
[0028] 区分单元，用于将多个参考样本的人工神经网络中的神经元区分为兴奋性神经元和抑制性神经元；
[0029] 抑制性反馈单元，用于通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络；
[0030] 结构重组单元，用于将抑制性反馈神经网络重组为闭环神经网络，用于针对当前样本的反馈学习确定决策规则。
[0031] 优选地，所述抑制性反馈单元包括：
[0032] 建模模块，用于建立含有抑制性反馈单元的数学模型，确定反馈学习规则；
[0033] 抑制模块，用于根据所述反馈学习规则，对抑制性神经元进行抑制，得到抑制性反馈神经网络。
[0034] 优选地，所述建模模块包括：
[0035] 建模子模块，用于基于抑制性反馈单元的输入和输出的函数关系，建立网络前向数学模型；
[0036] 函数确定子模块，用于根据网络前向数学模型，确定反馈函数；其中，所述反馈函数的反馈向量基于隐层和抑制性神经元之间的连接权重、以及抑制性神经元向量确定；
[0037] 输出子模块，用于基于所述反馈函数，根据输入和反馈获得该神经元的输出；
[0038] 学习规则确定子模块，用于确定反馈学习的学习规则；在所述规则中，反馈量基于隐层和输出层之间的连接权重和输出层确定。
[0040] 为了描述本发明的上述优点和特征，将通过引用附图中的具体实例来辅助说明本发明的详细内容。可以理解，这些附图仅为本发明的典型实例的描述，而非对本发明的限制。任何以其他形式表达本发明步骤或内容的附图都应属于本发明范围内。
[0041] 图1为本发明受大脑抑制反馈机制启发的人工神经网络构建方法的流程图；
[0042] 图2为本发明受大脑抑制反馈机制启发的人工神经网络构建方法的实施例示意图；
[0043] 图3为引入兴奋性和抑制性机制后，典型的兴奋性神经元单元结构图；
[0044] 图4为引入兴奋性和抑制性机制后，整个神经网络模型结构图；
[0045] 图5为引入抑制性反馈后，典型的兴奋性神经元单元结构图；
[0046] 图6为引入抑制性反馈后，整个神经网络模型结构图；
[0047] 图7为典型的神经网络结构单元数学模型图；
[0048] 图8为反馈学习单元结构模型图；
[0049] 图9为本发明受大脑抑制反馈机制启发的人工神经网络构建系统的模块结构示意图。
[0050] 符号说明：
[0051] 区分单元—1，抑制性反馈单元—2，结构重组单元—3。
具体实施方式
[0052] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0053] 本发明提供一种受大脑抑制反馈机制启发的人工神经网络构建方法，通过引入神经科学中的兴奋性和抑制性神经元的概念，可优化整体神经网络的性能；进一步通过引入抑制反馈后的闭环系统可提高鲁棒性能。
[0054] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0055] 图1和图2所示，本发明受大脑抑制反馈机制启发的人工神经网络构建方法包括：
[0056] 步骤100：将多个参考样本的人工神经网络中的神经元区分为兴奋性神经元和抑制性神经元；
[0057] 步骤200：通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络；
[0058] 步骤300：将抑制性反馈神经网络重组为闭环神经网络，用于针对当前样本的反馈学习确定决策规则。
[0059] 其中，在步骤100中，参考神经科学理论，将人工神经网络中的神经元区分为兴奋性和抑制性两大类神经元。其中，兴奋性神经元提供正的输出，对输出的神经元起到激励作用，可以激活兴奋性和抑制性神经元。抑制性神经元只能提供负的输出，对它输出的神经元起到抑制作用，能抑制兴奋性神经元的激活。
[0060] 在步骤200中，所述通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络，具体包括：
[0061] 步骤201：建立含有抑制性反馈单元的数学模型，确定反馈学习规则。
[0062] 其中，在所述数学模型中，抑制性神经元的输入为兴奋性神经元的输入和抑制性神经元的输出。
[0063] 步骤202：根据所述反馈学习规则，对抑制性神经元进行抑制，得到抑制性反馈神经网络。
[0064] 进一步地，在步骤201中，所述建立含有抑制性反馈单元的数学模型，确定反馈学习规则，具体包括：
[0065] 步骤201a：基于抑制性反馈单元的输入和输出的函数关系，建立网络前向数学模型；
[0066] 步骤201b：根据网络前向数学模型，确定反馈函数；其中，所述反馈函数的反馈向量基于隐层和抑制性神经元之间的连接权重、以及抑制性神经元向量确定；
[0067] 步骤201c：基于所述反馈函数，根据输入和反馈获得该神经元的输出；
[0068] 步骤201d：确定反馈学习的学习规则；在所述规则中，反馈量基于隐层和输出层之间的连接权重和输出层确定。
[0069] 在步骤202中，所述对抑制性神经元进行抑制的作用形式分为前向抑制和反馈抑制；其中，前向抑制是信息通过神经网络正向流动，对抑制性输出的神经元起到抑制作用；反馈抑制是信息反向流动，通过抑制性神经元反作用于抑制性神经元的输入神经元，对输入神经元起到抑制作用。
[0070] 在步骤300中，引入抑制性反馈后的神经网络在拓扑结构上形成了闭环神经网络。本发明引入控制科学中的理论和方法，给出了该闭环系统稳定的判据。该判据和某一矩阵的最大特征值有关。
[0071] 所述决策规则包括快速决策、有偏决策及反复决策；其中，快速决策是在前向无反馈的条件下，确定决策结果；有偏决策是先入为主地假定样本属于某一类的先验，经过输入神经元和反馈后共同输出的决策结果；反复决策是依次考虑样本属于某一类的先验，最后融合多个分类决策结果给出最终的结果，相当于多个有偏分类器的融合。
[0072] 本发明通过引入神经科学中的兴奋性和抑制性神经元的理论，提出了新型的人工神经网络设计方法，为人工神经网络的研究提供了新的学习思路。和传统的简单人工神经网络相比，本发明具备如下优势：
[0073] 1.本发明引入了神经科学中的兴奋性和抑制性神经元的概念，从而使新型的神经网络更接近真实意义上的生物神经网络。实验结果表明，当抑制性神经元的数量占整个神经网络神经元数量的10-20％时，整个神经网络的性能最优，这和已有的神经科学结论基本吻合。
[0074] 2.本发明引入了抑制反馈后的闭环系统，根据控制原理相比于简单的开环神经系同更为鲁棒。而实验结果表明，应用本发明后的神经网络，相比于原始的神经网络分类准确率普遍降低，收敛速度也有所加快。
[0075] 3.本发明提出了更为丰富的决策形式，用于满足不同应用情况的需求。在准确率要求不是太苛刻，而时间要求高的情况下可采用快速决策。反之，在不考虑时间损耗，需要较高程度准确率的情况下可考虑采用反复决策。
[0076] 如图3所示，给出了区分这两类神经元后的一个典型结构。其中，神经元E接受来自兴奋性神经元E1的正输入和来自抑制性神经元I1的负输入。该神经元是兴奋性神经元，只能提供正的输出。其中，输出到兴奋性神经元E2，对神经元E2的激活起到促进的作用。另一方面，它输出给抑制性神经元I2，同样促进I2的激活。然而，I2的激活对它输出的神经元起到抑制的作用。
[0077] 图4给出了分离兴奋性神经元和抑制性神经元后，一个典型的三层简单神经网络结构图。该网络包括输入层，隐层和输出层。区别于现有的简单神经网络，本发明中的网络引入了抑制性神经元。隐层的节点可能接受正的输入，也可能接受负的输入。其中，正的输入由输入层直接引入，而负的输入则由输入层激活输入层和隐层之间的抑制性神经元，又通过抑制性神经元为隐层神经元提供负的输入。同理，在隐层和输出层之间同样引入了抑制性神经元。其中，输出层的正输入由隐层直接引入。输出层的负输入由抑制性神经元提供，而这些抑制性神经元则由隐层的神经元共同作用而激活。
[0078] 步骤200是在步骤100的基础上，根据神经科学中抑制性神经元的不同作用，将抑制性神经元的作用形式分为前向抑制和反馈抑制。本发明将这些原理引入到人工神经网络中，从而提出新的结构模型。图5是引入了抑制性反馈后，人工神经网络中一个基本单元的典型结构。它是在图3的基础上发展而来。和图3相比，图5中兴奋性神经元E多了一项负的输入，该输入由抑制性神经元I2提供。而抑制性神经元I2接收来自兴奋性神经元E的正的输入。同时，抑制性神经元I2除了为它前向的神经元提供负的输入以外，还以反作用的形式对它的输入神经元E起到了抑制作用，阻碍神经元E的过度兴奋。这样，抑制性神经元I2以抑制反馈的形式反作用于兴奋性神经元E，在兴奋性神经元E和抑制性神经元I2之间形成了闭环的结构。
[0079] 图6给出了引入抑制反馈后，整个人工神经网络的模型结构图。由于输入层的神经元只有输入，这些神经元不受抑制性神经元的反馈影响。故抑制反馈只存在隐层和输出层之间。相比于图4，图6中隐层神经元除了受到上一层的兴奋性和抑制性输出外，还受到隐层和输出层之间抑制性神经元的反馈作用。同时，隐层和输出层之间的抑制性神经元除了输出给输出层的神经元外，还以反馈抑制的形式反作用于隐层的神经元。这样，在隐层神经元和它们输出的抑制性神经元之间产生了环状结构。参考控制理论，至此本发明中提出的人工神经网络模型形成了一个闭环系统。
[0080] 表面上看，本发明在图6中表达的网络结构，和简单的神经网络并没有太大的区别。而实际上，由于反馈通路的存在，以图5中的结构单元为例，该神经元的输出是它的输入和自身输出共同作用的结果。也就是说，它的输出不能简单地用输入显式地表达。因此，该模型的学习规则相比简单的开环神经网络要复杂得多。本发明正是在步骤200中，建立一系列相应的学习规则，具体来讲，包括如下一些步骤：
[0081] 步骤S21：网络前向数学模型的建立。重点在于针对图5中的单元结构，基于抑制性反馈单元的输入和输出的函数关系，建立网络前向数学模型。
[0082] 步骤S22：根据网络前向数学模型，确定反馈函数。所述反馈函数的反馈向量基于隐层和抑制性神经元之间的连接权重、以及抑制性神经元向量确定。
[0083] 步骤S23：基于所述反馈函数，根据输入和反馈获得该神经元的输出。对图5中的神经元E，经过一系列运算，根据输入和反馈获得该神经元的输出。这一步的预测算法有两种不同的形式。第一种是直接将输出表示成输入的显示解析形式，第二种是利用迭代的方法，最终获得神经元E稳定的输出结果。
[0084] 步骤S24：给出学习参数的迭代算法。类似于一般神经网络的学习算法，本发明利用梯度下降算法。根据该算法，需要获得目标函数相对于各个参数的偏导数。这里采用传统的后向传播(BP)算法。对本发明给定的神经网络，除图5给出的基本网络单元外，其他单元可用一般的BP算法获得目标函数对于参数的导数。特别地，需针对图5的网络单元求输出对于输入和各参数的偏导数。由于网络模型并非简单的显式函数，需要利用隐函数求导的方法。
[0085] 步骤S25：确定反馈学习的学习规则。
[0086] 在该规则下，反馈量相比于步骤S22有所不同，反馈量基于隐层和输出层之间的连接权重和输出层确定该步骤给出了这一规则下的学习规则。
[0087] 下文将按照上述顺序对各技术进行详细阐述。
[0088] 为了便于说明，图7在图5的基础上标注了各个神经元的输入和输出变量以及它们之间的连接权重等。以下公式中的符号均参考图6。
[0089] 在分离了兴奋性和抑制性神经元的输入后神经元E的实际输入x可以表示为兴奋性输入xE和抑制性输入xI的差值：
[0090] x＝xE-xI；
[0091] 考虑抑制性神经元I2的输出z可以表示为它的突触前神经元E的输出E以及他们之间连接权重矩阵的函数：
[0092]
[0093] 其中， 为线性整流函数， 表示在人工神经网络中是一种典型的激活函数。在这里表示只有输入足够大，该抑制性神经元才能够激活，从而符合神经科学的原理。W表示前向连接的权重矩阵，WT为W的转置形式，b表示前向的偏移向量。对于兴奋性神经元E的输出，除了受到突触前兴奋性神经元E1和抑制性神经元I1的作用外，还受到输出抑制性神经元I2的输出z的反馈抑制作用，具体可以用数学公式表示如下：
[0094]
[0095] 其中，α表示反馈系数，它的大小直接决定了抑制性神经元I2的反馈强弱程度。α值大小应该适当，太小则反馈效果不明显，太大则使整个网络产生震荡直至不稳定收敛。本发明在步骤S4中，将给出闭环网络的收敛条件，它和α的取值以及某个矩阵的最大特征值有关。
[0096] 步骤S22给出了兴奋性神经元E的前向输出预测算法(即反馈函数)。由于输出y受抑制性神经元I2的输出z的反馈抑制作用，而抑制性神经元I2的输出z又同时是y的函数，因此输出y并不能用简单的数学形式表达，需要经过一系列的运算。本发明首先给出它的迭代算法，再进一步给出输出y的显示形式。其中，迭代算法需要经过如下一些步骤：
[0097] 初始化，令 置计数器k＝0。
[0098] 更新兴奋性神经元E的输出和抑制性神经元的输出z，依据如下法则：
[0099]
[0100]
[0101] 若‖y(k+1)-y(k)‖<ε，则结果收敛，结束迭代，否则，更新计数器k＝k+1，继续迭代，k表示迭代次数，ε表示设定的误差阈值。
[0102] 相对而言，兴奋性神经元的输出y和抑制性神经元I2的输出z的显示形式比较复杂，为了给出它们的具体表示形式，需要额外定义辅助矩阵U：
[0103] U＝diag((x-αWz)>0)
[0104] 根据上述定义，略去推导过程，兴奋性神经元E的输出y和抑制性神经元I2的输出z可以表示为：
[0105] y＝(I+αUWWT)-1(Ux+αUWb)；
[0106] z＝(I+αWTUW)-1(WTUx-b)。
[0107] 其中，b表示前向的偏移向量,I表示单位矩阵。步骤S23和学习过程中的参数优化有关。在每一步迭代中，均需要更新网络中的参数。本发明采用人工神经网络中一般的梯度下降算法，假定整个网络的目标函数是f，对于参数p，根据梯度下降算法，它在迭代过程中的每次更新可以表示为：
[0108]
[0109] 其中，μ表示学习速度，与迭代算法收敛的快慢有关。根据上式，需要算出目标函数相对于各个参数的偏导数。为此，本发明采用人工神经网络中普遍的反向传播BP算法。根据BP规则，类似于一般的神经网络，可以获得目标函数关于抑制性神经元I2的输出z和图7中单元另一个输出g的偏导数，它们分别为 和 利用本发明提出的网络模型，目标函数相对于输入的偏导数可以表示为：
[0110]
[0111] 步骤S24是本发明提出的反馈学习概念。本发明在以上的步骤中引入了抑制性神经元的同时引入了抑制性反馈。如果只考虑反馈，同时将反馈量定义为和学习样本的真实标签有关，则可以引入反馈学习的概念。如图8所示，反馈量和网络单元的输出z和反馈参考向量z0有关，而z0又和z以及该样本的真实标签l有关，可以定义z0＝Pz，其中矩阵P定义为：假定学习样本属于第l类，则该矩阵的第l列为1，其余均为0.那么反馈量可以定义为:
[0112]
[0113] 上式中的反馈量可以如下理解：将预测输出向量的所有分量和真实值的分量作比较，如大于真实值的分量，则该差值大于0，从而产生负的反馈，抑制该分量，否则差值小于0，根据线性整流函数，无需对该分量进行反馈抑制。在图8中所示模型在定义了反馈量以后，该网络结构单元的模型可以描述为：
[0114]
[0115]
[0116] z＝WTy-b。
[0117] 其中，定义Λ＝I-P，其中I表示单位矩阵。在该模型下，前向预测的迭代算法可以类似于步骤S32，为给出前向预测的显示形式，需要引入另一个矩阵V＝diag((Λz)>0)，则显示形式可以表示如下：
[0118] y＝(I+αUWVWT)-1(UX+αUWVb)；
[0119] z＝(I+αVWTUW)-1(VWTUX-b)。
[0120] 相应地类似于步骤S23中的推导，根据后向传播法则，相对于目标函数的偏导可以表示为：
[0121]
[0122] 步骤300给出了在抑制性反馈存在下系统稳定的判据，前述已经提到控制反馈系统稳定的参数为反馈系数α，为使系统稳定，该参数应该满足如下条件：
[0123] αλmax(VWTUW)<1。
[0124] 上式中，λmax(*)表示矩阵*的最大特征值。
[0125] 在引入反馈学习的基础上，给出了反馈学习下的几种决策方式，具体包括如下三种情况：
[0126] 快速决策。该决策方案是在开环的条件下，直接利用输入和连接权重矩阵获得输出的分类标签。该决策方式无需反馈，适合在对时效性要求较高的场合，而决策的准确率相对较低。
[0127] 有偏决策。从人的认知角度来看，人们在进行决策时，往往先入为主的认为该样本属于某一类，有偏决策恰恰符合了人类认知的这种情况。由于在学习的过程中样本的标签是已知的，而在决策的时候标签未知，因此为了给出反馈量，需要假定样本属于某一类，也就是先入为主的认为样本属于某类的情况，根据该类的反馈，对该样本进行决策，如果决策的结果属于该类，则样本属于该类的概率很高，假设成立。该决策略慢于快速决策，而且在假定样本的类别和决策的结果类别相同时，准确率非常高。但出现了假定样本的类别和决策的结果不同时，往往难于判别样本的类别。
[0128] 反复决策。该决策是在有偏决策的基础上，反复假定样本属于某些类，反复权衡的结果。这也符合人的认知习惯，反复推敲，故在这里成为反复决策。在决策时，依次假定样本属于某类，在该类时，类似于有偏决策过程，获得样本在该类下的反馈量，从而获得在该类的先验时的分类结果。在将假定属于不同类时的决策结果相比较或采取一定的规则，获得最终的结果。从机器学习的角度讲，在假定每一类时，由于反馈的形式已知，故属于在特定条件下的一个弱分类器，而最终的决策结果的获取，是将这些弱分类器的结果进行决策融合。因此，可以考虑一定的决策融合学习规则。当然这也超出了本发明内容的范围，在此不做进一步讨论。
[0129] 此外，本发明还提供一种受大脑抑制反馈机制启发的人工神经网络构建系统。
[0130] 如图9所示，本发明受大脑抑制反馈机制启发的人工神经网络构建系统包括区分单元1、抑制性反馈单元2及结构重组单元3。
[0131] 其中，所述区分单元1用于将多个参考样本的人工神经网络中的神经元区分为兴奋性神经元和抑制性神经元。
[0132] 所述抑制性反馈单元2用于通过抑制性反馈对抑制性神经元进行抑制，得到抑制性反馈神经网络。
[0133] 所述结构重组单元3用于将抑制性反馈神经网络重组为闭环神经网络，用于针对当前样本的反馈学习确定决策规则。
[0134] 优选地，所述抑制性反馈单元2包括建模模块及抑制模块。
[0135] 其中，所述建模模块用于建立含有抑制性反馈单元的数学模型，确定反馈学习规则；所述抑制模块用于根据所述反馈学习规则，对抑制性神经元进行抑制，得到抑制性反馈神经网络。
[0136] 进一步地，所述建模模块包括：
[0137] 建模子模块，用于基于抑制性反馈单元的输入和输出的函数关系，建立网络前向数学模型；
[0138] 函数确定子模块，用于根据网络前向数学模型，确定反馈函数；其中，所述反馈函数的反馈向量基于隐层和抑制性神经元之间的连接权重、以及抑制性神经元向量确定；
[0139] 输出子模块，用于基于所述反馈函数，根据输入和反馈获得该神经元的输出；
[0140] 学习规则确定子模块，用于确定反馈学习的学习规则；在所述规则中，反馈量基于隐层和输出层之间的连接权重和输出层确定。
[0141] 相对于现有技术，本发明受大脑抑制反馈机制启发的人工神经网络构建系统与上述受大脑抑制反馈机制启发的人工神经网络构建方法的有益效果相同，再次不再赘述。
[0142] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于预测的自动变速器多参数融合换挡策略 | 2020-05-12 | 65 |
| 一种连续回转电液伺服马达参数辨识方法 | 2020-05-13 | 105 |
| 无人驾驶电动汽车轨迹跟踪和横向稳定性综合控制方法 | 2020-05-13 | 505 |
| 不确定混沌系统间接自适应模糊最优同步控制器设计方法 | 2020-05-14 | 381 |
| 一种城市排水管道的有限时间控制方法 | 2020-05-13 | 71 |
| 开关电源Buck变换器的快响应滤波反步控制方法 | 2020-05-12 | 261 |
| 用于数据驱动型移动技能训练的系统和方法 | 2020-05-12 | 732 |
| 一种不确定性直流微电网输出反馈模糊模型预测控制方法 | 2020-05-12 | 920 |
| 一种考虑全状态约束的电机自抗扰自适应控制方法 | 2020-05-11 | 228 |
| 一种广告屏消防预警及联动系统 | 2020-05-11 | 180 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈