技术领域
[0001] 本
发明属于神经网络技术领域，特别涉及一种基于三联体编码的神经网络进化方法与系统。
背景技术
[0002]
人工神经网络(ANN)是受到
生物神经网络启发的一种计算系统，它由一组称为人造神经元的连接单元或
节点组成，神经元之间的连接可以将
信号从一个神经元传输到另一个神经元，接收信号的神经元处理信号后再发出信号，将信号传递到与之相连的其他的
人工神经元。人工神经网络通过实例来学习和训练，且通常没有具体的编程任务。在常见的ANN中，神经元之间传递的信号是实数，且每个神经元的输出通过其输入之和的非线性函数来计算。人工神经元和其间的连接会随着学习的过程进行调整。神经元通常有一个
阈值，当信号强度超过该阈值则会对下一个神经元发送信号。ANN的最初目标是用类似人脑的方式解决问题，而如今人工神经网络已用于各种领域，包括
计算机视觉，
语音识别，
机器翻译，社交网络过滤和视频游戏以及医疗诊断等等。
[0003] 然而随着时间的推移，人工神经网络研究的重点却集中在了实现具体任务的准确度上，其与生物学理论
基础逐渐偏离。在技术的不断发展过程中，神经网络和进化计算领域开始融合，且产生了一个全新的领域——神经计算。在该领域中，神经网络是可以演化的，也就是说，以传统神经网络的计算为基础，根据目标问题的设定，初始神经网络的权值和结构是可以运用技术方法来演变的。这种能够演变的神经网络在解决控制问题时能取得很不错的效果。
[0004] 1996年，Moriarty等人在Kluwer Academic Publishers的《Efficient reinforcement learning through symbiotic evolution》一文中提出了一种名为“共生的自适应神经进化系统(SANE)”的具有很大扩展性能的新型增强学习系统。SANE可以在神经元强化稀疏的条件下快速形成有效的神经网络，通过共生进化实现高效学习，个体能够保持多样化，遗传
算法可以同时搜索解空间的许多不同区域，比标准的神经进化系统能更快解决更难的问题。然而在每个神经元具有适应值之后，交叉操作会作用于组合最佳表现神经元的
染色体，初始阶段较差的遗传物质可能会在交叉操作中丢失。2014年Ken Stanley等人在Evolutionary Computation的《Evolving neural networks through augmenting topologies》一文中提出了一种名为NEAT的增强拓扑神经
进化算法。它改变了网络的权重参数和结构，提出了三种新颖的技术，通过实验对比证实，该方法比迄今为止的神经进化方法效率高出几倍。然而，因其使用了直接编码方式，网络生成的效率并不高。
[0005] 上述已有的神经进化技术虽然具有不错的解决控制问题的效果，然而，上述方案在网络的生成效率，网络交叉、重组等遗传操作难以实现的问题上表现一般，算法的求解效率仍然有一定的提升空间。
发明内容
[0006] 为了克服上述
现有技术的缺点，解决上述进化算法在网络生成效率、网络交叉、重组等方面存在的技术
缺陷，本发明的目的在于提供一种基于三联体编码的神经网络进化方法与系统。
[0007] 为了实现上述目的，本发明采用的技术方案是：
[0008] 一种基于三联体编码的神经网络进化方法，包括：
[0009] 步骤1，初始化一个
指定规模的种群，种群中每一个个体都是一个由三联体构成的DNA序列；
[0010] 步骤2，将每一个DNA解码成神经网络并进行适应度计算，如果该种群内存在可解决目标问题的个体，则根据适应度解码最优个体的DNA获得目标网络，并结束进化，否则进入下一步；
[0011] 步骤3，先将个体按照适应度值排序，优先复制最佳个体到新种群，然后在旧种群里通过轮盘赌算法选择两个个体进行重组交叉变异操作，得到的新个体放入新种群，该操作一直重复到种群规模达到指定数量，然后返回步骤2。
[0012] 会根据设定的DNA组件参数随机创建包含N个个体的初始种群；所述步骤2中，对个体解码并使用目标函数计算每个个体的适应度值，适应度计算公式如下：
[0013]
[0014]
[0015] 其中，F表示适应度，error表示每一组输入网络的实际输出值与正确输出值的差值的平方和，y(i)表示第i组输入网络的实际输出值，Y(i)表示第i组输入网络的正确输出值，n表示输入数据有多少组。
[0016] 所述步骤2中，所述目标网络即最佳神经网络，相应个体为最佳个体，神经网络的阈值函数为Sigmoid函数。
[0017] 所述步骤3中，交叉操作通过以下步骤实现：
[0018] 步骤3.1.1：基于已定义的三种交叉算子即移位算子、转换算子和置换算子，设定交叉概率和
位置参数；交叉概率决定了个体DNA单链是否发生交叉操作，位置参数决定了DNA单链发生交叉操作的位置；
[0019] 其中，在移位算子中，输入为个体P，随机选择P中的一个单位u并将其重新
定位到一个新的位置，最后得到个体P′；假设P＝u1u2u3u4u5，ui为个体P的DNA中的一个单位。通过移位算子操作后，一个新的个体可能为P′＝u1u5u2u3u4，即u5被移动到了u1后面的位置。这种操作可以任意的扩展，因为任意单位都可以移动到任意新的位置，可以由位置参数决定。
[0020] 在转换算子中，个体P为输入，通过随机交换两个位置的值得到新的个体；假设DNA序列为u1u2u3u4u5的个体P，在随机交换u2和u4之后的P′为u1u4u3u2u5，转换算子的转换操作也由位置参数决定。
[0021] 在置换算子中，输入为个体P，通过随机置换原有个体的某一位得到新的个体DNA序列；如果P＝u1u2u3u4u5，随机选择u1并将u1置换为u′1，得到新的个体P′＝u′1u2u3u4u5，置换算子的置换操作也由位置参数决定。
[0022] 步骤3.1.2：通过已有的个体DNA序列创建出新的个体DNA序列。
[0023] 突变操作通过以下步骤实现：
[0024] 步骤3.2.1：基于已定义的四种突变算子即逆反密码子算子、
频率算子、新增算子和丢失算子，设定突变概率，突变概率决定了个体DNA单链是否发生突变操作；
[0025] 其中，在逆反密码子算子中，个体P作为参数，随机选择一个密码子单元并用逆反密码子代替它，然后返回新的个体P′；在生物学中，密码子的反密码子是根据Watson-Crick互补原理，用互补核苷酸替换每个核苷酸而获得的。因此，A由T代替，C由G代替，反之亦然。而逆序密码子是通过反转反密码子的核苷酸序列获得的。例如，如果随机选择的密码子是GAC，其反密码子为CTG，其逆反密码子为GTC。
[0026] 在频率算子中，将输入个体P中最不经常出现的核苷酸替代在该个体中每个出现频率最高的核苷酸并返回新的个体P′；
[0027] 在新增算子中，将输入个体P的DNA中随机增加一个组件从而得到新的更长的DNA链P′，组件由三个连续的三联体密码子构成；
[0028] 在丢失算子中，个体P的DNA序列中随机丢失一个组件，得到新的更短的DNA序列的新个体P′，组件由三个连续的三联体密码子构成；
[0029] 步骤3.2.2：通过已有的个体DNA序列创建出新的个体DNA序列。
[0030] 重组操作通过以下步骤实现：
[0031] 步骤3.3.1：设定重组概率，重组概率决定了两条DNA单链是否发生重组操作；
[0032] 步骤3.3.2：切割两条个体DNA链，得到四
块DNA
片段；
[0033] 步骤3.3.3：DNA链重组，得到两条新的DNA链。
[0034] 例如P1＝CCTCGACC，P2＝AAGCGCAA，当切割点设定在DNA链第3个第4个核苷酸之间时，P1和P2将被切成四个片段p1＝CCT，p2＝CGACC，p3＝AAG，p4＝CGCAA。重组操作时，由于p1和p4为互补序列，p2和p3为互补序列，因此p1和p4重组得到CCTCGCAA，p2和p3重组得到CCTCGCAA。
[0035] 本发明还提供了一种基于三联体编码的神经网络进化系统，包括：
[0036] 初始化种群模块，初始化一个指定规模的种群，每一个个体都是一个由三联体构成的DNA链；
[0037] 适应度计算模块，将每一个DNA解码成神经网络并进行适应度的计算；
[0038] 解码最优网络模块，根据适应度值的排序将最佳个体解码并返回最佳神经网络，神经网络的阈值函数为Sigmoid函数；
[0039] 种群进化模块，先将个体按照适应度值排序，优先复制最佳个体到新种群，然后在旧种群里通过轮盘赌算法选择两个个体进行重组交叉变异操作，得到的新个体放入新种群，该操作一直重复到种群规模达到指定数量。
[0040] 与现有技术相比，本发明的有益效果是：
[0041] 1.在网络的编码设计中，节点和连接被简单地编码在一条由四种核苷酸组成的DNA序列中，使得网络的生成效率有所提升。
[0042] 2.基因的一致性解决了网络交叉、重组等遗传操作难以实现的问题。
[0043] 3.算法引入了生物DNA中三联体密码子和
氨基酸多对一转化关系，让网络的突变控制在一个合理的范围内，却又能保证网络拓扑和权值多样性。
[0044] 4.算法能有效解决多种控制任务的问题，不仅解放了手动的参数选择，更提高了问题的求解速度。
附图说明
[0045] 图1是TNE-NN(三联体编码神经网络)算法的
流程图。
[0047] 图3是实施例1中XOR网络的结果图。
[0048] 图4是实施例2中的双杆平衡示意图。
具体实施方式
[0049] 下面结合附图和实施例详细说明本发明的实施方式。
[0050] 如图1所示，本发明一种基于三联体编码的神经网络进化方法，包括：
[0051] 步骤1，初始化一个指定规模的种群，种群中每一个个体都是一个由三联体构成的DNA序列；
[0052] 步骤2，将每一个DNA解码成神经网络并进行适应度计算，如果该种群内存在可解决目标问题的解(个体)，则解码该个体的DNA获得目标网络，并结束进化，如果该解不存在，则进入下一步；
[0053] 步骤3，先将个体按照适应度值排序，优先复制最佳个体到新种群，然后在旧种群里通过轮盘赌算法选择两个个体进行重组交叉变异操作，得到的两个新个体放入新种群，该操作一直重复到种群规模达到指定数量。
[0054] 该算法能够
迭代地搜索解空间以找到给定问题的最优全局解。表1给出了实现TNE-NN算法的伪代码。参考图1和表1，在环节1中，程序会根据设定的DNA组件参数随机创建N个个体的初始种群。每个个体都是一个DNA序列。在环节2和3中，使用目标函数对个体解码并计算每个个体的适应度值。当前的最优个体在环节4中被选出。在每次的迭代中(环节7到环节21)，当前最优个体在环节8时被直接传递给下一代，这是一种精英策略，即所有具有最高适应度值的个体始终保持在当前群体中。在环节9到环节16的循环中，先通过轮盘赌算法在上个种群中选择出两个父母个体，在概率Pr下重组获得两个子代。在种群进化时，子代会根据设定的Pc、Pm、Pa和Pd概率发生交叉和突变。新产生的两个个体被放入新的种群中。经过多次操作可获得大量的新个体，使得新的种群达到预定的规模。在环节17和18中，使用目标适应度函数对新种群中的每个个体计算适应度值。在环节19中得到新种群的最优个体。在环节20中，旧的种群被新的种群所取代。程序迭代次数如果达到了最大迭代次数G，或者当前种群内的最优个体的适应度达到了ε，该程序会在环节20之后终止。最后在环节22中，将最佳个体解码并返回最佳神经网络。
[0055] 表1
[0056]
[0057] 表2给出了算法参数，各项参数的含义与图2一样，参数的设置都是根据经验选择的。其中Nc为DNA初始组件长度，可根据问题的难度设置，对于简单的异或问题可设置在10左右，对较难的控制问题可设置30左右。其中Nc过小会导致没有有效连接，但Nc的取值在小范围内
波动对结果的影响并不明显。Pr为重组概率，由于子代的生成是需要父母的基因进行重组的，因此在这里设为1.0，同时也能保证每一代的基因都会不断更新进化。Pm为普通变异概率，Pa和Pd分布为新增和丢失变异概率，Pc为交叉概率，表示单个DNA链内的交叉操作。w表示权值值域。N表示每次迭代种群的大小，算法实验中基本选择个体规模为150的种群。参数表中仅为默认值，实验分析时若有特殊设置会另外指出。激活方式表示了网络信息传递的方式，主要分为串行激活方式和并行激活方式。
[0058] 表2
[0059]
[0060] 根据以上方法，本发明提供两项具体实施例如下。
[0061] 实施例1
[0062] 本实施例详细阐述了本发明一种基于三联体编码的神经网络进化方法在异或问题中的表现。
[0063] XOR异或是典型的线性不可分问题，图3是异或问题的描述图，图中描述了两类数据以及它们在空间中的位置，用黑白两种
颜色区分。如图3所示，在神经网络中需要增加隐藏神经元来解决该问题。这种结构要求使得XOR适合测试算法结构演化的能
力。在进化过程中，算法添加新节点的方法可能具有破坏性，无法让新节点进入群体。或者它会依靠一种错误的连通性找到某个局部最优点，从而使得这种结构和连接在群体中占主导地位，不利于物种的进化。也有可能结构的演化使之前的权值没有原来表现好。而该实验旨在验证基于三联体权值的DNA编码不会使进化算法受到这些潜在障碍的阻碍，而可以有效地演化权值和结构。
[0064] 适应度函数是进化算法的关键，通过适应度的计算才能评估候选解的优劣。在该实验中，适应度F的计算方式为：先根据公式1.1计算出每一组输入实际输出与正确输出的差值的平方和error，y(i)表示网络的实际输出值，Y(i)表示正确输出值。然后根据公式1.2得到适应度。其中n表示输入数据有多少组，在二输入的XOR网络中n＝4。
[0065]
[0066]
[0067] 在XOR实验中，评估次数为算法效率的评判指标。实验显示，在100次XOR实验中，TNE-NN系统平均24次迭代就能获得XOR的结构，平均评估次数为3571个网络。在表3中，TNE-NN与NEAT进行了对比，NEAT算法同样选取100次实验的平均值。从数据可看出，在种群规模一致的情况下，TNE-NN平均所用的评估次数和迭代次数都更少，效率更高，因此TNE-NN在简单的神经网络进化问题中表现良好。
[0068] 表3
[0069]
[0070] 在多次实验中，网络平均具有2.5个中间节点。在100次模拟中没有失败过一次，且表现最差的是16050次评估次数，种群迭代107次(平均23代)，其余的评价次数均小于一万次。实验结果证明，TNE-NN能有效的使用1到3个隐藏节点来构建异或网络。图3为某次实验得到的最优个体的表现型网络，即TNE-NN算法最终生成的最适合解决异或问题的XOR神经网络图，其中0和1为输入点，4为输出点，2和3为进化过程中得到的隐藏节点，且每一个连线都具有相应的权值。由于XOR网络属于前向型网络，激活方式为同步激活方式，因此网络中不存在环。异或问题已被用来证明已有神经网络编码的有效性和拓扑权值演化神经网络算法的性能。虽然TNE-NN能有效解决了异或问题，但该问题的设计过于简单。为了证明TNE-NN具有拓扑权值持续共同演化的能力以及该编码的确有益于网络拓扑和权值的演化，它还需要在更难的任务中验证。
[0071] 实施例2
[0072] 本实施例详细阐述了本发明一种基于三联体编码的神经网络进化方法在双杆平衡问题中的表现。
[0073] 实验时使用了Runge-Kutta四阶方法实现动力学系统，步长为0.01s。实验室意图如图4所示，小车上固定了两根可转动的杆，两杆分别为0.1米和1.0米。长杆的初始位置偏离垂直方向 而短杆处于完全直立的状态。小车能够运动的整个轨道长为4.8米，网络每隔0.02秒输出一个在[-10,10]N的力。神经网络需要对车施加力以尽可能长时间保持杆平衡，且不让小车超出轨道边界。系统状态由小车位置(x)，即小车与中心点的距离，小车速度(x)，第一个平衡杆的
角度(θ1)和
角速度 以及第二个平衡杆的角度(θ2)和角速度 定义。
[0074] 包含速度的平衡双杆实验(DPV)是一项
马尔可夫问题，该任务成功的标准是让系统保持两极平衡10万个时间步(30分钟的模拟时间)。杆的垂直方向在 到 之间被认为是是平衡的。系统包含六个输入，即小车的位置、速度、长杆的角度和角速度，以及短杆的角度和角速度，而系统只有一个恒定范围内的力的输出。两杆保持平衡的时间步数越多，则适应度越高。双杆平衡实验的神经网络可以为循环型网络，因此网络的激活方式为异步激活。DPV实验中只有一个评判指标，即评估次数。评估次数表示该算法从初始状态迭代到找到最优解之间一共评估的个体数量。其中迭代次数表示算法中种群进化的代数，种群规模则表示每一代种群内包含个体的数量，评估次数与他们之间的关系为：
[0075] 种群规模×迭代次数≤评估次数
[0076] 其中，小于或等于的关系是由于在最后一代种群内，可能还没评估完所有的个体就已经找到了能解决目标问题的解，使得评估次数更少。因程序设计的不同评估次数也会有些许差异。在DPV的实验中，如果算法的评估次数越少，则表示算法越有效率。
[0077] 在DPV实验中，TNE-NN与其他五个公布的神经进化系统的结果进行了比较，如表4所示，表中描述了多个算法与TNE-NN算法的实验数据结果。
[0078] 表4
[0079]
[0080] 前两种代表标准的基于群体的进化方法，第一种进化规划方法完全依赖于连接权重变异，第二种传统神经进化系统使用了交配和变异操作SANE和ESP演化了神经元的种群和网络拓扑结构，规定了如何用固定拓扑网络的神经元来组织构建网络并进行评估。强化拓扑的神经进化系统NEAT为当前效果最好的神经进化系统，NEAT采用直接编码网络并引入创新标记来完成个体间的交叉，这种方式大大提高了拓扑的演化能力。
[0081] 对于实验数据的统计方式，前四种系统的数据均选取50次以上的平均值，NEAT选取120多次实验的平均值，而TNE-NN选择242次实验数据的平均值。从对比数据可看出三种神经进化系统的实验效果远远低于后面三种。后面三种神经进化系统ESP、NEAT和TNE-NN的评估次数虽然在统计学上差异并不显着，且TNE-NN的迭代次数相对多一些。但TNE-NN在DPV实验中的种群规模为设置为100相比更少，且综合来看，评估次数仍然占优势，因此TNE-NN与另外两种系统对比仍然具有很强的竞争力。而且TNE-NN选取更多次实验的平均值，其表现仍然优于其他两种，说明这种基于三联体的DNA编码策略可保证算法的
稳定性和有效性。TNE-NN系统并不是直接编码网络结构的点与连线，而将网络结构编码成三联体序列。多种密码子能解码成同一种氨基酸，因此密码子发生突变会在小范围内保持解码的不变性，同时又能保持整体的多样性。DNA的变异操作包含新增变异和丢失变异，迭代过程中，网络的规模会随着新增和丢失突变操作使得个体间的网络规模形成差异，因此在相同的表现效果下能够找到更小的解决方案。因此TNE-NN能够很快速的找到小规模的网络证明了本文提出的编码策略的有效性。
[0082] 以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或
修改，都落入本发明保护的范围。
