技术领域
[0001] 本
发明利用基于贝叶斯正则化(Bayesian Regularization)的深度学习网络(Deep BeliefNetwork，DBN)实现手写体数字图像的识别和分类。神经网络是
人工智能和神经计算领域的重要方法，图像检测和识别是
机器学习领域的重要任务之一，因此本发明属于人工智能和机器学习领域。
背景技术
[0002] 数字识别技术在很多行业中占有一席之地，例如教育，交通运输，商业，邮政和
银行等。数字的自动识别的实现和应用为人们的生活提供了重要的便利，与人们的生活息息相关，被广泛应用于车辆和道路的号码检测，个人成绩单的自动识别等。与印刷体的数字识别相比，手写体的数字识别由于其复杂性，多样性和不确定性，一直是该领域的重点和难点。手写体
数据库数量不多但样本复杂，因此成为检验新技术和新方法的重要工具。
[0003]
深度神经网络(DBN)能够以一种较好的方式模拟人类大脑的工作模式对数据进行分类和识别，且成功避免维数灾难问题，已成功应用于多种模式分类问题，其在
信号处理中的应用对象不仅包含语音、图像和视频，同样也包含文本、语言和传递人类可获知的语义信息。但在手写体数字识别任务中，深度神经网络的过拟合现象影响正确识别率，网络的识别能
力有待提高。针对这个问题，国内外学者提出许多改进方案，例如快速平稳的CD准则通过引入辅助变量来改进训练过程中的混合速率，稀疏性受限
玻尔兹曼机通过在最大自然函数中引入惩罚项来减小次要神经元的作用。越来越多的工作表明，网络参数的正确设置与否，会在很大程度上影响结果。
[0004] 过拟合是神经网络训练过程中的常见问题之一，为了提高网络泛化能力，传统的方式有简化网络结构和提前停止训练等方法，这些方法在不同程度上发挥作用，但不易于推广。贝叶斯正则化方法通过在训练中减小网络权值，有效抑制不重要的神经元发挥作用，从而达到抑制过拟合现象的目的。为了解决DBN网络在应用于手写体数字识别任务中的过拟合现象，本发明设计了一种基于贝叶斯正则化的DBN网络，通过引入贝叶斯正则化项，有效调节训练过程中的误差减小和权值增加之间的平衡，设置合适的性能参数α和β，提高识别正确率，实现对数字图像的识别。
发明内容
[0005] 本发明的目的在于通过提出一种基于贝叶斯正则化的深度神经网络学习方法，改进DBN网络训练目标函数，通过分析连接权值的变化趋势，调节训练过程中训练误差减小与权值增大之间的平衡，保证网络中稀疏连接发挥作用，抑制过拟合现象的发生，提高网络泛化能力，增加对数字图像的识别准确度。
[0006] 本发明采用了如下的技术方案及实现步骤：
[0007] 基于贝叶斯正则化的深度神经网络学习方法，包括以下步骤：
[0008] (1确定输入对象及网络结构。采用含有两个隐含层的DBN网络，以数字图像作为网络输入，
输入层神经元数量为一张图像含有的
像素点数，设置隐含层神经元数，为保证训练
精度，一般大于100，但如果太大则会造成过拟合，
输出层为类别数量。
[0009] (2基于贝叶斯正则化的无监督训练步骤。根据已知的DBN运算准则，首先初始化网络权值及
阈值为[0，1]区间的随机值，当信号从可视层传入隐含层，公式(1)为由已知的可视层
节点得到的隐含层节点的值：
[0010]
[0011] 第二，将信号从隐含层反传回可视层。由于RBM是对称网络，因此可以得到由隐含层节点得到可视层节点的值，见公式(2)：
[0012]
[0013] 式(1)为由已知的可视层节点得到的隐含层节点的值，(2)为由隐含层节点得到可视层节点的值中。vi和ci分别对应每一个RBM网络中可视层第i个节点的取值和阈值，hj和bj分别对应网络中隐含层第j个节点的取值和阈值，wij为可视节点i和隐藏节点j之间的权值，表示两个神经元之间连接信号的强弱，上述值在训练之前需初始化，均取[0，1]之间的随机值，p(hj＝1)表示隐含层节点hj取值为1的概率，p(vi＝1)表示可视层节点vi取值为1的概率。
[0014] 公式(3)为可视层的
特征向量v和隐含层的特征向量h的联合概率分布，在训练过程中计算其极小值，为改进
算法之前的目标函数：
[0015]
[0016] 式中p(v，h)为函数运算目标，表示可视层和隐含层的联合概率分布，W是可视层和隐含层之间的权值矩阵，v和h分别为网络可视层和隐含层神经元的取值向量，c和b分别为网络可视层和隐含层神经元的阈值向量，T表示转置，E(v，h)是特征向量v和h的数学期望值，其绝对值的大小代表h能够保存的v的信息的多少，∝表示正相关。
[0017] 过拟合是神经网络训练过程中的常见问题之一，为了提高网络泛化能力，传统的方式有简化网络结构和提前停止训练等方法，这些方法在不同程度上发挥作用，但不易于推广。贝叶斯正则化方法通过在训练中减小网络权值，有效抑制不重要的神经元发挥作用，从而达到抑制过拟合现象的目的。
[0018] 本发明提出的基于贝叶斯正则化的网络训练目标函数为：
[0019] Fw＝αP+βEW (4)
[0020] 式中，P为函数(3)，EW为本发明使用的贝叶斯正则项，α和β是性能参数，其值大小通过经验选取，α+β＝1且α＞β，分别用于控制训练过程中训练误差的变化和权值的变化。公式(4)中的P和EW分别见(5)和(6)，
[0021]
[0022]
[0023] 式(6)中，m为单个样本的像素数量，n为隐含层节点数量。
[0024] 利用
马尔科夫链蒙特卡洛方法(Markov Chain Monte Carlo，MCMC)，使RBM的可视层和隐含层互为条件进行交替求解，当其共同趋于平稳状态时，P(v，h)达到最大，然后求得P(v，h)与初始状态的联合概率分布的斜率 使用公式(7)更新权值：
[0025]
[0026] 式(7)为权值更新公式，其中，θ＝(W，b，c)，表示训练过程中的权值和阈值矩阵，τ为
迭代次数，η为学习速度。
[0027] 用 表示第i个可视层单元在t时刻的特征向量，v0是t＝0时刻的可视层特征0 0 1
向量(即RBM的输入)，h 是由v 根据公式(1)得到的隐含层特征向量，v 是在t＝1时
0 ∞ ∞
刻由h 根据公式(2)得到的可视层特征向量，以此类推，v 和h 分别是t＝∞(即稳定状态)的可视层和隐含层的特征向量，公式(7)中的斜率可由公式(8)计算得出：
[0028]
[0029] 式中，为输入特征向量与其对应的隐含层特征向量的点乘的平均值，为马尔可夫链末端可视层特征向量与其对应的隐含层特征向量的乘积的平均值，已知是收敛的。由公式(8)可知，联合概率分布的斜率与中间状态无关，只与网络的初始状态和最终状态有关。于是权值及阈值更新公式为：
[0030]
[0031] 式中参数意义同公式(7)。
[0032] 最后，根据CD(Contrastive Divergence)快速运算准则，再运行一次公式(1)，将信号重新传给隐含层，得到新的p(hj＝1)，利用(9)更新权值，至此第一层RBM训练完毕。将数据输出给第二个隐含层，重复上述步骤，训练第二层RBM，直至所有隐含层训练完毕。
[0033] (3有监督训练步骤。根据已知的误差反向传播进行实现，首先，将输入向量沿输入端传至输出端；然后使用反向传播，计算网络的输出结果与带有标签的正确结果的误差，将误差从输出端反向传播至输入端，以
修改DBN的参数。具体实现步骤如下。
[0034] ①初始化BP网络的参数，设定步长A。
[0035] ②前向传播，对于第l层的j单元节点，有
[0036]
[0037] 式中，首先判断神经元属于某一输出层，例如第L层，(l＝L)。a为当前迭代步数，表示第l层第j个神经元的实际输出值，令dj(a)为理想输出值即正确信息，则误差[0038] ③计算权值调整大小δ，然后使用反向传播调整参数。
[0039] 对于输出神经元有：
[0040]
[0041] 对于非输出层神经元有：
[0042]
[0043] 式(11)、(12)中，ej(a)为第a步中第j个神经元的误差， 表示第l层第j个神经元的实际输出值， 表示第a步第l+1层第j个神经元和第l层第i个神经元的权值， 表示第a步第l层第j个神经元的权值调整值， 表示第a步第l+1层第i个神经元的权值调整值，∑为加和符号。
[0044] ④权值调整：
[0045]
[0046] η为学习速率， 为第a+1迭代步数的权值，即调整后的权值，表示第a步第l层第j个神经元和第l-1层第i个神经元的权值， 表示第l层第j个神经元的权值调整值， 表示第a步第l-1层第i个神经元的实际输出值。
[0047] ⑤如果a＝A，则训练结束，反之，a＝a+1，返回步骤②。
[0048] 本发明与
现有技术相比，具有以下明显的优势和有益效果：
[0049] (1)本发明针对当前数字识别是一个复杂的图像分类问题，不仅具有非线性、多样性等特点，而且同一种字体之间存在难以确定的关系，基于精确数学模型的检测技术针对该问题显得比较困难。根据神经网络可以逼近非线性函数的特点，采用基于贝叶斯正则化的深度学习网络，具有训练速度快，精确度高，
稳定性好等特点，且通过增加隐含层数量有效避免了维数灾难问题，从而有效提高训练效率。
[0050] (2)本发明通过将贝叶斯正则化项加入训练目标函数中，对训练过程的权值进行实时控制和调整，该方法解决了训练过程中权值增大导致的过拟合现象，保证连接权值的稀疏特性，使网络既能减小重构误差、提高精度，又能避免因误差过度减小而导致鲁棒性降低。
[0051] 特别要注意：本发明只是为了描述方便，采用的是对手写体图像识别，同样该发明也可适用其他图像的识别和分类等，只要采用了本发明的原理进行识别都应该属于本发明的范围。
附图说明
[0052] 图1是本发明神经网络的结构及训练原理图。
[0053] 图2是本发明训练200-200DBN的分类错误结果图
[0054] 图3是本发明训练200-200DBN的最后一层RBM重构误差图
[0055] 图4是本发明训练500-500DBN的分类错误结果图
[0056] 图5是本发明训练500-500DBN的最后一层RBM重构误差图
具体实施方式
[0057] 以下结合具体实施方式，对本发明做进一步说明；
[0058] 请参阅图1所示，为本发明的DBN网络结构及训练原理示意图。
[0059] 本发明获得了一种基于贝叶斯正则化的DBN网络训练方法，该方法通过引入贝叶斯正则化，控制训练过程中网络权值的变化量，提高权值稀疏特性，从而达到提高网络泛化能力的目的。
[0060] 实验采用MNIST手写体数据库，从数据库中选取5,000个样本用于训练，选取另外1,000个不含标签的样本用于测试。
[0061] 本发明采用了如下的技术方案及实现步骤：
[0062] 基于贝叶斯正则化的深度神经网络学习方法，包括以下步骤：
[0063] (1确定输入对象和网络结构。选取MNIST手写体数字数据库中的样本作为网络输入，该数据库所含样本为0-9的阿拉伯数字，均为手写体，每个图像为28*28的像素，5,000个样本分为50批次，每批100个样本。采用含有两个隐含层的DBN网络，输入层神经元数量为一张图像含有的像素点数784个，设置隐含层神经元数为200或500，输出层为类别数量10。
[0064] (2基于贝叶斯正则化的无监督训练步骤。根据已知的DBN运算准则，首先，信号从可视层传入隐含层，公式(1)为由已知的可视层节点得到的隐含层节点的值：
[0065]
[0066] 第二，将信号从隐含层反传回可视层。由于RBM是对称网络，因此可以得到由隐含层节点得到可视层节点的值，见公式(15)：
[0067]
[0068] 式(14)为由已知的可视层节点得到的隐含层节点的值，(15)为由隐含层节点得到可视层节点的值中。vi和ci分别对应每一个RBM网络中可视层第i个节点的取值和阈值，hj和bj分别对应网络中隐含层第j个节点的取值和阈值，wij为可视节点i和隐藏节点j之间的权值，表示两个神经元之间连接信号的强弱，p(hj＝1)表示隐含层节点hj取值为1的概率，p(vi＝1)表示可视层节点vi取值为1的概率。
[0069] 公式(16)为可视层的特征向量v和隐含层的特征向量h的联合概率分布，在训练过程中计算其极小值，为改进算法之前的目标函数：
[0070]
[0071] 式中p(v，h)为函数运算目标，表示可视层和隐含层的联合概率分布，W是可视层和隐含层之间的权值矩阵，v和h分别为网络可视层和隐含层神经元的取值向量，c和b分别为网络可视层和隐含层神经元的阈值向量，T表示转置，E(v，h)是特征向量v和h的数学期望值，其绝对值的大小代表h能够保存的v的信息的多少，∝表示正相关。
[0072] 过拟合是神经网络训练过程中的常见问题之一，为了提高网络泛化能力，传统的方式有简化网络结构和提前停止训练等方法，这些方法在不同程度上发挥作用，但不易于推广。贝叶斯正则化方法通过在训练中减小网络权值，有效抑制不重要的神经元发挥作用，从而达到抑制过拟合现象的目的。
[0073] 本发明提出的基于贝叶斯正则化的网络训练目标函数为：
[0074] Fw＝αP+βEW (17)
[0075] 式中，P为函数(16)，EW为本发明使用的贝叶斯正则项，α和β是性能参数，其值大小通过经验选取，分别用于控制训练过程中训练误差的变化和权值的变化。公式(4)中的P和EW分别见(18)和(19)，
[0076]
[0077]
[0078] 式中，m为输入层节点数量784，n为隐含层节点数量200或500，分别选取性能参数α＝1，0.9，0.8，0.7，0.6；β＝0，0.1，0.2，0.3，0.4。
[0079] 利用马尔科夫链蒙特卡洛方法(Markov Chain Monte Carlo，MCMC)，使RBM的可视层和隐含层互为条件进行交替求解，当其共同趋于平稳状态时，P(v，h)达到最大，然后求得P(v，h)与初始状态的联合概率分布的斜率 使用公式(7)更新权值：
[0080]
[0081] 式(20)为权值更新公式，其中，W为训练过程中的权值矩阵，τ为迭代次数1，η为学习速度0.5。
[0082] 用 表示第i个可视层单元在t＝m时刻的特征向量，例如，v0是t＝0时刻的可视层特征向量(即RBM的输入)，h0是由v0根据公式(14)得到的隐含层特征向量，v1是在t＝1时刻由h0根据公式(15)得到的可视层特征向量，以此类推，v∞和h∞分别是t＝∞(即稳定状态)的可视层和隐含层的特征向量，公式(20)中的斜率可由公式(21)计算得出：
[0083]
[0084] 式中，为输入特征向量与其对应的隐含层特征向量的点乘的平均值，∞ ∞为马尔可夫链末端可视层特征向量与其对应的隐含层特征向量的乘积的平均值，∞ ∞
已知是收敛的。由公式(22)可知，联合概率分布的斜率与中间状态无关，只与网络的初始状态和最终状态有关。于是权值更新公式为：
[0085]
[0086] 最后，根据CD(Contrastive Divergence)快速运算准则，再运行一次公式(13)，将信号重新传给隐含层，得到新的p(hj＝1)，利用(23)更新权值，至此第一层RBM训练完毕。将数据输出给第二个隐含层，重复上述步骤，训练第二层RBM。
[0087] (3有监督训练过程。首先，将输入特征向量沿输入端传至输出端；然后使用反向传播，计算网络的输出结果与带有标签的正确结果的误差，将误差从输出端反向传播至输入端，以修改DBN的参数。利用sigmoid函数作为BP的网络节点的求值函数，具体实现步骤如下。
[0088] ①初始化BP网络的参数，设定步长A为50；
[0089] ②前向传播，对于第l层的j单元节点，有
[0090]
[0091] 式中，首先判断神经元属于某一输出层，例如第L层，(l＝L)。a为当前迭代步数，表示第l层第j个神经元的实际输出值，令dj(a)为理想输出值即正确信息，则误差[0092] ③计算权值调整大小δ，然后使用反向传播调整参数。
[0093] 对于输出神经元有：
[0094]
[0095] 对于非输出层神经元有：
[0096]
[0097] 式(11)、(12)中，ej(a)为第a步中第j个神经元的误差， 表示第l层第j个神经元的实际输出值， 表示第a步第l+1层第j个神经元和第l层第i个神经元的权值， 表示第a步第l层第j个神经元的权值调整值，∑为加和符号。
[0098] ④权值调整：
[0099]
[0100] η为学习速率0.02，增大或减小可提高或降低收敛速度， 为第a+1迭代步数的权值，即调整后的权值， 表示第l层第j个神经元的权值调整值， 表示第a步第l-1层第i个神经元的实际输出值。
[0101] ⑤如果a＝A，则训练结束，反之，a＝a+1，返回步骤②。
[0102] (4网络测试步骤。使用未含标签的1,000个样本来测试训练网络的有效性，设置DBN的隐含层数量为2，神经元数为200-200或500-500，将数据传给输入层，运行至最后一层得到输出，与图像的实际值比较，将错误的结果标出。图二是图2是本发明训练200-200DBN的分类错误结果图，图3是本发明训练200-200DBN的最后一层RBM重构误差图，图4是本发明训练500-500DBN的分类错误结果图，图5是本发明训练500-500DBN的最后一层RBM重构误差图，下表为
训练数据。结果表明，使用本发明的DBN网络能有有效提高训练网络的泛化性，减少错误数量，使用200个隐含层神经元的网络，正确率提高0.7％，使用500个隐含层神经元的网络，正确率提高0.4％。
[0103] 表1改进DBN的训练数据
[0104]
