一种迭代的神经网络批量规范化系统专利检索-相似性学习监督学习机器学习人工智能专利检索查询-专利查询网

一种迭代的神经网络批量规范化系统

阅读：705发布：2020-05-12

专利汇可以提供一种迭代的神经网络批量规范化系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种迭代的神经网络批量规范化系统，包括特征预处理单元、神经网络构建单元和网络批量规范单元；所述特征预处理单元可以对需要进行识别的图片进行特征预处理，去除背景中干扰信息；所述神经网络构建单元可以训练出识别图像内容的学习网络，进一步处理图片；所述网络批量规范单元可以对神经网络的训练模式进行改进，提高训练过程中的收敛速度。本发明通过批量规范了神经网络的训练过程，减少了神经网络构建的代价，提高了神经网络的训练速度。，下面是一种迭代的神经网络批量规范化系统专利的具体信息内容。

权利要求

1.一种迭代的神经网络批量规范化系统，包括特征预处理单元、神经网络构建单元和网络批量规范单元，通过批量规范神经网络的构建过程，可以缩小学习模型的收敛速度，加强神经网络构建性价比；
特征预处理单元，对需要进行识别的图片使用边缘检测预处理的方法，去除背景中干扰信息，保留图片中的主要待检测范围；
神经网络构建单元，以国内主流网站的图片为基础，建立图像数据库，从而训练出识别图像内容的学习网络，进一步处理图片信息；
网络批量规范单元，其特征在于，可以对神经网络的训练模式进行改进，增加训练前后两个批量的均值和方差之间的联系性，从而缩小相邻批量之间的样本分布差异，提高训练过程中的收敛速度，具体步骤为：
步骤1、计算第一批量样本中各个类别样本的数量分布直方图H1，计算该类别样本的均值和方差，并以此作为神经网络训练模型的初始均值和初始方差值；
步骤2、重复以上步骤，继续计算第i和第i+1批量样本中各个类别样本的数量分布直方图Hi+1，计算该类别样本的均值和方差，计算i和i+1的直方图相似度；
步骤3、如果第i+1批量样本的类别分布直方图与第i个类别分布相似度大于阈值θ，则均值和方差采用第i个批量迭代的均值方差；而如果类别分布相似度小于θ，则更新均值方差；
步骤4：对第i+1批量的样本做矫正批规范化。
2.根据权利要求1所述的一种迭代的神经网络批量规范化系统，其特征在于，所述网络批量规范单元需要对矫正均值和方差进行定义，通过统计第1个批量的样本中各个类别样本的数量，得到样本分布的直方图H1，作为初始的批量样本分布分布直方图；对第1个批量的样本求出均值μ1和方差σ1，二者作为初始的矫正均值和矫正方差计算公式为：
3.根据权利要求1所述的一种迭代的神经网络批量规范化系统，其特征在于，所述网络批量规范单元需要对样本分布直方图的相似图进行计算比较，通过计算第i+1个批量(i＞
0)的样本分布直方图Hi+1，将Hi+1与第i个批量的样本分布直方图Hi计算分布相似度d(Hi，Hi+1)，具体公式为：
其中，
b是直方图的第b个直条，N是所有样本的总类别数目；d(Hi，Hi+1)的值越大，则相似性越高，最大值为1，最小值为0。
4.根据权利要求1所述的一种迭代的神经网络批量规范化系统，其特征在于，所述网络批量规范单元提前预设一个类别分布相似度的阈值θ，该阈值可以根据计算需要进行修改，具体范围是0＜θ＜1；如果di+1＞θ，则当前这个批量采用的矫正均值和矫正方差与上一个批量相同，即：
如果di+1≤θ，则更新矫正均值和矫正方差为：
其中λ为人为设定的矫正系数，取值范围为：0＜λ＜1。
5.根据权利要求1所述的一种迭代的神经网络批量规范化系统，其特征在于，所述网络批量规范单元采用的均值和方差是矫正均值和矫正方差；对于当前的批量样本在神经网络中每一层的输入值xi+1,得到的规范化后的输入值为：
其中，ò是一个常量浮点数，值为1.0×2-126。
6.根据权利要求1所述的一种迭代的神经网络批量规范化系统，其特征在于，所述特征预处理单元会对待处理的图片进行边缘预处理，对图片中大多数的细节信息，例如阴影、色彩变化、纹理变化等细节会直接忽略以保证图片中主要场景的突出。
7.根据权利要求1所述的一种迭代的神经网络批量规范化系统，其特征在于，所述特征预处理单元通过对数据库的图片进行预处理后的特征再分类，可以形成自己的特征分布表，在在提取图片主要信息的时候预先进行特征表类别比对，提高图片特征识别的准确度。

说明书全文

一种迭代的神经网络批量规范化系统

技术领域

[0001] 本发明涉及一种神经网络优化技术，尤其是一种迭代的神经网络批量规范化系统。

背景技术

[0002] 随着现代科技度的不断提高，日常生活中智能化仿人工的设施愈加常见，逐渐成为了人们公共生活中不可或缺的一部分，这些设备大大提高了居民日常生活的便利。其中，效果较为显著的就是人工神经网络的构建。不论是科研实验室中重复性试验的管理系统，还是路边对违规车辆进行追踪抓拍的车牌识别仪，人工神经网络在各个领域发挥着自己的力量。

[0003] 一个好的人工神经网络，不仅需要庞大的数据库进行数据储备学习，还需要不停对识别的图片信息进行存储和进一步的数据库更新，从而保证自己网络构建的完整性和可持续性。

[0004] 人工神经网络训练过程以批量(mini-batch)为单位进行。一个批量中所包含的样本的数量是固定的，但一个批量中的样本是从数据集中随机选取的，每个样本属于至少一个类别，因此各个批量中包含的样本的类别比例不同。

[0005] 批量规范化(batch normalization)方法是人工神经网络训练中的常用组件，在典型的批量规范化方法中，每个批量单独计算均值和方差，一个批量的均值和方差的计算与上一个批量没有联系。如果相邻两个批量之间样本分布差异较大，那么会导致训练过程中出现收敛速度慢。

[0006] 针对这个问题，本发明公开了一种迭代的神经网络批量规范化方法。

发明内容

[0007] 发明目的：提供一种迭代的神经网络批量规范化系统，以解决上述问题。

[0008] 技术方案：一种迭代的神经网络批量规范化系统，包括特征预处理单元、神经网络构建单元和网络批量规范单元，通过批量规范神经网络的构建过程，可以缩小学习模型的收敛速度，加强神经网络构建性价比；

[0009] 特征预处理单元，对需要进行识别的图片使用边缘检测预处理的方法，去除背景中干扰信息，保留图片中的主要待检测范围；

[0010] 神经网络构建单元，以国内主流网站的图片为基础，建立图像数据库，从而训练出识别图像内容的学习网络，进一步处理图片信息；

[0011] 网络批量规范单元，其特征在于，可以对神经网络的训练模式进行改进，增加训练前后两个批量的均值和方差之间的联系性，从而缩小相邻批量之间的样本分布差异，提高训练过程中的收敛速度，具体步骤为：

[0012] 步骤1、计算第一批量样本中各个类别样本的数量分布直方图H1，计算该类别样本的均值和方差，并以此作为神经网络训练模型的初始均值和初始方差值；

[0013] 步骤2、重复以上步骤，继续计算第i和第i+1批量样本中各个类别样本的数量分布直方图Hi+1，计算该类别样本的均值和方差，计算i和i+1的直方图相似度；

[0014] 步骤3、如果第i+1批量样本的类别分布直方图与第i个类别分布相似度大于阈值θ，则均值和方差采用第i个批量迭代的均值方差；而如果类别分布相似度小于θ，则更新均值方差；

[0015] 步骤4：对第i+1批量的样本做矫正批规范化。

[0016] 根据本发明的一个方面，所述网络批量规范单元需要对矫正均值和方差进行定义，通过统计第1个批量的样本中各个类别样本的数量，得到样本分布的直方图H1，作为初始的批量样本分布分布直方图；对第1个批量的样本求出均值μ1和方差σ1，二者作为初始的矫正均值和矫正方差计算公式为：

[0017]

[0018] 根据本发明的一个方面，所述网络批量规范单元需要对样本分布直方图的相似图进行计算比较，通过计算第i+1个批量(i＞0)的样本分布直方图Hi+1，将Hi+1与第i个批量的样本分布直方图Hi计算分布相似度d(Hi，Hi+1)，具体公式为：

[0019]

[0020] 其中，

[0021]

[0022] b是直方图的第b个直条，N是所有样本的总类别数目；d(Hi，Hi+1)的值越大，则相似性越高，最大值为1，最小值为0。

[0023] 根据本发明的一个方面，所述网络批量规范单元提前预设一个类别分布相似度的阈值θ，该阈值可以根据计算需要进行修改，具体范围是0＜θ＜1；如果di+1＞θ，则当前这个批量采用的矫正均值和矫正方差与上一个批量相同，即：

[0024]

[0025] 如果di+1≤θ，则更新矫正均值和矫正方差为：

[0026]

[0027] 其中λ为人为设定的矫正系数，取值范围为：0＜λ＜1。

[0028] 根据本发明的一个方面，所述网络批量规范单元采用的均值和方差是矫正均值和矫正方差；对于当前的批量样本在神经网络中每一层的输入值xi+1，得到的规范化后的输入值为：

[0029]

[0030] 其中，是一个常量浮点数，值为1.0×2-126。

[0031] 根据本发明的一个方面，所述特征预处理单元会对待处理的图片进行边缘预处理，对图片中大多数的细节信息，例如阴影、色彩变化、纹理变化等细节会直接忽略以保证图片中主要场景的突出。

[0032] 根据本发明的一个方面，所述特征预处理单元通过对数据库的图片进行预处理后的特征再分类，可以形成自己的特征分布表，在在提取图片主要信息的时候预先进行特征表类别比对，提高图片特征识别的准确度。

[0033] 有益效果：本发明在进行神经网路训练的时候，不仅考虑到每一个批量对整体学习模式的构建，同时通过计算相邻批量样本之间的均值和方差的差异度，加强了样本学习的收敛速度，有效解决了均值方差抖动的问题；图片预处理的方案可以减轻神经网络构建的负担，大大提升了识别图片主要特征的速度和质量；整体来说，本发明的批量规范神经网络的计算方法代价低，实现度很高。附图说明

[0034] 图1是本发明的网络批量规范单元的运算示意图。

[0035] 图2是本发明的单元数据传递示意图。

[0036] 图3是本发明的特征预处理单元的流程示意图

具体实施方式

[0037] 如图二所示，在该实施例中，一种迭代的神经网络批量规范化系统，包括特征预处理单元、神经网络构建单元和网络批量规范单元，通过批量规范神经网络的构建过程，可以缩小学习模型的收敛速度，加强神经网络构建性价比；

[0038] 特征预处理单元，对需要进行识别的图片使用边缘检测预处理的方法，去除背景中干扰信息，保留图片中的主要待检测范围；

[0039] 神经网络构建单元，以国内主流网站的图片为基础，建立图像数据库，从而训练出识别图像内容的学习网络，进一步处理图片信息；

[0040] 网络批量规范单元，如图1所示，可以对神经网络的训练模式进行改进，增加训练前后两个批量的均值和方差之间的联系性，从而缩小相邻批量之间的样本分布差异，提高训练过程中的收敛速度，具体步骤为：

[0041] 步骤1、计算第一批量样本中各个类别样本的数量分布直方图H1，计算该类别样本的均值和方差，并以此作为神经网络训练模型的初始均值和初始方差值；

[0042] 步骤2、重复以上步骤，继续计算第i和第i+1批量样本中各个类别样本的数量分布直方图Hi+1，计算该类别样本的均值和方差，计算i和i+1的直方图相似度；

[0043] 步骤3、如果第i+1批量样本的类别分布直方图与第i个类别分布相似度大于阈值θ，则均值和方差采用第i个批量迭代的均值方差；而如果类别分布相似度小于θ，则更新均值方差；

[0044] 步骤4：对第i+1批量的样本做矫正批规范化。

[0045] 在进一步的实施例中，所述网络批量规范单元需要对矫正均值和方差进行定义，通过统计第1个批量的样本中各个类别样本的数量，得到样本分布的直方图H1，作为初始的批量样本分布分布直方图；对第1个批量的样本求出均值μ1和方差σ1，二者作为初始的矫正均值和矫正方差计算公式为：

[0046]

[0047] 在进一步的实施例中，所述网络批量规范单元需要对样本分布直方图的相似图进行计算比较，通过计算第i+1个批量(i＞0)的样本分布直方图Hi+1，将Hi+1与第i个批量的样本分布直方图Hi计算分布相似度d(Hi，Hi+1)，具体公式为：

[0048]

[0049] 其中，

[0050]

[0051] b是直方图的第b个直条，N是所有样本的总类别数目；d(Hi，Hi+1)的值越大，则相似性越高，最大值为1，最小值为0。

[0052] 在进一步的实施例中，所述网络批量规范单元提前预设一个类别分布相似度的阈值θ，该阈值可以根据计算需要进行修改，具体范围是0＜θ＜1；如果di+1＞θ，则当前这个批量采用的矫正均值和矫正方差与上一个批量相同，即：

[0053]

[0054] 如果di+1≤θ，则更新矫正均值和矫正方差为：

[0055]

[0056] 其中λ为人为设定的矫正系数，取值范围为：0＜λ＜1。

[0057] 在进一步的实施例中，所述网络批量规范单元采用的均值和方差是矫正均值和矫正方差；对于当前的批量样本在神经网络中每一层的输入值xi+1，得到的规范化后的输入值为：

[0058]

[0059] 其中，是一个常量浮点数，值为1.0×2-126。

[0060] 在进一步的实施例中，如图三所示，所述特征预处理单元会对待处理的图片进行边缘预处理，对图片中大多数的细节信息，例如阴影、色彩变化、纹理变化等细节会直接忽略以保证图片中主要场景的突出。

[0061] 在更进一步的实施例中，处理输入图片的背景干扰信息时，同样可以通过人工调节阈值更改对背景信息的保留程度，如果在处理前明确颜色信息或者明暗变化信息是后续处理中不可缺少的信息，可以减轻预处理的程度或者直接跳过图片预处理的环节，图片直接传输进神经网络中进行后续识别。

[0062] 在进一步的实施例中，所述特征预处理单元通过对数据库的图片进行预处理后的特征再分类，可以形成自己的特征分布表，在在提取图片主要信息的时候预先进行特征表类别比对，提高图片特征识别的准确度。

[0063] 在更进一步的实施例中，所述特征分布表可以直接使用主流网站上的总分类，也可以针对人工神经网络的使用领域进行自定义设定。

[0064] 总之，本发明具有以下优点：通过计算神经网路中相邻两个批量样本的均值和方差之间的差异值，可以根据构建需求更改阈值设定，从而降低了神经网络学习过程中的收敛速度，达到了神经网络批量规范化管理的效果；图像预处理的方法可以避免图片中边缘细节等信息对主题特征识别的干扰，进一步加强了图片主题分类的准确性和速度。总的来说，本发明改进了传统神经网络构建的训练模式，通过批量规范神经网络的训练过程，减少了神经网络构建的代价，提高了神经网络的训练速度。

[0065] 另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

标题	发布/更新时间	阅读量
一种人眼虹膜检测方法和装置	2020-05-08	507
一种基于机器学习的适用于径流资料缺乏流域的洪水预报方法	2020-05-11	982
一种航空器地面指挥信号训练系统及其操作方法	2020-05-12	993
一种基于知识图谱的组合错题推荐方法	2020-05-13	350
一种用于5G系统的智慧组网方法	2020-05-08	116
一种组合深度学习和概念图谱的电力故障事件抽取方法	2020-05-08	674
一种基于深度学习的多组学智能诊断系统	2020-05-11	923
一种基于非局部网络的视频压缩失真复原方法及系统	2020-05-13	529
一种交直流电网运行数据的属性标定方法及系统	2020-05-12	806
一种迭代的神经网络批量规范化系统	2020-05-12	705

一种迭代的神经网络批量规范化系统

一种迭代的神经网络批量规范化系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：