首页 / 专利库 / 电子零件及设备 / 二极管 / 光电二极管 / PIN光电二极管 / 本征区 / 一种基于多项式分布学习的神经网络结构检索方法

一种基于多项式分布学习的神经网络结构检索方法

阅读:18发布:2024-02-17

专利汇可以提供一种基于多项式分布学习的神经网络结构检索方法专利检索,专利查询,专利分析的服务。并且一种基于多项式分布学习的神经网络结构检索方法,涉及神经架构搜索。1)给定标好的图像-标签对集合,将图像-标签对集合划分为训练样本集,测试照片样本集和验证样本集,定义好需要搜索的神经网络可能的搜索空间;2)在搜索空间中,对可能的网络结构进行 采样 ;3)当步骤2)进行采样之后,利用步骤1)中的图像标签对,对采样到的神经网络结构进行训练;4)记录每一个操作被采样的次数以及每一个操作在验证集合上的 精度 ;5)计算出操作之间采样次数的差分以及精度之间的差分;6)用步骤5)中计算好的差分,对步骤2)中定义的概率进行更新;7)循环步骤3)~6)直至达到固定的训练次数。适用于比较大的数据集,高效而又准确。,下面是一种基于多项式分布学习的神经网络结构检索方法专利的具体信息内容。

1.一种基于多项式分布学习的神经网络结构检索方法,其特征在于包括以下步骤:
1)给定标好的图像-标签对集合,将图像-标签对集合划分为训练样本集,测试照片样本集和验证样本集,定义好需要搜索的神经网络可能的搜索空间;
2)在搜索空间中,对可能的网络结构进行采样,定义每一个操作的采样概率;网络结构根据不同的尺度区分为网络、细胞、节点
3)当步骤2)进行采样之后,利用步骤1)中的图像标签对,对采样到的神经网络结构进行训练;
4)训练后,记录每一个操作被采样的次数以及每一个操作在验证集合上的精度
5)根据步骤4)得到的每一个操作的采样次数以及在验证集合上的精度,计算出操作之间采样次数的差分以及精度之间的差分;
6)用步骤5)中计算好的差分,对步骤2)中定义的采样概率进行更新;
7)循环步骤3)~6)直至达到固定的训练次数。
2.如权利要求1所述一种基于多项式分布学习的神经网络结构检索方法,其特征在于在步骤2)中,所述网络结构指的是整个网络拓扑结构;不同数量的细胞通过线形堆叠,组成了不同的网络结构,其中细胞主要分为下采样细胞和普通细胞;所述普通细胞的输入输出的宽度、高度以及深度保持一致,所述下采样细胞的宽度高度减半、深度翻倍;细胞由节点组成,每一个细胞中的节点之间保持一定顺序的无环的全连接拓扑图;所述节点主要分为输入节点、输出节点以及中间节点,每一个节点存储了神经网络中间特征图,其中节点之间的连线为具体的操作;神经网络搜索主要确定两个节点之间,需要进行哪一种操作选取;假设任意两个节点i,j之间,定义每一个操作的采样概率为:
其中,N为操作的数量,也就是说,对每一个操作进行均匀采样。
3.如权利要求1所述一种基于多项式分布学习的神经网络结构检索方法,其特征在于在步骤4)中,所述记录,对于两个节点之间的操作空间而言,假设操作空间中包含N个可能的操作,每一个操作被采样的次数 与每一个操作在验证集合上的精度 为一个N维度的向量。
4.如权利要求1所述一种基于多项式分布学习的神经网络结构检索方法,其特征在于在步骤5)中,所述计算出操作之间采样次数的差分 如下式:
精度之间的差分 如下式:
其中,N为操作的数量。
5.如权利要求1所述一种基于多项式分布学习的神经网络结构检索方法,其特征在于在步骤6)中,所述更新的具体方法为:当两个操作相比的时候,其中一个操作有更小的被采样次数,并且精度更高,提升该操作被采样的概率,反之,当一个操作有更大的被采样次数,并且精度更低,降低该操作被采样的概率,公式表达为:
其中,为指示函数,当输入为真时,返回1,其余则返回0。

说明书全文

一种基于多项式分布学习的神经网络结构检索方法

技术领域

[0001] 本发明涉及神经架构搜索,尤其是涉及一种基于多项式分布学习的神经网络结构检索方法。

背景技术

[0002] 近年来,随着人工智能以及深度学习的发展,人们对于定制化的深度学习网络结构开始出现指数级别的增长。用户更多的希望深度学习对于当前自身的任务,产生定制化的网络结构以及参数,这就引导了神经网络结构检索系统的产生。给定数据集,神经架构搜索(NAS)旨在通过搜索算法在巨大的搜索空间中发现高性能卷积架构。NAS在各种深度学习任务的自动化架构搜索中取得了很大成功,例如图像分类,语言建模和语义分割。如[1](T.DeVries and G.W.Taylor.Improved regularization of convolutional neural networks with cutout.arXiv preprint arXiv:1708.04552,2017.)中所述,神经架构搜索方法由三部分组成:搜索空间、搜索策略和性能评估。
[0003] 传统的NAS算法通过搜索策略对特定的卷积架构进行采样并估计性能,同时,性能可以被视为更新搜索策略的目标函数。尽管取得了显着进步,但传统的神经网络结构搜索方法仍然受到密集计算和内存成本的限制。例如,基于强化学习方法[2](B.Zoph,V.Vasudevan,J.Shlens,and Q.V.Le.Learning transferable architectures for scalable image recognition.In Proceedings of the IEEE conference on computer vision and pattern recognition,pages 8697–8710,2018.)需要在4天内训练并评估在500个GPU中超过20,000个神经网络。最近的工作通过以可微分的方式制来提高可扩展性,其中搜索空间被放宽到连续的空间,从而可以通过梯度下降的验证集上的性能来优化体系结构。然而,可区分神经网络结构搜索仍然受到高GPU内存消耗的影响,其随着候选搜索集的大小线性增长。

发明内容

[0004] 本发明的目的在于提供一种基于多项式分布学习的神经网络结构检索方法。
[0005] 本发明包括以下步骤:
[0006] 1)给定标好的图像-标签对集合,将图像-标签对集合划分为训练样本集,测试照片样本集和验证样本集,定义好需要搜索的神经网络可能的搜索空间;
[0007] 2)在搜索空间中,对可能的网络结构进行采样,定义每一个操作的采样概率;网络结构根据不同的尺度区分为网络、细胞、节点
[0008] 3)当步骤2)进行采样之后,利用步骤1)中的图像标签对,对采样到的神经网络结构进行训练;
[0009] 4)训练后,记录每一个操作被采样的次数以及每一个操作在验证集合上的精度
[0010] 5)根据步骤4)得到的每一个操作的采样次数以及在验证集合上的精度,计算出操作之间采样次数的差分以及精度之间的差分;
[0011] 6)用步骤5)中计算好的差分,对步骤2)中定义的采样概率进行更新;
[0012] 7)循环步骤3)~6)直至达到固定的训练次数。
[0013] 在步骤2)中,所述网络结构指的是整个网络拓扑结构;不同数量的细胞通过线形堆叠,组成了不同的网络结构,其中细胞主要分为下采样细胞和普通细胞;所述普通细胞的输入输出的宽度、高度以及深度保持一致,所述下采样细胞的宽度高度减半、深度翻倍;细胞由节点组成,每一个细胞中的节点之间保持一定顺序的无环的全连接拓扑图;所述节点主要分为输入节点、输出节点以及中间节点,每一个节点存储了神经网络中间特征图,其中节点之间的连线为具体的操作;神经网络搜索主要确定两个节点之间,需要进行哪一种操作选取;假设任意两个节点i,j之间,定义每一个操作的采样概率为:
[0014]
[0015] 其中,N为操作的数量,也就是说,对每一个操作进行均匀采样。
[0016] 在步骤4)中,所述记录,对于两个节点之间的操作空间而言,假设操作空间中包含N个可能的操作,每一个操作被采样的次数 与每一个操作在验证集合上的精度 为一个N维度的向量。
[0017] 在步骤5)中,所述计算出操作之间采样次数的差分 如下式:
[0018]
[0019] 精度之间的差分 如下式:
[0020]
[0021] 其中,N为操作的数量。
[0022] 在步骤6)中,所述更新的具体方法可为:当两个操作相比的时候,其中一个操作有更小的被采样次数,并且精度更高,提升该操作被采样的概率,反之,当一个操作有更大的被采样次数,并且精度更低,降低该操作被采样的概率,公式表达为:
[0023]
[0024] 其中,为指示函数,当输入为真时,返回1,其余则返回0。
[0025] 本发明提出的方法中主要包含一种基于分布式学习的快速神经网络结构搜索方法。首先,提出了全新的网络搜索框架。其次,为了更好的训练,提出了一种基于分布式学习算法,该算法在训练的速度以及精度上,都达到了最优。更为巧妙的是,上面提出的两种方法可以互相增强。
[0026] 与现有方法相比,本发明具有以下突出优点:
[0027] 第一,本发明明确引入分布学习算法的思想,因此能在一定程度上解决神经网络结构检索难以训练的问题。
[0028] 第二,本发明提出了一种全新的神经网络搜索框架,因此进行高效而又准确的进行神经网络结构检索。
[0029] 第三,本发明可以适用于比较大的数据集,在速度以及精度上,皆达到了最优。附图说明
[0030] 图1为本发明给予中心排序损失及弱监督物体定位流程图

具体实施方式

[0031] 本发明基于多项式分布学习的神经网络结构检索。以下结合附图对本发明作进一步的说明。
[0032] 参见图1,本发明实施例步骤如下:
[0033] 步骤1给定标好的图像-标签对集合,将图像-标签对集合划分为训练样本集,测试照片样本集和验证样本集,定义好需要搜索的神经网络可能的搜索空间;
[0034] 步骤2在搜索空间中,对可能的网络结构进行采样;网络结构根据不同的尺度,我们可以区分为网络,细胞,节点。其中网络指的是整个网络拓扑结构。不同数量的细胞通过线形堆叠,组成了不同的网络结构,其中细胞主要分为下采样细胞以及普通细胞。普通细胞的输入输出的宽度,高度,以及深度保持一致,而下采样细胞的宽度高度减半,深度翻倍。细胞为节点之间的全连接拓扑图。节点主要分为输入节点,输出节点,以及中间节点,每一个节点存储了神经网络中间特征图,其中节点之间的连线为具体的操作。神经网络搜索主要确定两个节点之间,需要进行哪一种操作选取。我们假设任意两个节点i,j之间,每一个操作的采样概率为:
[0035]
[0036] 其中,N为操作的数量,也就是说,对每一个操作进行均匀采样。
[0037] 步骤3当步骤2)进行采样之后,我们利用步骤1)中的图像标签对,对采样的到的神经网络结构进行训练;
[0038] 步骤4步骤3)对神经网络进行训练之后,记录在验证集合上面的精度。进行记录,主要记录两个信息,第一个为每一个操作被采样的次数 以及每一个操作在验证集合上面的精度 对于两个节点之间的操作空间而言,假设操作空间中包含N个可能的操作,与 为一个N维度的向量。
[0039] 步骤5根据步骤4)的到的每一个操作的采样次数以及精度,我们计算出操作之间采样次数的差分
[0040]
[0041] 以及精度之间的差分
[0042]
[0043] 其中,N在步骤4)中给出了定义,为操作的数量。
[0044] 步骤6在步骤5)中计算好的差分,可以用来更新步骤2)中定义的概率,进行如下更新,当两个操作相比的时候,其中一个操作有更小的被采样次数,并且精度更高,提升该操作被采样的概率,反之,当一个操作有更大的被采样次数,并且精度更低,降低该操作被采样的概率,公式表达为:
[0045]
[0046] 其中,为指示函数,当输入为真时,返回1,其余则返回0。
[0047] 步骤7循环步骤3~6直至达到固定的训练次数。
[0048] 本发明提出的方法中主要包含一种基于分布式学习的快速神经网络结构搜索方法。首先,提出了全新的网络搜索框架。其次,为了更好的训练,提出了一种基于分布式学习算法,该算法在训练的速度以及精度上,都达到了最优。更为巧妙的是,上面提出的两种算法可以互相增强。
[0049] 本发明的效果通过以下仿真实验作进一步的说明。
[0050] 1.仿真条件
[0051] 本发明在Pycharm平台上进行开发,开发的深度学习框架基于Pytorch。本发明中主要用的语言为Python,并且利用OpenCV实现本发明中用到的传统视觉算法。
[0052] 2.仿真内容
[0053] 在Cifar10以及ILSVRC2012数据集上进行仿真,CIFAR-10数据集由10类32x32的彩色图片组成,一共包含60000张图片,每一类包含6000图片。其中50000张图片作为训练集,10000张图片作为测试集。CIFAR-10数据集被划分成了5个训练的batch和1个测试的batch,每个batch均包含10000张图片。测试集batch的图片是从每个类别中随机挑选的1000张图片组成的,训练集batch以随机的顺序包含剩下的50000张图片。不过一些训练集batch可能出现包含某一类图片比其他类的图片数量多的情况。训练集batch包含来自每一类的5000张图片,一共50000张训练图片。ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像URL被ImageNet手动注释,以指示图片中的对象;在至少一百万个图像中,还提供了边界框。ImageNet包含2万多个类别;本发明与现有最好的细粒度检索方法之间的比较结果见表1为,从表1可以发现,相比于其他的方法,本发明的精度更高、速度更快。
[0054] 表1
[0055]
[0056] 本发明提出了一种基于分布式学习的快速神经网络结构搜索方法。介绍了一种新的网络体系结构搜索算法,适用于各种大规模数据集,因为内存和计算成本与普通的神经网络训练类似。此外,还提出了一种性能排名假设,可以将其纳入现有的NAS算法中以加速其搜索。所提出的方法实现了显着的搜索效率的提升,例如,使用1GTX1080Ti显卡在4h内搜索出来的网络结构,在相关数据集上的的测试误差仅为为2.4%(与最先进的算法相比快6.0倍),这归因于使用本发明的分布式学习完全不同于之前的基于强化学习的方法和可微分方法。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈