技术领域
[0001] 本
发明涉及一种基于
人工智能的目标检测方法，尤其是涉及一种
半监督学习式目标检测神经网络训练方法及应用。
背景技术
[0002] 作为现代制造业的一个流程，产品质检是工业流
水线上的一个重要环节。目前的产品质检工作主要以人工为主，辅以一些传统的
计算机视觉检测
算法。随着现代制造业规模的扩大和消费者对产品品控日益高涨的需求，传统以人工为主的质检行业在成本控制和
质量控制上开始难以跟上行业的发展。
[0003] 作为以上问题的解决方案，工业
缺陷检测行业的智能化和自动化开始代替人工质检。利用计算机视觉技术代替一部分人工的方法开始在生产过程中普及。但是目前市场上的质检
软件大多基于传统的计算机视觉方法。这些方法虽然成熟稳定，却局限于简单的工业场景，难以处理复杂，隐晦的产品缺陷。
[0004] 随着
机器学习的发展，尤其是近年来(从2012年)涌现的
深度学习(Deep Learning)技术在计算机视觉领域的成功应用，工业检测行业自动化迎来了更高一阶的发展。深度学习技术凭借其出色的
语义处理能
力，在
自然语言处理，自动驾驶，
人脸识别，和三维场景重建等各种复杂领域有着出色的表现，在某些细分领域甚至超过了人类。在工业缺陷检测领域中，深度学习算法也能处理应对更复杂的场景。
[0005] 目前的深度学习算法在工业缺陷检测中的应用主要集中在视觉检测中的一下三个难度逐一递增的场景：即输入待检测对象的光学特征
信号(一般以高清相片为主)，算法给出1)缺陷的类别信息(目标分类)，2)缺陷的类别和用多边形表示的尺寸、
位置信息(目标检测)，和3)
像素级别的缺陷类别信息(目标分割)。
[0006] 基于深度学习的目标检测算法有很多种，其中最常见的算法类别是以Faster RCNN为代表的基于Region Proposal的目标检测算法。此类算法最大的特点是把目标检测拆分成两大步骤，即首先算法从输入图片中提取出若干候选区域(一般用矩形或多边形表示)，然后算法的第二步会针对这些图片候选区域进行分类和矫正，最后输出待检测目标(在工业质检场景中，检测目标即缺陷)的类别，尺寸，和位置(后两者由矩形或多边形表示)。
[0007] 以工业缺陷检测为例，为保证检测
精度，上述检测算法通常需要大量被标注的缺陷样本作为训练依据。在训练过程中，这些标注样本被当作缺陷样本的范例，用以训练(通过调整
深度神经网络中的连接权重)算法对该类型缺陷的识别能力。相对于传统计算机视觉算法，基于深度神经网络的计算机视觉算法通常需要更多的标注数据来完成训练。尽管在检测精度和应对复杂场景的能力上后者占据了绝对优势，但标注
训练数据往往需要耗费很多人力和时间成本。
[0008] 为目标检测算法标注训练数据的成本主要体现在一下两个方面：1、先识别出缺陷样本(即找出图片中是否存在缺陷)，2、然后用矩形框或多边形标注缺陷的类别，尺寸和位置。其中后者所耗费的人力成本往往比前者更高。更糟的是，在很多工业检测的场景中，可供训练的缺陷样本通常非常之少，这种情况对训练效果的影响会很大。
[0009] 以上标注成本和极端数据条件的存在极大限制了深度学习目标检测算法在工业缺陷检测上的应用范畴。
[0010] 以Faster RCNN为例简要介绍传统深度目标神经网络在工业质检应用中的训练方法。Faster RCNN是基于Region Proposal的目标检测算法，其网络结构由两个分工不同的网络组成：
[0011] 1、Region Proposal Network(RPN)：根据输入图片的内容检测出一批疑似包含待检测目标的候选区域；
[0012] 2、Detection Head：进一步
鉴别，优化RPN网络所检测出来的候选区域，最后输出待检测目标的类别，
置信度和所在位置与尺寸(矩形框)。
[0013] 从以上FasterRCNN的结构可以看出，训练FasterRCNN的关键点之一落在了如何对候选区域的分类上。在传统训练方法中，候选区域被划定为正样本(包含待检测目标的区域)的依据是其与标注区域的重合程度，负样本(不包含待检测目标的区域,即背景)则是在图片其它区域中随机选取。
[0014] 因为负样本的数据质量直接决定了最后检测结果的精确度，而传统训练方法中的区域负样本的选取仅限于包含缺陷的NG图片，然而数量更多的OK图片并没有被有效地运用到目标检测算法的训练中来。以OK图片背景作为训练负样本的缺失很可能会导致缺陷检测的高误报率。
发明内容
[0015] 本发明的目的在于克服上述
现有技术存在的人工数据标注的难题而提供一种半监督学习式目标检测神经网络训练方法、装置及应用。
[0016] 本发明的目的可以通过以下技术方案来实现：
[0017] 一种半监督学习式目标检测神经网络训练方法，其特征在于，该方法的训练集包括不含标注的OK样本和含标注的NG样本，包括以下步骤：
[0018] S1、以NG样本为正样本训练神经网络；
[0019] S2、利用当前的神经网络对OK图片进行负样本标注；
[0020] S3、以含标注的OK图片再次训练神经网络；
[0021] S4、重复步骤S1-S3，直到神经网络收敛。
[0022] 进一步地，所述步骤S1和S3中，采用反向传播
梯度下降法优化神经网络的网络参数。
[0023] 进一步地，所述对OK图片进行负样本标注具体为：
[0024] 将OK图片作为当前的神经网络的输入，进行图片缺陷检测，选择置信率最高的设定数量的检测结果，标注为负样本。
[0025] 进一步地，所述设定数量为OK图片所有检测框数量的10-15％。
[0026] 本发明还提供一种半监督学习式目标检测神经网络训练装置，该装置采用的训练集包括不含标注的OK样本和含标注的NG样本，该装置包括：
[0027] 初训练模
块，用于以NG样本为正样本训练神经网络；
[0028] 负样本标注模块，用于利用初训练模块输出的神经网络对OK图片进行负样本标注；
[0029] 再训练模块，用于以负样本标注模块输出的含标注的OK图片再次训练神经网络；
[0030] 收敛判断模块，用于判断再训练模块输出的神经网络是否收敛，若是，则输出最终的神经网络，若否，则重新启动初训练模块。
[0031] 进一步地，所初训练模块和再训练模块中，采用反向传播梯度下降法优化神经网络的网络参数。
[0032] 进一步地，所述负样本标注模块中，对OK图片进行负样本标注具体为：
[0033] 将OK图片作为当前的神经网络的输入，进行图片缺陷检测，选择置信率最高的设定数量的检测结果，标注为负样本。
[0034] 进一步地，所述设定数量为OK图片所有检测框数量的10-15％。
[0035] 本发明还提供一种产品缺陷检测方法，采用所述的半监督学习式目标检测神经网络训练方法对目标检测神经网络进行训练，基于训练好的目标检测神经网络实现产品缺陷检测。
[0036] 与现有技术相比，本发明具有如下有益效果：
[0037] 第一，本方法在基于深度学习的工业质检领域，有效地把曾经被忽略的大量OK图片(无缺陷样本)运用到训练过程中，在实验中，新方法可以极大地减小误报率。由于无缺陷样本的多数性，本发明绕开了缺陷样本过少的限制，大大提高了训练精度。
[0038] 第二，本方法并不需要大量的人力成本，由于工业缺陷检测的特殊性，OK图片占图片总数的比例要远远高于NG图片，具有易得性，所以OK的获得成本很低；其次，因为OK图片遴选出来后不需要像对待NG图片那样进行手动标注，OK图片的获取速度要远远高于NG图片的获取速度。
[0039] 第三，本方法实现简单而且非常容易移植到其它算法。因为本发明不需要对神经网络内部的设计进行任何改动，只需在训练环节加入少量的代码就能运行，具备非常高的实用性。
附图说明
[0040] 图1为本发明的结构示意图。
具体实施方式
[0041] 下面结合附图和具体
实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0042] 实施例1
[0043] 本实施例提供一种半监督学习式目标检测神经网络训练方法，为一种利用困难样本进行挖掘的半监督机器学习方法，可以利用大量无缺陷样本来达到训练的目标检测神经网络的目的。
[0044] 该方法可以保证OK图片在训练过程中被有效地利用，在以包含缺陷的NG图片集为标注数据的
基础上，假定筛选出了大量不含标注的OK图片，该方法的具体训练过程如下：
[0045] S1、用NG图片作为正样本训练神经网络：输入一批NG图片到Faster RCNN网络，用反向传播梯度下降法优化网络参数；
[0046] S2、用当前的神经网络标注OK图片(困难样本的挖掘)：输入一批OK图片到Faster RCNN网络，检测图片上的缺陷，选取置信率最高的前N个检测结果(矩形框格式)，把它们标注为负样本，本实施例中，N的数量为OK图片所有检测框数量的10-15％；
[0047] S3、用含标注的OK图片再次训练神经网络：把上一步中被Faster RCNN标注好的图片再次输入到Faster RCNN中，用反向传播梯度下降法优化网络参数；
[0048] S4、重复步骤S1-S3，直到Faster RCNN收敛。
[0049] 为了验证本方法的性能，本方法在一个多晶
硅太阳能电池片缺陷检测的数据集上进行了多次实验。作为基准方法，本发明在实验中使用了Faster RCNN作为基准神经网络，主干网络使用resnet50。为了充分利用深度学习的发展成果，在训练过程中本发明用在ImageNet分类任务上训练好的权重初始化resnet50主干网络。本发明预定义批次大小为1(即每次训练循环只用一张图片训练)，训练模型循环次数为150k。
[0050] 本发明的数据集标注了
多晶硅太阳能电池片缺陷检测中最常见的三种缺陷：破片、交叉状隐裂和条状隐裂。数据集被划分为训练集和测试集两部分。其中训练集包含约8k张NG图片和500k张OK图片；测试集按图片数量被均分为三个子测试集：Test1、Test2和Test3，其中每个测试集包含250张NG图片和～4.5k张OK图片。为了保证实验的严谨性，本发明严格规定以上每个集合(包括训练和子测试集合)的图片不能和其它集合的图片
采样于同一张
太阳能电池板。
[0051] 本发明的实验的性能验证标准是基于工业检测中常用的两个概念：漏报率和误报率，其中漏报率定义为NG图片被算法漏报的概率，这里漏报也包括没有被算法正确
定位的情况(检测框于标注框IoU<0.3)；误报率定义为OK图片被算法误报的概率。
[0052] 表1
[0053]漏报率1％下的误报率 Test1 Test2 Test3
基准方法 6.9％ 11.1％ 21.9％
本方法 7.7％ 5.6％ 4.9％
[0054] 表2
[0055] 漏报率2％下的误报率 Test1 Test2 Test3基准方法 6.6％ 7.6％ 7.3％
本方法 5.4％ 4.3％ 3.7％
[0056] 本发明统计了基准方法和本发明方法漏报率分别在1％和2％时，在三个子测试集上的误报率，实验数据见于表1和表2。
[0057] 由上表可见，本发明的训练方法在保持误报率不变的情况下，相比传统算法能大幅降低误报率。
[0058] 实施例2
[0059] 本实施例提供一种半监督学习式目标检测神经网络训练装置，该装置采用的训练集包括不含标注的OK样本和含标注的NG样本，该装置包括：初训练模块，用于以NG样本为正样本训练神经网络；负样本标注模块，用于利用初训练模块输出的神经网络对OK图片进行负样本标注；再训练模块，用于以负样本标注模块输出的含标注的OK图片再次训练神经网络；收敛判断模块，用于判断再训练模块输出的神经网络是否收敛，若是，则输出最终的神经网络，若否，则重新启动初训练模块。其余同实施例1。
[0060] 实施例3
[0061] 本实施例提供一种产品缺陷检测方法，采用如实施例1所述的半监督学习式目标检测神经网络训练方法对目标检测神经网络进行训练，基于训练好的目标检测神经网络实现产品缺陷检测。
[0062] 以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多
修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由
权利要求书所确定的保护范围内。
