技术领域
[0001] 本
发明涉及光伏电池外观缺陷分类的视觉检测技术领域，具体是一种基于多通道残差神经网络的光伏电池外观缺陷分类方法。
背景技术
[0002]
硅晶片的
质量直接决定了光伏电池的效率。电池片生产过程中
镀膜和湿法
刻蚀的环节可能会造成外观缺陷，包括脏片、色差、划痕、粗线、断栅、漏浆，缺
角、崩边等，影响到了电池片的效率。现阶段国内外外观缺陷检测分类主要有以下几种方法：人工目视检测法，CCD检测法等。一些国外的大型公司如比利时ICOS等推出了专业的基于CCD相机的
太阳能视觉检测系统，能够支持微裂痕检测、
位置检测等，而国内由于起步较晚，并没有这样成熟的视觉检测系统。但是，国内大部分中小企业并无法承担进口的
硬件设备和高昂的
软件授权。目前，国内有李桥(李桥.基于
机器视觉的
太阳能电池外观检测技术研究[D].苏州大学,
2016.)提出了结合局部自适应
阈值处理法和区域生长法的检测
算法可以检测出
倒角，边缘缺损和表面污迹等缺陷这些方法，但是这样的方法，实时性能差，且不适用于
多晶硅电池片；王宪保(王宪保,李洁,姚明海,何文秀,钱沄涛.基于
深度学习的太阳能电池片表面缺陷检测方法[J].
模式识别与
人工智能,2014,27(06):517-523.)提出深度置信网络(DBN)深度学习算法检测裂痕、刮擦和缺角，对于隐形缺陷，例如粗线，漏浆等，并不能检测出来。在这样的情况下，开发一种能够进行快速智能检测太阳能光伏电池多晶
硅片、具有较强的适应性能、泛化性能和较低误检率的检测方法，提高光伏电池产品的整体质量，降低光伏电池行业的总体成本，从而促进光伏产业的整体发展，是许许多多相关从业人员们身上肩负的重大责任。
发明内容
[0003] 针对光伏电池外观缺陷分类人工方法的不足，本发明拟解决的技术问题是，提供一种基于多通道残差神经网络的光伏电池外观缺陷分类方法。该方法基于多通道输入残差神经网络的深度学习算法来分类光伏电池外观缺陷，首先对采集的光伏电池片外观图像进行预处理，即采用区域形态学处理和最小二乘法边缘提取与拟合，获得具有有效边缘的目标图像；从目标图像中随机
抽取20％作为测试样本集，对剩余目标图像进行人工分选，并添加标签，并将目标图像尺寸量化并提取目标图像中的多通道信息，从而分别得到固定尺度的训练样本集、验证样本集；将训练集输入残差神经网络，获得图像的多维输出特征值矩阵，可实现光伏电池图像特征提取；根据提取到的多维特征值矩阵，将验证集图像特征载入softmax分类器中进行分类，将分类结果与标签进行对比，返回错误率和损失函数loss到残差神经网络中；重复训练，损失函数loss不大于0.01时，停止训练，得到最终的多维特征值矩阵；将测试数据和多维特征值矩阵，载入分类器，得到最终的分类。
[0004] 本发明解决所述技术问题所采用的技术方案是，设计一种基于多通道残差神经网络的光伏电池外观缺陷分类方法，该方法用于光伏电池外观缺陷的分类，包括以下步骤：
[0005] 第一步：图像预处理
[0006] 1-1图像获取：通过彩色工业相机获取光伏电池图像；
[0007] 1-2图像形态调整和边缘处理：采用区域形态学处理去除图像中的皮带轮部分，对图像中硅片的边缘进行最小二乘法边缘提取与拟合，将原本图像中曲线边界拟合成直线，从而获得具有有效边缘的目标图像；
[0008] 1-3测试样本集制作：对步骤1-2的目标图像进行人工分选，并添加缺陷种类标签，从中随机抽取20％的目标图像作为测试样本集；
[0009] 1-4训练样本集、验证样本集制作：在步骤1-3的
基础上，分别提取剩余目标图像的red、green、blue和gray四个通道信息图片，并将所有图片尺寸量化为统一的小尺寸，从而分别得到统一尺度的训练样本集、验证样本集；
[0010] 第二步：残差神经网络设计：
[0011] 2-1第一层设计：包括一个卷积层，在这一层中，输入数据经过卷积后，再依次进行标准化运算和正则化运算，得到输出结果；
[0012] 2-2残差层设计：设计多个不同维度的残差层，上一层输出为下一层输入，层层
叠加，得到输出结果，在每一个残差层中均包括一个卷积层和一个平均最大
池化层，输入数据分别经过一个卷积层和一个平均最大池化层后将该卷积层和平均最大池化层输出叠加视为最终输出结果；相同维度的残差层形成一个
块，有多个块，维度相同的残差层中卷积层和平均最大池化层完全相同，块的维度由残差神经网络输入至输出方向以2的整数倍呈增大趋势；
[0013] 2-3全连接层设计：步骤2-2的输出为本层的输入，经过标准化计算后，输入平均正则化层，得到输出结果；该输出结果通过Softmax分类器进行分类，至此完成残差神经网络的设计，该残差神经网络包括权重、偏置、批量归一化尺度因子；
[0014] 第三步：图像特征提取及分类
[0015] 3-1参数初始化：初始化所有权重值、偏置值、批量归一化尺度因子值，并将初始化的参数数据输入残差神经网络，设置网络的初始学习率；
[0016] 3-2开始训练：将训练样本集输入步骤3-1初始化参数后的残差神经网络，获得图像的多维特征图，得到光伏电池图像多维输出特征值矩阵；
[0017] 3-3验证分类效果：将验证样本集输入步骤3-2训练后的残差神经网络，根据步骤3-2提取到的输出特征值矩阵，将验证样本集图像特征载入softmax分类器中进行分类，将分类结果与标签进行对比，返回错误率error和损失函数loss到步骤3-2训练后的残差神经网络的残差层中；
[0018] 3-4更新参数：在步骤3-3的基础上，采用随机梯度下降的方式，更新网络权重值和偏移值；
[0019] 3-5重复训练：重复训练步骤3-3和3-4，损失函数loss不大于0.01时，停止训练，得到最终的残差神经网络，保存到计算机中；
[0020] 3-5测试分类效果：将测试样本集数据输入最终的残差神经网络，得到预测的类别；
[0021] 3-6结束外观缺陷分类。
[0022] 所述步骤2-1的卷积层的维度为32，步长为1，卷积核为3*3；步骤1-4中的小尺寸为32*32。
[0023] 在步骤3-5中采用转换学习法，在一部分数据训练结束后，利用其
瓶颈值训练下一部分数据。
[0024] Softmax分类器的激活函数为sigmod函数：步骤2-1，2-3中正则化的激活函数为Relu函数。
[0025] 步骤3-1中初始学习率为0.008-0.08。
[0026] 与
现有技术相比，本发明的有益效果是：
[0027] 本发明将原始图像尺寸量化为32*32维，并提取目标图像中的R,G,B三通道和灰度通道图片作为图片样本集，从而分别得到固定尺度维32*32*4的训练样本集和验证样本集，大大降低网络的训练时间，提高训练效率，能用于脏片、色差、划痕、断栅、漏浆，缺角、崩边7类外观缺陷及好片之间的分类；残差层的设计block1为32维，block2为64维，block3为128维，一个残差层是由一个卷积层和平均池化层组成，能有效控制参数数量，加快训练速度。
[0028] 本发明方法的模型中的初始学习率为0.001时，模型分类准确率达到91.9％；模型初始学习率为0.01时，模型分类准确率为82.75％。意味着训练的模型，面对脏片、色差、划痕、断栅、漏浆，缺角、崩边7类外观缺陷及好片的任何一张图片时，有91.9％的准确率识别出来。而宋玉琴(宋玉琴,刘凯凯.基于机器视觉的太阳能电池片外观缺陷检测[J].
单片机与
嵌入式系统应用,2015,15(02):71-74.)的方法对于裂纹，缺角，空洞的平均识别率为89％，本
申请准确率高，速度快。
[0029] 本申请样本集选用小样本，再将其尺寸缩小为32*32的图片，能降低模型的训练时间，加快了训练效率。
附图说明
[0030] 为了更清楚地说明本发明
实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032] 图2为残差神经网络的结构示意图。
具体实施方式
[0033] 下面结合实施例及附图对本发明作进一步说明。
[0034] 本发明提供了一种基于多通道残差神经网络的光伏电池外观缺陷分类方法(简称方法)，主要应用于对于光伏电池外观缺陷的分类，分类方法在实验过程中能够充分适应实际情况，对于每张图片都提取四通道值及其标签作为模型(模型即指下述的残差神经网络)输入值进行训练，包括以下步骤：
[0035] 第一步：图像预处理
[0036] 1-1图像获取：通过高动态彩色工业相机获取光伏电池图像；
[0037] 1-2图像形态调整和边缘处理：采用区域形态学处理去除图像中的皮带轮部分，对图像中硅片的边缘进行最小二乘法边缘提取与拟合，将原本图像中曲线边界拟合成直线，从而获得具有有效边缘的目标图像；
[0038] 1-3测试样本集制作：对步骤1-2的目标图像进行人工分选，并添加缺陷种类标签，从中随机抽取20％的目标图像作为测试样本集；
[0039] 人工分选出现在制作样本集的过程中，为图片添加标签，深度学习通过学习图片标签和图片之间的联系，得到图片的特征，利用这些学习到的特征去预测未添加标签的图片，判定其预测的准确率，从而评估模型性能。
[0040] 1-4训练样本集、验证样本集制作：在步骤1-3的基础上，分别提取剩余目标图像的red,green、blue和gray四个通道信息图片，并将所有图片尺寸量化为统一的小尺寸，从而分别得到统一尺度的训练样本集、验证样本集；
[0041] 图片指的是red,green,blue和gray四个通道的信息，从一张目标图像中提取四个通道信息，即得到四张图片。原图片尺寸在480*480左右，现在统一量化为小尺寸32*32；尺寸越大，越接近原尺寸，图片信息越完整，但训练时间越长，学习到的无效特征越多，降低模型效率。
[0042] 第二步：残差神经网络设计：
[0043] 2-1第一层设计：设计一个尺寸为32维的卷积层，在这一层中，输入数据以步长为1进行3*3的卷积，再依次经过标准化运算和正则化运算后，得到输出结果；
[0044] 2-2残差层设计：设计多个不同维度的残差层，上一层输出为下一层输入，层层叠加，得到输出结果，在每一个残差层中均包括一个卷积层和一个最大池化层，输入数据分别经过一个卷积层和一个平均最大池化层后将该卷积层和平均最大池化层输出叠加视为最终输出结果；相同维度的残差层形成一个块，有多个块，维度相同的残差层中卷积层和平均最大池化层完全相同，块的维度由残差神经网络输入至输出方向以2的整数倍呈增大趋势；
[0045] 2-3全连接层设计：这一层为网络最后一层，步骤2-2的输出为本层的输入，经过标准化计算后，输入平均正则化层，得到输出结果；该输出结果通过Softmax分类器进行分类，至此完成残差神经网络的设计，该残差神经网络包括权重、偏置、批量归一化尺度因子；
[0046] 第三步：图像特征提取及分类
[0047] 3-1参数初始化：初始化所有权重值、偏置值、批量归一化尺度因子值，并将初始化的参数数据输入残差神经网络，设置网络的初始学习率；
[0048] 3-2开始训练：将训练样本集输入步骤3-1初始化参数后的残差神经网络，获得图像的多维特征图，得到光伏电池图像多维输出特征值矩阵；
[0049] 3-3验证分类效果：将验证样本集输入步骤3-2训练后的残差神经网络，根据步骤3-2提取到的输出特征值矩阵，将验证样本集图像特征载入softmax分类器中进行分类，将分类结果与标签进行对比，返回错误率error和损失函数loss到步骤3-2训练后的残差神经网络的残差层中；
[0050] 3-4更新参数：在步骤3-3的基础上，采用随机梯度下降的方式，更新网络权重值和偏移值；
[0051] 3-5重复训练：重复训练步骤3-3和3-4，损失函数loss不大于0.01时，停止训练，得到最终的残差神经网络，保存到计算机中；
[0052] 3-5测试分类效果：将测试样本集数据输入最终的残差神经网络，得到预测的类别；
[0053] 3-6结束外观缺陷分类。
[0054] 本发明方法运用TensorFlow
框架构建残差神经网络并训练光伏电池外观图像，实现了对于外观缺陷的快速无损分类。本发明在图像预处理时保留一部分数据作为验证集在训练过程之外，当训练完成之后，使用这部分数据检验残差神经网络，以确保残差神经网络没有发生过度拟合。
[0055] 本发明方法的进一步特征在于在步骤3-5中采用转换学习法，在一部分数据训练结束后，利用其瓶颈值训练下一部分数据。在训练和计算瓶颈值时，每个图像
补丁不需被重复使用多次，节省了大量的时间。
[0056] 本发明方法的进一步特征为Softmax分类器的激活函数f(·)应用的是sigmod函数：
[0057]
[0058] x是指输入，f(x)表示输入输出之间的映射关系。
[0059] 实施例1
[0060] 本实施例基于多通道残差神经网络的光伏电池外观缺陷分类方法，包括以下步骤；
[0061] 第一步：图像预处理
[0062] 1-1图像获取：通过高动态彩色工业相机UI-3280CP-C-HQ获取光伏电池图像(动态范围指的是相机正确记录场景
亮度范围的能
力，是场景中最亮部分与最暗部分之间的差别)；
[0063] 1-2图像形态调整和边缘处理：采用区域形态学处理去除图像中的皮带轮部分，对图像中硅片的边缘进行最小二乘法边缘提取与拟合，将原本图像中曲线边界拟合成直线，从而获得具有有效边缘的目标图像；
[0064] 1-3测试样本集制作：对步骤1-2的目标图像进行人工分选，并添加缺陷种类标签：脏片、色差、划痕、粗线、断栅、漏浆，缺角、崩边，从中随机抽取20％的目标图像作为测试样本集；
[0065] 1-4训练样本集、验证样本集制作：在步骤1-3的基础上，分别提取剩余目标图像的red,green、blue和gray四个通道信息图片，并将所有图片尺寸量化为统一的小尺寸，从而分别得到统一尺度的训练样本集、验证样本集；
[0066] 第二步：残差神经网络设计：
[0067] 2-1第一层设计：设计一个尺寸为32维的卷积层，在这一层中，输入数据以步长为1进行3*3的卷积，再依次经过标准化运算和正则化运算后，得到输出结果；
[0068] 2-2残差层设计：设计15个不同维度的残差层，上一层输出为下一层输入，层层叠加，得到输出结果，在每一个残差层中均包括一个卷积层和一个最大池化层，输入数据分别经过一个卷积层和一个平均最大池化层后将该卷积层和平均最大池化层输出叠加视为最终输出结果；相同维度的5个残差层形成一个块，有3个块，维度相同的残差层中卷积层和平均最大池化层完全相同，块的维度由残差神经网络输入至输出方向以2的整数倍呈增大趋势；
[0069] 2-3全连接层设计：这一层为网络最后一层，步骤2-2的输出为本层的输入，经过标准化计算后，输入平均正则化层，得到输出结果；该输出结果通过Softmax分类器进行分类，至此完成残差神经网络的设计，该残差神经网络包括权重、偏置、批量归一化尺度因子；
[0070] 第三步：图像特征提取及分类
[0071] 3-1参数初始化：初始化所有权重值、偏置值、批量归一化尺度因子值，并将初始化的参数数据输入残差神经网络，设置网络的初始学习率；
[0072] 3-2开始训练：将训练样本集输入步骤3-1初始化参数后的残差神经网络，获得图像的多维特征图，得到光伏电池图像多维输出特征值矩阵；
[0073] 3-3验证分类效果：将验证样本集输入步骤3-2训练后的残差神经网络，根据3-2提取到的输出特征值矩阵，将验证样本集图像特征载入softmax分类器中进行分类，将分类结果与标签进行对比，返回错误率error和损失函数loss到步骤3-2训练后的残差神经网络的残差层中；
[0074] 3-4更新参数：在步骤3-3的基础上，采用随机梯度下降的方式，更新网络权重值和偏移值；
[0075] 3-5重复训练：重复训练步骤3-3和3-4，损失函数loss不大于0.01时，停止训练，得到最终的残差神经网络，保存到计算机中；
[0076] 3-5测试分类效果：将测试样本集数据输入最终的残差神经网络，得到预测的类别；
[0077] 3-6结束外观缺陷分类。
[0078] 本实施例运用了8000张图片作为
数据库训练模型，将光伏外观图片分为七类。其中，当模型中的初始学习率为0.008-0.08时，模型分类准确率在90％以上，且不会发生过拟合现象；模型初始学习率(在3-1中初始化设置)为0.05时，模型分类准确率为94％。
[0079] 本发明利用
精度和召回率衡量网络性能：
[0080] 精度P、召回率R和F函数的定义分别为：
[0081]
[0082]
[0083]
[0084] 其中true positive表示真阳性，即标记为有缺陷的图像被正确检测；false positive表示
假阳性，即标记为良好的图像被错误地检测为有缺陷；false negative表示假阴性，即标记为有缺陷的图像被错误的检测为无缺陷。
[0085] 本实施例步骤3-4中随机梯度下降方式对目标函数J(W,b)求取最优解(w代表权重，b为偏移量)，α代表的是学习速率，其中关键步骤是运用反向传播算法计算偏导数，反向传播算法的具体步骤：
[0086] a.计算得到网络中所有的激活值和hW,b(x,y)(h表示输入x，y的整体损失函数loss)的值。
[0087] b.对于隐藏单元，基于第l+1层
节点残差的加权平均值计算 这些节点以 作为输入(·表示向量乘积运算符)，计算δ(nl)和δ(l)，其中 代表第l层的节点i对最终输出值的残差产生了多少影响，i的取值为1至该层的维度m； 表示最后一层的δi，l表示了模型的某一层，nl表示模型的总层数，本实施例中nl为32，δi代表网络产生的激活值与实际值之间的差距。
[0089] a.对于所有层l,令ΔW(l)＝0，Δb(l)＝0。
[0090] b.对于i＝1到m，计算 和 (x,y表示输入)
[0091] c.计算ΔW(l)和Δb(l)。
[0092] d.更新权重参数W(l)和b(l)：
[0093]
[0094]
[0095] 权重参数：
[0096]
[0097]
[0098] 步骤2-1，2-3中正则化的激活函数g(x)应用了Relu函数：
[0099] g(x)＝max(x,0)(x表示输入) (9)
[0100] 本发明未述及之处适用于现有技术。
