基于巡检机器人和Cascade RCNN算法的变压器外观缺陷识别
方法
技术领域
[0001] 本
发明涉及
图像识别领域，具体为基于巡检机器人和Cascade RCNN算法的变压器外观缺陷识别方法。
背景技术
[0002] 变电站设备数量众多，日常巡检常态化，人工巡检的工作内容单调，人
力投入大，巡检效率低，采用巡检机器人对变电站进行巡检，具有人工巡检的灵活性、智能性，同时也克服和弥补了人工巡检存在的一些不足，更适应智能变电站和无人值守变电站发展的实际需求，变电站智能巡检机器人具有“视觉”能力，通过头部安装的可见光成像装置采集变电站厂区的设备外观图像，并对存在缺陷的设备进行自动
跟踪、实时监控，运维人员通过远方客户端选择相应缺陷设备，设置缺陷跟踪任务，选择相应周期进行跟踪重复巡视；或控制机器人定点全天监视，来实现缺陷设备的数据实时采集，减轻人员工作量。
[0003] 变电站巡检运维方式由机器代替人的这种转变会带来一些问题，在机器人巡检过程中会产生大量的数据，与传统巡检采集数据不同的是，传统巡检数据是
电压、
电流等常规的结构化数据，而机器巡检带来的是图像、视频等数据，这是
电网在数据化过程中面临的一个挑战，利用传统的
图像处理和
模式识别方法在表计读数、油位状态读取上已经取得了不错的识别
精度，但对设备外观缺陷的智能化识别能力仍存在欠缺，其主要原因如下：
[0004] (1)因为变电站是个比较复杂的结构，厂区内设备数量众多，致使图像中的背景特征较难区分；
[0005] (2)存在类似轮廓的干扰，比如识别一个圆形表计，但背景中存在大量并非表计的圆形区域，容易引起误识别；
[0006] (3)传统算法对环境光线的适用性较差，尤其是在照度比较低，或逆光情况；
[0007] (4)人工设计特征对目标的表达能力不足，检测准确率较低。
发明内容
[0008] 本发明的目的在于提供基于巡检机器人和Cascade RCNN算法的变压器外观缺陷识别方法，以解决上述背景技术中提出的问题。
[0009] 为实现上述目的，本发明提供如下技术方案：基于巡检机器人和Cascade RCNN算法的变压器外观缺陷识别方法，包括以下步骤：
[0011] S2：制作图像本集，包括以下步骤：
[0012] S2-1：缺陷图像标注：
[0013] S2-2：数据清洗；
[0014] S2-3：数据增强，包括以下步骤：
[0015] S2-3-1：输入图像img；
[0016] S2-3-2：设定上限裁剪区域max；
[0017] S2-3-3：将待裁剪图像与上限裁剪区域的尺寸对比，包括宽度值、高度值；
[0018] S2-3-4：当满足待裁剪图像尺寸比上限裁剪区域大，则需要对图像进行裁剪，首先解析图像的xml标签文件中的object；
[0019] S2-3-5：寻找包围所有object的最小外接矩形；
[0020] S2-3-6：从原图中裁剪出最小外接矩形区域；
[0021] S2-3-7：计算最小外接矩形内各个object在新裁剪图像中的坐标，写入新裁剪图像的xml标签中；
[0022] S2-3-8：数据增强完成；
[0023] S2-4：将原始图像与增强后的图像分别进行图像缩放；
[0024] S2-5：将缩放后的原始图像与缩放后的裁剪图像合并，制作图像样本集，包括训练集和测试集，用于下述的模型训练和模型测试的步骤；
[0025] S3：利用训练集数据训练Cascade RCNN模型，并测试模型精度，包括以下步骤：
[0026] S3-1：选用Cascade RCNN目标检测算法进行变压器外观缺陷的识别；
[0027] S3-2：利用训练样本；
[0028] S3-3：训练得到模型；
[0029] S3-4：测试模型精度；
[0030] S3-5：判断模型是否符合巡检运维要求；
[0031] S4：将模型部署到巡检机器人集控平台上，包括以下步骤：
[0032] S4-1：巡检机器人可见光拍照；
[0034] S4-3：加载模型；
[0035] S4-4：图片推理；
[0036] S4-5：缺陷识别结果；
[0037] S4-6：web服务发至集控平台；
[0038] S4-7：巡检结果展示。
[0039] 优选的，在S1中，通过电站中的运维人员和工程师采用
照相机、手持终端、摄像头等工具对变压器的外观缺陷情况进行图像采集。
[0040] 优选的，在S1中，图像采集主要针对以下常见的物种缺陷类型：
[0041] (1)部件表面渗漏油污；
[0042] (2)部件表面金属锈蚀；
[0044] (4)呼吸器油位油封异常；
[0045] (5)主变区异物，包括挂空悬浮物和
鸟巢。
[0046] 优选的，在S2中，数据增强采用图像裁剪方式进行。
[0047] 优选的，在S3中，Cascade RCNN算法属于三阶段的级联检测算法，更适用于目标尺度差异大和存在小目标的情况，如变压器外观缺陷中渗漏油、呼吸器硅胶变色属于尺度差异较大的两种缺陷类型。
[0048] 优选的，在S3中，若模型尚不能符合巡检运维要求，如存在较高的漏检率和误检率，则需要对模型的超参数重新进行优化调整，并对模型重新进行训练，当模型指标能够满足国网运维要求时，可输出模型，并部署到巡检机器人远端服务器上。
[0049] 优选的，在S4中，智能巡检机器人采用可见光巡视功能，即在白天通过高清摄像机采集变压器设备的外观图像，主要用于巡检变压器区域内设备的外观状态。
[0050] 优选的，在S4中，变压器外观缺陷的识别结果可保存为巡检历史数据并生成报表，运维人员在运维主站根据机器人自动生成上传的缺陷报表就可掌握缺陷设备运行状况，并根据巡检机器人的告警信息，及时查看核对设备状态并汇报调度处理。
[0051] 与
现有技术相比，本发明的有益效果是：
人工智能和
深度学习技术的发展，为变电站设备外观缺陷的检测与识别提供了新的方式，利用深度学习的图像识别算法可基于大量数据建立深度学习模型，网络中海量的参数可以提高网络对图像高层特征的提取能力，对变电站多变性的目标设备的适应能力较强，变电站设备外观缺陷图像识别技术具有良好的应用价值和应用前景，可显著提升变电运维巡检效率和智能化
水平。
附图说明
[0053] 图2为本发明的基于Cascade RCNN算法的变压器外观缺陷图像采集及识别方法流程图；
[0054] 图3为本发明的图像裁剪方式进行数据增强的流程图；
[0055] 图4为本发明的外观缺陷图像识别和巡检结果展示流程图。
具体实施方式
[0056] 下面将对本发明
实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057] 请参阅图1至图4，本发明提供一种技术方案：基于巡检机器人和Cascade RCNN算法的变压器外观缺陷识别方法，具体如图1所示，包括以下步骤：
[0058] S1：图像采集；
[0059] 通过电站中的运维人员和工程师采用照相机、手持终端、摄像头等工具对变压器的外观缺陷情况进行图像采集；
[0060] 图像采集主要针对以下常见的物种缺陷类型：
[0061] (1)部件表面渗漏油污；
[0062] (2)部件表面金属锈蚀；
[0063] (3)呼吸器硅胶变色；
[0064] (4)呼吸器油位油封异常；
[0065] (5)主变区异物，包括挂空悬浮物和鸟巢
[0066] S2：制作图像本集，具体如图2所示，包括以下步骤：
[0067] S2-1：缺陷图像标注：
[0068] 因变压器上的缺陷形态复杂，缺陷图像样本的标注
质量直接影响图像的识别效果，应选取清晰可辨且焦距正确的图像进行标注，图像宜采用RGB三通道色彩模式，选用labelImg标图工具对图像进行标注，可以得到xml格式的标注文件；
[0069] S2-2：数据清洗；
[0070] 数据清洗目的在于，剔除不满足模型训练要求的图像，主要内容包括：图像扩展名JPG转换为jpg格式；剔除图像中不完整的缺陷标注，和缺陷主要特征被遮挡的标注；剔除缺陷目标边界框超出图像边界的标注等；
[0071] S2-3：数据增强，数据增强目的在于，扩充数据集，主要内容包括：变压器图像不满足上下反转不变性，对图像数据进行左右翻转；对变压器外观缺陷图像进行裁剪，具体如图3所示，包括以下步骤：
[0072] S2-3-1：输入图像img；
[0073] 输入一张带有标注xml文件的变压器外观缺陷图像；
[0074] S2-3-2：设定上限裁剪区域max；
[0075] 设定裁剪区域的上限尺寸，上限裁剪区域max的宽度max_w设置为800，高度max_h设置为600；
[0076] S2-3-3：将待裁剪图像与上限裁剪区域的尺寸对比，包括宽度值、高度值；
[0077] 当满足：img_w
[0078] S2-3-4：首先解析图像的xml标签文件中的object；
[0079] 解析图像标注xml文件中，缺陷目标object中的bndbox值，即确定标注文件中，每一个object在图像中的
位置；
[0080] S2-3-5：寻找包围所有object的最小外接矩形；
[0081] 根据一张图像中各个object在图像中的bndbox位置，求取能够包围所有object的最小外接矩形，作为下一步的图像裁剪区域；
[0082] S2-3-6：从原图中裁剪最小外接矩形区域；
[0083] 根据确定的图像裁剪区域，从原图中将区域内的小图像裁剪出来，且保证裁剪的外轮廓不超出图像的边界；
[0084] S2-3-7：计算最小外接矩形内各个object在新裁剪图像中的坐标，写入新裁剪图像的xml标签中；
[0085] 在得到的新裁剪图像中，重新计算各个object在新裁剪图像中的bndbox位置，计算各个object在新裁剪图像中的bndbox坐标位置，并写入一个新裁剪图像的xml标注文件中；
[0086] S2-3-8：数据增强完成；
[0087] S2-4：将原始图像与增强后的图像分别进行图像缩放；
[0088] 图像缩放目的在于，在不该样本集中图像宽高比的前提下，将图像缩放到一个设定尺寸以内，以提高模型的训练速度，且保证训练过程中不出现超GPU显存的情况；
[0089] S2-5：将缩放后的原始图像与缩放后的裁剪图像合并，制作图像样本集，包括训练集和测试集，用于下述的模型训练和模型测试的步骤；
[0090] 新的裁剪图像作为数据增强后的样本，与原始图像样本一起合并入样本集中，制作完成图像样本集，包括训练集和测试集；
[0091] S3：利用训练集数据训练Cascade RCNN模型，并测试模型精度，包括以下步骤：
[0092] S3-1：选用Cascade RCNN目标检测算法进行变压器外观缺陷的识别；
[0093] Cascade RCNN算法属于三阶段的级联检测算法，更适用于目标尺度差异大和存在小目标的情况，如变压器外观缺陷中渗漏油、呼吸器硅胶变色属于尺度差异较大的两种缺陷类型，采用该算法可以提高缺陷目标的召回率；
[0094] S3-2：利用训练样本；
[0095] 将训练样本数据送入模型开启训练，本发明具体实施例中，
硬件采用8
块GPU卡进行模型训练，GPU卡型号为NVIDIA RTX 2080Ti，每块GPU卡有12G显存，可以大大提高模型收敛速度；
[0096] S3-3：训练得到模型；
[0097] 绘
制模型在训练阶段的loss曲线，并且不断缩小学习率，当loss值不再收敛时，停止模型训练，得到能够识别变压器外观5类缺陷的Cascade RCNN目标检测模型；
[0098] S3-4：测试模型精度；
[0099] 利用测试样本集对模型的精度进行评估，输出每一类缺陷类型的精度值、召回率及ap值，用以衡量模型对5类变压器外观缺陷的检测精度及召回情况；
[0100] S3-5：判断模型是否符合巡检运维要求；
[0101] 利用测试样本集对模型的精度进行评估，输出每一类缺陷类型的精度值、召回率及ap值，用以衡量模型对5类变压器外观缺陷的检测精度及召回情况；
[0102] 若模型尚不能符合巡检运维要求，如存在较高的漏检率和误检率，则需要对模型的超参数重新进行优化调整，并对模型重新进行训练；
[0103] 当模型指标能够满足国网运维要求时，可输出模型，并部署到巡检机器人远端服务器上；
[0104] S4：将模型部署到巡检机器人集控平台上，具体如图4所示，包括以下步骤：
[0105] S4-1：巡检机器人可见光拍照；
[0106] 变电站的智能巡检机器人采用可见光巡视功能，即在白天通过高清摄像机采集变压器设备的外观图像，主要用于巡检变压器区域内设备的外观状态，例如部件表面渗漏油污、部件表面金属锈蚀、呼吸器硅胶变色、呼吸器油位油封异常、主变区异物，包括挂空悬浮物和鸟巢等内容；
[0107] S4-2：服务器端部署；
[0108] 变压器外观缺陷识别方法部署到国网运维部的服务器端，在服务器端部署算法模型的优势在于，可利用其强大的模型加载和推理能力；
[0109] S4-3：加载模型；
[0110] 在服务器端加载算法模型，载入模型的二进制权重参数；
[0111] S4-4：图片推理；
[0112] 当获取到巡检机器人拍摄的变压器外观图像时，对每一
帧图像执行实时的算法推理；
[0113] S4-5：缺陷识别结果；
[0114] 若巡检机器人拍摄的变压器外观图像中存在外观缺陷时，输出各个缺陷的类型和各缺陷在图像中的坐标位置；
[0115] S4-6：web服务发至集控平台；
[0116] 变压器外观缺陷的识别结果通过web服务方式实时发送到运维主站计算机的集控平台上；
[0117] S4-7：巡检结果展示，集控平台界面上展示出变压器外观缺陷的识别结果，根据变压器外观缺陷的严重程序，包括渗漏油迹的面积、金属锈蚀的锈蚀程度、呼吸器硅胶变色的异常程度等进行报警，变压器外观缺陷的识别结果可保存为巡检历史数据并生成报表，运维人员在运维主站根据机器人自动生成上传的缺陷报表就可掌握缺陷设备运行状况，并根据巡检机器人的告警信息，及时查看核对设备状态并汇报调度处理。
[0118] 本发明，通过人工智能和深度学习技术的发展，为变电站设备外观缺陷的检测与识别提供了新的方式，利用深度学习的图像识别算法可基于大量数据建立深度学习模型，网络中海量的参数可以提高网络对图像高层特征的提取能力，对变电站多变性的目标设备的适应能力较强，变电站设备外观缺陷图像识别技术具有良好的应用价值和应用前景，可显著提升变电运维巡检效率和智能化水平。
[0119] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、
修改、替换和变型，本发明的范围由所附
权利要求及其等同物限定。
