首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 输电线路绝缘子红外智能匹配识别与测距定位方法及系统

输电线路绝缘子红外智能匹配识别与测距定位方法及系统

阅读:62发布:2020-05-13

专利汇可以提供输电线路绝缘子红外智能匹配识别与测距定位方法及系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种输电线路绝缘子红外智能匹配识别与测距 定位 方法及系统,包括利用已训练完成的 卷积神经网络 进行绝缘子串目标自动识别;确认绝缘子目标后,通过 位置 - 姿态 外内环控制对绝缘子串目标进行 跟踪 定位;利用基于相似三 角 形原理的单目测距选择最佳拍摄距离;无人机与绝缘子串目标保持最佳拍摄距离进行安全距离预警。,下面是输电线路绝缘子红外智能匹配识别与测距定位方法及系统专利的具体信息内容。

1.输电线路绝缘子红外智能匹配识别与测距定位方法,其特征在于:包括以下步骤:
步骤1:采用已训练完成的卷积神经网络自动识别绝缘子串目标;
步骤2:采用位置-姿态外内环控制对绝缘子串目标进行跟踪定位;
步骤3:根据绝缘子串目标的位置,获取最佳拍摄距离;
步骤4:基于最佳拍摄距离,控制无人机对绝缘子串目标进行安全距离预警。
2.根据权利要求1所述的输电线路绝缘子红外智能匹配识别与测距定位方法,其特征在于:所述步骤1中的卷积神经网络的训练步骤为:
构建卷积神经网络;
采用图像数据库对卷积神经网络进行预训练,收敛后,将卷积神经网络最后一层修改为C=3,分别代表绝缘子串、背景,杆塔3类目标;
利用输电线路图像库进行二次训练,在训练过程中采用启发式方法,在当前学习速率下,若验证集错误率不变,则将学习速率减小至当前的1/10,直至收敛,得到训练完成的卷积神经网络。
3.根据权利要求2所述的输电线路绝缘子红外智能匹配识别与测距定位方法,其特征在于:所述图像数据库为Cifar-100图像数据库;
所述输电线路图像库的选取包括以下步骤:
采用无人机对输电线路进行航拍,获取具有绝缘子串的图像;
对图像中的背景、杆塔、绝缘子串3类区域进行标注;
对图像进行分,得到图像块;
对图像块进行旋转、平移、尺度的变换,扩展样本数量,得到输电线路图像库。
4.根据权利要求2所述的输电线路绝缘子红外智能匹配识别与测距定位方法,其特征在于:所述卷积神经网络以图片为输入,以图片的类别标签为输出,表示如下:
c=FCNN(s|P),c∈{1,2,...,C}
式中,s为输入图片,P为卷积神经网络的参数,c为图片的输出类别标签,FCNN()表示卷积神经网络前向运算。
5.根据权利要求1所述的输电线路绝缘子红外智能匹配识别与测距定位方法,其特征在于:所述位置-姿态外内环控制以世界坐标系中无人机的平位移(xd,yd)作为输入,具体包括:外环位置控制采用PI控制器得到内环姿态控制的期望度,内环姿态控制根据期望角度得到最终的控制量U;
所述世界坐标系中无人机的水平位移(xd,yd)由图像平面内绝缘子串目标的跟踪误差ec得到,所述跟踪误差ec表示为:
式中, 和cp分别为图像视野中心像素坐标和目标中心像素坐标;
所述PI控制器得到高度控制律U1及内环姿态控制的期望角度φd和θd:
式中,U1表示电机总升,μ=[μx,μy,μz]T为虚拟控制量,φd,θd,ψd分别为无人机的滚转角、俯仰角和偏航角;
所述内环姿态控制采用LQR控制,得到控制律U2,控制律U3,控制律U4;
U=[U1,U2,U3,U4]T构成无人机的控制输入。
6.根据权利要求1所述的输电线路绝缘子红外智能匹配识别与测距定位方法,其特征在于:所述步骤3具体为:
根据绝缘子串目标的位置,得到航拍视频中绝缘子串目标宽度所占像素;
根据已知的单个绝缘子的直径、无人机机载摄像头的焦距和绝缘子串目标宽度所占像素,基于相似三角形原理计算得到目标绝缘子串与无人机的距离D:
式中,f为无人机机载摄像头的焦距,H表示单个绝缘子的实际直径,h表示绝缘子在成像中直径所占像素。
7.根据权利要求6所述的输电线路绝缘子红外智能匹配识别与测距定位方法,其特征在于:所述获取无人机机载摄像头的焦距的步骤为:
将无人机机载摄像头置于固定位置,通过变换标定物的方位,获取多张不同角度的标定图像,利用MATLAB中的摄像机标定程序对标定图像进行批处理,将其读入摄像头标定工具箱中,根据张氏平面标定法得到无人机机载摄像头的焦距f。
8.基于权利要求1至7任意一项所述的一种输电线路绝缘子红外智能匹配识别与测距定位方法的系统,其特征在于:包括
卷积神经网络模块,用于对绝缘子串目标进行自动识别;
位置-姿态外内环控制模块,用于对识别后的绝缘子串目标进行跟踪定位;
测距模块,用于计算得到无人机与绝缘子串目标之间的最佳拍摄距离;
无人机,用于根据测距模块得到的最佳拍摄距离,与绝缘子串目标保持最佳拍摄距离进行安全距离预警。
9.根据权利要求8所述的系统,其特征在于:所述卷积神经网络模块包括1层输入层、3层卷积/池化层和1个全连接输出层;所述输入层输入为归一化的RGB三通道的图片,所述卷积/池化层的每一层卷积核的通道数分别由前一层输出的通道数决定,池化均采用最大值池化,所述全连接层神经元个数与输出类别数相同,表示如下:
c=FCNN(s|P),c∈{1,2,...,C}
式中,s为输入图片,P为卷积神经网络的参数,c为图片的输出类别标签,FCNN()表示卷积神经网络前向运算。
10.根据权利要求8所述的系统,其特征在于:所述位置-姿态外内环控制模块包括外环位置控制器和内环姿态控制器,所述外环位置控制器得到内环姿态控制器的期望角度,内环姿态控制器根据期望角度得到最终的控制量U,该最终的控制量U构成无人机的控制输入;具体为:
由外环位置控制器直接得到高度控制律U1及内环姿态控制器的期望角度φd和θd:
式中,U1表示电机总升力,μ=[μx,μy,μz]T为虚拟控制量,φd,θd,ψd分别为无人机的滚转角、俯仰角和偏航角;
所述内环姿态控制器采用LQR控制,得到控制律U2,U3,U4;
得到最终的控制量U=[U1,U2,U3,U4]T构成无人机的控制输入。
11.根据权利要求8所述的系统,其特征在于:所述测距模块为基于相似三角形原理计算得到目标绝缘子串与无人机的距离D:
式中,f为无人机机载摄像头的焦距,H表示单个绝缘子的实际直径,h表示绝缘子在成像中直径所占像素。
12.根据权利要求10所述的系统,其特征在于:所述外环位置控制器采用PI控制器。
13.根据权利要求8所述的系统,其特征在于:所述无人机为搭载有红外热像仪的无人机。

说明书全文

输电线路绝缘子红外智能匹配识别与测距定位方法及系统

技术领域

[0001] 本发明涉及目标检测与人工智能交叉技术领域,具体是一种输电线路绝缘子串红外智能匹配识别与测距定位方法及系统。

背景技术

[0002] 绝缘子作为输电线路上的重要组成部分,其运行状况和优劣程度直接关系到电网稳定性和安全性,针对绝缘子的不停电检测及故障诊断工作具有非常重要的意义。利用无人机搭载红外热像仪进行巡线是近年来兴起的现场非接触式检测方法,具有效率高、安全险小、成本低等优势,但是目前红外巡检尚存若干技术难题亟待解决。首先,架空输电线路往往位处偏僻,绝缘子串离地高度达数十米,无人机飞手只能结合肉眼眺望和遥控终端红外图像显示,凭借经验手动操作无人机接近绝缘子目标并进行拍摄。这种人工目标识别方式劳动强度较大,效率偏低。因此,如何实现绝缘子红外图像智能匹配识别技术成为首要问题。第二,无人机与目标绝缘子之间的拍摄距离非常关键。若距离过远,会使得拍摄效果不佳,对后期绝缘子图像分析不利;若距离过近,则存在着无人机撞线等安全隐患。在实际拍摄过程中,常常因为周围环境地形的复杂性和飞手视线度的限制,使得无人机操控难度非常大,安全距离不易保持。如何让无人机与目标绝缘子自动地保持最佳拍摄距离且进行安全距离预警成为了另一个重要问题。

发明内容

[0003] 发明目的:本发明针对现有技术存在的问题,提供了一种输电线路绝缘子串红外智能匹配识别与测距定位方法及系统。
[0004] 技术方案:本发明提供了一种输电线路绝缘子红外智能匹配识别与测距定位方法,包括以下步骤:
[0005] 步骤1:采用已训练完成的卷积神经网络自动识别绝缘子串目标;
[0006] 步骤2:采用位置-姿态外内环控制对绝缘子串目标进行跟踪定位;
[0007] 步骤3:根据绝缘子串目标的位置,获取最佳拍摄距离;
[0008] 步骤4:基于最佳拍摄距离,无人机对绝缘子串目标进行安全距离预警。
[0009] 进一步的,步骤1中的卷积神经网络的训练步骤为:
[0010] 构建卷积神经网络;
[0011] 采用图像数据库对卷积神经网络进行预训练,收敛后,将卷积神经网络最后一层修改为C=3,分别代表绝缘子串、背景,杆塔3类目标;
[0012] 利用输电线路图像库进行二次训练,在训练过程中采用启发式方法,在当前学习速率下,若验证集错误率不变,则将学习速率减小至当前的1/10,直至收敛,得到训练完成的卷积神经网络;
[0013] 所述图像数据库为Cifar-100图像数据库;所述输电线路图像库的选取包括以下步骤:
[0014] 采用无人机对输电线路进行航拍,获取具有绝缘子串的图像;
[0015] 对图像中的背景、杆塔、绝缘子串3类区域进行标注;
[0016] 对图像进行分,得到图像块;
[0017] 对图像块进行旋转、平移、尺度的变换,扩展样本数量,得到输电线路图像库。
[0018] 进一步的,所述卷积神经网络以图片为输入,以图片的类别标签为输出,表示如下:
[0019] c=FCNN(s|P),c∈{1,2,...,C}
[0020] 式中,s为输入图片,P为卷积神经网络的参数,c为图片的输出类别标签,FCNN()表示卷积神经网络前向运算,表示根据已知卷积神经网络的参数P,计算图片s的类别标签;
[0021] 进一步的,所述位置-姿态外内环控制以世界坐标系中无人机的平位移(xd,yd)作为输入,具体包括:外环位置控制采用PI控制器得到内环姿态控制的期望角度,内环姿态控制根据期望角度得到最终的控制量U;
[0022] 所述世界坐标系中无人机的水平位移(xd,yd)由图像平面内绝缘子串目标的跟踪误差ec得到,所述跟踪误差ec表示为:
[0023]
[0024] 式中, 和cp分别为图像视野中心像素坐标和目标中心像素坐标;
[0025] 所述PI控制器得到高度控制律U1及内环姿态控制的期望角度φd和θd:
[0026]
[0027] 式中,U1表示电机总升,μ=[μx,μy,μz]T为虚拟控制量,φd,θd,ψd分别为无人机的滚转角、俯仰角和偏航角;
[0028] 所述内环姿态控制采用LQR控制,得到控制律U2,控制律U3,控制律U4;
[0029] U=[U1,U2,U3,U4]T构成无人机的控制输入。
[0030] 进一步的,所述步骤3具体为:
[0031] 根据绝缘子串目标的位置,得到航拍视频中绝缘子串目标宽度所占像素;
[0032] 根据已知的单个绝缘子的直径、无人机机载摄像头的焦距和绝缘子串目标宽度所占像素,基于相似三角形原理计算得到目标绝缘子串与无人机的距离D:
[0033]
[0034] 式中,f为无人机机载摄像头的焦距,H表示单个绝缘子的实际直径,h表示绝缘子在成像中直径所占像素。
[0035] 进一步的,所述获取无人机机载摄像头的焦距的步骤为:
[0036] 将无人机机载摄像头置于固定位置,通过变换标定物的方位,获取多张不同角度的标定图像,利用MATLAB中的摄像机标定程序对标定图像进行批处理,将其读入摄像头标定工具箱中,根据张氏平面标定法得到无人机机载摄像头的焦距f。
[0037] 本发明还提供了一种输电线路绝缘子自动匹配识别与测距定位系统,包括:
[0038] 卷积神经网络模块,用于对绝缘子串目标进行自动识别;
[0039] 位置-姿态外内环控制模块,用于对识别后的绝缘子串目标进行跟踪定位;
[0040] 测距模块,用于计算得到无人机与当前跟踪定位的绝缘子串目标之间的最佳拍摄距离;
[0041] 无人机,用于根据测距模块得到的最佳拍摄距离,与绝缘子串目标保持最佳拍摄距离进行安全距离预警。
[0042] 进一步的,所述卷积神经网络模块包括1层输入层、3层卷积/池化层和1个全连接输出层;所述输入层输入为归一化的RGB三通道的图片,所述卷积/池化层的每一层卷积核的通道数分别由前一层输出的通道数决定,池化均采用最大值池化,所述全连接层神经元个数与输出类别数相同,表示如下:
[0043] c=FCNN(s|P),c∈{1,2,...,C}
[0044] 式中,s为输入图片,P为卷积神经网络的参数,c为图片的输出类别标签,FCNN()表示卷积神经网络前向运算,表示根据已知卷积神经网络的参数P,计算图片s的类别标签;
[0045] 所述卷积神经网络的训练过程为求解卷积神经网络的参数P的过程。
[0046] 进一步的,所述位置-姿态外内环控制模块包括外环位置控制器和内环姿态控制器,所述外环位置控制器得到内环姿态控制器的期望角度,内环姿态控制器根据期望角度得到最终的控制量U,该最终的控制量U构成无人机的控制输入;具体为:
[0047] 由外环位置控制器直接得到高度控制律U1及内环姿态控制器的期望角度φd和θd:
[0048]
[0049] 式中,U1表示电机总升力,μ=[μx,μy,μz]T为虚拟控制量,φd,θd,ψd分别为无人机的滚转角、俯仰角和偏航角。
[0050] 所述内环姿态控制器采用LQR控制,得到控制律U2,U3,U4;
[0051] 得到最终的控制量U=[U1,U2,U3,U4]T构成无人机的控制输入。
[0052] 进一步的,所述测距模块为基于相似三角形原理计算得到目标绝缘子串与无人机的距离D:
[0053]
[0054] 式中,f为无人机机载摄像头的焦距,H表示单个绝缘子的实际直径,h表示绝缘子在成像中直径所占像素。
[0055] 进一步的,所述外环位置控制器采用PI控制器。
[0056] 进一步的,所述无人机为搭载有红外热像仪的无人机。
[0057] 有益效果:本发明与现有技术相比,本发明不仅可以提高无人机红外航拍的安全性和智能化水平,还可以提高成像质量和航拍效率,具有非常重要的现实意义。附图说明
[0058] 图1为本发明的样本构造;
[0059] 图2为本发明的模型训练;
[0060] 图3为本发明的跟踪控制器整体结构;
[0061] 图4为本发明的相似三角形测距原理。

具体实施方式

[0062] 本发明的基本思想为:卷积神经网络算法通过收集大量训练数据,在训练过程中加入特殊的训练技巧防止过拟合,使得其在计算机视觉领域的分类与识别准确率大大超越传统算法,能够实现目标的精准识别;而位置-姿态的外内环控制器实现了让目标始终处于机载相机的视野中心位置;基于相似三角形的单目测距模块可以实时测量出相机与目标的距离。
[0063] 实施例
[0064] 本实施例基于上述原理,首先利用卷积神经网络进行绝缘子的自动识别,再通过外内环控制器进行绝缘子串的跟踪定位,最后利用基于相似三角形原理的单目测距模块进行最佳拍摄距离的选择,且当无人机与目标距离小于安全距离时,遥控器将产生报警信号。具体步骤如下:
[0065] 1.样本的选取和标注
[0066] 如图1所示,首先利用无人机对输电线路进行航拍,采集大量包含绝缘子串的图像库,对原始图像中的背景、杆塔、绝缘子串3类区域以人工方式用多边框标记。完成目标标注后,对图像进行分块,依次对上述分类指定类别标签:绝缘子串-1、背景-2、杆塔-3。为保证CNN网络的泛化性,对图像块进行旋转、平移、尺度的变换,扩展样本的数量。
[0067] 2.卷积神经网络结构设计
[0068] 根据AlexNet模型,将卷积神经网络设计为5层,分别为1个输入层、3个卷积/池化层和一个全连接输出层。输入为归一化的、大小为64×64、RGB三通道的图片;3个卷积核的大小分别为11×11、7×7和5×5,每一层卷积核的通道数分别由前一层输出的通道数决定,即分别为3、64和128,池化均采用最大值池化,且窗口大小均为2×2;全连接层神经元个数与输出类别数相同,在此C代表网络输出标签的个数,通常定义输出值为集合{1,2,…,C}中元素。因此,整个卷积神经网络可以看成为一个内部带参数的黑盒,输入为相同大小的图片,输出为图片的类别标签,即c=FCNN(s|P),c∈{1,2,...,C},式中s为输入图片,P为神经网络模型的参数,c为图像的输出类别标签,FCNN()表示深度卷积神经网络前向运算,即已知模型参数P,计算图片s的类别标签。
[0069] 3.模型训练
[0070] 如图2所示,神经网络的学习过程即求解模型参数P的过程。定义C=100,即100类输出类别,采用Cifar-100图像数据库进行初步训练。算法收敛后,将模型最后一层改为C=3,分别代表绝缘子串、背景,杆塔3类目标。然后利用输电线路图像库进行训练,直至收敛。
利用Cifar-100图像数据库训练得到的特征提取参数可转化为输电线路图像的特征提取参数。在此基础上进行网络参数调优,有效避免了过拟合现象。定义好网络结构后,采用梯度下降法训练神经网络模型参数,训练过程由Caffe完成。预训练阶段的学习参数为:
[0071] (1)训练数据分块(Batch)大小为128。
[0072] (2)所有权值都初始化为均值为0,标准差为0.01的高斯噪声。
[0073] (3)系数动量(momentum)为0.9,权值衰减系数为0.0005。
[0074] (4)对于第2、3、4卷积层和全连接层的神经元偏置,初始化为1,第1层的神经元偏置初始化为0。
[0075] (5)每一层的学习速率保持一致,初始学习速率是0.01。在训练过程中采用启发式方法:在当前学习速率下,如果验证集错误率不变,则将学习速率减小至当前的1/10,最终算法收敛得到网络的模型参数P。至此,卷积神经网络模型训练完成,实现了绝缘子串的定位。
[0076] 4.位置-姿态外内环跟踪器设计
[0077] 将无人机视为刚体,根据无人机在世界坐标系下的力平衡方程和机体坐标系下的力矩平衡方程,得到无人机的数学模型为
[0078]
[0079] 式中,η=[φ,θ,ψ]T为无人机的滚转角、俯仰角和偏航角;ξ=[x,y,z]T为无人机在世界坐标系下的坐标位置;I=diag[Ix,Iy,Iz]为无人机沿机体坐标系3个坐标轴的惯性矩阵;m为无人机的质量,d为机体中心到电机轴心的距离,K为阻力系数。
[0080] 无人机的控制输入U=[U1,U2,U3,U4]T为
[0081]
[0082] 式中Fi=1,...4为4个电机产生的升力。
[0083] 安装在无人机中央下方平台上的无线相机实时捕获图像,通过目标的像素位置计算得到无人机与目标的水平位移。由摄影几何学知识,目标在图像平面的像素位置(ui,vi)和目标与无人机的水平位移(x,y)之间的坐标变换关系可表示为
[0084]
[0085] 式中,z为无人机飞行高度,f为相机焦距,β为摄像机俯仰角,α为物像两点连线与相机光轴所成角度,(u0,v0)为图像中心点像素坐标。
[0086] 为保证无人机有效跟踪目标,设计位置-姿态的外内环控制器,具体参考图3。外环根据位置参考值[xd,yd,zd]T得到内环姿态的期望角度φd和θd,其中位置参考值[xd,yd,zd]T表示无人机与目标实际的空间位移。内环根据期望角度得到最终的控制量U。为此,引入虚拟控制量μ=[μx,μy,μz]T,并由外环位置控制器计算得到:
[0087]
[0088] 由外环位置控制器直接得到高度控制律U1及内环姿态的期望角度φd和θd:
[0089]
[0090] 内环姿态控制采用LQR控制。外环位置控制设计PI控制器:
[0091]
[0092] 为保证无人机跟随地面目标运动,要确保目标始终位于机载相机所得到的图像序列的中心位置附近。在图像平面内目标的跟踪误差ec为:
[0093]
[0094] 式中, 和cp分别为图像视野中心像素坐标和目标中心像素坐标。由ec得到世界坐标系中目标无人机的水平位移(xd,yd)作为位置-姿态外内环跟踪器的输入。
[0095] 5.机载摄像头的标定
[0096] 打印10*10棋盘格作为标定物,每个棋盘格大小为25mm*25mm,将机载摄像头置于固定位置,不断变换棋盘格板的方位,连续拍摄20张不同角度的标定图像,利用MATLAB中的摄像机标定程序对图像进行批处理,将其读入摄像头标定工具箱中,根据张氏平面标定法得到摄像头的焦距f。再将单个绝缘子置于摄像头同一水平位置3米处,拍摄得到一张照片,记录绝缘子实际盘面直径H与图像中的直径距离h。
[0097] 6.绝缘子串的测距
[0098] 如图4所示,根据提前测量好的单个绝缘子的直径、标定程序得到的机载摄像头的焦距,以及航拍中得到绝缘子串宽度所占像素,利用相似三角形原理计算得到目标绝缘子串与无人机的距离:
[0099]
[0100] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0101] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0102] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0103] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0104] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈