技术领域
[0001] 本
发明涉及电
力巡检技术领域，尤其涉及一种基于无人机双目视觉的输电线路覆冰厚度测量方法。
背景技术
[0002] 输电线路覆冰现象在输变电系统中十分普遍，覆冰会引起
导线舞动、杆塔倾斜倒塌、断线及绝缘子闪络等问题，给生产和生活带来极大的不便，同时也造成了巨大的经济损失。输电线路在设计时，会依据输电线路所处
位置的
气候条件、历史观察数据及经验等，选取一定的
冗余度，制定输电线路覆冰允许厚度。我国作为世界上输电线路覆冰重灾国之一，输电线路冰灾事故频繁发生，完善的输电线路覆冰检测技术是其安全且稳定运行的保证，同时也是智能
电网建设的重要组成，输电线路覆冰检测最基本的检测内容是对覆冰厚度的检测，然后将检测到的覆冰厚度和设计允许厚度进行比较，从而判断出输电线路是否处于安全范围内。
[0003] 相关技术中，常采用量器具检测法、荷重检测法、导线倾
角-弧垂法等对输电线路进行覆冰检测。量器具检测法在上世纪70年代前一直采用，主要是在观冰站架设的冰凌监视模拟线上进行，通过量器具手动人工测量，然后计算出覆冰厚度。荷重检测法是先称取一段导线上的覆冰
质量,折算出单位长度导线上的覆冰质量,再用设计时所用计算公式算出导线的平均等值覆冰厚度。导线倾角-弧垂法是在导线上安装倾角
传感器，监测导线倾角、弧垂的变化，通过输电线路
状态方程计算出导线的覆冰重量和厚度等参数。
[0004] 然而，在相关技术中，量器具检测法、荷重检测法、导线倾角-弧垂法等方法易受环境、人工成本和时间成本等因素的影响，造成测量不方便，从而导致测量不准确，影响电网灾情应急响应的时效性。
发明内容
[0005] 为克服相关技术中存在的问题，本发明提供一种基于无人机双目视觉的输电线路覆冰厚度测量方法，以解决
现有技术中输电线路覆冰厚度测量不准确的问题。
[0006] 为了解决上述技术问题，本发明
实施例公开了如下技术方案：
[0007] 本
申请公开了一种基于无人机双目视觉的输电线路覆冰厚度测量方法，包括：
[0008] 获取无人机双目视觉航拍图像，其中，所述航拍图像包括左、右两幅航拍图像；
[0009] 对所述左、右两幅航拍图像进行尺度不变特征变换SIFT特征点匹配；
[0010] 判断所述特征点是否充分；
[0011] 如果所述SIFT特征点充分，则根据所述SIFT特征点进行三角测量计算，获得被测物体点的三维空间坐标；
[0012] 如果所述SIFT特征点不充分，则人工添加SIFT特征点，根据所述SIFT特征点和人工添加的SIFT特征点进行三角测量计算，获得被测物体点的三维空间坐标；
[0013] 根据所述三维空间坐标，结合无人机
定位定姿系统信息和
云台
姿态信息，获得航拍图像位置坐标，其中，所述航拍图像位置坐标为所述左、右两幅航拍图像中物体所在的地理坐标；
[0014] 对所述航拍图像进行图像比率Ratio
边缘检测，获得线状边缘；
[0015] 对所述线状边缘进行Hough直线提取，获得所述线状边缘中的直线；
[0016] 对所述线状边缘中直线进行导线筛选，获得导线边缘；
[0017] 根据所述导线边缘进行覆冰识别，标出覆冰区域；
[0018] 根据所述覆冰区域进行覆冰厚度测量特征点选取；
[0019] 根据所述航拍图像位置坐标和所述覆冰厚度测量特征点进行覆冰厚度值计算。
[0020] 可选地，所述对所述航拍图像进行SIFT特征点匹配包括：
[0021] 计算所述航拍图像的SIFT特征点；
[0022] 建立DOG尺度空间金字塔，对所述SIFT特征点进行极值检测；
[0023] 根据所述极值检测的结果精确定位所述SIFT特征点位置和所述SIFT特征点所在尺度；
[0024] 根据精确定位的所述SIFT特征点位置和所述SIFT特征点所在尺度，计算SIFT
特征向量；
[0025] 根据所述SIFT特征向量进行特征匹配，其中，所述特征匹配为自动特征匹配。
[0026] 可选地，所述根据精确定位的所述SIFT特征点位置和所述SIFT特征点所在尺度，计算SIFT特征向量包括：
[0027] 根据精确定位的所述SIFT特征点位置，利用SIFT特征点邻域
像素的梯度方向分布特征为每个SIFT特征点确定方向参数；
[0028] 根据精确定位的所述SIFT特征点位置为中心取8×8的窗口计算SIFT特征向量。
[0029] 可选地，所述SIFT特征向量包含的数据有：位置、尺度、方向和SIFT描述子。
[0030] 可选地，所述判断所述特征点是否充分包括：
[0031] 获取自动特征匹配的所述SIFT特征点数量；
[0032] 将自动特征匹配的所述SIFT特征点数量与预设值比较；
[0033] 如果自动特征匹配的所述SIFT特征点数量小于所述预设值，则认为所述SIFT特征点不充分；
[0034] 如果自动特征匹配的所述SIFT特征点数量大于或等于所述预设值，则认为所述SIFT特征点充分。
[0035] 可选地，所述人工添加特征点包括：
[0036] 选取所述左、右两幅航拍图像中的同名点，获取所述同名点的坐标；
[0037] 将所述同名点的坐标人工添加匹配，其中，所述同名点为所述左、右两幅航拍图像中不同角度或位置拍摄到的同一物体的像素点。
[0038] 可选地，所述三角测量计算的数学模型为：
[0039]
[0040] 其中，f1、f2为左、右两相机焦距，Xi、Yi为所述航拍图像中的图像坐标，r为旋转矩阵，t为平移矩阵。
[0041] 可选地，所述对所述直线进行导线筛选，获得导线边缘包括：
[0042] 判断是否有大于等于两条直线与待检测直线平行；
[0043] 如果没有大于等于两条直线与待检测直线平行，则待检测直线不为导线；
[0044] 如果有大于等于两条直线与待检测直线平行，则判断待检测直线长度是否小于所述航拍图像长度；
[0045] 如果待检测直线小于所述航拍图像长度，则待检测直线不为导线；
[0046] 如果待检测直线不小于所述航拍图像长度，则待检测直线为导线。
[0047] 可选地，所述根据所述导线边缘进行覆冰识别，标出覆冰区域包括：
[0048] 获取所述航拍图像上所述导线的
颜色和
亮度；
[0049] 将所述颜色和亮度与未覆冰导线的颜色和亮度进行比较；
[0050] 如果所述颜色和亮度与未覆冰导线的颜色和亮度相同，则导线未覆冰，不进行覆冰标记；
[0051] 如果所述颜色和亮度与未覆冰导线的颜色和亮度不相同，则导线覆冰，标出覆冰边缘，其中，所述覆冰边缘为图像Ratio边缘检测到的所述线状边缘。
[0052] 可选地，所述根据所述覆冰区域进行覆冰厚度测量特征点选取包括：
[0053] 获取所述覆冰边缘的位置；
[0054] 选取所述覆冰边缘一侧上的任一点；
[0055] 选取所述覆冰边缘另一侧上与所述任一点沿直线相对的点。
[0056] 本发明的实施例提供的技术方案可以包括以下有益效果：本发明实施公开的基于无人机双目视觉的输电线路覆冰厚度测量方法采用双目视觉技术获取左、右航拍图像，对左、右航拍图像进行SIFT特征点匹配、三角测量计算、Ratio边缘检测以及Hough变换等处理计算出导线的覆冰厚度，能够解决现有技术中由于环境因素影响、人工成本和时间成本高，测量不方便导致的输电线路覆冰厚度测量不准确的问题，有效提高电网灾情应急响应的时效性。
[0057] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
[0058] 此处的附图被并入
说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0059] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0060] 图1为本发明实施例提供的一种基于无人机双目视觉的输电线路覆冰厚度测量方法
流程图；
[0061] 图2为本发明实施例提供的一种基于无人机双目视觉的输电线路覆冰厚度测量方法的双目视觉三维坐标测量模型；
[0062] 图3为本发明实施例提供的一种基于无人机双目视觉的输电线路覆冰厚度测量方法的Ratio算子模型。
具体实施方式
[0063] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附
权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0064] 图1是一种基于无人机双目视觉的输电线路覆冰厚度测量方法流程图，如图1所示，所述基于无人机双目视觉的输电线路覆冰厚度测量方法包括：
[0065] 获取无人机双目视觉航拍图像，其中，所述航拍图像包括左、右两幅航拍图像；
[0066] 对所述左、右两幅航拍图像进行SIFT特征点匹配；
[0067] 判断所述特征点是否充分；
[0068] 如果所述SIFT特征点充分，则根据所述SIFT特征点进行三角测量计算，获得被测物体点的三维空间坐标；
[0069] 如果所述SIFT特征点不充分，则人工添加SIFT特征点，根据所述SIFT特征点和人工添加的SIFT特征点进行三角测量计算，获得被测物体点的三维空间坐标；
[0070] 根据所述三维空间坐标，结合无人机定位定姿系统信息和云台姿态信息，获得航拍图像位置坐标，其中，所述航拍图像位置坐标为所述左、右两幅航拍图像中物体所在的地理坐标；
[0071] 对所述航拍图像进行图像Ratio边缘检测，获得线状边缘；
[0072] 对所述线状边缘进行Hough直线提取，获得所述线状边缘中的直线；
[0073] 对所述线状边缘中直线进行导线筛选，获得导线边缘；
[0074] 根据所述导线边缘进行覆冰识别，标出覆冰区域；
[0075] 根据所述覆冰区域进行覆冰厚度测量特征点选取；
[0076] 根据所述航拍图像位置坐标和所述覆冰厚度测量特征点进行覆冰厚度值计算。
[0077] 如图1所述的基于无人机双目视觉的输电线路覆冰厚度测量方法，具体实施方法如下：
[0078] 利用无人机搭载两个不同焦距的可见光相机，两相机同光轴，且光轴与纵轴夹角相等,相机焦距分别为35mm和105mm，其中，35mm焦距相机视场大，用于寻找和对准输电线路导线，105mm焦距相机清晰度高，用于检测和识别导线覆冰，无人机对两相机的控制同步。无人机在距输电线路40-100米的距离沿规划航线飞行，飞行速度和拍摄
频率保证航拍图像的航向、旁向重叠度大于60％，记录存储无人机飞行过程中的POS数据及飞机姿态信息，完成无人机双目视觉航拍数据的采集。
[0079] 选择所要测量覆冰的含杆塔和导线双目视觉航拍的图像，首先对图像进行相应的预处理，在图像对中分别计算SIFT特征点，由于航拍图像
分辨率高，景深较深，图像中背景占比重大，而导线所占比重少，故选择建立DOG(Difference of Gaussian，DOG，高斯函数的差分)尺度空间金字塔，具体建立方法如下：
[0080] 在不同的尺度参数σ连续变化时，G(x,y,σ)构成图像的尺度空间，对于二维图像I(x,y)，在不同尺度下的尺度空间表示L(x,y,σ)可由图像I(x,y)与高斯核G(x,y,σ)的卷积得到：
[0081] L(x,y,σ)＝G(x,y,σ)＝G(x,y,σ)*I(x,y)，
[0082] 其中，L表示尺度空间，(x,y)代表I上的点，σ是尺度因子，其值越大则表征该图像被平滑得越大；其值越小则表征该图像被平滑得越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。因此，选择合适的尺度因子平滑是建立尺度空间的关键。
[0083] 建立高斯金字塔：为了得到在不同尺度空间下的稳定特征点，将图像I(x,y)与不同尺度空间因子下的高斯核G(x,y,σ)进行卷积操作，构成高斯金字塔。
[0084] 建立DOG尺度空间金字塔：DOG即相邻两尺度空间函数之差，用D(x,y,σ)来表示，公式如下所述：
[0085] G(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)[0086] DOG金字塔通过高斯金字塔中相邻尺度空间函数相减即可。
[0087] 在上述建立的DOG尺度空间金字塔中，为了检测到DOG空间的最大值和最小值，DOG尺度空间中，
中间层(最底层和最顶层除外)的每个像素点需要跟同一层的8个相邻像素点以及它上一层和下一层的9个相邻像素点总共26个相邻像素点进行比较，以确保在尺度空间和二维
图像空间都检测到局部极值。
[0088] 去除
对比度低的点和不稳定的边缘点从而精确确定特征点所在的位置和尺度，利用特征点邻域像素的梯度方向分布特性为每个特征点制定方向参数，使算子具有旋转不变性，以特征点为中心取8×8的窗口计算SIFT特征向量，进行特征匹配，其中，一个特征点的SIFT特征向量包含的数据有：位置、尺度、方向和SIFT描述子。如果特征点太少，需要进行人工选取特征点，保证特征匹配
精度，即选取所述左、右两幅航拍图像中的同名点，获取所述同名点的坐标，将所述同名点的坐标人工添加匹配，其中，所述同名点为所述左、右两幅航拍图像中不同角度或位置拍摄到的同一物体的像素点。
[0089] 然后根据所述SIFT特征点和人工添加的SIFT特征点进行三角测量计算，获得被测物体点的三维空间坐标，具体计算方式如下：
[0090] 如图2所示的一种基于无人机双目视觉的输电线路覆冰厚度测量方法的双目视觉三维坐标测量模型，设左相机位于传感器测量坐标o-x1y1z1的原点处且无旋转，图像
坐标系为O1X1Y1,有效焦距为f1；右相机坐标系为o-x2y2z2，图像坐标系为O2X2Y2,有效焦距为f2，由相机透视变换模型有：
[0091]
[0092]
[0093] 而测量坐标系o-xyz与o-x1y1z1坐标系之间的相互关系空间变换矩阵M12表示为：
[0094]
[0095] 其中，R，T分别为o-xyz坐标系与o-x1y1z1坐标系之间的旋转矩阵和原点之间的平移变换矢量，则传感器测量坐标系表示的空间点与两相机像面点间的对应关系为：
[0096]
[0097] 于是，双目视觉传感器三维坐标测量的数学模型可以表示为：
[0098]
[0099] 已知焦距f1、f2和空间点在左右相机中的图像坐标，只要求出旋转矩阵R和平移矢量T就可以得到被测物体点的三维空间坐标。
[0100] 某一物体点的图像坐标系下的坐标尺度信息是随机的，通过两个被测物体点得到的空间坐标，再利用飞机姿态和云台姿态信息能够解算得到两个被测物体点的相对位置关系。
[0101] 根据飞机的姿态信息和云台的姿态信息，能够计算出相机在拍摄左片时相对于大地坐标系的旋转矩阵，通过旋转矩阵能够解算出两个被测物体点构成的向量在大地坐标系下的形式，如下：
[0102] 设飞机旋转矩阵为：
[0103]
[0104] 云台的旋转矩阵为：
[0105]
[0106] 则大地坐标到像空间辅助坐标系的旋转矩阵为：
[0107] R＝Rplane*Rplat
[0108] 设像空间辅助坐标系下的向量为：
[0109]
[0110] 则大地坐标系下的向量坐标为：
[0111]
[0112] 对所述航拍图像进行图像比率Ratio边缘检测，获得线状边缘，Ratio算子是Tupin等提出的基于统计模型的线条边缘检测
算法：给定一个包含n个像素的区域Ri，每个像素的灰度值为Pk，则区域Ri的平均灰度为 对于一定宽度，中心像素为x0的区域R1，其两边的区域为R2，R3，则检测在R1中过x0将两边分成相近大小的直线，以
水平为例，Ratio算子的模板如图3所示，在中心像素x0的邻域开一个矩形窗，并且划分出如图3所示的三个区域，分别判断R1和R2，R1和R3之间是否存在边缘，如果都存在，那么中心像素即被认为是直线上的点，Ratio算子的具体步骤表示如下：
[0113] 设区域R1、R2、R3的像素均值分别是μ1，μ2，μ3，定义区域i和j边缘检测响应函数rij：
[0114]
[0115] Ratio算子的线特征检测响应函数r：
[0116] r＝min(r12,r13)
[0117] 其中，r12和r13分别为区域R1、R2和区域R1、R3之间的均值比例响应，给定一个
阈值rth，当r大于该阈值时，认为此中心像素x0为直线上的像素点。
[0118] Ratio算子的第一个参数为模板的尺寸。导线的宽度基本在1到2个像素之间，由于森林、房屋、山脉等各种干扰的影响，使得复杂背景下导线像素点可能淹没在噪声之中，为了最大程度抑制噪声，需选择合适的Ratio算子模板尺寸，并考虑模板尺寸的增大对计算量的影响，实验测试可得Ratio算子模板尺寸的最佳大小为5×5。
[0119] Ratio算子的第二个参数为检测直线方向的数目。输电线路巡视过程中无人机沿着导线斜上方一定高度飞行，所拍摄到的图像中导线基本是水平的，根据此先验知识，可以只采用水平方向的Ratio算子模板进行线状边缘检测。
[0120] Ratio算子的第三个参数为阈值rth。由于红外图像的分辨率较低，背景复杂，难以选取一个固定的阈值求取边缘，因此rth要自适应图像。一般来说，导线是图像中线状特征最明显的区域，rth的计算：利用Ratio算子计算红外图像的线状边缘；求取
边缘图像的均值；令rth等于三倍的均值。
[0121] 对所述线状边缘进行Hough直线提取，获得所述线状边缘中的直线，Hough直线提取具体如下：
[0122] 二维空间的线段可用不同方式对其进行数学定量描述，给定一组点(xi,yi)(i＝1,2,...,n)，根据斜率和截距可拟合出一条直线L，即：
[0123] yi＝mxi+ci
[0124] 其中，m是直线L的斜率，c是直线L的截距，于是图像空间的直线L可以表示为参数空间(m,c)中的一个点，直线上的每一个点又可以表示为参数空间的一条直线。但是当L与y轴平行时，斜率无穷大，在参数空间无法表示，因此可以采用极坐标的形式表示直线，即[0125] xicosθ+yisinθ＝ρ
[0126] 其中，ρ是直角坐标系原点到直线L的距离，θ是直线与x轴的夹角。如此，经过Hough变换，图像空间的直线L在(ρ,θ)空间是一个点，而直线L上的点(xi,yi)在(ρ,θ)空间是一条正弦曲线，对于n个给定图像点的集合得到n条ρ-θ曲线，多数曲线相交于(ρ',θ')，则这些相交曲线对应的图像空间的点可以用直线L来拟合。如果在(ρ,θ)空间中存在j个参数曲线相交点，则这些交点对应着图像空间中的j条直线。
[0127] PPHT(累计概率Hough变换)是Hough变换的一种经典改进形式，可以设置线段的最小长度，同一直线两点之间的最大间隔，并获得直线的起止位置，因此，利用PPHT算法来拟合导线。
[0128] 对所述线状边缘中直线进行导线筛选，获得导线边缘，包括如下所述步骤：
[0129] 选取PPHT后角度在 的线段构成线段集M1；
[0130] 选取M1中长度最大的线段Lmax；
[0131] 在M1中进行线段连接：将斜率相同，截距相同，起止位置不同的两条线段连接成为同一斜率，同一截距的最长的线段，得到线段集M2；
[0132] 在M2中选取所有近似平行于Lmax的线段(角度差异在 以内)，认为是导线，并前后延长10个像素长度作为最后检测到的导线M3。
[0133] 根据所述导线边缘进行覆冰识别，标出覆冰区域包括：
[0134] 获取所述航拍图像上所述导线的颜色和亮度；
[0135] 将所述颜色和亮度与未覆冰导线的颜色和亮度进行比较；
[0136] 如果所述颜色和亮度与未覆冰导线的颜色和亮度相同，则导线未覆冰，不进行覆冰标记；
[0137] 如果所述颜色和亮度与未覆冰导线的颜色和亮度不相同，则导线覆冰，标出覆冰边缘，其中，覆冰边缘为图像Ratio边缘检测到的所述线状边缘。
[0138] 根据所述航拍图像位置坐标和所述覆冰厚度测量特征点进行覆冰厚度值计算：
[0139] 在两张航拍图片上，通过智能匹配或根据人工目视选择物体点，利用核线约束关系能够辅助人工选点；确定像空间辅助坐标系尺度；根据航拍照片对应的POS信息可以计算两张照片的拍摄点距离，利用该真实距离可以确定像空间辅助坐标系下两物体点之间的真实距离，该距离作为两点的净空距离，同时能够计算出两点之间的垂直距离和水平方向的距离，即导线的覆冰厚度。
[0140] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0141] 本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0142] 应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种
修改和改变。本发明的范围仅由所附的权利要求来限制。
