技术领域
[0001] 本
发明涉及一种基于航空图片的输电线识别方法，属于
图像处理和
模式识别技术领域。
背景技术
[0002] 随着
飞行器技术和电
力产业的发展，越来越多的图像数据通过各种巡线飞行器收集起来，实现可以代替人眼的智能自动监控功能，并将其应用于实际巡线系统中，成为视频监控和智能电力巡线领域共同研究的目标。
[0003] 输电线
位置信息作为输电线路的一项基本信息，在电力巡线中起着重要的作用。输电线自动识别系统可以广泛应用于野外巡线过程，实现飞行器自动导航与避障、输电线路故障监控区域选取等等。但是输电线视频
监控系统的应用中，由于摄像机搭载在飞行器之上，其拍摄场景和
视野较为广阔，因此输电线目标并不十分明显，与配电站固定视频监控拍摄的图像有较大差别；同时飞行器的飞行
姿态也会带来拍摄
角度的不确定，应用中需要考虑到监控场景中可能存在的复杂背景和多变的天气、光照等外界环境。
[0004] 经对
现有技术文献的检索发现，目前几乎所有的输电线检测方法仅仅通过人为规则来进行输电线之间的区分；诸如Z.R.Li等人于2010年发表在《Machine Vision and Applications(
机器视觉与应用)》的论文“Towards automatic power line detection for a UAV surveillance system using pulse coupled neural filterand an improved hough transform(利用脉冲耦合神经网络和改进的
霍夫变换实现无人机监视系统的自动电力线检测)”仅靠输电线之间的平行关系来去除误检线段，并判断输电线线段的归属。
发明内容
[0005] 本发明所要解决的技术问题是提供一种基于航空图片的输电线识别方法，针对航空图像进行处理，能够高效实现输电线位置的识别。
[0006] 本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于航空图片的输电线识别方法，用于针对包含输电线的目标航空图像，实现其中输电线的识别，包括如下步骤：
[0007] 步骤A.获取预设数量包含输电线的样本航空图像，并分别针对各幅样本航空图像，标记其中各输电线的序号、以及针对各输电线进行标记，然后进入步骤B；
[0008] 步骤B.分别针对各幅样本航空图像，根据其中输电线的标记，获得输电线位置
像素值为1、其余位置像素值为0的样本二值图，同时获得包含各输电线连线的样本灰度图，即获得各幅样本航空图像分别所对应的样本二值图与样本灰度图，然后进入步骤C；
[0009] 步骤C.以各幅样本航空图像、以及其所对应的样本二值图与样本灰度图作为输入，针对基于预设
卷积神经网络、所设计具有二值分割图与像素多维特征图两个分支输出的神经网络，进行样本训练，获得目标神经网络，然后进入步骤D；其中，二值分割图中输电线位置像素值为1、其余位置像素值为0；
[0010] 步骤D.应用目标神经网络，针对目标航空图像进行处理，获得目标航空图像所对应的二值分割图与像素多维特征图，然后进入步骤E；
[0011] 步骤E.根据目标航空图像所对应的二值分割图与像素多维特征图，基于像素的多维特征，针对其中输电线位置的全部像素进行聚类处理，即由各个聚类中的全部像素分别构成目标航空图像中的各根输电线，实现输电线识别。
[0012] 作为本发明的一种优选技术方案：还包括步骤F如下，执行完步骤E之后进入步骤F；
[0013] 步骤F.分别针对目标航空图像中的各根输电线，针对输电线位置上的各个像素，基于各像素在目标航空图像中的坐标位置，进行拟合，获得该输电线所对应的导航点，即获得目标航空图像中各根输电线分别所对应的导航点。
[0014] 作为本发明的一种优选技术方案：所述步骤F中，分别针对目标航空图像中的各根输电线，执行如下步骤F1至步骤F3，获得目标航空图像中各根输电线分别所对应的导航点；
[0015] 步骤F1.通过预设3阶多项式，针对输电线位置上全部像素坐标进行拟合，获得该输电线所对应的拟合函数；
[0016] 步骤F2.针对该输电线上各像素的坐标，获得x轴上的最小值、最大值，并计算该最小值与最大值之间的差值，作为x轴差值；以及获得y轴上的最小值、最大值，并计算该最小值与最大值之间的差值，作为y轴差值；然后由x轴差值、y轴差值中，选择最大差值所对应的轴作为
输入轴；
[0017] 步骤F3.按预设步长间隔选取输入轴上、对应该输电线位置上各像素的坐标，作为该输电线所对应拟合函数的输入，计算获得位于相对输入轴的另一轴上的坐标，即作为该输电线所对应的导航点。
[0018] 作为本发明的一种优选技术方案：所述步骤B中，获得样本航空图像所对应包含各输电线连线的样本灰度图中，各输电线位置上各像素点的灰度值按如下公式进行确定：
[0019]
[0020] 其中，1≤i≤I，I表示样本灰度图中输电线的数量，Vi表示样本航空图像中第i根输电线上像素点的灰度值，Imax表示所有样本航空图像中、单幅样本航空图像中输电线数量的最大值。
[0021] 作为本发明的一种优选技术方案：所述步骤C中，在针对所设计具有二值分割图与像素多维特征图两个分支输出的神经网络、进行样本训练过程中，按如下方式针对样本航空图像实现单次处理，获得单次处理所对应该神经网络的损失函数结果，进而实现以各幅样本航空图像、以及其所对应的样本二值图与样本灰度图作为输入，完成对设计神经网络的样本训练；
[0022] 首先应用该神经网络针对样本航空图像进行处理，获得该样本航空图像所对应的二值分割图与像素多维特征图后；然后进行该二值分割图与该样本航空图像所对应样本二值图之间分支损失函数的计算，以及进行该像素多维特征图与该样本航空图像所对应样本灰度图之间分支损失函数的计算；最后根据各分支损失函数结果，结合预设各分支损失函数权重，按加权方式计算获得该神经网络的损失函数结果。
[0023] 作为本发明的一种优选技术方案：所述基于应用该神经网络针对样本航空图像进行处理，获得该样本航空图像所对应的二值分割图与像素多维特征图后，采用交叉熵损失函数，进行该二值分割图与该样本航空图像所对应样本二值图之间分支损失函数的计算；以及采用判别损失函数，进行该像素多维特征图与该样本航空图像所对应样本灰度图之间分支损失函数的计算。
[0024] 作为本发明的一种优选技术方案：所述预设卷积神经网络为VGG16卷积神经网络。
[0025] 作为本发明的一种优选技术方案：所述步骤E中，根据目标航空图像所对应的二值分割图与像素多维特征图，基于像素的多维特征，应用Mean-Shift聚类
算法，针对其中输电线位置的全部像素进行聚类处理。
[0026] 本发明所述一种基于航空图片的输电线识别方法，采用以上技术方案与现有技术相比，具有以下技术效果：
[0027] 本发明所设计基于航空图片的输电线识别方法，针对智能电力巡线中利用视频监控系统采集线路信息的需要，利用
计算机视觉、图像处理、模式识别的相关技术，确定了航拍图片标注策略和自动化样本生成方法，利用多任务深度卷积神经网络，在实现输电线检测
基础的同时，也完成了输电线识别任务，给出不同输电线的导航点，具有精确度高、鲁棒性强、约束条件较少等优点；并且由于利用了多尺度深度信息特征，对外界的复杂环境具有很好的适应性，不必要求输电线路目标在图像中占明显位置和较大的比例，因此非常适合用于电力巡线视频监控系统中，如此使用多任务深度卷积神经网络等图像处理和模式识别技术，实现野外航拍图像中输电线的自动检测和识别，最终为智能巡线系统中提供一种新的
数据采集和环境
感知方式。
附图说明
[0028] 图1是本发明设计基于航空图片的输电线识别方法的流程示意图；
[0029] 图2是本发明设计基于航空图片的输电线识别方法中导航点生成的流程示意图。
具体实施方式
[0030] 下面结合
说明书附图对本发明的具体实施方式作进一步详细的说明。
[0031] 本发明设计了一种基于航空图片的输电线识别方法，用于针对包含输电线的目标航空图像，实现其中输电线的识别，实际应用当中，如图1所示，具体包括如下步骤。
[0032] 步骤A.获取预设数量包含输电线的样本航空图像，并分别针对各幅样本航空图像，标记其中各输电线的序号、以及针对各输电线进行标记，然后进入步骤B。
[0033] 上述步骤A实际应用中，利用525张野外环境下、由固定翼巡检无人机拍摄的输电线路图像，作为各幅样本航空图像，图像来源和
分辨率不限，诸如本
实施例当中图像的分辨率为4288*2848。
[0034] 步骤B.分别针对各幅样本航空图像，根据其中输电线的标记，获得输电线位置像素值为1、其余位置像素值为0的样本二值图，同时获得包含各输电线连线的样本灰度图，即获得各幅样本航空图像分别所对应的样本二值图与样本灰度图，然后进入步骤C。
[0035] 实际应用中，样本航空图像所对应包含各输电线连线的样本灰度图中，各输电线位置上各像素点的灰度值按如下公式进行确定：
[0036]
[0037] 其中，1≤i≤I，I表示样本灰度图中输电线的数量，Vi表示样本航空图像中第i根输电线上像素点的灰度值，Imax表示所有样本航空图像中、单幅样本航空图像中输电线数量的最大值。
[0038] 基于上述步骤A实际应用的实施例，上述步骤B中，利用标注工具沿输电线逐点标记，并利用标记记录的位置信息生成二值图和灰度图，具体如下。
[0039] 步骤B1.利用开源标注工具Labelme读入样本航空图像，并按一定顺序在图像中人工搜寻输电线，本例中按从左到右顺序,并对人眼所见的输电线给予编号i，1≤i≤I。并且由人工针对输电线进行逐点标记，标记数量大于3、并保证两两标记之间的连线落在输电线上，最后连接首尾两个标记，完成一次输电线标注任务。单幅样本航空图像中输电线标注任务数量由图像中人眼所见的输电线数量I决定。
[0040] 步骤B2.针对每幅样本航空图像，保存标注任务所标记的标记位置坐标，并按每条输电线的标记位置坐标在二值图中生成像素值为1的连线，连线数量和输电线数量相同，连线宽度根据输电线的最大宽度而定，本实施例当中宽度取值为10个像素；同时按每条输电线的标记位置坐标，在灰度图中生成和输电线数量相同的连线，连线宽度和二值图中保持一致。
[0041] 步骤C.以各幅样本航空图像、以及其所对应的样本二值图与样本灰度图作为输入，针对基于预设卷积神经网络、所设计具有二值分割图与像素多维特征图两个分支输出的神经网络，进行样本训练，获得目标神经网络，然后进入步骤D；其中，二值分割图中输电线位置像素值为1、其余位置像素值为0。
[0042] 上述步骤C实际应用，预设卷积神经网络具体选择为VGG16卷积神经网络，在针对所设计具有二值分割图与像素多维特征图两个分支输出的神经网络、进行样本训练过程中，按如下方式针对样本航空图像实现单次处理，获得单次处理所对应该神经网络的损失函数结果，进而实现以各幅样本航空图像、以及其所对应的样本二值图与样本灰度图作为输入，完成对设计神经网络的样本训练。
[0043] 首先应用该神经网络针对样本航空图像进行处理，获得该样本航空图像所对应的二值分割图与像素多维特征图后；然后采用交叉熵损失函数，进行该二值分割图与该样本航空图像所对应样本二值图之间分支损失函数的计算，以及采用判别损失函数，进行该像素多维特征图与该样本航空图像所对应样本灰度图之间分支损失函数的计算；最后根据各分支损失函数结果，结合预设各分支损失函数权重，按加权方式计算获得该神经网络的损失函数结果。
[0044] 上述训练操作，在实际应用当中，具体如下：
[0045] 步骤C1.针对检测和识别任务，确定多任务卷积神经网络
框架，采用编码解码(Encoder-Decoder)网络结构，且解码端为双分支结构，分别负责二值分割和特征提取任务。
[0046] 步骤C2.设计的编码网络负责提取输入图像在不同尺度下的图像特征，在本实施例采用VGG-16网络的前13层作为编码网络，并利用VGG-16在ImageNet图像公开数据集下的权值作为编码网络权值的初始赋值。
[0047] 步骤C3：设计的解码网络负责逐个像素的属性预测。本实施例中需预测图像中每个像素的类别属性(电线或背景)和多维特征属性。采用FCN作为
解码器网络，并在解码网络末端增加了双分支结构，分别输出二值分割预测图和多维像素特征图。
[0048] 步骤C4：针对两个分支分别设计损失函数，本实施例中，针对二值分割分支采用交叉熵损失函数(Cross Entropy Loss)。针对像素多维特征提取分支采用判别损失函数(Discriminative Loss Function)。
[0049] 步骤C5：基于两个分支的损失函数设计总损失函数，并基于总损失函数
迭代优化网络权值，获得模型。在本实施例中，总损失函数等于两分支损失函数的加权求和，每个分支的权重均为0.5。迭代优化过程中采用随机梯度下降(SGD)方法来训练网络，优化网络权值。
[0050] 步骤D.应用目标神经网络，针对目标航空图像进行处理，获得目标航空图像所对应的二值分割图与像素多维特征图，然后进入步骤E。
[0051] 步骤E.根据目标航空图像所对应的二值分割图与像素多维特征图，基于像素的多维特征，应用Mean-Shift
聚类算法，针对其中输电线位置的全部像素进行聚类处理，即由各个聚类中的全部像素分别构成目标航空图像中的各根输电线，实现输电线识别，然后进入步骤F。
[0052] 上述聚类具体包括如下：
[0053] 步骤E1.根据二值图中非零像素位置坐标，在像素特征图中提取输电线像素的特征，在本实施例中将所有输电线像素特征、及其像素坐标形成M×(N+2)矩阵，其中M为非零像素个数，N为像素特征维度，每行最后两列为像素坐标。
[0054] 步骤E2.根据输电线路像素的特征，对其聚类,在本实施例中利用Mean-Shift聚类算法，对矩阵中M个N维
特征向量进行聚类。Mean-Shift算法的聚类最大类别数设置为图像库中单张目标航空图像中人眼所见最大的输电线数量。在M×(N+2)矩阵后新增一列记录每个向量的聚类类别id。
[0055] 步骤F.分别针对目标航空图像中的各根输电线，针对输电线位置上的各个像素，基于各像素在目标航空图像中的坐标位置，如图2所示，执行如下步骤F1至步骤F3进行拟合，获得该输电线所对应的导航点，即获得目标航空图像中各根输电线分别所对应的导航点。
[0056] 步骤F1.通过预设3阶多项式，针对输电线位置上全部像素坐标进行拟合，获得该输电线所对应的拟合函数。
[0057] 步骤F2.针对该输电线上各像素的坐标，获得x轴上的最小值、最大值，并计算该最小值与最大值之间的差值，作为x轴差值；以及获得y轴上的最小值、最大值，并计算该最小值与最大值之间的差值，作为y轴差值；然后由x轴差值、y轴差值中，选择最大差值所对应的轴作为输入轴。
[0058] 步骤F3.按预设步长间隔选取输入轴上、对应该输电线位置上各像素的坐标，作为该输电线所对应拟合函数的输入，计算获得位于相对输入轴的另一轴上的坐标，即作为该输电线所对应的导航点。
[0059] 上述技术方案所设计基于航空图片的输电线识别方法，利用了输电线线性特征，设计了合理的标注方式,并自动化生成其二值分割图和面向不同输电线实例的灰度图；接着根据检测和识别两类任务，设计了多任务卷积神经网络，并基于样本库迭代训练模型；通过模型实时获取二值分割图和像素特征图；利用二值分割图，非零像素位置即为输电线位置，完成了输电线检测任务；接着通过二值分割图，在像素特征图提取输电线像素的多维特征，并通过聚类算法完成像素聚类，为输电线的像素标上对应的聚类类别id。拥有相同id的输电线像素归属于同一输电线。由于利用了深度卷积网络的不同尺度深度特征，因此本发明在复杂环境的检测结果较为鲁棒，对外界环境及拍摄角度的约束较少，提高了检测和识别准确率；同时由于深度卷积网络的高度并行化设计，在GPU平台上可提高算法实时性能。
[0060] 上述技术方案所设计基于航空图片的输电线识别方法，针对智能电力巡线中利用视频监控系统采集线路信息的需要，利用计算机视觉、图像处理、模式识别的相关技术，确定了航拍图片标注策略和自动化样本生成方法，利用多任务深度卷积神经网络，在实现输电线检测基础的同时，也完成了输电线识别任务，给出不同输电线的导航点，具有精确度高、鲁棒性强、约束条件较少等优点；并且由于利用了多尺度深度信息特征，对外界的复杂环境具有很好的适应性，不必要求输电线路目标在图像中占明显位置和较大的比例，因此非常适合用于电力巡线视频监控系统中，如此使用多任务深度卷积神经网络等图像处理和模式识别技术，实现野外航拍图像中输电线的自动检测和识别，最终为智能巡线系统中提供一种新的数据采集和环境感知方式。
[0061] 上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
