首页 / 专利分类库 / 道路、铁路或桥梁的建筑 / 一种基于四旋翼无人机的桥体质量勘测方法

一种基于四旋翼无人机的桥体质量勘测方法

申请号 CN202311686710.X 申请日 2023-12-08 公开(公告)号 CN117928539A 公开(公告)日 2024-04-26
申请人 淮阴工学院; 发明人 沈娴娴; 张志荣; 唐中一; 仲安婕; 李洪海; 刘玥博; 裴家勇;
摘要 本 发明 公开一种基于四旋翼无人机的桥体 质量 勘测方法,实施过程为:四旋翼无人机搭载相机采集桥体数据,根据桥体整体数据完成建模。四旋翼无人机采用基于.NET航迹规划 算法 进行桥体质量勘测的最优航迹规划,同时采用ISSA算法改进基于.NET航迹规划算法,使得四旋翼无人机航迹更为精确四旋翼无人机搭载高 分辨率 相机(H20)进行桥体 数据采集 ,完成对桥体的数学建模和桥体表面 图像采集 ;采集的桥体裂缝、 腐蚀 图像采用YOLO‑v8算法进行识别标记,对其损失函数提出改进以避免受桥体背景纹理影响,导致裂纹 精度 出现误差,同时引入CBAM注意 力 机制,增强算法对提取特征的能力。本发明提出四旋翼无人机自主完成桥体质量勘测识别的方法,提高桥体质量勘测的准确性,节省人力成本。
权利要求

1.一种基于四旋翼无人机的桥体质量勘测方法,基于四旋翼无人机搭载高分辨率相机得以实现,其特征在于,包括以下步骤:
步骤1:四旋翼无人机起飞后,机载的H20相机采集桥体数据,生成桥体整体数学模型,根据.NET航迹规划算法完成对桥体的航迹规划;
步骤2:引入ISSA算法改进.NET航迹规划算法对无人机的实时位置信息进行最优求解,避免陷入局部最优路径,所述ISSA算法引入一种自适应扰动策略加快航迹范围收敛速度,提高最优解精度,完成既定任务;
步骤3:在步骤2的四旋翼无人机航迹过程中,机载H20相机采集桥体表面数据;
步骤4:采用YOLO‑v8算法对桥体表面裂缝、腐蚀信息进行分类识别,并对损失函数提出改进,利用置信度损失函数、分类损失函数、边界框损失函数以及预测概率偏差函数进行加权和,同时引入CBAM注意机制,增强算法对桥体表面裂缝、腐蚀信息提取的能力;
步骤5:输出含有特征信息的特征图像。
2.根据权利要求1所述的一种基于四旋翼无人机的桥体质量勘测方法,其特征在于,所述步骤1中的H20相机采集桥体数据,生成桥体数学模型的实施步骤为:
通过相机拍摄桥梁的全景信息,相机拍摄二点每幅图片重叠率≥60%,根据相机拍摄的全景数据,构建数学模型,规划无人机航迹;H20相机像素点分辨率≤0.1mm;
根据无人机航迹,过程中增加相机的拍摄次数,确保拍摄的图片里有重叠部分,进行大面积问题区域搜索;无人机对桥梁进行全面检测,采用倾斜摄影测量方式建立无人机巡检部分三维实景模型,采用单体化的方法对桥体进行区域划分,将划分后的区域进行编号,采用GIS功能,对各段桥体的涉及区域信息进行标注。
3.根据权利要求1所述的一种基于四旋翼无人机的桥体质量勘测方法,其特征在于,所述步骤1中根据.NET航迹规划算法完成对桥体的航迹规划,具体实施步骤为:
第1步:构建桥体空间模型;
第2步:根据UAV性能指标及链路和载荷的性能,来确定航线规划的数学模型;
第3步:通过嵌入.NET航迹规划算法,得到一条四旋翼无人机的飞行航迹;
第4步:据得到的航迹进行插值、平滑处理,对航迹空间模型进行调整,并改进或重新规划航线;
第5步:输出最终的航迹规划数据,并下达指令至无人机,执行飞行操作;
第6步:无人机到达目标任务点执行任务。
4.根据权利要求1所述的一种基于四旋翼无人机的桥体质量勘测方法,其特征在于,所述步骤2中引入ISSA算法改进.NET航迹规划算法,并引入一种自适应扰动策略,具体方法为:
SSA算法中麻雀种群N有探索者、捕食者和警戒者,探索者负责搜索最优个体,探索者搜索到最优个体后,捕食者对最优个体进行捕食,警戒者负责警戒周围避免陷入最优解;在对特征矩阵SSA的降噪处理过程中,探索者的位置更新如下:
其中,a为时刻t的更新次数;j为麻雀种群当前所在维度; 为数据随着时刻t更新至第a次时,第i个麻雀所处的第j个维度;itermax为最大迭代次数;α和Q为随机数;T和ST分别为警戒值和安全阈值;L为d维单位向量;
捕食者的位置更新如下:
其中, 为第a次迭代的最劣解; 为第a+1次迭代中探索者所在的最优维度;A为1×+ T T ‑1
d维矩阵,A=A(AA) ;
警戒者的位置更新如下:
其中, 为第a次迭代的最优解;fi为解的适应度值,fg为最优解的适应度值,fw为最劣解的适应度值;λ和J为随机数;ε随机常数;
提出一种自适应扰动策略,在追踪阶段对较好适应度值的个体进行扰动处理,自适应扰动函数公式如下:
Δpid=pid+ηi
其中,pid为个体i在第t次迭代的最优位置;Δpid为pid的扰动修正位置;ηi∈(‑ζd,ζd)为个体i第t次迭代过程中的修正值,ζd的计算公式为:
其中,t为当前迭代次数; 为t‑1次迭代内搜索的最优目标位置的平均值;ci为比例系数;Δr为搜索区域宽度;c为调整常数。
5.根据权利要求1所述的一种基于四旋翼无人机的桥体质量勘测方法,其特征在于,所述步骤4中对损失函数提出改进,具体步骤如下:
所述YOLO‑v8算法损失函数以下几种测度函数的加权和:
第1种:置信度损失函数,对桥体裂缝、腐蚀现象的网络预测的目标边界框与真实边界框的交并比,计算公式如下:
其中,oi∈[0,1]为目标真实边界于预测边界的IOU;ci为预测值; 为ci通过Sigmoid函数的置信度预测值;N为样本个数;
第2种:分类损失函数,当桥体某一个区域同时检测出裂缝、腐蚀现象时,其输出的标签是互相排斥的,计算公式如下:
其中,Oij∈{0,1}表示预测目标边界框i中是否存在第j类目标,若存在,Oij=1,反之,Oij=0;Cij为预测值; 为Cij通过Sigmoid函数得到的目标概率;Npos为正样本的个数;
第3种:边界框损失函数,对边界框进行预测,使边界框的预测值接近真实标签值,计算公式如下:
为边界框中心点的坐标(x,y)以及边界框的宽度和高度,计算公式如下:
其中,tx,ty,tw,th为网络预测的回归参数;Npos为正样本总数;
第4种:预测概率偏差函数,通过预测概率偏差函数使减小桥体裂缝、腐蚀现象的预测值与真实值的偏差,计算公式如下:
其中,pi(c)为目标的预测值; 为目标真实标签值;
改进的YOLO‑v8算法损失函数,计算公式如下:
Lloss=α1Lconf+α2Lcla+α3Lloc+α4Lobj
其中,Sigmoid函数计算公式如下:
6.根据权利要求1或5所述的一种基于四旋翼无人机的桥体质量勘测方法,其特征在于,所述步骤4中引入CBAM注意力机制的具体操作为:
为避免在桥体裂缝、腐蚀现象进行捕捉的过程中受到外界环境因素的干扰,提出ACmix注意力机制,对桥体裂缝、腐蚀现象信息充分挖掘,减少其他目标的干扰,ACmix注意力机制实施如下:
根据卷积核中的任一像素点生成整幅特征图,得到该卷积层卷积核像素的特征图,计算公式如下:
其中,(p,q)∈{0,1,2…k‑1}表示特征图的卷积核位置;(i,j)为特征图所对应的像素;
K(p,q)为(p,q)位置的权重;f(i.j)为输入特征图对应像素(i,j)的特征张量;g(i,j)为输出特征图对应像素(i,j)的特征张量;
输出特征值时,取每张卷积核特征图对应偏移量的像素值进行加权得到(i.j)点的像素特征值,计算公式如下:
其中,Shift算子的作用是对多幅输出特征图进行融合,Shift算子的计算公式为:
其中,Δx,Δy为像素(i,j)对应的平和垂直位移。
7.根据权利要求1至6任一所述的一种基于四旋翼无人机的桥体质量勘测方法,其特征在于,所述步骤4中采用YOLO‑v8算法对桥体表面裂缝、腐蚀信息进行分类识别具体步骤为:
第1步:将H20相机采集的图像分割为s×s个等大小的网格;
第2步:对每一个网格预测B个边界框;
第3步:对每个边界框的位置坐标进行预测;
第4步:预测每个边界框的置信度值分数;
第5步:对每个边界框中条件类别概率进行预测;
第6步:使用YOLO‑v8算法的神经网络结构,对输入输出图像进行训练;
第7步:对网格中目标对象进行损失函数计算;
第8步:输出含有特征信息的特征图像。

说明书全文

一种基于四旋翼无人机的桥体质量勘测方法

技术领域

[0001] 本发明涉及桥体检测技术领域,尤其涉及一种基于四旋翼无人机的桥体质量勘测方法。

背景技术

[0002] 桥梁基础设施的重要组成部分,为车辆跨河跨海跨建筑的通行提供了保障,桥梁建设平也是一个国家综合国的直观体现。近年来,桥梁安全事故频发,对人民的生命财产安全形成了威胁,对社会造成了较大影响。国内现服役的桥梁大多数为混凝土桥梁,检测混凝土桥梁的表观病害是检查桥梁健康状况最主要的方式。
[0003] 桥梁病害根据自身的情况及所在的构件位置,代表了不同的严重程度。根据病害的不同特征,大体可分为两类:裂缝和腐蚀现象。混凝土裂缝表现为表面的多分支、长延展的细小开裂,是混凝土结构物承载能力、耐久性及防水性降低的主要原因。腐蚀表现为混凝土结构局部出现酥散、麻点、小凹坑、裂缝扩展等形成粗糙面。
[0004] 在经典图像处理技术方面主要有基于灰度阈值分割、边缘检测和结合特定工具等方法。通过提前制定无人机飞行策略,对桥梁单跨进行多重叠度图像采集,建立点模型后对桥梁的具体病害进行评估,并将部分内容与有限元分析结果对比等检测方法,都存在检测时间过长,检测精度不够等问题。
[0005] 本发明以桥体表面病害现象为研究对象,针对飞行主体四旋翼无人机的飞行算法提出改进,以增强其飞行效果。针对桥体表面图像数据提出改进图像训练算法,提高训练速度和精确度。

发明内容

[0006] 发明目的:针对背景技术中指出的检测时间过长,检测精度不够的问题难题,本发明提出一种基于四旋翼无人机的桥体质量勘测方法,提高无人机飞行效率、提高对桥体表面图像识别的精确度。
[0007] 技术方案:本发明提供了一种基于四旋翼无人机的桥体质量勘测方法,基于四旋翼无人机搭载高分辨率相机得以实现,包括以下步骤:
[0008] 步骤1:四旋翼无人机起飞后,机载的H20相机采集桥体数据,生成桥体整体数学模型,根据.NET航迹规划算法完成对桥体的航迹规划;
[0009] 步骤2:引入ISSA算法改进.NET航迹规划算法对无人机的实时位置信息进行最优求解,避免陷入局部最优路径,所述ISSA算法引入一种自适应扰动策略加快航迹范围收敛速度,提高最优解精度,完成既定任务;
[0010] 步骤3:在步骤2的四旋翼无人机航迹过程中,机载H20相机采集桥体表面数据;
[0011] 步骤4:采用YOLO‑v8算法对桥体表面裂缝、腐蚀信息进行分类识别,并对损失函数提出改进,利用置信度损失函数、分类损失函数、边界框损失函数以及预测概率偏差函数进行加权和,同时引入CBAM注意力机制,增强算法对桥体表面裂缝、腐蚀信息提取的能力;
[0012] 步骤5:输出含有特征信息的特征图像。
[0013] 进一步地,所述步骤1中的H20相机采集桥体数据,生成桥体数学模型的实施步骤为:
[0014] 通过相机拍摄桥梁的全景信息,相机拍摄二点每幅图片重叠率≥60%,根据相机拍摄的全景数据,构建数学模型,规划无人机航迹;H20相机像素点分辨率≤0.1mm;
[0015] 根据无人机航迹,过程中增加相机的拍摄次数,确保拍摄的图片里有重叠部分,进行大面积问题区域搜索;无人机对桥梁进行全面检测,采用倾斜摄影测量方式建立无人机巡检部分三维实景模型,采用单体化的方法对桥体进行区域划分,将划分后的区域进行编号,采用GIS功能,对各段桥体的涉及区域信息进行标注。
[0016] 进一步地,所述步骤1中根据.NET航迹规划算法完成对桥体的航迹规划,具体实施步骤为:
[0017] 第1步:构建桥体空间模型;
[0018] 第2步:根据UAV性能指标及链路和载荷的性能,来确定航线规划的数学模型;
[0019] 第3步:通过嵌入.NET航迹规划算法,得到一条四旋翼无人机的飞行航迹;
[0020] 第4步:据得到的航迹进行插值、平滑处理,对航迹空间模型进行调整,并改进或重新规划航线;
[0021] 第5步:输出最终的航迹规划数据,并下达指令至无人机,执行飞行操作;
[0022] 第6步:无人机到达目标任务点执行任务。
[0023] 进一步地,所述步骤2中引入ISSA算法改进.NET航迹规划算法,并引入一种自适应扰动策略,具体方法为:
[0024] SSA算法中麻雀种群N有探索者、捕食者和警戒者,探索者负责搜索最优个体,探索者搜索到最优个体后,捕食者对最优个体进行捕食,警戒者负责警戒周围避免陷入最优解;在对特征矩阵SSA的降噪处理过程中,探索者的位置更新如下:
[0025]
[0026] 其中,a为时刻t的更新次数;j为麻雀种群当前所在维度; 为数据随着时刻t更新至第a次时,第i个麻雀所处的第j个维度;itermax为最大迭代次数;α和Q为随机数;T和ST分别为警戒值和安全阈值;L为d维单位向量;
[0027] 捕食者的位置更新如下:
[0028]
[0029] 其中, 为第a次迭代的最劣解; 为第a+1次迭代中探索者所在的最优维度;A+ T T ‑1为1×d维矩阵,A=A(AA) ;
[0030] 警戒者的位置更新如下:
[0031]
[0032] 其中, 为第a次迭代的最优解;fi为解的适应度值,fg为最优解的适应度值,fw为最劣解的适应度值;λ和J为随机数;ε随机常数;
[0033] 提出一种自适应扰动策略,在追踪阶段对较好适应度值的个体进行扰动处理,自适应扰动函数公式如下:
[0034] Δpid=pid+ηi
[0035] 其中,pid为个体i在第t次迭代的最优位置;Δpid为pid的扰动修正位置;ηi∈(‑ζd,ζd)为个体i第t次迭代过程中的修正值,ζd的计算公式为:
[0036]
[0037] 其中,t为当前迭代次数; 为t‑1次迭代内搜索的最优目标位置的平均值;ci为比例系数;Δr为搜索区域宽度;c为调整常数。
[0038] 进一步地,所述步骤4中对损失函数提出改进,具体步骤如下:
[0039] 所述YOLO‑v8算法损失函数以下几种测度函数的加权和:
[0040] 第1种:置信度损失函数,对桥体裂缝、腐蚀现象的网络预测的目标边界框与真实边界框的交并比,计算公式如下:
[0041]
[0042]
[0043] 其中,oi∈[0,1]为目标真实边界于预测边界的IOU;ci为预测值; 为ci通过Sigmoid函数的置信度预测值;N为样本个数;
[0044] 第2种:分类损失函数,当桥体某一个区域同时检测出裂缝、腐蚀现象时,其输出的标签是互相排斥的,计算公式如下:
[0045]
[0046]
[0047] 其中,Oij∈{0,1}表示预测目标边界框i中是否存在第j类目标,若存在,Oij=1,反之,Oij=0;Cij为预测值; 为Cij通过Sigmoid函数得到的目标概率;Npos为正样本的个数;
[0048] 第3种:边界框损失函数,对边界框进行预测,使边界框的预测值接近真实标签值,计算公式如下:
[0049]
[0050] 为边界框中心点的坐标(x,y)以及边界框的宽度和高度,计算公式如下:
[0051]
[0052]
[0053]
[0054]
[0055] 其中,tx,ty,tw,th为网络预测的回归参数;Npos为正样本总数;
[0056] 第4种:预测概率偏差函数,通过预测概率偏差函数使减小桥体裂缝、腐蚀现象的预测值与真实值的偏差,计算公式如下:
[0057]
[0058] 其中,pi(c)为目标的预测值; 为目标真实标签值;
[0059] 改进的YOLO‑v8算法损失函数,计算公式如下:
[0060] Lloss=α1Lconf+α2Lcla+α3Lloc+α4Lobj
[0061] 其中,Sigmoid函数计算公式如下:
[0062]
[0063] 进一步地,所述步骤4中引入CBAM注意力机制的具体操作为:
[0064] 为避免在桥体裂缝、腐蚀现象进行捕捉的过程中受到外界环境因素的干扰,提出ACmix注意力机制,对桥体裂缝、腐蚀现象信息充分挖掘,减少其他目标的干扰,ACmix注意力机制实施如下:
[0065] 根据卷积核中的任一像素点生成整幅特征图,得到该卷积层卷积核像素的特征图,计算公式如下:
[0066]
[0067] 其中,(p,q)∈{0,1,2…k‑1}表示特征图的卷积核位置;(i,j)为特征图所对应的像素;K(p,q)为(p,q)位置的权重;f(i.j)为输入特征图对应像素(i,j)的特征张量;g(i,j)为输出特征图对应像素(i,j)的特征张量;
[0068] 输出特征值时,取每张卷积核特征图对应偏移量的像素值进行加权得到(i.j)点的像素特征值,计算公式如下:
[0069]
[0070]
[0071] 其中,Shift算子的作用是对多幅输出特征图进行融合,Shift算子的计算公式为:
[0072]
[0073] 其中,Δx,Δy为像素(i,j)对应的水平和垂直位移。
[0074] 进一步地,所述步骤4中采用YOLO‑v8算法对桥体表面裂缝、腐蚀信息进行分类识别具体步骤为:
[0075] 第1步:将H20相机采集的图像分割为s×s个等大小的网格;
[0076] 第2步:对每一个网格预测B个边界框;
[0077] 第3步:对每个边界框的位置坐标进行预测;
[0078] 第4步:预测每个边界框的置信度值分数;
[0079] 第5步:对每个边界框中条件类别概率进行预测;
[0080] 第6步:使用YOLO‑v8算法的神经网络结构,对输入输出图像进行训练;
[0081] 第7步:对网格中目标对象进行损失函数计算;
[0082] 第8步:输出含有特征信息的特征图像。
[0083] 有益效果:
[0084] 1、本发明四旋翼无人机的.NET航迹规划算法进行最优航迹规划时,引入改进ISSA算法对无人机的实时位置信息进行最优求解,使得无人机在航迹过程中获取更精确的目标坐标位置信息,并提出采用一种自适应扰动策略,在追踪阶段对较好适应度值的个体进行扰动处理,对无人机的实时位置信息进行优化,使得无人机在航迹过程中获取更精确的目标坐标位置信息。
[0085] 2、本发明采用YOLO‑v8算法对桥体图片数据进行裂缝、腐蚀自动识别,为应对桥体裂缝、腐蚀特殊现象的识别,本发明对YOLO‑v8算法损失函数部分提出改进,损失函数为置信度损失函数、分类损失函数、边界框损失函数、预测概率偏差函数的加权和。并提出ACmix注意力机制,对桥体裂缝、腐蚀现象信息充分挖掘,减少其他目标的干扰,提高改进YOLO‑v8算法的检测精度。附图说明
[0086] 图1为本发明实施例提供的应用于一种基于四旋翼无人机的桥体质量勘测方法的系统流程框图
[0087] 图2为对四旋翼无人机搭载的H20相机采集到的数据进行YOLO‑v8算法训练的流程图
[0088] 图3为四旋翼无人机航迹系统的路径规划流程。
[0089] 图4为本发明提出的改进YOLO‑v8算法对桥体裂缝、腐蚀现象的提取图。

具体实施方式

[0090] 下面结合本发明实例中的附图对本发明及逆行进一步说明。下面实例说明对本发明的技术方案进行详细地、完整的描述,但不以任何形式对本发明进行限制。在本发明基础上,本领域的普通技术人员在不做出其他创造性的前提下做出的若干优化以及改进。上述都属于本发明保护的范围。
[0091] 本发明提出的一种基于四旋翼无人机的桥体质量勘测方法,该方案的实施是采用四旋翼无人机搭载高分辨率相机采集桥体数据,然后对其进行分类识别。四旋翼无人机采用12.6V航模电池进行供电,四个直流电机控制无人机的四机翼实现空间内飞行,IIC通信模完成主设备STM32和从设备MPU6050连接,从设备MPU6050获取无人机在飞行过程中的姿态信息,主设备STM32读取从设备信息并给电机发送指令。四旋翼无人机搭载的高分辨率相机型号为H20相机。
[0092] 本发明公开的一种基于四旋翼无人机的桥体质量勘测方法的具体实施方案参照下述步骤进行:
[0093] S1:启动四旋翼无人机,航模电池开始对无人机各模块供电,电机驱动四机翼开始工作,通过对四机翼的控制驱使无人机抵达空间范围任意坐标位置,以完成机载相机对立体桥梁的多方位检测。
[0094] S2:为保证四旋翼无人机能够自主完成对桥体的多方位勘测任务,四旋翼无人机通过搭载H20相机采集桥体建模数据,为桥梁的全景图片信息,相机拍摄每幅图片重叠率≥60%,根据相机拍摄的全景数据,构建数学模型,规划无人机航迹。
[0095] 无人机循迹过程中增加相机的拍摄次数,确保拍摄的图片里有重叠部分,进行大面积问题区域搜索;无人机对桥梁进行全面检测,采用倾斜摄影测量方式建立无人机巡检部分三维实景模型。
[0096] S3:根据桥体数学模型本发明采用基于.NET航迹规划算法完成四旋翼无人机的最优航迹规划,确保无人机能够安全、按时抵达任务目标坐标点,完成既定任务。
[0097] 四旋翼无人机航迹规划所采用的基于.NET航迹规划算法实施步骤为:
[0098] 第1步:构建桥体空间模型。
[0099] 第2步:根据UAV性能指标及链路和载荷的性能,来确定航线规划的数学模型。
[0100] 第3步:通过基于.NET航迹规划算法,得到一条最优的航迹。
[0101] 第4步:输出最终的航迹规划数据,并下达指令至无人机,执行飞行操作。
[0102] 第5步:四旋翼无人机按照循迹路线进行飞行。
[0103] S4:本发明采用采用改进麻雀搜索算法(ISSA)算法优化基于.NET航迹规划算法进行桥体质量勘测的最优航迹规划,通过改进ISSA算法对无人机的实时位置信息进行最优求解,使得无人机在航迹过程中获取更精确的目标坐标位置信息。
[0104] SSA算法中麻雀种群N有探索者、捕食者和警戒者,探索者负责搜索最优个体,探索者搜索到最优个体后,捕食者对最优个体进行捕食,警戒者负责警戒周围避免陷入最优解;在对特征矩阵SSA的降噪处理过程中,探索者的位置更新如下:
[0105]
[0106] 其中,a为时刻t的更新次数;j为麻雀种群当前所在维度; 为数据随着时刻t更新至第a次时,第i个麻雀所处的第j个维度;itermax为最大迭代次数;α和Q为随机数;T和ST分别为警戒值和安全阈值;L为d维单位向量;
[0107] 捕食者的位置更新如下:
[0108]
[0109] 其中, 为第a次迭代的最劣解; 为第a+1次迭代中探索者所在的最优维度;A+ T T ‑1为1×d维矩阵,A=A(AA) ;
[0110] 警戒者的位置更新如下:
[0111]
[0112] 其中, 为第a次迭代的最优解;fi为解的适应度值(fg为最优解的适应度值,fw为最劣解的适应度值);λ和J为随机数;ε随机常数,且足够小。
[0113] SSA算法寻优过程中,在经过一定次数的迭代后,整个种群的搜索区域会自动收敛至最优解集。本发明为加快搜索区域收敛速度,提高最优解精度,提出一种自适应扰动策略,在追踪阶段对较好适应度值的个体进行扰动处理,自适应扰动函数公式如下:
[0114] Δpid=pid+ηi
[0115] 其中,pid为个体i在第t次迭代的最优位置;Δpid为pid的扰动修正位置;ηi∈(‑ζd,ζd)为个体i第t次迭代过程中的修正值,ζd的计算公式为:
[0116]
[0117] 其中,t为当前迭代次数; 为t‑1次迭代内搜索的最优目标位置的平均值;ci为比例系数;Δr为搜索区域宽度;c为调整常数。
[0118] ISSA算法的实施步骤为:
[0119] 第1步:系统初始化。设置种群数量、最大迭代次数、搜索个体和预警个体的比例、危险信号的预警阈值。
[0120] 第2步:初始化种群位置。
[0121] 第3步:适应度值计算。计算初始种群中个体的适应度值,选择高适应度值的个体执行搜索任务。
[0122] 第4步:更新搜索个体的位置信息。
[0123] 第5步:更新追踪个体的位置信息。
[0124] 第6步:更新预警个体的位置信息。
[0125] 第7步:引入自适应扰动策略,对最优位置的个体进行扰动。
[0126] 第8步:更新最优个体位置信息,判断是否达到最大迭代次数,如果是,输出最优个体位置信息,反之,返回第3步。
[0127] S5:四旋翼无人根据ISSA算法改进后的.NET航迹规划算法进行桥体质量勘测的最优航迹规划的实施步骤为:
[0128] 第1步:构建桥体空间模型。
[0129] 第2步:根据UAV性能指标及链路和载荷的性能,来确定航线规划的数学模型。
[0130] 第3步:通过基于.NET航迹规划算法,得到一条最优的航迹。
[0131] 第4步:采用SSA算法对无人机的实时位置信息进行最优求解,同时为避免陷入局部最优,引入自适应扰动策略,对最优位置的个体进行扰动。
[0132] 第5步:据得到的航迹进行插值、平滑处理等,对航迹空间模型进行调整,并改进或重新规划航线。
[0133] 第6步:输出最终的航迹规划数据,并下达指令至无人机,执行飞行操作。
[0134] 第7步:四旋翼无人机按照循迹路线进行飞行。
[0135] S6:四旋翼无人机在航迹任务过程中,机载H20相机采集桥体表面检测数据。桥体质量检测为设置相机像素点分辨率≤0.1mm,确保采集到的桥体裂缝、腐蚀成像清晰,桥体质量检测方式共有两步:
[0136] 第1步:桥体结构全面检测;无人机循迹过程中增加相机的拍摄次数,确保拍摄的图片里有重叠部分,进行大面积问题区域搜索;无人机对桥梁进行全面检测,采用倾斜摄影测量方式建立无人机巡检部分三维实景模型。采用单体化的方法对桥体进行区域划分,将划分后的区域进行编号,采用GIS功能,对各桥体的裂缝、腐蚀信息涉及区域进行标注。
[0137] 第2步:桥体结构定点检测:对于桥体的问题区域,采用手动操作方式,使得无人机抵达问题区域进行定点数据采集,根据定点采集到的数据进行进一步检测。
[0138] S7:采集回来的图像数据采用基于YOLO框架的优化模型算法进行裂缝、腐蚀自动识别。YOLO算法是一种目标检测算法,目标检测的任务是从图片中找出物体并给出其类别和位置。针对采集到的桥体裂缝、腐蚀图像,在对其进行训练时,训练图像易受桥体背景纹理的影响,导致输出特征不明显,本发明对YOLO‑v8算法损失函数部分提出改进,以应对特殊桥体裂缝、腐蚀现象的识别。
[0139] YOLO‑v8算法损失函数的改进由置信度损失函数、分类损失函数、边界框损失函数、预测概率偏差函数的加权和:
[0140] 第1种:置信度损失函数。对桥体裂缝、腐蚀现象的网络预测的目标边界框与真实边界框的交并比,可以更好的描述改进的YOLO‑v8目标检测模型,计算公式如下:
[0141]
[0142]
[0143] 其中,oi∈[0,1]为目标真实边界于预测边界的IOU;ci为预测值; 为ci通过Sigmoid函数的置信度预测值;N为样本个数。
[0144] 第2种:分类损失函数。当桥体某一个区域同时检测出裂缝、腐蚀现象时,其输出的标签是互相排斥的,本发明提出目标损失函数减小裂缝、腐蚀现象的互斥性,计算公式如下:
[0145]
[0146]
[0147] 其中,Oij∈{0,1}表示预测目标边界框i中是否存在第j类目标,若存在,Oij=1,反之,Oij=0;Cij为预测值; 为Cij通过Sigmoid函数得到的目标概率;Npos为正样本的个数。
[0148] 第3种:边界框损失函数。目标检测中对于框出来的目标,其边界会受到光线等因素干扰,导致边界框函数缺失,本发明提出的边界框损失函数,对边界框进行预测,使边界框的预测值接近真实标签值,计算公式如下:
[0149]
[0150] 为边界框中心点的坐标(x,y)以及边界框的宽度和高度,计算公式如下:
[0151]
[0152]
[0153]
[0154]
[0155] 其中,tx,ty,tw,th为网络预测的回归参数;Npos为正样本总数。
[0156] 第4种:预测概率偏差函数。通过预测概率偏差函数使减小桥体裂缝、腐蚀现象的预测值与真实值的偏差,计算公式如下:
[0157]
[0158] 其中,pi(c)为目标的预测值; 为目标真实标签值。
[0159] 上述四种损失函数的加权和为本发明提出的改进的YOLO‑v8算法损失函数,计算公式如下:
[0160] Lloss=α1Lconf+α2Lcla+α3Lloc+α4Lobj
[0161] 其中,本发明提到的Sigmoid函数为激活函数,作用是给神经网络提供非线性建模能力。Sigmoid函数计算公式如下:
[0162]
[0163] YOLO‑v8算法模型对桥体图像中的信息极其敏感,在桥体裂缝、腐蚀现象进行捕捉的过程中易受到外界环境因素的干扰,本发明提出ACmix注意力机制,对桥体裂缝、腐蚀现象信息充分挖掘,减少其他目标的干扰,提高改进YOLO‑v8算法的检测精度。
[0164] ACmix注意力机制实施有两个阶段:
[0165] 阶段1:根据卷积核中的任一像素点生成整幅特征图,得到该卷积层卷积核像素的特征图,计算公式如下:
[0166]
[0167] 其中,(p,q)∈{0,1,2…k‑1}表示特征图的卷积核位置;(i,j)为特征图所对应的像素;K(p,q)为(p,q)位置的权重;f(i.j)为输入特征图对应像素(i,j)的特征张量;g(i,j)为输出特征图对应像素(i,j)的特征张量。
[0168] 阶段2:输出特征值时,取每张卷积核特征图对应偏移量的像素值进行加权得到(i.j)点的像素特征值,计算公式如下:
[0169]
[0170]
[0171] 其中,Shift算子的作用是对多幅输出特征图进行融合,Shift算子的计算公式为:
[0172]
[0173] 其中,Δx,Δy为像素(i,j)对应的水平和垂直位移。
[0174] 对于改进YOLO‑v8算法识别出来的高置信度裂缝、腐蚀区域,本发明对识别出来的具有特征值图片,进行裂缝、腐蚀分割,最终输出效果图。
[0175] 改进YOLO‑v8算法具体步骤为:
[0176] 第1步:将H20相机采集的图像分割为s×s个等大小的网格;
[0177] 第2步:对每一个网格预测B个边界框;
[0178] 第3步:对每个边界框的位置坐标进行预测;
[0179] 第4步:预测每个边界框的置信度值分数;
[0180] 第5步:对每个边界框中条件类别概率进行预测;
[0181] 第6步:使用YOLO‑v8算法的神经网络结构,对输入输出图像进行训练;
[0182] 第7步:对网格中目标对象进行损失函数计算;
[0183] 第8步:输出含有特征信息的特征图像。
[0184] 本发明实施例进行桥体勘测,图4为改进后的YOLO‑v8算法对桥体裂缝、腐蚀信息进行提取之后输出的效果图。从图中可以看出,本发明能够清晰的勘测出桥梁病害之处。
[0185] 上述实施方式只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。
QQ群二维码
意见反馈