技术领域
[0001] 本
发明涉及智能交通技术领域，具体涉及一种基于深度学习的道路病害检测方法。
背景技术
[0002] 随着经济的发展，我国公路设施投入成本逐年增大，公路养护工作也是我们一直关注的问题。公路建成后受到
气候、地质条件、通行量、
载荷量等因素的影响，随着年限的增加，道路会出现不同程度的损坏，道路养护部
门需定期对公路进行检测及维护。目前对道路病害的检测主要依据人工检测方法，工作人员长期在户外工作，检测效率较低且工作环境恶劣，如何实现路面病害的自动化检测，是道路养护目前主要的研究内容。
发明内容
[0003] 本发明的目的是根据上述
现有技术的不足之处，提供一种基于深度学习的道路病害检测方法，该方法将深度学习技术与传统的
图像处理技术相结合，实现了对道路病害的自动化检测。
[0004] 为了实现上述目的，本发明提供了一种基于深度学习的道路病害检测方法，其包括以下步骤：
[0005] (S1)获取道路的图像；
[0006] (S2)将道路的图像输入到深度学习识别模型，以获得病害检测识别结果；
[0007] (S3)对所述病害检测识别结果进行校正；
[0008] (S4)对识别出道路病害的图像附加GPS坐标、道路名称以及道路病害的类型；
[0009] 其中，在步骤(S2)中，所采用的深度学习识别模型为YOLO-v3
算法模型；所述深度学习识别模型的训练过程包括以下步骤：
[0010] (S21)构建数据集，对数据集中每种道路病害的正样本图像进行标记；
[0011] (S22)对所述数据集进行增强，增强过程采用的方法包括Mix-up、添加负样本、通过填鸭式图像处理增加正样本、数据集扩充以及数据集均衡中的一种或多种的组合；
[0012] (S23)将所述数据集按照9：1的比例划分为训练集以及验证集，并使用训练集对YOLO-v3算法模型进行训练，得到深度学习识别模型的权重。
[0013] 本发明的进一步改进在于，所述道路病害的类型包括道路窨井盖高差超标、道路标线不清、道路裂缝、道路
坑槽。
[0014] 本发明的进一步改进在于，当所述病害检测识别结果为道路裂缝时，对所述病害检测识别结果进行校正，以区分未修补裂缝以及已修补裂缝，校正过程包括以下步骤：
[0015] (S31)根据深度学习识别模型的识别结果，按照
阈值T对检出道路裂缝的图像进行目标分裂；
[0016] (S32)采用3×3的模板对目标分裂后的图像进行膨胀；
[0017] (S33)对膨胀后的图像进行滤波；
[0018] (S34)对滤波后的图像进行连通域标记，并统计连通域的宽度；若连通域的宽度大于滤除阈值，将该图像的病害检测识别结果
修改为已修补裂缝。
[0019] 本发明的进一步改进在于，添加负样本的过程包括以下步骤：
[0020] (201)在使用验证集对深度学习识别模型进行验证的过程中，找出识别错误的图像，并找出该图像对应的原始图像
帧；
[0021] (202)制作一个与该原始图像帧对应的空白xml文件；
[0022] (203)将所述原始图像帧以及所述xml文件添加到数据集中。
[0023] 本发明的进一步改进在于，通过填鸭式图像处理增加正样本的过程中，选取若干识别出道路病害的图像，从中获取识别目标，并将获取的识别目标添加至正常的图像中，获得新的正样本。
[0024] 本发明的进一步改进在于，对数据集进行均衡的过程中，重新构造数据集的每一类个数，并减少数据量比较大的类，并且复制数据量比较小的类。
[0025] 本发明的进一步改进在于，在数据集扩充的过程中，对数据集中的图像进行
水平镜像，垂直镜像，随机的剪切、缩放、旋转、
对比度变换、添加噪声等处理得到新的图像样本。
[0026] 本发明的优点是：目前道路病害检测主要依据人工，工作环境恶劣且危险性高。本发明采用的方法可实现病害自动检测，检测人员仅需在养护车内，即可获得路面信息，全程无需人工干预，大大降低了人员工作强度。在实施本方法时，仅需在养护车辆
车顶上方安装高清摄像机，工控机、路由器等设备均放置于驾驶位下方或后备箱内，不影响车辆美观且车辆改造方便。
附图说明
[0027] 图1为本发明基于深度学习的道路病害检测方法的
流程图；
[0028] 图2为Darknet网络模型结构图；
[0029] 图3为对识别结果进行校正的传统算法的流程图；
[0030] 图4为包含修补过的裂缝的图像样本。
具体实施方式
[0031] 以下结合附图通过
实施例对本发明的特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：
[0032] 实施例：如图1所示，本发明的实施例包括一种基于深度学习的道路病害检测方法，该方法缓解养护人员工作压
力，提高检测准确率。该方法主要对其中的道路窨井盖高差、标线不清、裂缝、坑槽等道路病害进行检测，并将检测结果上传至后台，整个过程全部自动完成无需人工干预。该方法包括以下步骤：
[0033] (S1)获取道路的图像。
[0034] 图像的获取，可以在养护车辆上安装摄像机、车载处理器、平板
控制器及4G无线路由器等设备。养护车辆上设置有高清车载摄像机、车载处理器、平板控制器以及高速4G无线路由器。高清车载摄像机用于获取实时视频、录像；车载处理器用于运行病害检测
软件，获取病害检测结果；平板控制器用于摄像机控制、手动抓拍、检测结果查看等；高速4G无线路由器用于TCP通信，将视频、图像、病害数据传输至后台。
[0035] (S2)将道路的图像输入到深度学习识别模型，以获得病害检测识别结果。
[0036] 本实施例中采用的深度学习识别模型为YOLO-v3算法模型。YOLO-v3是基于darknet深度学习计算
框架的目标检测开源算法，darknet精巧强悍，其源码由C语言和CUDA底层编写，代码结构严谨，速度快，充分发挥
多核处理器和GPU并行运算的功能，完美地体现了YOLO-v3的算法模型特点；同时它在尺寸中等偏小的物体上有非常高的准确率，故选择YOLO-v3用于道路病害的实时检测。
[0037] Yolo-v3在预测图片上采用的是端对端的检测，将整个图片分为S*S个区域，如果一个物体的中心落在某个区域上，则对应的网络会对它进行检测。其中每个网络，都有一个预测区域，每次预测时有四个坐标参数，左上
角的坐标tx、ty，宽度和高度tw、th及
置信度，置信度是逻辑回归的产物。置信度用于判断预测趋于是否会被忽略，如果不被忽略，则进行多标签分类的逻辑回归，从而贴上标签。
[0038] Darknet-53这个网络主要是由一系列的1x1和3x3的卷积层组成(每个卷积层后都会跟一个BN层和一个LeakyReLU层，因为网络中有53个convolutional layers，所以叫做Darknet-53。
[0039] Yolo-v3的损失函数主要分为三个部分：目标
定位偏移量损失Lloc(l,g)，目标置信度损失Lconf(o,c)以及目标分类损失Lcla(O,C)，其中λ1,λ2,λ3是平衡系数。Yolo-v3的损失函数具体为：
[0040] L(O,o,C,c,l,g)＝λ1Lconf(o,c)+λ2Lcla(O,C)+λ3Lloc(l,g)
[0041] 图2为针对图像尺寸为416*416绘制的YOLO-v3中Darknet网络模型结构图。对于一张416*416大小的图片输入，经过多层的深度卷积，
降维至52、26和13，在52、26和13维分别有三个全卷积特征提取器，对应的是右边的Convolutional Set，这就是特征提取器的内部卷积核结构，1*1的卷积核用于降维，3*3的卷积核用于提取特征，多个卷积核交错达到目的。每个全卷积特征层是有连接的，在图中为Concatenate标志，意味着当前特征层的输入有来自于上一层的输出的一部分。每个特征层都有一个输出Predict，即预测结果，最后根据置信度大小对结果进行回归，得到最终的预测结果，这就是整个YOLO-v3中Darknet网络算法的特点和流程。
[0042] 在步骤(S2)中，深度学习识别模型的训练过程包括以下步骤：
[0043] (S21)构建数据集，对数据集中每种道路病害的正样本图像进行标记。在此过程中，收集大量存在窨井盖高差、标线不清、斑
马线不清、坑槽、裂缝等道路病害的图片，并进行标定。道路病害的类型包括道路窨井盖高差超标、道路标线不清、道路裂缝、道路坑槽。
[0044] (S22)对所述数据集进行增强，增强过程采用的方法包括Mix-up、添加负样本、通过填鸭式图像处理增加正样本、数据集扩充以及数据集均衡；抑制树枝，阴影，修补过的裂缝等非目标物体的检测，扰动数据集的多样性，抑
制模型的过拟合，提升模型的鲁棒性。
[0045] Mix-up是一种和数据无关的数据增强原则，mixup是邻域
风险最小化的一种形式，将mixup集成到现有的训练管道中仅需要几行代码，并且很少或几乎没有计算开销。在广泛的评估中，结果已经表明，mixup改进了当前最先进的模型在ImageNet、CIFAR、语音和表格数据集中的泛化误差。此外，mixup有助于有助于消除对错误标签的记忆。
[0046] 填鸭式图像处理增加正样本的过程中，选取若干识别出道路病害的图像，从中获取识别目标(也可以是误检的)，并将获取的识别目标添加至正常的图像中，获得新的正样本，以增加图像的鲁棒性。添加过程中，让目标在正常的图像中的随机
位置填充，并且随机旋转和缩放。
[0047] 添加负样本的过程包括以下步骤：(201)在使用验证集对深度学习识别模型进行验证的过程中，找出识别错误的图像，并找出该图像对应的原始图像帧；(202)制作一个与该原始图像帧对应的空白xml文件；(203)将所述原始图像帧以及所述xml文件添加到数据集中。通过添加负样本可降低误报率，增强算法的鲁棒性。
[0048] 数据集进行均衡的过程中，重新构造数据集的每一类个数，并减少数据量比较大的类(减
采样)，并且复制数据量比较小的类(增采样)，使得每个道路病害类型对应的正样本的数量较为均衡。
[0049] 在数据集扩充的过程中，对数据集中的图像进行水平镜像，垂直镜像，随机的剪切、缩放、旋转、对比度变换、添加噪声等处理得到新的图像样本。另外，图片被各种处理的同时，自动生成新的xml打标文件。
[0050] (S23)将所述数据集按照9：1的比例划分为训练集以及验证集，并使用训练集对YOLO-v3算法模型进行训练，得到深度学习识别模型的权重。现有技术中一般数据集采用训练集和验证集的比例采用7：3，与之相比，本实施例中数据集按照9：1的比例划分为训练集以及验证集，这种划分方式可以在数据集数量偏少的情况下，有效提升目标检测效果，弥补了数据集数量偏少等问题。
[0051] 在步骤(S23)中，学习率Learning采用0.0001训练，可以有效减小损失值。在训练过程中，可以画出随着不同参数训练集测试集的改变情况，观察它们的走势图来分析到底什么时候的参数比较合适。通过观察走势可得出以下两点内容：1)不同学习率与loss的曲线图，横坐标是epoch，纵坐标是loss或者正确率；2)不同的batchsize与loss的曲线图，横坐标是epoch，纵坐标是loss或者正确率。
[0052] (S3)对病害检测识别结果进行校正；
[0053] 由于道路情况较为复杂，修补过的裂缝与实际裂缝具有极强的相似性，使用深度学习算法无法完全将该情况剔除，针对此种情况，本方法结合传统的视频图像处理算法对裂缝检测结果进行过滤校正，以提高检测结果准确率。本实施例采用的传统算法的流程图如图3所示，校正过程包括以下步骤：
[0054] (S31)根据深度学习识别模型的识别结果，对检出道路裂缝的图像进行目标分裂。该步骤的原理为：裂缝本身与路面具有一定的差异，通过寻找合适的阈值，即可实现路面与裂缝的分割。
[0055] 设深度学习模
块获取到裂缝所在区域的宽度为w，高度为h，通过直方图统计法计算出该区域内分割阈值为T，所谓的直方图统计法即统计裂缝所在区域内的灰度值分布情况，将出现次数最多的灰度值作为目标分割的阈值，并按照如下关系表对该区域进行目标分割。
[0056] 0 01 0
2 0
… 0
T-1 0
T 255
T+1 255
T+2 255
… 255
255 255
[0057] (S32)采用3×3的模板对目标分裂后的图像进行膨胀；由于识别结果中部分裂缝较细，为凸显其特征，本方法选择3*3的模板对图像进行膨胀处理，获取裂缝图像膨胀结果。
[0058] (S33)对膨胀后的图像进行滤波；当对裂缝区域使用膨胀处理后，可能引入部分噪声，本方法使用中值滤波对病害区域图像进行平滑处理，去除高频噪声。
[0059] (S34)对滤波后的图像进行连通域标记，并统计连通域的宽度；若连通域的宽度大于滤除阈值，将该图像的病害检测识别结果修改为已修补裂缝。本方法使用基于行程的标记方法实现连通域标记，具体算法描述如下：
[0060] (S34.1)
逐行扫描图像，将每一行中连续的白色
像素组成一个序列称为一个团，并记下它的起点、终点以及其所在行号；
[0061] (S34.2)对于除了第一行外的所有行里的团，如果它与前一行中的所有团都没有重合区域，则给它一个新的标号；如果它仅与上一行中一个团有重合区域，则将上一行的那个团的标号赋给它；如果它与上一行的2个以上的团有重叠区域，则给当前团赋一个相连团的最小标号，并将上一行的这几个团的标记写入等价对，说明他们属于一类；
[0062] (S34.3)将等价对转换为等价序列，每一个序列需要给一相同的标号，因为它们都是等价的。从1开始，给每个等价序列一个标号；
[0063] (S34.4)遍历开始团的标记，查找等价序列，给予它们新的标记；
[0064] (S34.5)将每个团的标号填入标记图像中。
[0065] 相较于普通裂缝，修补过的裂缝如图4所示，其宽度较宽，故当获取到裂缝结果的连通域后，可根据连通域宽度，剔除宽度过大的裂缝，步骤(S31)中的阈值T的选取根据大量的实验结果测试，获取合适的阈值。
[0066] (S4)对识别出道路病害的图像附加GPS坐标、道路名称以及道路病害的类型，并将识别结果上传，以便通知相关的养护单位对道路病害进行养护。
[0067] 在具体实施本实施例的方法的过程中，养护人员应按照如下步骤进行操作：
[0068] 1)当养护人员发动车辆后，相机及工控机自动上电，并自动运行检测软件，相机根据车辆运行情况，实时获得养护路面视频；
[0069] 2)实时视频经过已训练过的深度学习训练权重获取道路病害识别结果；
[0070] 3)使用传统视频图像处理技术对裂缝检测结果进行校正，获取最终识别结果；
[0071] 4)
叠加病害发生时的GPS位置、路名等信息，将病害图片、视频、消息上传至后台，供养护人员后期查看。
[0072] 以上的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、同替换和改进等，均应包含在本发明的保护范围之内。
