基于神经网络的闸杆防砸方法、系统、设备及存储介质
阅读：1024发布：2021-01-20
专利汇可以提供基于神经网络的闸杆防砸方法、系统、设备及存储介质专利检索，专利查询，专利分析的服务。并且本 发明 提供了基于神经网络的闸杆防砸方法、系统、设备及存储介质，其中，防砸方法包括：基于摄像头采集的监控图像构建一 卷积神经网络 ；采集车辆驶过闸口过程的监控图像，用于生成卷积神经网络的 训练数据 集；标注监控图像并训练卷积神经网络；采用训练后的神经网络对摄像头采集的实时图像进行预测；使用 激光雷达 实时检测闸口的通车状态；以及当卷积神经网络对连续m 帧 监控图像预测的结果是无车，并且激光雷达连续n秒判定结果是无车，则给闸杆 控制器 发送下放闸杆 信号 ，m，n为预设 阈值 。本发明能够大大降低漏检率，并且保证在恶劣天气中仍能保证较高的预测 精度 ，提高安全性和可靠性。，下面是基于神经网络的闸杆防砸方法、系统、设备及存储介质专利的具体信息内容。
1.一种基于神经网络的闸杆防砸方法，其特征在于，包括以下步骤：
S101、基于摄像头采集的监控图像构建一卷积神经网络；
S102、采集车辆驶过闸口过程的监控图像，用于生成卷积神经网络的训练数据集；
S104、标注所述监控图像并训练所述卷积神经网络；
S105、采用训练后的神经网络对摄像头采集的实时图像进行预测；
S106、使用激光雷达实时检测闸口的通车状态；以及
S107、当所述卷积神经网络对连续m帧监控图像预测的结果是无车，并且所述激光雷达连续n秒判定结果是无车，则给闸杆控制器发送下放闸杆信号，所述m，n为预设阈值。
2.如权利要求1所述的基于神经网络的闸杆防砸方法，其特征在于，所述步骤S102与步骤S104之间还包括：S103、通过对比所有监控图像对所述监控图像进行裁剪，自所述监控图像外围向中央建立在预设时长下不变化的背景图案区域，在所有监控图像中删除所述背景图案区域。
3.如权利要求1所述的基于神经网络的闸杆防砸方法，其特征在于，所述步骤S104中采用迭代标注-训练-预测的方式同时标注所述监控图像，和训练所述卷积神经网络，卷积神经网络预测并自动标注未标注图像，手工标注卷积神经网络错误预测的图像，一并加入训练数据后继续训练神经网络。
4.如权利要求1至3中任意一项所述的基于神经网络的闸杆防砸方法，其特征在于，所述卷积神经网络包括输入层、至少一卷积层、至少一池化层及输出层，所述输入层用于将所述监控图像的像素值导入网络。
5.如权利要求4所述的基于神经网络的闸杆防砸方法，其特征在于，所述卷积层用于特征提取，设p张特征图的卷积层，其上一层共有q张特征图，则其上第l张特征图上坐标为(s,t)的节点输出为：
其中xk,u,v为上一层第k张特征图上坐标未(u,v)的节点的输出，wk,i,j为尺寸为p×m×m的三维滤波器矩阵中的元素，bk,s,t为偏置参数，f为节点的激活函数。
6.如权利要求4所述的基于神经网络的闸杆防砸方法，其特征在于，所述池化层的池化窗口的长为2个像素，宽为2个像素，所述池化层中，第l张特征图上坐标为(s,t)的节点输出为：
yl,s,t＝max(xl,s,t,xl,s+1,t,xl,s,t+1,xl,s+1,t+1)。
7.如权利要求4所述的基于神经网络的闸杆防砸方法，其特征在于，所述输出层为softmax函数层，各节点对应一个类别，输出值对应该类别的概率，为：
其中y′i为节点i的原始输出，C为预测类别数；或cross-entropy层，用于衡量卷积神经网络地预测误差，为：
其中y为样本的真实概率分布，为样本的模型预测概率分布，x为输出层的输入，θ为卷积神经网络的全部参数，即卷积核W和偏置参数b。
8.一种基于神经网络的闸杆防砸系统，用于实现权利要求1至7中任一项所述的基于神经网络的闸杆防砸方法，其特征在于，包括：
卷积神经网络模块，基于摄像头采集的监控图像构建一卷积神经网络；
监控图像采集模块，采集车辆驶过闸口过程的监控图像，用于生成卷积神经网络的训练数据集；
标注训练模块，标注所述监控图像并训练所述卷积神经网络；
神经网络预测模块，采用训练后的神经网络对摄像头采集的实时图像进行预测；
激光雷达检测模块，使用激光雷达实时检测闸口的通车状态；以及
闸杆下放模块，当所述卷积神经网络对连续m帧监控图像预测的结果是无车，并且所述激光雷达连续n秒判定结果是无车，则给闸杆控制器发送下放闸杆信号，所述m，n为预设阈值。
9.如权利要求8所述的基于神经网络的闸杆防砸系统，其特征在于，还包括监控图像裁剪模块，通过对比所有监控图像对所述监控图像进行裁剪，自所述监控图像外围向中央建立在预设时长下不变化的背景图案区域，在所有监控图像中删除所述背景图案区域。
10.如权利要求8所述的基于神经网络的闸杆防砸系统，其特征在于，所述卷积神经网络包括输入层、至少一卷积层、至少一池化层及输出层，所述输入层用于将所述监控图像的像素值导入网络。
11.如权利要求10所述的基于神经网络的闸杆防砸系统，其特征在于，所述卷积层用于特征提取，设p张特征图的卷积层，其上一层共有q张特征图，则其上第l张特征图上坐标为(s,t)的节点输出为：
其中xk,u,v为上一层第k张特征图上坐标未(u,v)的节点的输出，wk,i,j为尺寸为p×m×m的三维滤波器矩阵中的元素，bk,s,t为偏置参数，f为节点的激活函数。
12.如权利要求10所述的基于神经网络的闸杆防砸系统，其特征在于，所述池化层中，第l张特征图上坐标为(s,t)的节点输出为：
yl,s,t＝max(xl,s,t,xl,s+1,t,xl,s,t+1,xl,s+1,t+1)。
13.如权利要求10所述的基于神经网络的闸杆防砸系统，其特征在于，所述输出层为softmax函数层，各节点对应一个类别，输出值对应该类别的概率，为：
其中y′i为节点i的原始输出，C为预测类别数；或cross-entropy层，用于衡量卷积神经网络地预测误差，为：
其中y为样本的真实概率分布，为样本的模型预测概率分布，x为输出层的输入，θ为卷积神经网络的全部参数，即卷积核W和偏置参数b。
14.一种基于神经网络的闸杆防砸设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述基于神经网络的闸杆防砸方法的步骤。
15.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述基于神经网络的闸杆防砸方法的步骤。
基于神经网络的闸杆防砸方法、系统、设备及存储介质
技术领域
背景技术
[0002] 目前，集装箱码头闸口、停车场出入口、收费站等场景广泛使用道闸来有效控制车辆出入。对道闸的要求除处理快速、工作可靠外，最基本的要求是具有车辆、行人防砸功能。传统的防砸方案一般分为接触式和非接触式。接触式方案主要有压力传感器防砸，易受压力传感器灵敏度限制，灵敏度过高易受外界环境干扰，灵敏度过低闸杆不能及时弹回，可能砸伤行人、砸损车辆。非接触式主要有地感线圈防砸、红外防砸、雷达防砸等。地感线圈防砸需要在闸杆下方埋设地感线圈，安装和维护不便，同时易受雨雪、强电等外界环境干扰，使用寿命短。红外防砸易受震动影响无法聚焦，同时也容易受雨雪天气影响。雷达防砸相比传统的地感线圈防砸、红外防砸，更易安装和维护，故障率更低，但激光雷达通过计算反射激光的时延来探测物体的距离，但雨雪天气下的激光反射对于激光雷达无异于一堆噪点。为解决上述技术问题，本发明提供了一种基于卷积神经网络和激光雷达的闸道闸杆防砸方法。
[0003] 因此，本发明提供了一种基于神经网络的闸杆防砸方法、系统、设备及存储介质。
发明内容
[0005] 本发明的实施例提供一种基于神经网络的闸杆防砸方法，包括以下步骤：
[0006] S101、基于摄像头采集的监控图像构建一卷积神经网络；
[0007] S102、采集车辆驶过闸口过程的监控图像，用于生成卷积神经网络的训练数据集；
[0008] S104、标注所述监控图像并训练所述卷积神经网络；
[0009] S105、采用训练后的神经网络对摄像头采集的实时图像进行预测；
[0010] S106、使用激光雷达实时检测闸口的通车状态；以及
[0012] 优选地，所述步骤S102与步骤S104之间还包括：S103、通过对比所有监控图像对所述监控图像进行裁剪，自所述监控图像外围向中央建立在预设时长下不变化的背景图案区域，在所有监控图像中删除所述背景图案区域。
[0013] 优选地，所述步骤S104中采用迭代标注-训练-预测的方式同时标注所述监控图像，和训练所述卷积神经网络，卷积神经网络预测并自动标注未标注图像，手工标注卷积神经网络错误预测的图像，一并加入训练数据后继续训练神经网络。
[0015] 优选地，所述卷积层用于特征提取，设p张特征图的卷积层，其上一层共有q张特征图，则其上第l张特征图上坐标为(s,t)的节点输出为：
[0016]
[0017] 其中xk,u,v为上一层第k张特征图上坐标未(u,v)的节点的输出，wk,i,j为尺寸为p×m×m的三维滤波器矩阵中的元素，bk,s,t为偏置参数，f为节点的激活函数。
[0018] 优选地，所述池化层的池化窗口的长为2个像素，宽为2个像素，所述池化层中，第l张特征图上坐标为(s,t)的节点输出为：
[0019] yl,s,t＝max(xl,s,t,xl,s+1,t,xl,s,t+1,xl,s+1,t+1)。
[0020] 优选地，所述输出层为softmax函数层，各节点对应一个类别，输出值对应该类别的概率，为：
[0021]
[0022] 其中y′i为节点i的原始输出，C为预测类别数；或cross-entropy层，用于衡量卷积神经网络地预测误差，为：
[0023]
[0024] 其中y为样本的真实概率分布， 为样本的模型预测概率分布，x为输出层的输入，θ为卷积神经网络的全部参数，即卷积核W和偏置参数b。
[0025] 优选地，所述步骤S102中的训练数据集可扩充多个类别的数据。
[0026] 优选地，所述步骤S102中的训练数据集可扩充雨雪等的复杂场景数据，提高所述步骤一中卷积神经网络的场景适应能力。
[0027] 优选地，所述步骤S101中构建的卷积神经网络，其输出层可根据步骤S102中所述的数据集类别添加对应的节点。
[0028] 优选地，所述步骤S102中，所述图像进行数据增强，增强方式随机旋转和左右翻转图像、随机变化图像的像素值、随机变换图像的对比度、随机裁剪，可提升深度学习模型对不同拍摄角度、光照、外界环境采集图像的适应性。
[0029] 本发明的实施例还提供一种基于神经网络的闸杆防砸系统，用于实现上述的基于神经网络的闸杆防砸方法，所述基于神经网络的闸杆防砸系统包括：
[0030] 卷积神经网络模块，基于摄像头采集的监控图像构建一卷积神经网络；
[0031] 监控图像采集模块，采集车辆驶过闸口过程的监控图像，用于生成卷积神经网络的训练数据集；
[0032] 标注训练模块，标注所述监控图像并训练所述卷积神经网络；
[0033] 神经网络预测模块，采用训练后的神经网络对摄像头采集的实时图像进行预测；
[0034] 激光雷达检测模块，使用激光雷达实时检测闸口的通车状态；以及
[0035] 闸杆下放模块，当所述卷积神经网络对连续m帧监控图像预测的结果是无车，并且所述激光雷达连续n秒判定结果是无车，则给闸杆控制器发送下放闸杆信号，所述m，n为预设阈值。
[0036] 优选地，还包括监控图像裁剪模块，通过对比所有监控图像对所述监控图像进行裁剪，自所述监控图像外围向中央建立在预设时长下不变化的背景图案区域，在所有监控图像中删除所述背景图案区域。
[0037] 优选地，所述卷积神经网络包括输入层、至少一卷积层、至少一池化层及输出层，所述输入层用于将所述监控图像的像素值导入网络。
[0038] 优选地，所述卷积层用于特征提取，设p张特征图的卷积层，其上一层共有q张特征图，则其上第l张特征图上坐标为(s,t)的节点输出为：
[0039]
[0040] 其中xk,u,v为上一层第k张特征图上坐标未(u,v)的节点的输出，wk,i,j为尺寸为p×m×m的三维滤波器矩阵中的元素，bk,s,t为偏置参数，f为节点的激活函数。
[0041] 优选地，所述池化层中，第l张特征图上坐标为(s,t)的节点输出为：
[0042] yl,s,t＝max(xl,s,t,xl,s+1,t,xl,s,t+1,xl,s+1,t+1)。
[0043] 优选地，所述输出层为softmax函数层，各节点对应一个类别，输出值对应该类别的概率，为：
[0044]
[0045] 其中y′i为节点i的原始输出，C为预测类别数；或cross-entropy层，用于衡量卷积神经网络地预测误差，为：
[0046]
[0047] 其中y为样本的真实概率分布，为样本的模型预测概率分布，x为输出层的输入，θ为卷积神经网络的全部参数，即卷积核W和偏置参数b。
[0048] 本发明的实施例还提供一种基于神经网络的闸杆防砸设备，包括：
[0049] 处理器；
[0050] 存储器，其中存储有所述处理器的可执行指令；
[0051] 其中，所述处理器配置为经由执行所述可执行指令来执行上述基于神经网络的闸杆防砸方法的步骤。
[0052] 本发明的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述基于神经网络的闸杆防砸方法的步骤。
[0053] 本发明的基于神经网络的闸杆防砸方法、系统、设备及存储介质，能够使用本发明的闸口的漏检率相较于只采用激光雷达的方法，漏检率下降了两个量级，大大提高了安全性，并且在恶劣天气中仍能保证较高的预测精度，可保证雨雪天气下道闸闸杆防砸功能的可靠性。附图说明
[0054] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
[0055] 图1是本发明的基于神经网络的闸杆防砸方法的流程图；
[0056] 图2是本发明实施例中使用基于神经网络的闸杆防砸方法的闸口落杆流程图；
[0057] 图3至14是本发明实施例中基于神经网络的闸杆防砸方法的闸口进行图像处理的示意图；
[0058] 图15是本发明实施例卷积神经网络结构的示意图表；
[0059] 图16是本发明的基于神经网络的闸杆防砸系统的架构示意图；
[0060] 图17是本发明的基于神经网络的闸杆防砸设备的结构示意图；以及
[0061] 图18是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
[0062] 现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
[0063] 图1是本发明的基于神经网络的闸杆防砸方法的流程图。如图1所示，本发明的基于神经网络的闸杆防砸方法，包括以下步骤：
[0064] S101、基于摄像头采集的监控图像构建一卷积神经网络。
[0065] S102、采集车辆驶过闸口过程的监控图像，用于生成卷积神经网络的训练数据集。
[0066] S103、通过对比所有监控图像对所述监控图像进行裁剪，自所述监控图像外围向中央建立在预设时长下不变化的背景图案区域，在所有监控图像中删除所述背景图案区域。
[0067] S104、标注所述监控图像并训练所述卷积神经网络。
[0068] S105、采用训练后的神经网络对摄像头采集的实时图像进行预测。
[0069] S106、使用激光雷达实时检测闸口的通车状态。以及
[0070] S107、当所述卷积神经网络对连续m帧监控图像预测的结果是无车，并且所述激光雷达连续n秒判定结果是无车，则给闸杆控制器发送下放闸杆信号，所述m，n为预设阈值。本实施例中，m为10，n为1，但不以此为限。
[0071] 本发明同时使用了神经网络图像检测和激光雷达检测来判断通过闸口的车辆情况，提高了测量精确度，漏检率下降了两个量级，大大提高了安全性，并且在恶劣天气中仍能保证较高的预测精度，可保证雨雪天气下道闸闸杆防砸功能的可靠性。
[0072] 在一个优选实施例中，所述步骤S104中采用迭代标注-训练-预测的方式同时标注所述监控图像，和训练所述卷积神经网络，卷积神经网络预测并自动标注未标注图像，手工标注卷积神经网络错误预测的图像，一并加入训练数据后继续训练神经网络。
[0073] 在一个优选实施例中，所述卷积神经网络包括输入层、至少一卷积层、至少一池化层及输出层，所述输入层用于将所述监控图像的像素值导入网络。
[0074] 在一个优选实施例中，所述卷积层用于特征提取，设p张特征图的卷积层，其上一层共有q张特征图，则其上第l张特征图上坐标为(s,t)的节点输出为：
[0075]
[0076] 其中xk,u,v为上一层第k张特征图上坐标未(u,v)的节点的输出，wk,i,j为尺寸为p×m×m的三维滤波器矩阵中的元素，bk,s,t为偏置参数，f为节点的激活函数。
[0077] 在一个优选实施例中，所述池化层的池化窗口的长为2个像素，宽为2个像素，所述池化层中，第l张特征图上坐标为(s,t)的节点输出为：
[0078] yl,s,t＝max(xl,s,t,xl,s+1,t,xl,s,t+1,xl,s+1,t+1)，但不以此为限。在其他变化例中，可以根据具体情况设定池化窗口的长和宽，并获得对应的节点输出公式。
[0079] 在一个优选实施例中，所述输出层为softmax函数层，各节点对应一个类别，输出值对应该类别的概率，为：
[0080]
[0081] 其中y′i为节点i的原始输出，C为预测类别数。或cross-entropy层，用于衡量卷积神经网络地预测误差，为：
[0082]
[0083] 其中y为样本的真实概率分布，为样本的模型预测概率分布，x为输出层的输入，θ为卷积神经网络的全部参数，即卷积核W和偏置参数b。本实施例中，softmax函数层把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此softmax函数层的多分类的概率之和也刚好为1。
[0084] 下面将结合附图，更全面、清楚地描述本发明的技术方案。然而，本发明的技术方案能以多种形式实施，且不应被理解为仅限于所描述的实施方式。基于本发明中的实施例，本领域的其他技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0085] 本发明实施例提供的基于卷积神经网络和激光雷达的道闸闸杆防砸方法，包括车辆识别模块和雷达测距模块，步骤如下：
[0086] 图2是本发明实施例中使用基于神经网络的闸杆防砸方法的闸口落杆流程图。图3至14是本发明实施例中基于神经网络的闸杆防砸方法的闸口进行图像处理的示意图。图15是本发明实施例卷积神经网络结构的示意图表。如图2至15所示，本实施例中的使用基于神经网络的闸杆防砸方法的闸口落杆具体流程如下：
[0087] S201、采集道闸监控图像。闸口设置带有闸杆2的闸机1，闸机1设有对准闸口的摄像头3和激光雷达4，车辆5自闸口通过。摄像头3采集车辆通过闸口过程的监控画面，[0088] S202、图像裁剪及数据增强。图3为车辆通过闸口前的示意图。图4为图3中摄像头拍摄到的监控画面。图5为在监控画面中确定背景图案区域的示意图。图6为去除背景图案区域后的监控图像。图7为车辆通过闸口时的示意图。图8为图7中摄像头拍摄到的监控画面。图9为在监控画面中确定背景图案区域的示意图。图10为去除背景图案区域后的监控图像。图11为车辆通过闸口后的示意图。图12为图11中摄像头拍摄到的监控画面。图13为在监控画面中确定背景图案区域的示意图。图14为去除背景图案区域后的监控图像。
[0089] 其中，图5、9、13中，自所述监控图像外围向中央建立在预设时长下不变化的背景图案区域，背景图案区域是对比多段汽车过闸口的监控画面后得到的，因为摄像头3会拍摄到较大的背景区域，在监控画面中这些背景区域的像素一直不变，所以实施例中，在所有监控画面中建立相同的位置的背景图案区域A、B，并且删除这些相同的区域，保留主要体现车辆5通过状态的C区域(中间区域)。
[0090] 车身一般并不占据全部监控画面，在生成卷积神经网络的训练数据之前，本实施例对所有监控图像进行裁剪处理，即从监控画面中裁去车身一般不会出现的背景部分。目的在于优化卷积神经网络的性能：一是减少运算量及参数量，提升卷积神经网络的预测速度；二是去除无效的背景区域后，有、无车的图像之间的差异将更明显，卷积神经网络能抽取更为精确的图像特征，提升预测准确率。
[0091] 除所述裁剪操作，本实施例还对训练数据进行了增强处理，包括随机旋转和左右翻转图像、随机变化图像的像素值、随机变换图像的对比度、随机裁剪。可增加数据的多样性，同时提高卷积神经网络的鲁棒性，使其能对不同视角、光照强度下采集的监控画面都能保证良好的预测精度。
[0092] 雨雪天气下的激光反射对于激光雷达无异于一堆噪点，本实施例综合卷积神经网络预测结果与激光雷达测距结果，具有更强的环境适应性。在卷积神经网络的训练数据中，包含有雨雪天气下车辆的监控图像。由于采用了所述图像背景裁剪操作，尽管存在雨雪遮挡，车辆图像仍能与背景图像明显区分开，卷积神经网络仍能保证较高的预测精度，可保证雨雪天气下道闸闸杆防砸功能的可靠性。
[0093] S203、完成网络训练和数据标注。附图15是本实施例使用的卷积神经网络结构，其基本结构包括输入层、卷积层、池化层和输出层，各层包含多个节点，每层的各节点都与上一层和下一层的多个节点连接，最后的均值池化层特征尺寸，应为2，对应有车通过与无车通过两种类别。如图3所示，卷积神经网络结构中的输入层用于将图像像素值导入网络。
[0094] S204、取出部分数据输入神经网络。
[0095] S205、判断神经网络是否预测正确，若是，则执行步骤S207，若否，则执行步骤S206。本实施例的神经网络中，卷积层用于特征提取，从图像中提取高层的、易于表达的特征，生成特征图。如有p张特征图的卷积层，其上一层共有q张特征图，则其上第l张特征图上坐标为(s,t)的节点输出为：
[0096]
[0097] 其中xk,u,v为上一层第k张特征图上坐标未(u,v)的节点的输出，wk,i,j为尺寸为p×m×m的三维滤波器矩阵(卷积核)中的元素，即网络节点间的连接权重，bk,s,t为偏置参数，f为节点的激活函数，本实施例采用的激活函数为leakly-relu，即：
[0098] f(x)＝max(0.01x,x),
[0099] 池化层用于降低特征图的尺寸，减少计算量的同时保留重要信息。以2×2尺寸的池化层为例，所述池化层的池化窗口的长为2个像素，宽为2个像素，其第l张特征图上坐标为(s,t)的节点输出为：
[0100] yl,s,t＝max(xl,s,t,xl,s+1,t,xl,s,t+1,xl,s+1,t+1),
[0101] 以2×2尺寸的池化层为例，其第l张特征图上坐标为(s,t)的节点输出为：
[0102]
[0103] 输出层用于输出网络预测的各个类别的概率或计算网络预测误差。优选地，本实施例中卷积神经网络预测时输出层为softmax层，用于将全部节点的输出映射为一个概率分布，其上各节点对应一个类别的概率，为：
[0104]
[0105] 其中y′i为节点i的原始输出，C为预测类别数。
[0106] 优选地，本实施例中卷积神经网络训练时输出层为cross-entropy层(交叉熵损失层)，用于衡量卷积神经网络地预测误差，为：
[0107]
[0108] 其中y为样本的真实概率分布，为样本的模型预测概率分布，x为输出层的输入，θ为卷积神经网络的全部参数，即卷积核W和偏置参数b。通过优化交叉熵损失函数，即可求得最优的网络参数。优选地，本实施例选用的优化算法为随机梯度下降法，由于优化算法并非本实施例重点，此处不再累述。
[0109] S206、手动标注预测错误。本实施例通过一种迭代的方式同步标注数据和训练卷积神经网络。首先取出一部分数据并手工标注，作为初始的训练数据训练卷积神经网络。再取出一部分数据，并用训练后的卷积神经网络进行预测，只需手工标注少数预测错误的数据便能将这部分数据添加至卷积神经网络的训练数据中。以此反复训练-预测-错误数据手工标注这一过程，直至完成全部数据的标注，同时卷积神经网络也训练至理想预测精度，提升了数据标注工作的自动化程度，避免了繁复的手工操作，极大降低了相关人员的工作强度。
[0110] S207、将图像加入训练数据。本实施例中的训练数据集可扩充多个场景的数据。例如：训练数据集可扩充雨雪等的复杂场景数据，提高卷积神经网络的场景适应能力。本实施例中，通过大量的监控图像来训练神经网络，将每一张监控图像输入神经网络，得到神经网络对监控图像的判断结果(是否有车辆通过)，并人工对结果进行校正，分类出判断正确的监控图像和判断错误的监控图像，加入到训练集中，从而修正其中各网络节点间的连接权重，最终得到一个高准确率的神经网络。
[0111] S208、训练神经网络，训练完成后返回步骤S203。
[0112] S209、采集道闸实时监控图像。(参考图3、4、7、8、11、12)
[0113] S210、剪裁图像并输入神经网络。(参考图5、6、9、10、13、14)本实施例中，将剪裁后的监控图像输入之前步骤S203训练好的神经网络所述卷积神经网络包括输入层、至少一卷积层、至少一池化层及输出层，所述输入层用于将所述监控图像的像素值导入网络。神经网络对监控图像进行卷积、处理的过程如前所述，此处不再赘述。
[0114] S211、判断是否满足神经网络预测连续十帧无车通过，若是，则执行步骤S212，若否，则返回步骤S209。
[0115] S212、判断是否满足激光雷达连续感应一秒无车通过，若是，则执行步骤S213，若否，则返回步骤S209。
[0116] S213、闸口落杆。当神经网络和激光雷达都判断没有车辆通过时，闸机1放下闸杆2，充分保证闸杆2落下时，不会砸到车辆。
[0117] 本实例所述基于卷积神经网络和激光雷达的道闸闸杆防砸方法，具有良好的可拓展性，可应用至任意物体安全防砸，如行人、动物、非机动车辆的防砸等。尤其体现在卷积神经网络具备预测任意多类别概率的能力，例如需从车辆的安全防砸拓展至行人、车辆的安全防砸，只需在其输出层添加对应行人类别的节点，同时在其训练样本中添加对应行人的监控图像即可。同时激光雷达感应一定范围内是否存在物体，并不区分是人、车辆或其他物体。
[0118] 此外对于道闸安全来说，有车时漏检相较无车时误检具有更大危害性，因此更低的漏检率是各类闸杆安全防砸方法首要的评价指标。本实施例同时使用卷积神经网络的预测结果和激光雷达的测距来判断闸杆下有无车，可进一步降低漏检的可能性。晴好天气下本实施例中闸杆下放的依据为：激光雷达连续1秒在探测范围内未检测到物体遮挡，同时卷积神经网络对连续10帧监控画面的预测结果均为无车。本实施例中卷积神经网络可达到约99.2％的准确率和0.3％的漏检率，以激光雷达方法漏检率1％为例，本实施例例中车辆有无判断的漏检率仅为0.3％×1％＝0.003％，相较于只采用激光雷达的方法，漏检率下降了两个量级，因此具备更高的安全性。
[0119] 本发明的基于神经网络的闸杆防砸方法能够使用本发明的闸口的漏检率相较于只采用激光雷达的方法，漏检率下降了两个量级，大大提高了安全性，并且在恶劣天气中仍能保证较高的预测精度，可保证雨雪天气下道闸闸杆防砸功能的可靠性。
[0120] 图16是本发明的基于神经网络的闸杆防砸方法的第一种实施例的示意图。如图16所示，本发明的实施例还提供一种基于神经网络的闸杆防砸系统50，用于实现上述的基于神经网络的闸杆防砸方法，基于神经网络的闸杆防砸系统50包括：
[0121] 卷积神经网络模块51，基于摄像头采集的监控图像构建一卷积神经网络。
[0122] 监控图像采集模块52，采集车辆驶过闸口过程的监控图像，用于生成卷积神经网络的训练数据集。
[0123] 监控图像裁剪模块53，通过对比所有监控图像对所述监控图像进行裁剪，自所述监控图像外围向中央建立在预设时长下不变化的背景图案区域，在所有监控图像中删除所述背景图案区域。
[0124] 标注训练模块54，标注所述监控图像并训练所述卷积神经网络。
[0125] 神经网络预测模块55，采用训练后的神经网络对摄像头采集的实时图像进行预测。
[0126] 激光雷达检测模块56，使用激光雷达实时检测闸口的通车状态。
[0127] 闸杆下放模块57，当所述卷积神经网络对连续m帧监控图像预测的结果是无车，并且所述激光雷达连续n秒判定结果是无车，则给闸杆控制器发送下放闸杆信号，所述m，n为预设阈值。
[0128] 在一个优选实施例中，所述卷积神经网络包括输入层、至少一卷积层、至少一池化层及输出层，所述输入层用于将所述监控图像的像素值导入网络。
[0129] 在一个优选实施例中，所述卷积层用于特征提取，设p张特征图的卷积层，其上一层共有q张特征图，则其上第l张特征图上坐标为(s,t)的节点输出为：
[0130]
[0131] 其中xk,u,v为上一层第k张特征图上坐标未(u,v)的节点的输出，wk,i,j为尺寸为p×m×m的三维滤波器矩阵中的元素，bk,s,t为偏置参数，f为节点的激活函数。
[0132] 在一个优选实施例中，所述池化层中，第l张特征图上坐标为(s,t)的节点输出为：
[0133] yl,s,t＝max(xl,s,t,xl,s+1,t,xl,s,t+1,xl,s+1,t+1)。
[0134] 在一个优选实施例中，所述输出层为softmax函数层，各节点对应一个类别，输出值对应该类别的概率，为：
[0135]
[0136] 其中y′i为节点i的原始输出，C为预测类别数；或cross-entropy层，用于衡量卷积神经网络地预测误差，为：
[0137]
[0138] 其中y为样本的真实概率分布， 为样本的模型预测概率分布，x为输出层的输入，θ为卷积神经网络的全部参数，即卷积核W和偏置参数b。
[0139] 本发明实施例还提供一种基于神经网络的闸杆防砸设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于神经网络的闸杆防砸方法的步骤。
[0140] 如上所示，该实施例能够使用本发明的闸口的漏检率相较于只采用激光雷达的方法，漏检率下降了两个量级，大大提高了安全性，并且在恶劣天气中仍能保证较高的预测精度，可保证雨雪天气下道闸闸杆防砸功能的可靠性。
[0141] 所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
[0142] 图17是本发明的基于神经网络的闸杆防砸设备的结构示意图。下面参照图17来描述根据本发明的这种实施方式的电子设备600。图17显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0143] 如图17所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
[0144] 其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
[0145] 存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
[0146] 存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0147] 总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0148] 电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
[0149] 本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于神经网络的闸杆防砸方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
[0150] 如上所示，该实施例能够使用本发明的闸口的漏检率相较于只采用激光雷达的方法，漏检率下降了两个量级，大大提高了安全性，并且在恶劣天气中仍能保证较高的预测精度，可保证雨雪天气下道闸闸杆防砸功能的可靠性。
[0151] 图18本发明的计算机可读存储介质的结构示意图。参考图18所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0152] 程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0153] 计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
[0154] 可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0155] 综上，本发明的目的在于提供基于神经网络的闸杆防砸方法、系统、设备及存储介质，能够使用本发明的闸口的漏检率相较于只采用激光雷达的方法，漏检率下降了两个量级，大大提高了安全性，并且在恶劣天气中仍能保证较高的预测精度，可保证雨雪天气下道闸闸杆防砸功能的可靠性。
[0156] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种介质波导双工器 | 2020-06-15 | 2 |
| 一种撞击防护救生舱 | 2020-12-18 | 0 |
| 一种基于纳米碳材料/硅异质结的X射线探测器及其制备方法 | 2021-08-18 | 2 |
| 一种基于用水量优化预测模型的管网漏损报警方法 | 2021-06-21 | 0 |
| 基于软件定义网络的流量监测系统和方法 | 2021-06-22 | 1 |
| 一种挂面制作方法 | 2022-06-03 | 0 |
| 坐底式核发电平台 | 2020-07-23 | 2 |
| 便于哺乳的双层结构内衣 | 2020-05-18 | 2 |
| 用于直接部件标记(DPM)扫描仪的照明组件和圆顶漫射器组件 | 2020-08-31 | 0 |
| 逃生防盗窗 | 2020-08-14 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈