一种吊装过程人员安全监测方法及系统
阅读：407发布：2020-05-08
专利汇可以提供一种吊装过程人员安全监测方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种吊装过程人员安全监测方法及系统，其中，方法包括：构建标识有障碍物的吊装场地模型；训练生成工人、吊装物体检测网络；不断进行正确佩戴 安全帽 的工人、未正确佩戴安全帽的工人及吊装物体的检测；当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警；否则，判断工人与吊装物体间是否存在相对运动；若是，结合吊装场地模型、利用滑动窗口的方法预测工人路径；基于吊装场地模型，利用蚁群 算法 预测吊装物体路径；判断工人及吊装物体是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。本发明对吊装过程中的危险进行全面、及时的识别，能够有效 预防 吊装事故的发生。，下面是一种吊装过程人员安全监测方法及系统专利的具体信息内容。
1.一种吊装过程人员安全监测方法，其特征在于，包括：
S1、采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
S2、训练生成Faster R-CNN工人、吊装物体检测网络；
S3、利用所述检测网络对吊装场地拍摄视频中的帧图像不断进行正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体的检测，直到检测出正确佩戴安全帽的工人和/或未正确佩戴安全帽的工人；
S4、当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警；否则执行步骤S5；
S5、基于工人与吊装物体在前后两帧图像间的距离差值，判断工人与吊装物体间是否存在相对运动；若是，执行步骤S6；
S6、基于检测到的工人历史路径，训练生成LSTM工人路径预测模型，结合所述标识有障碍物的吊装场地模型、利用滑动窗口的方法预测工人路径；
S7、基于检测到的吊装物体历史路径及所述标识有障碍物的吊装场地模型，利用蚁群算法预测吊装物体路径；
S8、判断工人及吊装物体预测路径中，是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。
2.根据权利要求1所述的人员安全监测方法，其特征在于，所述步骤S1包括：
针对采集的每幅吊装场地图像，通过横向与纵向等分的方式划分为二维图像栅格，结合多个二维图像栅格，整合生成三维栅格模型；通过卷积神经网络识别障碍物，确定障碍物在所述三维栅格模型中的位置，并在三维栅格模型中进行标识，生成标识有障碍物的吊装场地模型。
3.根据权利要求1所述的人员安全监测方法，其特征在于，所述步骤S5包括：
判断 是否成立，若是，则工人与吊装物体间存在相对
运动，否则不存在相对运动；其中， 、 分别为工人在前后两帧图像中的位置坐标，、 分别为吊装物体在前后两帧图像中的位置坐标， 为预设的距离阈值。
4.根据权利要求2所述的人员安全监测方法，其特征在于，所述步骤S6包括：
将工人历史路径数据进行分组，每组包括连续的M+1个位置数据，将前M个位置数据作为LSTM网络的输入，对第M+1个数据进行预测，计算LSTM工人路径预测模型的损失函数对LSTM工人路径预测模型进行迭代、优化、更新，训练生成LSTM工人路径预测模型；采用第N-M至N的位置数据对第N+1时刻的位置进行预测，判断预测出的位置是否属于障碍物位置集合，若是，则排除该位置重新进行位置的预测，当预测出工人第N+1时刻的位置后，将其替换第N-M时刻的位置数据，采用第N-M+1至第N+1时刻的数据对第N+2时刻的位置进行预测。
5.根据权利要求2所述的人员安全监测方法，其特征在于，所述步骤S7包括：
确定吊装场地所有障碍物的位置、吊装物体的起点和目标点的位置，进行参数初始化，参数包括最大迭代次数、信息启发因子、期望启发因子、蚂蚁个数，障碍物处的启发因子为
0；在吊装物体的起点位置上等时间间隔生成预设蚂蚁个数的蚂蚁，各蚂蚁根据状态转移概率选择下一个位置节点，并将已经走过的节点加入禁忌表中；根据蚂蚁的位置转移过程更新路径信息素，更新状态转移概率；不断执行上述操作进行下一位置节点的选择，直到蚂蚁到达目标位置，更新信息素浓度及迭代次数，当迭代次数达到预设的最大迭代次数，输出最优的路径。
6.一种吊装过程人员安全监测系统，其特征在于，包括：
吊装场地模型构建模块，用于采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
检测网络生成模块，用于训练生成Faster R-CNN工人、吊装物体检测网络；
检测模块，用于利用所述检测网络对吊装场地拍摄视频中的帧图像不断进行正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体的检测，直到检测出正确佩戴安全帽的工人和/或未正确佩戴安全帽的工人；
第一报警模块，用于当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警；否则调用相对运动检测模块；
相对运动检测模块，用于基于工人与吊装物体在前后两帧图像间的距离差值，判断工人与吊装物体间是否存在相对运动；若是，调用第一路径预测模块；
第一路径预测模块，用于基于检测到的工人历史路径，训练生成LSTM工人路径预测模型，结合所述标识有障碍物的吊装场地模型、利用滑动窗口的方法预测工人路径；
第二路径预测模块，用于基于检测到的吊装物体历史路径及所述标识有障碍物的吊装场地模型，利用蚁群算法预测吊装物体路径；
第二报警模块，用于判断工人及吊装物体预测路径中，是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。
7.根据权利要求6所述的人员安全监测系统，其特征在于，所述吊装场地模型构建模块包括：
针对采集的每幅吊装场地图像，通过横向与纵向等分的方式划分为二维图像栅格，结合多个二维图像栅格，整合生成三维栅格模型；通过卷积神经网络识别障碍物，确定障碍物在所述三维栅格模型中的位置，并在三维栅格模型中进行标识，生成标识有障碍物的吊装场地模型。
8.根据权利要求6所述的人员安全监测系统，其特征在于，所述相对运动检测模块包括：
判断 是否成立，若是，则工人与吊装物体间存在相
对运动，否则不存在相对运动；其中， 、 分别为工人在前后两帧图像中的位置坐标， 、 分别为吊装物体在前后两帧图像中的位置坐标， 为预设的距离阈值。
9.根据权利要求7所述的人员安全监测系统，其特征在于，所述第一路径预测模块包括：
将工人历史路径数据进行分组，每组包括连续的M+1个位置数据，将前M个位置数据作为LSTM网络的输入，对第M+1个数据进行预测，计算LSTM工人路径预测模型的损失函数对LSTM工人路径预测模型进行迭代、优化、更新，训练生成LSTM工人路径预测模型；采用第N-M至N的位置数据对第N+1时刻的位置进行预测，判断预测出的位置是否属于障碍物位置集合，若是，则排除该位置重新进行位置的预测，当预测出工人第N+1时刻的位置后，将其替换第N-M时刻的位置数据，采用第N-M+1至第N+1时刻的数据对第N+2时刻的位置进行预测。
10.根据权利要求7所述的人员安全监测系统，其特征在于，所述第二路径预测模块包括：
确定吊装场地所有障碍物的位置、吊装物体的起点和目标点的位置，进行参数初始化，参数包括最大迭代次数、信息启发因子、期望启发因子、蚂蚁个数，障碍物处的启发因子为
0；在吊装物体的起点位置上等时间间隔生成预设蚂蚁个数的蚂蚁，各蚂蚁根据状态转移概率选择下一个位置节点，并将已经走过的节点加入禁忌表中；根据蚂蚁的位置转移过程更新路径信息素，更新状态转移概率；不断执行上述操作进行下一位置节点的选择，直到蚂蚁到达目标位置，更新信息素浓度及迭代次数，当迭代次数达到预设的最大迭代次数，输出最优的路径。
一种吊装过程人员安全监测方法及系统
技术领域
背景技术
[0002] 随着城镇人口的不断增加，对高层和超高层建筑的需求越来越大，为了提高施工机械化和工业化，塔吊被广泛应用在高层、超高层建筑的施工过程中。吊装过程中出现的安全事故依旧层出不穷，目前已有的吊装过程监测系统主要考虑吊车的安全状态以及与周围结构物的碰撞情况。然而，最严重的吊装事故往往与人有关，事故的后果严重，重伤和死亡的比例也很高。
[0003] 现有的吊装过程人员安全监测主要使用数字摄像机，确定建筑工人的位置，或者使用静态放置的和动态移动的摄像机来跟踪施工现场的工人。此外，现有技术提出了一种基于机器学习的跟踪方法，用于追踪施工现场的工人。然而，上述方法只是跟踪工人，无法识别吊装过程是否安全，无法对工人进行预警。
[0004] 公开号为CN 109019335A的发明专利申请公开了一种基手深度学习的吊装安全距离检测方法，其包括：通过摄像头获取塔吊结构中吊装物体周围的图像；针对获取图像中的工人和吊装物体进行标记、制作成数据集；利用深度学习中的faster R-CNN对数据集进行训练；利用训练好的检测模型对图像中的工人和吊装物体进行识别和定位；根据检测结果中的定位信息计算出图像中工人和吊装物体的像素距离，再根据吊装物体和摄像头的高度以及吊装物体的真实长度和像素长度，将工人与吊装物体的像素距离换算成工人与吊装物体垂直投影点的实际距离，进而实现对吊装安全距离的监测。
[0005] 上述申请虽然能通过工人与吊装物体间的距离检测来提高吊装过程中的安全性，但是对吊装过程的危险识别方式单一，且在检测到工人与吊装物体间的距离低于一定值时才进行安全预警，并不能有效预防吊装事故的发生。因此，如何实现全面、及时的吊装过程危险识别，有效预防吊装事故的发生，这是本领域亟待解决的问题。
发明内容
[0007] 为了实现以上目的，本发明采用以下技术方案：一种吊装过程人员安全监测方法，包括：
S1、采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
S2、训练生成Faster R-CNN工人、吊装物体检测网络；
S3、利用所述检测网络对吊装场地拍摄视频中的帧图像不断进行正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体的检测，直到检测出正确佩戴安全帽的工人和/或未正确佩戴安全帽的工人；
S4、当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警；否则执行步骤S5；
S5、基于工人与吊装物体在前后两帧图像间的距离差值，判断工人与吊装物体间是否存在相对运动；若是，执行步骤S6；
S6、基于检测到的工人历史路径，训练生成LSTM工人路径预测模型，结合所述标识有障碍物的吊装场地模型、利用滑动窗口的方法预测工人路径；
S7、基于检测到的吊装物体历史路径及所述标识有障碍物的吊装场地模型，利用蚁群算法预测吊装物体路径；
S8、判断工人及吊装物体预测路径中，是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。
S1、采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
S2、训练生成Faster R-CNN工人、吊装物体检测网络；
S3、利用所述检测网络对吊装场地拍摄视频中的帧图像不断进行正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体的检测，直到检测出正确佩戴安全帽的工人和/或未正确佩戴安全帽的工人；
S4、当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警；否则执行步骤S5；
S5、基于工人与吊装物体在前后两帧图像间的距离差值，判断工人与吊装物体间是否存在相对运动；若是，执行步骤S6；
S6、基于检测到的工人历史路径，训练生成LSTM工人路径预测模型，结合所述标识有障碍物的吊装场地模型、利用滑动窗口的方法预测工人路径；
S7、基于检测到的吊装物体历史路径及所述标识有障碍物的吊装场地模型，利用蚁群算法预测吊装物体路径；
S8、判断工人及吊装物体预测路径中，是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。
[0008] 进一步地，所述步骤S1包括：针对采集的每幅吊装场地图像，通过横向与纵向等分的方式划分为二维图像栅格，结合多个二维图像栅格，整合生成三维栅格模型；通过卷积神经网络识别障碍物，确定障碍物在所述三维栅格模型中的位置，并在三维栅格模型中进行标识，生成标识有障碍物的吊装场地模型。
[0009] 进一步地，所述步骤S5包括：判断 是否成立，若是，则工人与吊装物体间存在相
对运动，否则不存在相对运动；其中， 、 分别为工人在前后两帧图像中的位置坐标， 、 分别为吊装物体在前后两帧图像中的位置坐标，为预设的距离阈值。
对运动，否则不存在相对运动；其中， 、 分别为工人在前后两帧图像中的位置坐标， 、 分别为吊装物体在前后两帧图像中的位置坐标，为预设的距离阈值。
[0010] 进一步地，所述步骤S6包括：将工人历史路径数据进行分组，每组包括连续的M+1个位置数据，将前M个位置数据作为LSTM网络的输入，对第M+1个数据进行预测，计算LSTM工人路径预测模型的损失函数对LSTM工人路径预测模型进行迭代、优化、更新，训练生成LSTM工人路径预测模型；采用第N-M至N的位置数据对第N+1时刻的位置进行预测，判断预测出的位置是否属于障碍物位置集合，若是，则排除该位置重新进行位置的预测，当预测出工人第N+1时刻的位置后，将其替换第N-M时刻的位置数据，采用第N-M+1至第N+1时刻的数据对第N+2时刻的位置进行预测。
[0011] 进一步地，所述步骤S7包括：确定吊装场地所有障碍物的位置、吊装物体的起点和目标点的位置，进行参数初始化，参数包括最大迭代次数、信息启发因子、期望启发因子、蚂蚁个数，障碍物处的启发因子为
0；在吊装物体的起点位置上等时间间隔生成预设蚂蚁个数的蚂蚁，各蚂蚁根据状态转移概率选择下一个位置节点，并将已经走过的节点加入禁忌表中；根据蚂蚁的位置转移过程更新路径信息素，更新状态转移概率；不断执行上述操作进行下一位置节点的选择，直到蚂蚁到达目标位置，更新信息素浓度及迭代次数，当迭代次数达到预设的最大迭代次数，输出最优的路径。
0；在吊装物体的起点位置上等时间间隔生成预设蚂蚁个数的蚂蚁，各蚂蚁根据状态转移概率选择下一个位置节点，并将已经走过的节点加入禁忌表中；根据蚂蚁的位置转移过程更新路径信息素，更新状态转移概率；不断执行上述操作进行下一位置节点的选择，直到蚂蚁到达目标位置，更新信息素浓度及迭代次数，当迭代次数达到预设的最大迭代次数，输出最优的路径。
[0012] 本发明还提出一种吊装过程人员安全监测系统，包括：吊装场地模型构建模块，用于采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
检测网络生成模块，用于训练生成Faster R-CNN工人、吊装物体检测网络；
检测模块，用于利用所述检测网络对吊装场地拍摄视频中的帧图像不断进行正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体的检测，直到检测出正确佩戴安全帽的工人和/或未正确佩戴安全帽的工人；
第一报警模块，用于当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警；否则调用相对运动检测模块；
相对运动检测模块，用于基于工人与吊装物体在前后两帧图像间的距离差值，判断工人与吊装物体间是否存在相对运动；若是，调用第一路径预测模块；
第一路径预测模块，用于基于检测到的工人历史路径，训练生成LSTM工人路径预测模型，结合所述标识有障碍物的吊装场地模型、利用滑动窗口的方法预测工人路径；
第二路径预测模块，用于基于检测到的吊装物体历史路径及所述标识有障碍物的吊装场地模型，利用蚁群算法预测吊装物体路径；
第二报警模块，用于判断工人及吊装物体预测路径中，是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。
检测网络生成模块，用于训练生成Faster R-CNN工人、吊装物体检测网络；
检测模块，用于利用所述检测网络对吊装场地拍摄视频中的帧图像不断进行正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体的检测，直到检测出正确佩戴安全帽的工人和/或未正确佩戴安全帽的工人；
第一报警模块，用于当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警；否则调用相对运动检测模块；
相对运动检测模块，用于基于工人与吊装物体在前后两帧图像间的距离差值，判断工人与吊装物体间是否存在相对运动；若是，调用第一路径预测模块；
第一路径预测模块，用于基于检测到的工人历史路径，训练生成LSTM工人路径预测模型，结合所述标识有障碍物的吊装场地模型、利用滑动窗口的方法预测工人路径；
第二路径预测模块，用于基于检测到的吊装物体历史路径及所述标识有障碍物的吊装场地模型，利用蚁群算法预测吊装物体路径；
第二报警模块，用于判断工人及吊装物体预测路径中，是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。
[0013] 进一步地，所述吊装场地模型构建模块包括：针对采集的每幅吊装场地图像，通过横向与纵向等分的方式划分为二维图像栅格，结合多个二维图像栅格，整合生成三维栅格模型；通过卷积神经网络识别障碍物，确定障碍物在所述三维栅格模型中的位置，并在三维栅格模型中进行标识，生成标识有障碍物的吊装场地模型。
[0014] 进一步地，所述相对运动检测模块包括：判断 是否成立，若是，则工人与吊装物体间存在相
对运动，否则不存在相对运动；其中， 、 分别为工人在前后两帧图像中的位置坐标， 、 分别为吊装物体在前后两帧图像中的位置坐标， 为预设的距离阈值。
对运动，否则不存在相对运动；其中， 、 分别为工人在前后两帧图像中的位置坐标， 、 分别为吊装物体在前后两帧图像中的位置坐标， 为预设的距离阈值。
[0015] 进一步地，所述第一路径预测模块包括：将工人历史路径数据进行分组，每组包括连续的M+1个位置数据，将前M个位置数据作为LSTM网络的输入，对第M+1个数据进行预测，计算LSTM工人路径预测模型的损失函数对LSTM工人路径预测模型进行迭代、优化、更新，训练生成LSTM工人路径预测模型；采用第N-M至N的位置数据对第N+1时刻的位置进行预测，判断预测出的位置是否属于障碍物位置集合，若是，则排除该位置重新进行位置的预测，当预测出工人第N+1时刻的位置后，将其替换第N-M时刻的位置数据，采用第N-M+1至第N+1时刻的数据对第N+2时刻的位置进行预测。
[0016] 进一步地，所述第二路径预测模块包括：确定吊装场地所有障碍物的位置、吊装物体的起点和目标点的位置，进行参数初始化，参数包括最大迭代次数、信息启发因子、期望启发因子、蚂蚁个数，障碍物处的启发因子为
0；在吊装物体的起点位置上等时间间隔生成预设蚂蚁个数的蚂蚁，各蚂蚁根据状态转移概率选择下一个位置节点，并将已经走过的节点加入禁忌表中；根据蚂蚁的位置转移过程更新路径信息素，更新状态转移概率；不断执行上述操作进行下一位置节点的选择，直到蚂蚁到达目标位置，更新信息素浓度及迭代次数，当迭代次数达到预设的最大迭代次数，输出最优的路径。
0；在吊装物体的起点位置上等时间间隔生成预设蚂蚁个数的蚂蚁，各蚂蚁根据状态转移概率选择下一个位置节点，并将已经走过的节点加入禁忌表中；根据蚂蚁的位置转移过程更新路径信息素，更新状态转移概率；不断执行上述操作进行下一位置节点的选择，直到蚂蚁到达目标位置，更新信息素浓度及迭代次数，当迭代次数达到预设的最大迭代次数，输出最优的路径。
[0017] 与现有技术相比，本发明具有如下优点：（1）本发明对工人及吊装物体的路径进行预测，提前发现吊装过程中可能出现的人员安全事故，及时对吊装现场中的人员进行安全预警，有效预防吊装事故的发生；
（2）本发明对吊装过程中擅自进入不允许工人进入的吊装场地、未正确佩戴安全帽等不安全的行为进行识别，实现工人安全的全方位监测；
（3）对吊装场地进行图像采集，并识别吊装场地中的障碍物，使得预测的工人路径及吊装物体的路径更接近于实际的路径，提高了路径预测的准确率；
（4）本发明仅对与吊装物体存在相对运动的工人进行路径预测，在保证人员安全监测的同时降低了数据的处理量，提高了人员安全监测的效率；
（5）本发明基于滑动窗口的LSTM工人路径预测模型预测工人路径，实现了工人长时间周期的位置预测，保证了长时间周期位置预测的准确性。
附图说明
（2）本发明对吊装过程中擅自进入不允许工人进入的吊装场地、未正确佩戴安全帽等不安全的行为进行识别，实现工人安全的全方位监测；
（3）对吊装场地进行图像采集，并识别吊装场地中的障碍物，使得预测的工人路径及吊装物体的路径更接近于实际的路径，提高了路径预测的准确率；
（4）本发明仅对与吊装物体存在相对运动的工人进行路径预测，在保证人员安全监测的同时降低了数据的处理量，提高了人员安全监测的效率；
（5）本发明基于滑动窗口的LSTM工人路径预测模型预测工人路径，实现了工人长时间周期的位置预测，保证了长时间周期位置预测的准确性。
附图说明
具体实施方式
[0019] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0020] 需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0021] 下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0022] 实施例一如图1 所示，本实施例提出了一种吊装过程人员安全监测方法，包括：
S1、采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
本发明通过对吊装场地中工人及吊装物体的路径进行预测，以预防吊装过程中的人员事故。通常情况下，吊装场地中的环境复杂，工人及吊装物体的路径受到吊装场地中的障碍物影响。因此，本发明对吊装场地的图像进行采集，并对吊装场地中的障碍物进行识别，构建标识有障碍物的吊装场地模型。
S1、采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
本发明通过对吊装场地中工人及吊装物体的路径进行预测，以预防吊装过程中的人员事故。通常情况下，吊装场地中的环境复杂，工人及吊装物体的路径受到吊装场地中的障碍物影响。因此，本发明对吊装场地的图像进行采集，并对吊装场地中的障碍物进行识别，构建标识有障碍物的吊装场地模型。
[0023] 具体地，本发明在吊装场地不同位置设置多个摄像头，结合多个摄像头采集的图像构建三维栅格模型。针对每幅采集的吊装场地图像，通过横向与纵向等分的方式划分为二维图像栅格，结合多个二维图像栅格，整合生成三维栅格模型。对于障碍物的识别，可以通过卷积神经网络（Convolutional Neural Networks，CNN）等进行识别，在此不作限定。对于识别出的障碍物，基于其在图像中的位置确定其在三维栅格模型中的位置，并在三维栅格模型进行标识，生成标识有障碍物的吊装场地模型。由于吊装场地的障碍物相对固定，因此，本发明可以在还未进行吊装施工时就对吊装场地图像进行采集，提高了数据的处理效率。
[0024] S2、训练生成Faster R-CNN工人、吊装物体检测网络；吊装过程中人员安全事故主要是由于工人与吊装物体间发生碰撞等产生，因此，本发明对工人和吊装物体进行识别与检测，以对工人的安全进行预测。由于吊装物体可能具有较大尺寸，因此，本发明利用对吊装物体的检测替代对吊装物体的检测，以提高对人员安全监测的准确率。
[0025] 为了提高吊装过程危险识别的效率，本发明利用Faster R-CNN进行工人及吊装物体的检测。Faster RCNN网络是目前比较流行的通用多目标检测框架之一。现有的Faster RCNN算法主要分成三个部分：第一部分是CNN基础网络，用来完成图像特征的提取；第二部分是RPN(Region Proposal Networks）网络，其主要是利用卷积神经网络直接产生区域目标，使用的方法本质上就是滑动窗口。在CNN基础网络的最后一层特征图上使用固定大小的窗口滑动，每个窗口会输出一个固定大小维度的特征向量（这个维度和CNN基础网络有关，如VGG16为512维），然后对每一个窗口产生的9个候选框，进行判断是否是目标及进行坐标回归；最后一部分是判别网络，即分类与边框回归，它是对RPN网络提取的目标区域进行分类与坐标回归修正。
[0026] 具体地，首先构建Faster R-CNN网络结构，优选地，CNN基础网络选择VGG16，具体包括13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面紧接着是最大值池化。RPN 是全卷积网络，其采用基础网络输出的卷积特征图作为输入。具体地，采用 512通道、3×3 核的卷积层，然后是两个并行的 1×1 核的卷积层。构建好Faster R-CNN网络结构后，基于训练数据集进行训练。选取某吊装场地进行视频拍摄，东西方向、南北方向分别固定放置一个摄像头，水平拍摄。视频拍摄频率为 30FPS，分辨率 1920*1280 像素。注意拍摄内容尽量包含各种形态的人（正面、侧面、背面、蹲、弯腰、站立、行走等）。挑选其中的某段视频中 600 帧图像进行标记：“r”代表正确佩戴安全帽的工人；“b”代表未正确佩戴安全帽的工人；“w”代表吊装物体。将标记好的数据集作为训练数据集，对构建的Faster R-CNN网络进行训练，生成Faster R-CNN工人、吊装物体检测网络。本发明通过对吊装物体及工人各个角度、各个形态图像的训练，能够提高工人、吊装物体检测网络的准确性。
[0027] S3、利用所述检测网络对吊装场地拍摄视频中的帧图像不断进行正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体的检测，直到检测出正确佩戴安全帽的工人和/或未正确佩戴安全帽的工人；对于需要进行吊装过程危险识别的场景，不断通过摄像头对吊装场地进行视频拍摄。
具体地，可以在东西方向、南北方向分别固定放置一个摄像头，水平拍摄。拍摄视频包括多帧图像，本发明逐帧对各图像进行处理，例如，每秒1帧进行图像的采集。对于同时获取的同一场景中的多个图像，选择能够同时包括工人和吊装物体的图像，当多张图像都包括吊装物体及工人时，任意选择一张图像，提高了目标检测的效率。由于本发明训练生成的Faster R-CNN工人、吊装物体检测网络对各个角度的图像进行训练，因此，即使任意选择一张图像，也能实现对工人、吊装物体的准确检测。
具体地，可以在东西方向、南北方向分别固定放置一个摄像头，水平拍摄。拍摄视频包括多帧图像，本发明逐帧对各图像进行处理，例如，每秒1帧进行图像的采集。对于同时获取的同一场景中的多个图像，选择能够同时包括工人和吊装物体的图像，当多张图像都包括吊装物体及工人时，任意选择一张图像，提高了目标检测的效率。由于本发明训练生成的Faster R-CNN工人、吊装物体检测网络对各个角度的图像进行训练，因此，即使任意选择一张图像，也能实现对工人、吊装物体的准确检测。
[0028] 本发明将摄像头采集的图像输入Faster R-CNN工人、吊装物体检测网络，利用Faster R-CNN工人、吊装物体检测网络对图像中的工人和吊装物体进行识别和定位。显示输出当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体，分别采用“r”、“b”、“w”进行标记。
[0029] 本发明对吊装过程中的人员安全进行监测，因此，本发明不断采集视频帧图像，直到检测出图像中出现工人后才进行相应的安全状态预测。当图像中未检测到工人时，自然不会产生人员安全事故，不进行人员安全的预测。
[0030] S4、当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警；否则执行步骤S5；吊装过程中，危害工人安全的行为包括：擅自进入不允许工人进入的场地、进入吊装场地不佩戴安全帽等。因此，本发明在检测到工人进入不允许人进入的吊装场地、不佩戴安全帽等行为后，触发报警。
[0031] 触发报警时，可以向管理人员发送报警信息，报警信息可以通过短信、电话、管理界面等方式显示，管理人员在收到报警信息时，及时进行处理。此外，为了增强报警处理的实时性，本发明可以在吊装场地装设扩音设备，识别到危险后，触发扩音设备对吊装场地人员进行实时的预警。
[0032] S5、基于工人与吊装物体在前后两帧图像间的距离差值，判断工人与吊装物体间是否存在相对运动；若是，执行步骤S6；吊装过程中，吊装事故通常发生在吊装物体与吊机外的工人之间。吊机内的工人负责对吊机进行操作，通常不会发生砸伤、碰撞等安全事故。因此，为了提高人员安全的监测性能，本发明排除不会发生吊装安全事故的工人，提高吊装过程人员安全的监测效率。本发明通过工人与吊装物体间是否存在相对运动进行检测，以排除吊机操作人员等被检测的工人。当工人与吊装物体间不存在相对运动时，其相对位置基本固定，不会发生安全事故，不进行路径预测。
[0033] 因此，在首次检测到工人后，对工人进行跟踪定位，当吊装物体与某一工人的距离随着时间基本不变时，说明该工人与吊装物体间不存在相对运动。因此，本发明比较前后两帧图像中工人与吊装物体间的距离，工人与吊装物体间的距离为两者中心点间的距离。本发明构建标识有障碍物的吊装场地模型，因此，工人及吊装物体的位置为其在吊装场地模型中三维栅格中的位置。
[0034] 具体地，本发明判断：其中， 、 分别为工人在前后两帧图像中的位置坐标， 、 分别为吊
装物体在前后两帧图像中的位置坐标， 为预设的距离阈值，这是因为即使是在吊车内的工人，也可能因为工人在吊车内的操作引起中心点的位移，造成工人与吊装物体前后帧距离值不完全相等，因此 的值较小，可根据需要进行设定。如果成立，则工人与吊装物体存在相对运动，否则不存在相对运动。
装物体在前后两帧图像中的位置坐标， 为预设的距离阈值，这是因为即使是在吊车内的工人，也可能因为工人在吊车内的操作引起中心点的位移，造成工人与吊装物体前后帧距离值不完全相等，因此 的值较小，可根据需要进行设定。如果成立，则工人与吊装物体存在相对运动，否则不存在相对运动。
[0035] 此外，当视频帧的采样周期很短或工人与吊装物体的移动速度较小时，连续两帧图像中的距离也可能基本相等，因此，本发明中的前后两帧并不一定是连续的两帧，可能是较长时间间隔的两帧图像。工人与吊装物体间的距离可以为两者在图像帧中的像素距离，也可以为根据图像与吊装场地空间位置间的对应关系转换成的空间距离，在此不作限定。
[0036] S6、基于检测到的工人历史路径，训练生成LSTM工人路径预测模型，结合所述标识有障碍物的吊装场地模型、利用滑动窗口的方法预测工人路径；为了有效预防吊装事故的发生，本发明对工人及吊装物体的路径进行预测。具体地，本发明在首次检测到工人及吊装物体后，进行工人及吊装物体的跟踪定位。提取检测目标的中心点作为检测目标的位置，在检测出多个工人及吊装物体位置的基础上，对工人及吊装物体的未来路径进行预测，以有效预防工人与吊装物体间碰撞等安全事故的发生。
[0037] 对于检测到的工人多个时刻的位置，基于时间顺序串联成位置坐标序列，形成工人历史路径。对工人路径的预测实质是预测工人在未来时刻的位置。长短期记忆网络（Long short term memory，LSTM）是一种特定形式的RNN，在时序数据分析中表现出较强的适应性，能够较好地刻画时间序列系统内部的发展规律，预测时间序列系统发展趋势。因此，本发明利用LSTM神经网络进行工人路径的预测，具体地，本发明提出基于滑动窗口的LSTM工人路径预测，利用检测到的工人历史路径训练生成LSTM工人路径预测模型，利用滑动窗口的方法预测工人路径。如上所述，工人的路径受到吊装场地中障碍物的限制，因此，本发明结合标识有障碍物的吊装场地模型进行工人路径的预测。
[0038] LSTM是一种典型的循环神经网络，将上一个时间周期的输出作为下一个时间周期的输入，LSTM主要包括输入门、输出门、遗忘门和输入节点等组成。本发明首先构建LSTM网络，将工人的历史路径输入到LSTM网络中，预测工人在下一时刻的位置。本发明利用大量的工人已有路径数据对LSTM网络进行训练，将已有的路径数据进行分组，每组包括连续的M+1个位置数据，将前M个位置数据作为LSTM网络的输入，对第M+1个数据进行预测，计算LSTM工人路径预测模型的损失函数对LSTM工人路径预测模型进行迭代、优化、更新，训练生成工人路径预测模型得到最终使用的LSTM工人路径预测模型。
[0039] 为了实现对工人更长的时间周期位置预测，本发明利用滑动窗口的方法预测工人路径利用滑动窗口的方法预测工人路径。假设可以得到工人历史路径中包括的位置序列N个，选取长度为M的滑窗。以滑窗的长度限制输入训练序列的长度，避免迭代过程中学习时间过长。为了进行中长期预测，可以采用迭代法对滑窗中的样本进行更新。例如，通过每次迭代，将预测的第i(i=1,2,3...,L)个工人的位置预测值替换滑动窗口中最旧的数据，每替换一次便让LSTM网络进行一次新的学习，更新网络结构，以新的网络结构进行下一步的预测。例如，采用第N-M至N的位置数据对第N+1时刻的位置进行预测，当预测出工人第N+1时刻的位置后，将其替换第N-M时刻的位置数据，即采用第N-M+1至第N+1时刻的数据对第N+2时刻的位置进行预测。
[0040] 位置预测过程中，工人的路径受障碍物的影响，因此，工人路径预测中的位置应排出障碍物的位置。因此，本发明基于障碍物的位置构建障碍物位置集合，判断预测出的位置是否属于障碍物位置集合，若是，则排除该位置重新进行位置的预测。
[0041] S7、基于检测到的吊装物体历史路径及所述标识有障碍物的吊装场地模型，利用蚁群算法预测吊装物体路径；吊装过程中人员安全与吊装物体的路径有关，与工人目标位置具有随机性不同，吊装机在一次吊装过程中通常具有明确的目标位置，因此，本发明基于吊装物体初始位置及目标位置进行吊装物体路径的预测。在每次吊装任务开始时，即当首次在图像帧中检测到吊装物体移动后，获取此次吊装任务的目标位置，结合障碍物的位置进行吊装物体的路径规划。
[0042] 进行吊装物体路径预测前，首先确定吊装场地所有障碍物的位置、吊装物体的起点和目标点的位置。进行参数初始化，参数包括最大迭代次数、信息启发因子、期望启发因子、蚂蚁个数等，障碍物处的启发因子为0。在吊装物体的起点位置上等时间间隔生成预设蚂蚁个数的蚂蚁，各蚂蚁根据状态转移概率选择下一个位置节点，并将已经走过的节点加入禁忌表中。根据蚂蚁的位置转移过程更新路径信息素，由此更新状态转移概率。不断执行上述操作进行下一位置节点的选择，直到蚂蚁到达目标位置，更新信息素浓度及迭代次数，当迭代次数达到预设的最大迭代次数，输出最优的路径。
[0043] S8、判断工人及吊装物体预测路径中，是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。
[0044] 吊装过程中，当工人与吊装物体间的距离小于一定阈值时，存在发生安全事故的风险。因此，本发明基于预测的工人路径及吊装物体路径，对工人及吊装物体间的距离进行预测，当工人及吊装物体在某一时刻的距离小于预设距离时，触发报警。对于工人的预测路径 ，吊装物体的预测路径，其中， 为工人在第i时刻的位置坐
标， 为吊装物体在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊装物体的运行时间，p值与q值的大小不作限定。因此，工人及吊装物体在时刻i的距离值为：
，具体地，本发明采用欧几里得距离计算工人及吊装物体间的距
离。当存在 时，触发报警。
标， 为吊装物体在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊装物体的运行时间，p值与q值的大小不作限定。因此，工人及吊装物体在时刻i的距离值为：
，具体地，本发明采用欧几里得距离计算工人及吊装物体间的距
离。当存在 时，触发报警。
[0045] 实施例二如图2所示，本实施例提出了一种吊装过程人员安全监测系统，包括：
吊装场地模型构建模块，用于采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
本发明通过对吊装场地中工人及吊装物体的路径进行预测，以预防吊装过程中的人员事故。通常情况下，吊装场地中的环境复杂，工人及吊装物体的路径受到吊装场地中的障碍物影响。因此，本发明对吊装场地的图像进行采集，并对吊装场地中的障碍物进行识别，构建标识有障碍物的吊装场地模型。
吊装场地模型构建模块，用于采集吊装场地图像，识别吊装场地中的障碍物，构建标识有障碍物的吊装场地模型；
本发明通过对吊装场地中工人及吊装物体的路径进行预测，以预防吊装过程中的人员事故。通常情况下，吊装场地中的环境复杂，工人及吊装物体的路径受到吊装场地中的障碍物影响。因此，本发明对吊装场地的图像进行采集，并对吊装场地中的障碍物进行识别，构建标识有障碍物的吊装场地模型。
[0046] 具体地，本发明在吊装场地不同位置设置多个摄像头，结合多个摄像头采集的图像构建三维栅格模型。针对每幅采集的吊装场地图像，通过横向与纵向等分的方式划分为二维图像栅格，结合多个二维图像栅格，整合生成三维栅格模型。对于障碍物的识别，可以通过卷积神经网络（Convolutional Neural Networks，CNN）等进行识别，在此不作限定。对于识别出的障碍物，基于其在图像中的位置确定其在三维栅格模型中的位置，并在三维栅格模型进行标识，生成标识有障碍物的吊装场地模型。由于吊装场地的障碍物相对固定，因此，本发明可以在还未进行吊装施工时就对吊装场地图像进行采集，提高了数据的处理效率。
[0047] 检测网络生成模块，用于训练生成Faster R-CNN工人、吊装物体检测网络；吊装过程中人员安全事故主要是由于工人与吊装物体间发生碰撞等产生，因此，本发明对工人和吊装物体进行识别与检测，以对工人的安全进行预测。由于吊装物体可能具有较大尺寸，因此，本发明利用对吊装物体的检测替代对吊装物体的检测，以提高对人员安全监测的准确率。
[0048] 为了提高吊装过程危险识别的效率，本发明利用Faster R-CNN进行工人及吊装物体的检测。Faster RCNN网络是目前比较流行的通用多目标检测框架之一。现有的Faster RCNN算法主要分成三个部分：第一部分是CNN基础网络，用来完成图像特征的提取；第二部分是RPN(Region Proposal Networks）网络，其主要是利用卷积神经网络直接产生区域目标，使用的方法本质上就是滑动窗口。在CNN基础网络的最后一层特征图上使用固定大小的窗口滑动，每个窗口会输出一个固定大小维度的特征向量（这个维度和CNN基础网络有关，如VGG16为512维），然后对每一个窗口产生的9个候选框，进行判断是否是目标及进行坐标回归；最后一部分是判别网络，即分类与边框回归，它是对RPN网络提取的目标区域进行分类与坐标回归修正。
[0049] 具体地，首先构建Faster R-CNN网络结构，优选地，CNN基础网络选择VGG16，具体包括13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面紧接着是最大值池化。RPN 是全卷积网络，其采用基础网络输出的卷积特征图作为输入。具体地，采用 512通道、3×3 核的卷积层，然后是两个并行的 1×1 核的卷积层。构建好Faster R-CNN网络结构后，基于训练数据集进行训练。选取某吊装场地进行视频拍摄，东西方向、南北方向分别固定放置一个摄像头，水平拍摄。视频拍摄频率为 30FPS，分辨率 1920*1280 像素。注意拍摄内容尽量包含各种形态的人（正面、侧面、背面、蹲、弯腰、站立、行走等）。挑选其中的某段视频中 600 帧图像进行标记：“r”代表正确佩戴安全帽的工人；“b”代表未正确佩戴安全帽的工人；“w”代表吊装物体。将标记好的数据集作为训练数据集，对构建的Faster R-CNN网络进行训练，生成Faster R-CNN工人、吊装物体检测网络。本发明通过对吊装物体及工人各个角度、各个形态图像的训练，能够提高工人、吊装物体检测网络的准确性。
[0050] 检测模块，用于利用所述检测网络对吊装场地拍摄视频中的帧图像不断进行正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体的检测，直到检测出正确佩戴安全帽的工人和/或未正确佩戴安全帽的工人；对于需要进行吊装过程危险识别的场景，不断通过摄像头对吊装场地进行视频拍摄。
具体地，可以在东西方向、南北方向分别固定放置一个摄像头，水平拍摄。拍摄视频包括多帧图像，本发明逐帧对各图像进行处理，例如，每秒1帧进行图像的采集。对于同时获取的同一场景中的多个图像，选择能够同时包括工人和吊装物体的图像，当多张图像都包括吊装物体及工人时，任意选择一张图像，提高了目标检测的效率。由于本发明训练生成的Faster R-CNN工人、吊装物体检测网络对各个角度的图像进行训练，因此，即使任意选择一张图像，也能实现对工人、吊装物体的准确检测。
具体地，可以在东西方向、南北方向分别固定放置一个摄像头，水平拍摄。拍摄视频包括多帧图像，本发明逐帧对各图像进行处理，例如，每秒1帧进行图像的采集。对于同时获取的同一场景中的多个图像，选择能够同时包括工人和吊装物体的图像，当多张图像都包括吊装物体及工人时，任意选择一张图像，提高了目标检测的效率。由于本发明训练生成的Faster R-CNN工人、吊装物体检测网络对各个角度的图像进行训练，因此，即使任意选择一张图像，也能实现对工人、吊装物体的准确检测。
[0051] 本发明将摄像头采集的图像输入Faster R-CNN工人、吊装物体检测网络，利用Faster R-CNN工人、吊装物体检测网络对图像中的工人和吊装物体进行识别和定位。显示输出当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊装物体，分别采用“r”、“b”、“w”进行标记。
[0052] 本发明对吊装过程中的人员安全进行监测，因此，本发明不断采集视频帧图像，直到检测出图像中出现工人后才进行相应的安全状态预测。当图像中未检测到工人时，自然不会产生人员安全事故，不进行人员安全的预测。
[0053] 第一报警模块，用于当检测到工人但吊装场地不允许人进入时，和/或检测到未正确佩戴安全帽的工人时，触发报警，否则调用相对运动检测模块；吊装过程中，危害工人安全的行为包括：擅自进入不允许工人进入的场地、进入吊装场地不佩戴安全帽等。因此，本发明在检测到工人进入不允许人进入的吊装场地、不佩戴安全帽等行为后，触发报警。
[0054] 触发报警时，可以向管理人员发送报警信息，报警信息可以通过短信、电话、管理界面等方式显示，管理人员在收到报警信息时，及时进行处理。此外，为了增强报警处理的实时性，本发明可以在吊装场地装设扩音设备，识别到危险后，触发扩音设备对吊装场地人员进行实时的预警。
[0055] 相对运动检测模块，用于基于工人与吊装物体在前后两帧图像间的距离差值，判断工人与吊装物体间是否存在相对运动；若是，调用第一路径预测模块；吊装过程中，吊装事故通常发生在吊装物体与吊机外的工人之间。吊机内的工人负责对吊机进行操作，通常不会发生砸伤、碰撞等安全事故。因此，为了提高人员安全的监测性能，本发明排除不会发生吊装安全事故的工人，提高吊装过程人员安全的监测效率。本发明通过工人与吊装物体间是否存在相对运动进行检测，以排除吊机操作人员等被检测的工人。当工人与吊装物体间不存在相对运动时，其相对位置基本固定，不会发生安全事故，不进行路径预测
因此，在首次检测到工人后，对工人进行跟踪定位，当吊装物体与某一工人的距离随着时间基本不变时，说明该工人与吊装物体间不存在相对运动。因此，本发明比较前后两帧图像中工人与吊装物体间的距离，工人与吊装物体间的距离为两者中心点间的距离。本发明构建标识有障碍物的吊装场地模型，因此，工人及吊装物体的位置为其在吊装场地模型中三维栅格中的位置。
因此，在首次检测到工人后，对工人进行跟踪定位，当吊装物体与某一工人的距离随着时间基本不变时，说明该工人与吊装物体间不存在相对运动。因此，本发明比较前后两帧图像中工人与吊装物体间的距离，工人与吊装物体间的距离为两者中心点间的距离。本发明构建标识有障碍物的吊装场地模型，因此，工人及吊装物体的位置为其在吊装场地模型中三维栅格中的位置。
[0056] 具体地，本发明判断：其中， 、 分别为工人在前后两帧图像中的位置坐标， 、 分别为
吊装物体在前后两帧图像中的位置坐标， 为预设的距离阈值，这是因为即使是在吊车内的工人，也可能因为工人在吊车内的操作引起中心点的位移，造成工人与吊装物体前后帧距离值不完全相等，因此 的值较小，可根据需要进行设定。如果成立，则工人与吊装物体存在相对运动，否则不存在相对运动。
吊装物体在前后两帧图像中的位置坐标， 为预设的距离阈值，这是因为即使是在吊车内的工人，也可能因为工人在吊车内的操作引起中心点的位移，造成工人与吊装物体前后帧距离值不完全相等，因此 的值较小，可根据需要进行设定。如果成立，则工人与吊装物体存在相对运动，否则不存在相对运动。
[0057] 此外，当视频帧的采样周期很短或工人与吊装物体的移动速度较小时，连续两帧图像中的距离也可能基本相等，因此，本发明中的前后两帧并不一定是连续的两帧，可能是较长时间间隔的两帧图像。工人与吊装物体间的距离可以为两者在图像帧中的像素距离，也可以为根据图像与吊装场地空间位置间的对应关系转换成的空间距离，在此不作限定。
[0058] 第一路径预测模块，用于基于检测到的工人历史路径，训练生成LSTM工人路径预测模型，结合所述标识有障碍物的吊装场地模型、利用滑动窗口的方法预测工人路径；为了有效预防吊装事故的发生，本发明对工人及吊装物体的路径进行预测。具体地，本发明在首次检测到工人及吊装物体后，进行工人及吊装物体的跟踪定位。提取检测目标的中心点作为检测目标的位置，在检测出多个工人及吊装物体位置的基础上，对工人及吊装物体的未来路径进行预测，以有效预防工人与吊装物体间碰撞等安全事故的发生。
[0059] 对于检测到的工人多个时刻的位置，基于时间顺序串联成位置坐标序列，形成工人历史路径。对工人路径的预测实质是预测工人在未来时刻的位置。长短期记忆网络（Long short term memory，LSTM）是一种特定形式的RNN，在时序数据分析中表现出较强的适应性，能够较好地刻画时间序列系统内部的发展规律，预测时间序列系统发展趋势。因此，本发明利用LSTM神经网络进行工人路径的预测，具体地，本发明提出基于滑动窗口的LSTM工人路径预测，利用检测到的工人历史路径训练生成LSTM工人路径预测模型，利用滑动窗口的方法预测工人路径。如上所述，工人的路径受到吊装场地中障碍物的限制，因此，本发明结合标识有障碍物的吊装场地模型进行工人路径的预测。
[0060] LSTM是一种典型的循环神经网络，将上一个时间周期的输出作为下一个时间周期的输入，LSTM主要包括输入门、输出门、遗忘门和输入节点等组成。本发明首先构建LSTM网络，将工人的历史路径输入到LSTM网络中，预测工人在下一时刻的位置。本发明利用大量的工人已有路径数据对LSTM网络进行训练，将已有的路径数据进行分组，每组包括连续的M+1个位置数据，将前M个位置数据作为LSTM网络的输入，对第M+1个数据进行预测，计算LSTM工人路径预测模型的损失函数对LSTM工人路径预测模型进行迭代、优化、更新，训练生成工人路径预测模型得到最终使用的LSTM工人路径预测模型。
[0061] 为了实现对工人更长的时间周期位置预测，本发明利用滑动窗口的方法预测工人路径利用滑动窗口的方法预测工人路径。假设可以得到工人历史路径中包括的位置序列N个，选取长度为M的滑窗。以滑窗的长度限制输入训练序列的长度，避免迭代过程中学习时间过长。为了进行中长期预测，可以采用迭代法对滑窗中的样本进行更新。例如，通过每次迭代，将预测的第i(i=1,2,3...,L)个工人的位置预测值替换滑动窗口中最旧的数据，每替换一次便让LSTM网络进行一次新的学习，更新网络结构，以新的网络结构进行下一步的预测。例如，采用第N-M至N的位置数据对第N+1时刻的位置进行预测，当预测出工人第N+1时刻的位置后，将其替换第N-M时刻的位置数据，即采用第N-M+1至第N+1时刻的数据对第N+2时刻的位置进行预测。
[0062] 位置预测过程中，工人的路径受障碍物的影响，因此，工人路径预测中的位置应排出障碍物的位置。因此，本发明基于障碍物的位置构建障碍物位置集合，判断预测出的位置是否属于障碍物位置集合，若是，则排除该位置重新进行位置的预测。
[0063] 第二路径预测模块，用于基于检测到的吊装物体历史路径及所述标识有障碍物的吊装场地模型，利用蚁群算法预测吊装物体路径；吊装过程中人员安全与吊装物体的路径有关，与工人目标位置具有随机性不同，吊装机在一次吊装过程中通常具有明确的目标位置，因此，本发明基于吊装物体初始位置及目标位置进行吊装物体路径的预测。在每次吊装任务开始时，即当首次在图像帧中检测到吊装物体移动后，获取此次吊装任务的目标位置，结合障碍物的位置进行吊装物体的路径规划。
[0064] 进行吊装物体路径预测前，首先确定吊装场地所有障碍物的位置、吊装物体的起点和目标点的位置。进行参数初始化，参数包括最大迭代次数、信息启发因子、期望启发因子、蚂蚁个数等，障碍物处的启发因子为0。在吊装物体的起点位置上等时间间隔生成预设蚂蚁个数的蚂蚁，各蚂蚁根据状态转移概率选择下一个位置节点，并将已经走过的节点加入禁忌表中。根据蚂蚁的位置转移过程更新路径信息素，由此更新状态转移概率。不断执行上述操作进行下一位置节点的选择，直到蚂蚁到达目标位置，更新信息素浓度及迭代次数，当迭代次数达到预设的最大迭代次数，输出最优的路径。
[0065] 第二报警模块，用于判断工人及吊装物体预测路径中，是否存在某一时刻工人及吊装物体的距离小于预设距离，若是，触发报警。
[0066] 吊装过程中，当工人与吊装物体间的距离小于一定阈值时，存在发生安全事故的风险。因此，本发明基于预测的工人路径及吊装物体路径，对工人及吊装物体间的距离进行预测，当工人及吊装物体在某一时刻的距离小于预设距离时，触发报警。对于工人的预测路径 ，吊装物体的预测路径，其中， 为工人在第i时刻的位置坐标，
为吊装物体在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊装物体的运行时间，p值与q值的大小不作限定。因此，工人及吊装物体在时刻i的距离值为：
，具体地，本发明采用欧几里得距离计算工人及吊装物体间的距
离。当存在 时，触发报警。
为吊装物体在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊装物体的运行时间，p值与q值的大小不作限定。因此，工人及吊装物体在时刻i的距离值为：
，具体地，本发明采用欧几里得距离计算工人及吊装物体间的距
离。当存在 时，触发报警。
[0067] 由此可知，本发明提出的吊装过程人员安全监测方法及系统，对工人及吊装物体的路径进行预测，提前发现吊装过程中可能出现的人员安全事故，及时对吊装现场中的人员进行安全预警，有效预防吊装事故的发生；对吊装过程中擅自进入不允许工人进入的吊装场地、未正确佩戴安全帽等不安全的行为进行识别，实现工人安全的全方位监测；对吊装场地进行图像采集，并识别吊装场地中的障碍物，使得预测的工人路径及吊装物体的路径更接近于实际的路径，提高了路径预测的准确率；仅对与吊装物体存在相对运动的工人进行路径预测，在保证人员安全监测的同时降低了数据的处理量，提高了人员安全监测的效率；基于滑动窗口的LSTM工人路径预测模型预测工人路径，实现了工人长时间周期的位置预测，保证了长时间周期位置预测的准确性。
[0068] 注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种具有提示功能的安全帽 | 2020-05-11 | 924 |
| 一种智能安全帽及控制智能安全帽的操作系统 | 2020-05-11 | 426 |
| 一种基于人工智能的施工现场安全监控方法及其装置 | 2020-05-08 | 324 |
| 一种建筑安全防护设备 | 2020-05-08 | 315 |
| 一种油气场站储油罐 | 2020-05-11 | 632 |
| 一种采矿用矿工安全帽 | 2020-05-08 | 580 |
| 一种电力安全生产用录音设备 | 2020-05-11 | 580 |
| 一种建筑施工用安全帽 | 2020-05-08 | 202 |
| 一种头戴式煤矿灯 | 2020-05-11 | 959 |
| 一种建筑施工用后脑防撞安全帽 | 2020-05-11 | 830 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈