基于图像语义分割的电梯轿厢闲置物品检测的方法
专利汇可以提供基于图像语义分割的电梯轿厢闲置物品检测的方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于图像语义分割的 电梯 轿厢 闲置物品检测的方法，包括以下步骤： 电梯轿厢 中的摄像头初次安装完成或后期摄像头 角 度调整时，通过工具标记出该电梯轿厢地面区域；当电梯 门 完全关闭时，通过轿厢顶部的摄像头抓取一张图片，获得电梯轿厢地面区域；当门继续保持关闭，设定时间间隔，每隔一段时间进行一次抓图和分析，对轿厢地面区域面积持续测量，并将结果进行保存；利用保存的多次测量结果，比较图像语义分割所得的轿厢地面面积与维保人员标定的地面面积，如果其平均值大于设定 阈值 ，则表示电梯轿厢中存在闲置物品，小于设定阈值，则表示不存在物品；根据检测结果和 开关 门情况，获得持续关门期间，物品出现的时长。，下面是基于图像语义分割的电梯轿厢闲置物品检测的方法专利的具体信息内容。
1.一种基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，包括以下步骤：
电梯轿厢中的摄像头初次安装完成或后期摄像头角度调整时，通过工具标记出该电梯轿厢地面区域；
当电梯门完全关闭时，通过轿厢顶部的摄像头抓取一张图片，检测图片中是否有人，如果有人，则隔一段时间再利用摄像头抓图来分析是否有人，如果没有人，对抓取的图片进行图像语义分割，获得电梯轿厢地面区域；当门继续保持关闭，设定时间间隔，每隔一段时间进行一次抓图和分析，对轿厢地面区域面积持续测量，并将结果进行保存；
利用保存的多次测量结果，比较图像语义分割所得的轿厢地面面积与维保人员标定的地面面积，根据面积的差值，取其绝对值的平均值，如果其平均值大于设定阈值，则表示电梯轿厢中存在闲置物品，小于设定阈值，则表示不存在物品；根据检测结果和开关门情况，获得持续关门期间，物品出现的时长；设定闲置时长，时长大于设定阈值，则被最终认定为物品被闲置。
2.如权利要求1所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，通过控制阈值区分对物品的定义，阈值越大，则物品越大，阈值越小，则物品越小，多次测量取平均值，确保测量准确。
3.如权利要求1所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，后期摄像头角度调整时包括电梯摄像头安装角度的偏离预警，其中电梯摄像头安装角度的偏离预警进一步包括：门状态检测，轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，包括开门、开门中、关门与关门中四个状态，每200ms判断一次状态，门状态改变指由关门到开门，反之也是，当门状态由开门变为关门时输出关门信号，其他状态改变不再输出信号；
抓图，利用轿厢顶部摄像头抓取一张电梯图像；
有无人检测，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头和遮挡人体的目标框，则说明有人，反之则无人，当输出无人信号时，进行图像分析流程，当输出有人信号时，则需等待下次电梯关门信号；
图像语义分割，对抓取的图片进行图像语义分割，获得电梯轿厢地面区域；语义分割网络输出这里定义为两类，分别是轿厢地面和背景。通过收集不同电梯轿厢有无杂物时的数据，通过人工标定出轿厢地面所占像素区域。利用标定后的数据对语义分割网络进行训练，完成训练后，获得语义分割网络模型；由于目标输出两类，这里使用sigmod交叉熵损失函数引导训练，安装部署语义分割模型即可实现输入原始图片，输出对应的mask掩模区域；
矩形顶点估计，针对分割得到的电梯轿厢地面区域拟合外接矩形，获得外接矩形的四个顶点位置；
倾斜与覆盖率度量，其中，倾斜度量为根据相机安装位置和外接矩形与图片的位置关系，判定使用哪几个顶点与对应的图像边界来测量，如果相机安装在角落，外接矩形与图像边界相交角度大；如果相机安装在中间，外接矩形与图像边界相交角度小，如果外接矩形顶点在图像边界外边，这定义其到对应图像边界的距离为负，反之为正；对于摄像头安装在轿厢顶部内部的一角，通过轿厢底部左右两个点到图像边界的距离以及轿厢底部下部顶点到图像下部边界的距离，来判断电梯摄像头安装是否合适；对于摄像头安装在轿厢顶部内部一边的中间，需要分别利用底部两个顶点到图像底边的距离，以及顶部两个顶点到图像两边的距离来判断摄像头安装是否合适；覆盖率度量定义分割后轿厢底部面积与外接矩形面积占比，获得摄像头对轿厢底部视角的覆盖情况。
4.如权利要求1所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，以上门状态检测、抓图、有无人检测、定时抓图、图像语义分割、面积比较步骤，通过设定的阈值判断时是否有闲置物品。
5.如权利要求3或4所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，对抓取的轿厢内的图片判断是否有人过程中，目标定义为人头和遮挡人体，通过目标检测识别出图片中是否有人头和人体；图像语义分割区域为轿厢底部地面，通过语义分割图片出轿厢地面区域，进而获得其外界矩形，得到四个顶点；门状态识别也利用目标检测的方式，电梯门较高位置会贴有相应告警提示标签，通过检测告警提示标签之间的位置来实现门状态检测。
6.如权利要求4所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，采用U-net的encoder-decoder架构同时借用PSPnet中的spatial pyramid pooling模块组成语义分割网络，采用单模型单尺度的方法，编码部分Encoder输入图片通过4个卷积块，进行4次降采样，然后对16×16的特征图做spatial pyramid pooling操作，将新产生的特征图与之前16×16特征图进行拼接，解码部分Decoder利用1×1的通道卷积，进行通道压缩。利用双线性插值进行上采样，上采样得到特征图与之前32×32特征图进行加和操作，如果之前32×32特征图通道数不一致时，通过1×1的通道卷积调整到一致，后续反复两次这样操作，得到
128×128的特征图，之后再做最后一次上采样得到256×256的特征图，通过若干卷积层最终得到2×256×256的预测模板，与标定模板值进行比较，2代表两个类别，分别是轿厢地面和背景。
基于图像语义分割的电梯轿厢闲置物品检测的方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种用于山区风场模拟的过渡曲线的确定方法 | 2022-10-07 | 2 |
| 小口径管全位置焊接方法 | 2020-08-22 | 2 |
| 线性马达及其支撑件 | 2020-11-18 | 0 |
| 喂纱器和带有喂纱器的系统 | 2021-04-02 | 0 |
| 调节装置 | 2021-01-13 | 2 |
| 杨桃酵素的发酵方法及发酵装置 | 2021-02-14 | 1 |
| 一种基于编网算法的岩体结构面优势产状聚类分析方法 | 2020-05-28 | 1 |
| 一种玻璃升降器 | 2023-06-20 | 0 |
| 一种带筛分功能的倾斜螺旋输送装置 | 2023-01-12 | 1 |
| 多功能摇篮 | 2021-10-27 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
