一种用于餐饮后厨的智能巡查方法
阅读：210发布：2020-05-08
专利汇可以提供一种用于餐饮后厨的智能巡查方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种用于餐饮后厨的智能巡查方法，涉及 图像分析 技术领域。包括以下步骤，根据复杂度从低到高对巡查规则进行分级；获取后厨的图片，根据分级后的巡查规则对图片中的特征进行标记后作为样本图片进行 深度学习 ，识别待检测图片是否为对应级别的问题图片；依次将不同级别的问题图片推送给巡查人员；当巡查人员反馈图片符合巡查要求时，停止推送；否则继续推送下一级别的问题图片给巡查人员。本发明以不同优先级进行分级推送，在全面 覆盖 问题点的同时，尽可能做到精准推送，以节省巡查人员的巡查工作量。，下面是一种用于餐饮后厨的智能巡查方法专利的具体信息内容。
1.一种用于餐饮后厨的智能巡查方法，其特征在于，包括以下步骤，
S1，根据复杂度从低到高对巡查规则进行分级；
S2，获取后厨的图片，根据分级后的巡查规则对图片中的特征进行标记后作为样本图片进行深度学习，识别待检测图片是否为对应级别的问题图片；
S3，依次将不同级别的问题图片推送给巡查人员；当巡查人员反馈图片符合巡查要求时，停止推送；否则继续推送下一级别的问题图片给巡查人员；
所述S1中分为以下四个级别：
级别1：巡查规则中只包括一种目标特征；
级别2：巡查规则中包括两种或两种以上的目标特征；
级别3：巡查规则中只包括一种行为特征；
级别4：巡查规则中包括两种或两种以上的行为特征；
所述目标特征为工作过程中出现的静态特征，所述行为特征为工作过程中出现的动态特征；
所述S2的具体过程包括建模阶段和实施阶段，
所述建模阶段包括以下步骤：
第一步：标记图片中的目标特征或行为特征后作为样本图片，采用深度学习框架和模型训练深度学习模型；
第二步：根据巡查规则的语法规则，构建贝叶斯网络；
第三步：以深度学习模型的输出作为贝叶斯网络的输入；
所述实施阶段包括以下步骤：
第一步：将待检测图片输入深度学习模型中，获得目标检测结果；
第二步：以所述目标检测结果作为输入节点输入贝叶斯网络；
第三步：运行贝叶斯网络，若输出节点的概率大于0.5，则将待检测图片界定为对应级别的问题图片。
2.根据权利要求1所述的用于餐饮后厨的智能巡查方法，其特征在于，所述S3中，若所有级别的问题图片都不符合巡查要求，则推送前后两帧差异大于预先设定阈值的图片给巡查人员。
3.根据权利要求2所述的用于餐饮后厨的智能巡查方法，其特征在于，计算图片前后两帧差异的方法如下：构建图像背景模型；计算图像前景；更新图像背景；对图像进行形态学处理；计算图像变化幅度。
一种用于餐饮后厨的智能巡查方法
技术领域
背景技术
[0002] 随着餐饮行业对后厨的管理越来越规范，越来越精细，而管理任务又非常庞杂，单靠人工巡查，或是人工对视频的浏览已经无法满足后厨管理的需要，因此，有人提出引入智能化的视频分析技术，对后厨监控视频进行智能化分析，从中筛选出操作人员的一些违规图片，推送给管理者。这样做有下面几个好处：第一，可以节省大量的用于现场巡查或是视频浏览巡查的人力，为企业节省成本，提高效率；第二，可以做到24小时全覆盖；
[0003] 目前对餐饮后厨的巡查通常采取下面三种方式：
[0004] 第一种方式：管理人员不定时现场巡查。这样做的好处是：巡查所到之处，问题发现准确，解决到位；缺点是：受到巡查人员精力，时间限制，无法做到全天候覆盖，会遗漏大量的问题点；
[0005] 第二种方式：管理人员视频巡查。这样做的好处是同第一种方式；缺点是：面对庞大的视频数据，如果需要全部巡查所有问题点，需要的巡查人员数量非常庞大。
[0006] 上述两种传统的巡查方式都面临一个问题：巡查任务非常巨大，巡查人手不够。所以限制了餐饮后厨管理的大规模推广，造成管理质量良莠不齐，问题频发，严重影响企业形象。为此，有人提出利用人工智能的方法来缩小视频巡检的范围，做到更加精准的定位问题点，以提高工作效率，从而有了第三种巡查方式：
[0007] 第三种方式：基于视频智能分析的管理人员巡查。通过人工智能算法对视频进行分析，只保留少量的问题图片。该方法在处理规则简单，视觉特征单一，明确时，智能算法可以精准的发现问题，降低视频浏览量，从而提高效率。但是如果处理的规则比较复杂，或者视觉特征不够明确，则误报很高，对提升工作效率帮助有限。
发明内容
[0008] 有基于此，本发明的目的在于提供一种用于餐饮后厨的智能巡查方法，以不同优先级进行分级推送，在全面覆盖问题点的同时，尽可能做到精准推送，以节省巡查人员的巡查工作量。
[0009] 为实现上述目的，本发明提供如下技术方案：
[0010] 一种用于餐饮后厨的智能巡查方法，其特征在于，包括以下步骤，[0011] S1，根据复杂度从低到高对巡查规则进行分级；
[0012] S2，获取后厨的图片，根据分级后的巡查规则对图片中的特征进行标记后作为样本图片进行深度学习，识别待检测图片是否为对应级别的问题图片；
[0013] S3，依次将不同级别的问题图片推送给巡查人员；当巡查人员反馈图片符合巡查要求时，停止推送；否则继续推送下一级别的问题图片给巡查人员。
[0014] 进一步的，所述S1中分为以下四个级别：
[0015] 级别1：巡查规则中只包括一种目标特征；
[0016] 级别2：巡查规则中包括两种或两种以上的目标特征；
[0017] 级别3：巡查规则中只包括一种行为特征；
[0018] 级别4：巡查规则中包括两种或两种以上的行为特征；
[0019] 所述目标特征为工作过程中出现的静态特征，所述行为特征为工作过程中出现的动态特征。
[0020] 进一步的，所述S2的具体过程包括建模阶段和实施阶段，
[0021] 所述建模阶段包括以下步骤：
[0023] 第二步：根据巡查规则的语法规则，构建贝叶斯网络；
[0024] 第三步：以深度学习模型的输出作为贝叶斯网络的输入；
[0025] 所述实施阶段包括以下步骤：
[0026] 第一步：将待检测图片输入深度学习模型中，获得目标检测结果；
[0027] 第二步：以所述目标检测结果作为输入节点输入贝叶斯网络；
[0028] 第三步：运行贝叶斯网络，若输出节点的概率大于0.5，则将待检测图片界定为对应级别的问题图片。
[0030] 进一步的，计算图片前后两帧差异的方法如下：构建图像背景模型；计算图像前景；更新图像背景；对图像进行形态学处理；计算图像变化幅度。
[0031] 与现有技术相比，本发明的有益效果是：本发明根据巡查规则的复杂程度，对其进行分级，不同级别之间采用不同的样本图片进行深度学习。以不同的优先级进行推送，在全面覆盖问题点的同时，尽可能做到精准推送，以节省巡查人员的巡查工作量。附图说明
[0032] 图1为本发明的流程框图。
[0033] 图2为本发明一实施例级别2的贝叶斯网络图。
[0034] 图3为本发明一实施例级别3的贝叶斯网络图。
具体实施方式
[0035] 下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036] 请参阅图1，本发明提供一种用于餐饮后厨的智能巡查方法，其特征在于，包括以下步骤，
[0037] S1，根据复杂度从低到高对巡查规则进行分级；具体分为以下四个级别：
[0038] 级别1：巡查规则中只包括一种目标特征；
[0039] 级别2：巡查规则中包括两种或两种以上的目标特征；
[0040] 级别3：巡查规则中只包括一种行为特征；
[0041] 级别4：巡查规则中包括两种或两种以上的行为特征；
[0042] 所述目标特征为工作过程中出现的静态特征，如后厨工作人员穿戴的工作服或工作帽；所述行为特征为工作过程中出现的动态特征，如后厨工作人员打电话或抽烟的动作。值得一提的是，目标特征存在时视为合规，而行为特征存在时则视为违规(问题点)。例如：
对应级别1，若工作人员没有穿工作服，则界定为违规(问题点)；对应级别2，若工作人员没有穿工作服或没有戴工作帽，则界定为违规。工作服和工作帽有明确的视觉特征，因此判断起来相应比较简单。对应级别3，若工作人员玩手机，则界定为违规；对应级别4，若厨师拿食用器具掏下水道的脏东西，则界定为违规。在级别3和级别4中，无论是玩手机，拿食用器具还是掏脏东西等行为不具备明确的视觉特征，相较于级别1和级别2显然更为复杂。
对应级别1，若工作人员没有穿工作服，则界定为违规(问题点)；对应级别2，若工作人员没有穿工作服或没有戴工作帽，则界定为违规。工作服和工作帽有明确的视觉特征，因此判断起来相应比较简单。对应级别3，若工作人员玩手机，则界定为违规；对应级别4，若厨师拿食用器具掏下水道的脏东西，则界定为违规。在级别3和级别4中，无论是玩手机，拿食用器具还是掏脏东西等行为不具备明确的视觉特征，相较于级别1和级别2显然更为复杂。
[0043] S2，获取后厨的图片，根据分级后的巡查规则对图片中的特征进行标记后作为样本图片进行深度学习，识别待检测图片是否为对应级别的问题图片。
[0044] 对应级别1和级别2的算法，具体过程包括建模阶段和实施阶段，所述建模阶段包括以下步骤：
[0045] 第一步：标记图片中的目标特征后作为样本图片，采用深度学习框架和模型训练深度学习模型DeepModel1；所述深度学习框架可采用tensorflow,caffe,pytorch,mxnet等主流学习框架；所述深度学习模型可采用py-faster-rcnn,yolov3,ssd等常用的检测模型。第二步：根据巡查规则的语法规则，构建贝叶斯网络；该贝叶斯网络由下述类型的节点构成：输入节点，中间节点，输出节点。每个节点服从伯努利分布，节点之间用箭头描述依赖关系。比如节点A到节点B，描述的是P(B|A)，该条件概率表可人为估计设置。输入节点要求能够从深度学习模型DeepModel1的结果中解析获得；输出节点用来描述是否为问题点。
[0046] 所述贝叶斯网络是基于贝叶斯定理，按照先验的参数设置对根据输入数据对输出节点的概率进行计算，进而达到决策的目的。它的理论依据是贝叶斯公式。
[0047]
[0048] 其中，data是可以观测到的节点，在这里，指能够从深度学习模型DeepModel1输出结果当中能解析出来的节点；θ是指需要推断的节点；
[0049] 如图2所示，巡查规则为“工作人员未穿工作服或者未戴工作帽，则界定为问题点”时，需要标注和训练的目标有：穿工作服的工作人员，没有穿工作服的闲杂人员，戴工作帽的头部区域，未带工作帽的头部区域。
[0050] 解析部分的处理方法：匹配人员和头部区域，每个匹配成功的结果都可以作为贝叶斯网络的一个输入，匹配算法可采取匈牙利匹配算法或者其他匹配算法来实施，这是很成熟可靠的技术，不再赘述。提取每个匹配结果当中人员穿工作服的概率作为节点“穿工作服”的输入概率；提取每个匹配结果当中戴工作帽的概率作为节点“戴工作帽”的输入概率；概率的值由深度模型提供。
[0051] 第三步：以深度学习模型的输出解析出来的节点作为贝叶斯网络的输入。
[0052] 所述实施阶段包括以下步骤：
[0053] 第一步：将待检测图片输入深度学习模型DeepModel1中，获得目标检测结果ObjectList；
[0054] 第二步：以所述目标检测结果ObjectList解析的节点作为输入节点输入贝叶斯网络；
[0055] 第三步：运行贝叶斯网络，若输出节点的概率大于0.5，则将待检测图片界定为对应级别的问题图片，并推送给巡查人员。
[0056] 对应级别3和级别4的算法，具体过程亦包括建模阶段和实施阶段，与级别1和级别2的唯一区别仅在于：建模阶段的第一步：标记图片中的行为特征后作为样本图片。
[0057] 如图3所示，对于规则为”工作人员玩手机，则界定为问题点“的规则，需要标注和训练的目标有：穿工作服的工作人员，没有穿工作服的闲杂人员，戴工作帽的头部区域，未带工作帽的头部区域，手机。
[0058] 解析部分的处理方法是：匹配人员的工作服，工作帽，手机。每个匹配结果都可作为贝叶斯网络的一个输入。按照级别1和级别2的方法提取贝叶斯网络的输入节点的概率。
[0059] 值得一提的是，级别4的复杂度较高，所以采取近似方案，该近似方案可方便利用处理级别1，处理级别2的方案来解决。比如：工作人员用食用工器具掏下水道的巡视规则可简化为工作人员下蹲，简化的依据：掏下水道的行为往往伴随下蹲的行为，而下蹲的行为又是可以准确识别的。类似“下蹲”，“弯腰”等行为的识别，再本发明中通常简化为目标检测的技术路线来解决。最终近似的规则为：如果有“下蹲”特征出现，则界定为问题点。该规则明显符合级别1的处理条件，按照级别1的实施方案来解决。
[0060] S3，依次将不同级别的问题图片推送给巡查人员；当巡查人员反馈图片符合巡查要求时，停止推送；否则继续推送下一级别的问题图片给巡查人员。具体步骤如下：
[0061] Step1：优先推送级别1的问题图片。如果推送的图片符合巡查要求，则停止推送；否则进入step2；
[0062] Step2：推送级别2的问题图片。如果推送图片符合巡查要求，则停止推送；否则进入step3；
[0063] Step3：推送级别3的问题图片。如果推送图片符合巡查要求，则停止推送；否则进入step4；
[0064] Step4：推送级别4的问题图片。如果推送图片符合巡查要求，则停止推送。
[0065] 在上述步骤中，问题图片是否符合巡查要求由巡查人员根据推送图片的数量和质量判断后进行反馈得到。若巡查人员反馈符合巡查要求，则停止推送后续级别的问题图片，节省巡查工作人员的巡查工作量；若巡查人员反馈不符合巡查要求，则继续推送下一级别的问题图片直至符合巡查要求，保证巡查任务的前提下，可尽可能多的覆盖问题点。
[0066] 在Step4中，若级别4的问题图片还是不符合巡查要求，则还包括
[0067] Step5：推送前后两帧差异大于预先设定阈值的图片给巡查人员。计算图片前后两帧差异的方法如下：构建图像背景模型；计算图像前景；更新图像背景；对图像进行形态学处理；计算图像变化幅度；阈值优选设置为0.8。
[0069] 所述计算图像前景为：计算当前图像位置中每个像素点是否发生变化；
[0070] 所述更新图像背景为：发生变化的像素值更新到背景数组中，并根据邻域相关性，该像素值也将随机更新至该像素点的8位邻域像素点的背景模型矩阵中；
[0071] 所述对图像进行形态学处理为：对前景mask图像进行形态学处理；
[0072] 所述计算图像变化幅度为：计算前景mask图像中前景目标连通域的像素面积，并与面积阈值相比较，计算其变化幅度，若得到的前景目标连通域的像素面积不小于面积阈值，则将变化幅度设为该前景目标连通域的像素面积，若得到的前景目标连通域的像素面积小于面积阈值，则将变化幅度设为0。
[0073] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种图像拼接篡改的检测方法 | 2020-05-08 | 392 |
| 快速图像分析 | 2020-05-08 | 697 |
| 一种便携式超声影像智能处理系统及其辅助分析方法 | 2020-05-08 | 643 |
| 一种能识别油烟中有害气体的油烟机 | 2020-05-11 | 588 |
| 一种具有更新功能的电镀产品外观的检测系统 | 2020-05-08 | 376 |
| 用于海上无人机的物资投放装置及控制方法 | 2020-05-08 | 189 |
| 一种检测待测化合物是否调控脂滴生长的方法 | 2020-05-08 | 860 |
| 基于课堂学生行为分析的学习质量评估方法和系统 | 2020-05-08 | 537 |
| 一种免疫层析检测的图像分析方法以及系统 | 2020-05-11 | 811 |
| 显示设备 | 2020-05-08 | 13 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈