[0015] 步骤四：所述目标过滤子系统将所述新的目标集输入到所述睡觉判别子系统中，所述睡觉判别子系统依据所述目标集中类别人的左上角(x1person,y1person)坐标和右下角(x2person,y2person)坐标，计算人这类别的目标框的宽度w和高度h，令 wperson＝x2person-x1person，hperson＝y2person-y1person得到该类别目标框的wperson和hperson，根据 wperson和hperson的比例关系判断该目标是否处在坐立状态还是可能趴着睡觉的状态，如果是前者判断该张图片为无睡觉行为，如果是后者则进一步判断是否处于睡觉状态，判定规则如下：对目标类别人中的宽度wperson进行十等分点的划分，计算二等分点和八等分点的坐标的横坐标轴x的大小，令 xLeftperson＝x1person+0.2*wperson，xRightperson＝x1person+0.8*wperson，同样的方法计算目标类别头部的xLeftHead和xRightHead分别比较xLeftHead与xLeftperson和xRightperson与xRightHead的值的大小，当x1person
[0016] 步骤五：所述目标过滤子系统将所述新的目标集输入到所述玩手机判别子系统中，所述玩手机判别子系统依据所述目标集中目标类别，应该首先判定是否同时出现了人、手、手机，三个类别，如果出现了利用判定规则进行判定，判定规则如下：规定人的两个坐标为(x1person,y1person),(x2person,y2person)，手机的两个坐标为(x1phone,y1phone)，(x2phone,y2phone)；
[0017] 步骤五一：计算手机区域面积Areaphone＝(y2person-y1person)*(x2person-x1person)；
[0018] 步骤五二：计算类别人和手机的交集面积，计算交集区域左上角和右下角的坐标(x1,y1),(x2,y2)，令x1＝max(x1person,x1phone)，y1＝max(y1person,y1phone)， x2＝min(x2person,x2phone)，y2＝min(y2person,y2phone)，判断x2-x1和y2-y1y-y值的正负，如果有一个值为负，说明类别人和手机没有交集，判断为正常状态，否则计算交集面积Areaiou＝(y2-y1)*(x2-x1)，计算交集面积占手机面积的比例 p＝Areaiou/Areaphone，设定阈值thresh＝0.2的大小，当p＞thresh的时候，判定为玩手机的状态；
[0019] 步骤六：所述目标过滤子系统将所述新的目标集输入到所述离岗判别子系统中，所述离岗判别子系统依据所述目标集中目标类别，应该首先判定是否检测到了类别人，如果没有人则进行判断，判定规则如下：连续检测n次，如果出现有n/2次以上存在无人状态，则判定为离岗，否则为正常状态；
[0020] 步骤七：所述目标过滤子系统(5)将所述新的目标集(6)输入到所述聊天判别子系统(10)中，所述聊天判别子系统(10)依据所述目标集(6)中目标类别，应该首先判定是否检测到了类别人和头，如果同时出现多个人和头进行判断，判定之前需要对检测到的头和人的图像特征进行相似性对比，筛选出图片的前景是否真出现了两个人而不是背景中出现的人，定义 表示图像特征相似性结果，则：
[0021]
[0022] 如果确定图片前景中存在两个人，则进行判定，判定规则如下：连续检测n 次，如果出现n/2次以上存在多个人和头的状态，则判定为聊天，否则正常状态；
[0023] 步骤八：如果所述睡觉判别子系统、所述玩手机判别子系统、所述离岗判别子系统和所述聊天判别子系统任意子系统出现异常行为状态，所述异常报警子系统将报警信息传输到所述上层应用端，报警信息包括：异常行为图片、异常行为坐标信息，所述上层应用端将报警信息传输到web服务端，由管理员自行登录查看操作。
[0024] 作为本技术方案的进一步限定，所述目标检测子系统需要对整张图片进行检测，分类并定位图片中的目标，其过程如下：
[0025] 目标定位原理：首先定义输入的图片的集合为{(Pi,Gi)}i＝1,..,N,
[0026] 其中： Pi表示第i个带预测的候选目标检测框即region proposal；
[0027] Gi表示第i个真实目标检测框即ground-truth；
[0028] 在本目标检测算法中，Pi是根据真实训练集的对所有的ground-truth利用 K-means算法计算得到的；
[0029] 在Pi中， 表示候选的目标框的中心点在原始图像中的x坐标；
[0030] 表示候选的目标框的中心点在原始图像中的y坐标；
[0031] 表示候选目标框的长度；
[0032] 表示候选目标框的宽度；
[0033] Gi表示的是ground-truth四维特征，其含义与Pi一样，则Pi与Gi的映射关系为：
[0034]
[0035] 其映射关系表示要找到一种映射函数f，当输入Pi时，得到的 能够无限接近Gi；
[0036] 边界框的回归是利用平移变换和尺度变换来实现映射的，平移变换的计算公式如下：
[0037]
[0038] 尺度变换的计算公式如下：
[0039]
[0040] 其中：d*(P)*代表x,y,w,h，接下来将图像的特征输入到线性函数里求解这4 个变化；
[0041] 令特征为 则
[0042] 利用最小二乘法或者梯度下降算法求解，其公式为：
[0043]
[0044] 其中：
[0045]
[0046] 定义预测边框时cx,cy是相对于图片Px左上角的位置，每个小格的长度为1，σ(tx),σ(ty)分别是经过sigmoid输出的0-1之间的偏移量，所以预测的目标框的 (x,y,w,h)为：
[0047]
[0048] 生成此张图片中的所述目标集，目标集内包括以下信息：每个目标的左上角坐标(x1,y1)和右下角坐标(x2,y2),坐标计算过程为：
[0049]
[0050] 此外目标集内信息能够表示出每个目标框的目标类别。
[0051] 与现有技术相比，本发明的优点和积极效果是：
[0052] 本发明提供的履职行为识别方法结合目前较为先进的目标检测算法，借助于嵌入式移动平台，将目标检测算法与行为判定算法相结合，不但精度高，速度快，而且能够精确的定位异常行为的位置，为行为判断提供了良好的评价标准。
[0053] 本发明提供的行为识别方法，不需要针对某种行为采集样本数据利用神经网络训练，也不用对图像进行背景的预处理工作，能够将整张图像作为目标区域，检测出某张图片的目标之后通过判断目标之间检测框之间的关系判断是否有异常行为发生，当有异常行为发生时，能够进行异常行为的精确定位及发出报警。
附图说明
[0054] 图1为本发明的结构示意图。
[0055] 图中：1、视频帧子系统，2、JPG数据集合，3、目标检测子系统，4、目标集，5、目标过滤子系统，6、新的目标集，7、睡觉判别子系统，8、玩手机判别子系统，9、离岗判别子系统，10、聊天判别子系统，11、异常报警子系统。
具体实施方式
[0056] 下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0057] 如图1所示，本发明包括视频帧子系统1，所述视频帧子系统1电性连接目标检测子系统3，所述目标检测子系统3电性连接目标过滤子系统5，所述目标过滤子系统5分别电性连接睡觉判别子系统7、玩手机判别子系统8、离岗判别子系统9和聊天判别子系统10，所述睡觉判别子系统7、所述玩手机判别子系统8、所述离岗判别子系统9和所述聊天判别子系统10分别电性连接异常报警子系统11。
[0058] 一种柜面助手履职监控装置的使用方法，包括以下步骤：
[0059] 步骤一：所述视频帧子系统1将视频帧数据处理成JPG数据集合2，所述视频帧子系统1将所述JPG数据集合2输入到所述目标检测子系统3；
[0060] 步骤二：所述目标检测子系统3根据所述JPG数据集合2生成此张图片中的目标集4，每个所述目标集4内包括以下信息：每个目标的左上角坐标(x1,y1)和右下角坐标(x2,y2),以及目标类别标号；
[0061] 步骤三：所述目标检测子系统3将所述目标集4输入到所述目标过滤子系统5中，所述目标过滤子系统5将所述目标集4进行目标的滤除输出新的目标集6，利用面积公式(y2-y1)*(x2-x1)计算出每个目标框的面积大小，因为该设备主要针对近距离目标检测异常行为，因此对于画面背景中出现的距离较远的目标必须滤除掉，降低对检测结果的影响，根据图片分辨率大小640x480，分别对每个目标设置阈值，例如对于目标类别人设置阈值为7000，对于目标类别头设置阈值为5000；
[0062] 步骤四：所述目标过滤子系统5将所述新的目标集6输入到所述睡觉判别子系统7中，所述睡觉判别子系统7依据所述目标集6中类别人的左上角 (x1person,y1person)坐标和右下角(x2person,y2person)坐标，计算人这类别的目标框的宽度w和高度h，令wperson＝x2person-x1person，hperson＝y2person-y1person得到该类别目标框的wperson和 hperson，根据wperson和hperson的比例关系判断该目标是否处在坐立状态还是可能趴着睡觉的状态，如果是前者判断该张图片为无睡觉行为，如果是后者则进一步判断是否处于睡觉状态，判定规则如下：对目标类别人中的宽度wperson进行十等分点的划分，计算二等分点和八等分点的坐标的横坐标轴x的大小，令 xLeftperson＝x1person+0.2*wperson，xRightperson＝x1person+0.8*wperson，同样的方法计算目标类别头部的xLeftHead和xRightHead分别比较xLeftHead与xLeftperson和xRightperson与xRightHead的值的大小，当x1person
[0063] 步骤五：所述目标过滤子系统5将所述新的目标集6输入到所述玩手机判别子系统8中，所述玩手机判别子系统8依据所述目标集6中目标类别，应该首先判定是否同时出现了人、手、手机，三个类别，如果出现了利用判定规则进行判定，判定规则如下：规定人的两个坐标为(x1person,y1person),(x2person,y2person)，手机的两个坐标为(x1phone,y1phone)，(x2phone,y2phone)；
[0064] 步骤五一：计算手机区域面积Areaphone＝(y2person-y1person)*(x2person-x1person)；
[0065] 步骤五二：计算类别人和手机的交集面积，计算交集区域左上角和右下角的坐标(x1,y1),(x2,y2)，令x1＝max(x1person,x1phone)，y1＝max(y1person,y1phone)， x2＝min(x2person,x2phone)，y2＝min(y2person,y2phone)，判断x2-x1和y2-y1y2-y1值的正负，如果有一个值为负，说明类别人和手机没有交集，判断为正常状态，否则计算交集面积Areaiou＝(y2-y1)*(x2-x1)，计算交集面积占手机面积的比例 p＝Areaiou/Areaphone，设定阈值thresh＝0.2的大小，当p＞thresh的时候，判定为玩手机的状态；
[0066] 步骤六：所述目标过滤子系统5将所述新的目标集6输入到所述离岗判别子系统9中，所述离岗判别子系统9依据所述目标集6中目标类别，应该首先判定是否检测到了类别人，如果没有人则进行判断，判定规则如下：连续检测n 次，如果出现有n/2次以上存在无人状态，则判定为离岗，否则为正常状态；
[0067] 步骤七：所述目标过滤子系统(5)将所述新的目标集(6)输入到所述聊天判别子系统(10)中，所述聊天判别子系统(10)依据所述目标集(6)中目标类别，应该首先判定是否检测到了类别人和头，如果同时出现多个人和头进行判断，判定之前需要对检测到的头和人的图像特征进行相似性对比，筛选出图片的前景是否真出现了两个人而不是背景中出现的人，定义 表示图像特征相似性结果，则：
[0068]
[0069] 如果确定图片前景中存在两个人，则进行判定，判定规则如下：连续检测n 次，如果出现n/2次以上存在多个人和头的状态，则判定为聊天，否则正常状态；
[0070] 步骤八：如果所述睡觉判别子系统7、所述玩手机判别子系统8、所述离岗判别子系统9和所述聊天判别子系统10任意子系统出现异常行为状态，所述异常报警子系统11将报警信息传输到所述上层应用端，报警信息包括：异常行为图片、异常行为坐标信息，所述上层应用端将报警信息传输到web服务端，由管理员自行登录查看操作。
[0071] 所述目标检测子系统3需要对整张图片进行检测，分类并定位图片中的目标，其过程如下：
[0072] 目标定位原理：首先定义输入的图片的集合为{(Pi,Gi)}i＝1,..,N,
[0073] 其中： Pi表示第i个带预测的候选目标检测框即region proposal；
[0074] Gi表示第i个真实目标检测框即ground-truth；
[0075] 在本目标检测算法中，Pi是根据真实训练集的对所有的ground-truth利用 K-means算法计算得到的；
[0076] 在Pi中， 表示候选的目标框的中心点在原始图像中的x坐标；
[0077] 表示候选的目标框的中心点在原始图像中的y坐标；
[0078] 表示候选目标框的长度；
[0079] 表示候选目标框的宽度；
[0080] Gi表示的是ground-truth四维特征，其含义与Pi一样，则Pi与Gi的映射关系为：
[0081]
[0082] 其映射关系表示要找到一种映射函数f，当输入Pi时，得到的 能够无限接近Gi；
[0083] 边界框的回归是利用平移变换和尺度变换来实现映射的，平移变换的计算公式如下：
[0084]
[0085] 尺度变换的计算公式如下：
[0086]
[0087] 其中：d*(P)*代表x,y,w,h，接下来将图像的特征输入到线性函数里求解这4 个变化；
[0088] 令特征为 则
[0089] 利用最小二乘法或者梯度下降算法求解，其公式为：
[0090]
[0091] 其中：
[0092]
[0093] 定义预测边框时cx,cy是相对于图片Px左上角的位置，每个小格的长度为1，σ(tx),σ(ty)分别是经过sigmoid输出的0-1之间的偏移量，所以预测的目标框的 (x,y,w,h)为：
[0094]
[0095] 生成此张图片中的所述目标集4，目标集内包括以下信息：每个目标的左上角坐标(x1,y1)和右下角坐标(x2,y2),坐标计算过程为：
[0096]
[0097] 此外目标集内信息能够表示出每个目标框的目标类别。
[0098] 本发明的工作流程为：视频帧子系统1将视频帧数据处理成JPG数据集合2，视频帧子系统1将JPG数据集合2输入到目标检测子系统3。
[0099] 目标检测子系统3根据JPG数据集合2生成此张图片中的目标集4，每个目标集4内包括以下信息：每个目标的左上角坐标(x1,y1)和右下角坐标(x2,y2),以及目标类别标号。
[0100] 目标检测子系统3需要对整张图片进行检测，分类并定位图片中的目标，其过程如下：
[0101] 目标定位原理：首先定义输入的图片的集合为{(Pi,Gi)}i＝1,..,N,
[0102] 在本目标检测算法中，Pi是根据真实训练集的对所有的ground-truth利用 K-means算法计算得到的；
[0103] Pi与Gi的映射关系为：
[0104]
[0105] 其映射关系表示要找到一种映射函数f，当输入Pi时，得到的 能够无限接近Gi；
[0106] 边界框的回归是利用平移变换和尺度变换来实现映射的，平移变换的计算公式如下：
[0107]
[0108] 尺度变换的计算公式如下：
[0109]
[0110] 其中，d*(P)*代表x,y,w,h，接下来将图像的特征输入到线性函数里求解这4 个变化；
[0111] 令特征为 则
[0112] 利用最小二乘法或者梯度下降算法求解，其公式为：
[0113]
[0114] 其中：
[0115]
[0116] 定义预测边框时cx,cy是相对于图片Px左上角的位置，每个小格的长度为1，σ(tx),σ(ty)分别是经过sigmoid输出的0-1之间的偏移量，所以预测的目标框的 (x,y,w,h)为：
[0117]
[0118] 生成此张图片中的所述目标集4，目标集内包括以下信息：每个目标的左上角坐标(x1,y1)和右下角坐标(x2,y2),坐标计算过程为：
[0119]
[0120] 此外目标集内信息能够表示出每个目标框的目标类别。
[0121] 目标检测子系统3将目标集4输入到目标过滤子系统5中，目标过滤子系统5将目标集4进行目标的滤除输出新的目标集6，利用面积公式(y2-y1)*(x2-x1) 计算出每个目标框的面积大小，因为该设备主要针对近距离目标检测异常行为，因此对于画面背景中出现的距离较远的目标必须滤除掉，降低对检测结果的影响，根据图片分辨率大小640x480，分别对每个目标设置阈值，例如对于目标类别人设置阈值为7000，对于目标类别头设置阈值为5000。
[0122] 目标过滤子系统5将新的目标集6输入到睡觉判别子系统7中，睡觉判别子系统7依据目标集6中类别人的左上角(x1person,y1person)坐标和右下角(x2person,y2person)坐标，计算人这类别的目标框的宽度w和高度h，令 wperson＝x2person-x1person，hperson＝y2person-y1person得到该类别目标框的wperson和hperson，根据 wperson和hperson的比例关系判断该目标是否处在坐立状态还是可能趴着睡觉的状态，如果是前者判断该张图片为无睡觉行为，如果是后者则进一步判断是否处于睡觉状态，判定规则如下：对目标类别人中的宽度wperson进行十等分点的划分，计算二等分点和八等分点的坐标的横坐标轴x的大小，令 xLeftperson＝x1person+0.2*wperson，xRightperson＝x1person+0.8*wperson，同样的方法计算目标类别头部的xLeftHead和xRightHead分别比较xLeftHead与xLeftperson和xRightperson与xRightHead的值的大小，当x1person
[0123] 目标过滤子系统5将新的目标集6输入到玩手机判别子系统8中，玩手机判别子系统8依据目标集6中目标类别，应该首先判定是否同时出现了人、手、手机，三个类别，如果出现了利用判定规则进行判定，判定规则如下：规定人的两个坐标为(x1person,y1person),(x2person,y2person)，手机的两个坐标为(x1phone,y1phone)， (x2phone,y2phone)，计算手机区域面积Areaphone＝(y2person-y1person)*(x2person-x1person)，计算类别人和手机的交集面积，计算交集区域左上角和右下角的坐标(x1,y1),(x2,y2)，令 x1＝max(x1person,x1phone)，y1＝max(y1person,y1phone)，x2＝min(x2person,x2phone)， y2＝min(y2person,y2phone)，判断x2-x1和y2-y1y2-y1值的正负，如果有一个值为负，说明类别人和手机没有交集，判断为正常状态，否则计算交集面积 Areaiou＝(y2-y1)*(x2-x1)，计算交集面积占手机面积的比例p＝Areaiou/Areaphone，设定阈值thresh＝0.2的大小，当p＞thresh的时候，判定为玩手机的状态。
[0124] 目标过滤子系统5将新的目标集6输入到离岗判别子系统9中，离岗判别子系统9依据目标集6中目标类别，应该首先判定是否检测到了类别人，如果没有人则进行判断，判定规则如下：连续检测n次，如果出现有n/2次以上存在无人状态，则判定为离岗，否则为正常状态。
[0125] 目标过滤子系统5将新的目标集6输入到聊天判别子系统10中，聊天判别子系统10依据目标集6中目标类别，应该首先判定是否检测到了类别人和头，如果同时出现多个人和头进行判断，判定之前需要对检测到的头和人的图像特征进行相似性对比，筛选出图片的前景是否真出现了两个人而不是背景中出现的人，定义 表示图像特征相似性结果，则：
[0126]
[0127] 如果确定图片前景中存在两个人，则进行判定，判定规则如下：连续检测n 次，如果出现n/2次以上存在多个人和头的状态，则判定为聊天，否则正常状态。
[0128] 如果睡觉判别子系统7、玩手机判别子系统8、离岗判别子系统9和聊天判别子系统10任意子系统出现异常行为状态，异常报警子系统11将报警信息传输到所述上层应用端，报警信息包括：异常行为图片、异常行为坐标信息，所述上层应用端将报警信息传输到web服务端，由管理员自行登录查看操作。
[0129] 以上公开的仅为本发明的具体
实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
