1.基于人体骨架序列的乘客异常行为识别方法，其特征在于：该方法主要是通过检测并跟踪搭乘手扶电梯的乘客，构建乘客在扶梯中的运动轨迹，并基于人体骨架序列识别乘客的异常行为，包括以下步骤：
1)通过摄像头拍摄扶梯区域监控视频图像；
2)通过支持向量机SVM检测乘客人脸并用核相关滤波KCF对其跟踪，得到乘客在扶梯中的运动轨迹；
3)利用OpenPose深度学习网络从图像中提取人体骨架；
4)将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列；
5)通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列；
6)利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为。
2.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤1)中，通过安装在扶梯上楼层板天花板的摄像头拍摄扶梯区域监控视频图像，摄像头方向朝向扶梯中部，安装时调整摄像头的倾斜角度，使监控区域刚好囊括整个扶梯。
3.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤2)中，通过SVM检测乘客人脸并用KCF对其跟踪，得到乘客在扶梯中的运动轨迹，扶梯中的乘客运动轨迹构建问题本质是多目标跟踪，通过对搭乘扶梯的所有乘客进行连续跟踪，构建得到各位乘客在扶梯中的运动轨迹，由于扶梯区域狭小，客流密集时容易出现由于乘客拥挤而导致的人体相互遮挡情况，因此选择不容易发生遮挡且具有明显形状特征的乘客人脸作为检测和跟踪对象，并基于人脸目标构建乘客在扶梯中的运动轨迹，包括以下步骤：
2.1)基于SVM检测乘客人脸位置
使用基于可变形组建模型DPM特征的SVM分类器进行乘客人脸检测，DPM特征计算图像局部区域的梯度方向直方图，定义细胞单元大小为8×8像素大小的矩形块，计算该区间的梯度方向直方图，然后分别与对角线邻域的四个Cell进行归一化操作，再将特征矩阵行列相加得到32维的特征向量，检测人脸时，提取原始图像的DPM特征图，分别和训练好的8×8分辨率的根滤波器和4×4分辨率大小的组件滤波器进行卷积操作计算DPM响应值，利用训练好的SVM人脸分类器进行人脸检测，SVM是一种二分类模型，其基于统计学习理论构建一个最优分类超平面，使样本正确地分开且离超平面最近的正负样本到超平面的距离是最大的；
已知训练集样本T＝{(x1,y1),(x2,y2),…,(xN,yN)},xi∈Rd，yi∈{+1，-1}，其中xi为第i个训练样本，yi为第i个样本标签，N为样本个数，d为特征维数，当正负样本线性可分时，则存在一个超平面：
ωTx+b＝0，ω∈Rd
其中，ω为权值向量，b为偏移系数，正确划分N个样本，求解最优分类超平面，转化为不等式约束下的优化问题：
s.t yi[ωTxi+b]-1≥0,i＝1,2,…,N
并通过拉格朗日法求解该问题的对偶问题从而找到该问题的解，然而乘客人脸分类属于非线性问题，需对原空间非线性可分的特征x通过非线性变换 转化为高维空间线性可分特征，引入核函数一步到位计算新特征的内积和，避免单独计算复杂的非线性变换新特征，采用径向基核函数：
其中，σ为方差参数，此外，考虑到个别样本不能被正确划分，为每个样本引入松弛变量：
ξi,i＝1,2,…,N
引入松弛变量且对特征进行非线性变换后的拉格朗日对偶问题变为：
0≤αi≤C，i＝1,2,…,N
其中，α为拉格朗日向量，αi,αj为拉格朗日乘子，C是一个常量超参数，C值越小，代表对错误分类样本的容忍度越大，对偶问题的最优解为αi*，i＝1,2,…,N，训练得到最优超平面决策函数为：
其中，偏差系数b*通过式子：
求解，检测时，若决策函数大于0，则检测得到乘客人脸；
2.2)利用KCF跟踪乘客人脸位置
利用SVM人脸分类器检测扶梯中的乘客人脸时，误差来源主要有以下三个部分，一是在光照不均匀、阴影存在的环境因素的干扰下，会出现漏检或误检的情况，二是当乘客频繁进出或乘客拥挤造成相互遮挡时，会出现漏检情况，三是人脸分类器性能有限，造成漏检或误检情况，因此，检测得到乘客人脸后，利用判别式模型跟踪方法KCF跟踪乘客人脸，将跟踪结果与人脸检测结果进行匹配，矫正人脸漏检与误检情况，与其它生成式模型跟踪方法不同，KCF不需要通过对目标运动过程建模来进行目标跟踪，而是采用判别与跟踪相结合的方式，以当前帧目标为正样本，目标周围背景作为负样本，利用脊回归通过最小二乘法训练目标分类器，并用训练好的分类器在下一帧图像中寻找目标的最优预估位置作为目标在下一帧的跟踪位置，KCF使用目标周围背景信息，有效地提高了跟踪精度，且将目标和周围背景样本组合成循环矩阵，利用傅里叶空间中循环矩阵可对角化的性质，大幅度地提高了跟踪速度；
2.3)利用匈牙利算法匹配人脸检测与跟踪结果
利用KCF对上一帧的人脸检测目标进行跟踪，将上一帧的人脸跟踪目标与当前帧的人脸检测目标进行匹配，可更新检测目标的检测置信度，修正人脸检测结果，在此基础上，实现相邻帧对应乘客人脸目标的匹配跟踪，得到乘客在扶梯中的运动轨迹，将上一帧Mt个人脸跟踪框中心点T记为：
其中，ti为第i个人脸跟踪框中心点位置，当前帧Nd个人脸检测框中心点D记为：
其中，di为第i个人脸检测框中心点位置，需要基于欧氏距离对两组点进行一对一匹配，使得总距离c：
最小
其中，ci为di到某个人脸跟踪框的距离，为了最小化总距离c，可通过匈牙利算法进行匹配，将待匹配的两组点看成是一个二分图，以边上两点的欧氏距离的导数作为边的权值，实现带权最大匹配，即在保证两组点一对一配对的情况下使匹配边的权值最大，匹配完成后，判断匹配点之间的欧氏距离是否大于最大匹配阈值，若是则取消该对点的匹配状态；
修正匹配结果后，将匹配成功的上一帧人脸跟踪目标和当前帧人脸检测目标的对数记为L，表示L个目标在上一帧及当前帧中均被分类器检测得到，匹配失败的上一帧人脸跟踪目标数目为Mt-L，表示由于当前帧分类器漏检或目标离开检测区域导致Mt-L个目标在当前帧检测不到，匹配失败的当前帧人脸检测目标数目为Nd-L，表示由于当前帧分类器误检或目标进入检测区域导致Nd-L个目标在上一帧检测不到，针对人脸分类器出现漏检的情况，需要将Mt-L个匹配失败的上一帧人脸跟踪目标新增到当前帧的人脸检测目标序列中，即用上一帧Mt-L个目标的跟踪值当作是目标在当前帧的检测值；
2.4)计算目标检测置信度模型，修正乘客目标位置
为了对分类器漏检和误检情况进行修正，需要为每个乘客人脸目标建立检测置信度模型，根据当前帧人脸目标的检测置信度修正人脸分类器的检测结果，更新当前帧人脸检测目标的检测置信度时，将L个匹配成功的目标的连续检测帧数MD加一，连续丢失帧数NMD置零，提高其检测置信度，初始化Nd-L个匹配失败的目标，将其检测置信度置零，MD和NMD均置零，将新增的Mt-L个目标的MD置零，NMD加一，降低其检测置信度，最后，按照以下公式对当前帧目标的检测置信度进行更新：
CFi＝CFi-1+MD2-NMD3
其中，CFi和CFi-1分别是乘客目标在第i帧和第i-1帧的检测置信度，当目标的检测置信度小于保留阈值，将该目标删除，记录修正后的乘客人脸检测目标在每一帧的位置，即可按时间顺序连接得到乘客在扶梯中的运动轨迹，轨迹从乘客进入扶梯开始构建，离开扶梯或乘客发生异常行为后停止构建。
4.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤3)中，利用OpenPose深度学习网络从图像中提取人体骨架，具体如下：
人体二维姿态估计需要寻找人体关键点建立动作特征模型，而人体各个身体部位的关节点作为关键点能够很好地反映人的动作姿势，目前的姿态估计方法分为自上而下和自下而上的方法，自上而下进行姿态估计先从图像中检测出每个人，再分别对单人进行姿态估计，该方法受限于行人检测器的性能，且人越多计算越耗时，自下而上进行姿态估计不需要行人检测且计算耗时与人数无关，但却没有利用行人整体与其所属部位这一关联信息，需采用其它方法将行人部位关联到整体，针对自下而上这一问题，OpenPose深度学习网络采用了一种自下而上进行实时多人姿态估计的改进方法，提出部分亲和字段PAFs对人体部位关键点关联进行明确的非参数表示，PAFs是一组二维向量字段的集合，每段身体骨骼对应一幅PAFs图，与原图大小一致，图中的每一点是一个二维向量，即水平方向和竖直方向分量，其编码了一段骨骼的位置和方向，利用PAFs能够将属于一个行人整体的身体部位关节点连接起来，提取乘客二维骨架；
训练时，首先利用卷积神经网络生成一组特征图集合F，卷积神经网络采用VGG-19的前
10层进行初始化，然后输入到模型第一阶段，该阶段包含两个分支，第一分支利用卷积神经网络产生一组身体关节置信图S1，第二分支利用CNN产生一组PAFs图L1，从第二阶段开始，阶段t输入前一阶段的St-1和Lt-1，并输入F监督阶段中间结果，利用CNN产生St和Lt，再利用L2范数计算每个阶段预测得到的St和Lt与实际值之间的损失函数，并累加得到总损失函数，迭代训练整个模型，优化总损失函数，最后模型收敛训练结束；
检测时，输入图像通过训练好的模型输出预测得到的一系列关节点置信图和骨骼PAFs图，然后将人体两两关节点最优连接问题转化为最大权值二分图匹配问题，将待匹配关节点作为二分图中的节点，将PAFs作为二分图中边的权值，利用贪心解析算法，提取每个人的二维人体骨架，提取得到的人体二维骨架包括鼻子、颈、左肩、左肘、左腕、左髋、左膝盖、左脚踝、右肩、右肘、右腕、右髋、右膝盖、右脚踝共14个人体关节点和由其相连而成的13段人体骨骼。
5.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤4)中，将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列，具体如下：
动作特征模型是指从图像中抽取具有代表性的特征来表征人体动作行为，相对于其它动作特征，人体骨架特征能够直观地反映人体头部及四肢的动作，有效地描述人体行为，在此基础上将人体骨架按时间顺序组合成人体骨架序列能符合行为的动态特性，能更准确地描述乘客的行为；
利用OpenPose深度学习能够自下而上地提取人体骨架，但自下而上的骨架提取方式割裂了乘客整体和乘客骨架的联系，为建立人体骨架序列，需要将两者进行匹配重新建立两者的联系，匹配规则为当人体骨架的鼻子包含于某个乘客的人脸跟踪框时，则对两者进行匹配，将骨架匹配到对应的乘客，乘客轨迹构建结束后，得到该乘客在轨迹中的人体骨架序列SK为：
其中 为乘客在运动轨迹中按时间顺序提取得到的第msk个骨架。
6.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤5)中，通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列，具体如下：
乘客异常行为识别的识别对象是乘客的异常行为骨架序列，因此，需要从乘客人体骨架序列中检测出异常行为骨架，按时间顺序依次组合得到异常行为骨架序列；
乘客搭乘扶梯时的正常行为通常是站立在扶梯上，双手自然放在身体两侧，抬头望向前方，相对于异常行为具有明显的特性，因此，根据正常行为的特性，在扶梯不同环境多个运行阶段中，选取远近不一的不同乘客，制作20个正常行为模板，分别与乘客人体骨架序列中的骨架进行模板匹配，检测出骨架序列中的异常行为骨架，为了适应人体距离远近和个体体型差异造成的大小变化，进行模板匹配时，分别提取乘客骨架和模板骨架的人体姿态特征向量，然后基于向量的欧氏距离计算两者的匹配相似度，若乘客骨架与所有模板骨架的匹配相似度均大于正常阈值，则判断为正常行为骨架，否则，判断为异常行为骨架，若乘客骨架连续3帧以上判断为异常骨架，则检测出异常行为；
计算骨架的人体姿态特征向量时，将人体骨架的13段骨骼看作是包含13个二维向量元素的序列：
J＝{J1,J2,…,J13}
m m m
其中J为由起始关节点B 与终止关节点E相连而成的第m段骨骼，骨骼向量起点坐标为为起点横坐标， 为起点纵坐标，终点坐标为 为终点横坐标， 为
终点纵坐标，水平方向角为αm，竖直方向角为βm，骨骼向量表示为 水平方向余弦值和竖直方向的余弦值分别为：
依次计算13个骨骼向量的水平和竖直方向余弦值，排列得到一个26维的特征向量：
{cosα1,cosβ1,…,cosα13,cosβ13}
将其作为人体姿态特征，进而计算待匹配骨架SKD和模板骨架SKT的匹配相似度O(SKD,SKT)为：
其中， 是待匹配骨架第i段骨骼的方向余弦值， 为模板骨架
第i段骨骼的方向余弦值。
7.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤6)中，利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为，具体如下：
异常行为识别是基于乘客异常行为骨架序列进行异常行为识别，当乘客检测出异常行为，且异常骨架序列中的帧数大于25，或者乘客骨架连续1帧以上判断为正常骨架且异常行为骨架序列中的帧数大于等于6，或者乘客被删除且异常行为骨架序列中的帧数大于等于
6，若符合以上三种情况中的任意一个，则将异常骨架序列与各类异常行为骨架序列模板进行DTW匹配，选出匹配度最高的模板对应的异常行为作为识别结果，进行异常行为识别；
乘客搭乘扶梯过程中，发生的异常行为种类有限，因此，将乘客异常行为识别问题转化为模板匹配问题，将乘客的异常行为骨架序列与各类异常行为骨架序列模板进行匹配，计算匹配相似度，选出匹配相似度最高的模板对应的异常行为作为乘客异常行为识别结果，传统的基于序列之间欧式距离的匹配相似度计算方法要求两段序列长度相等，由于个体的差异性，人体动作行为有快有慢，导致待识别的异常行为骨架序列具有不同的长度，与异常行为模板序列的长度不一致，其中，序列长度为序列中包含的骨架个数，在此情况下不能基于欧氏距离计算两个序列间的匹配相似度，利用DTW基于动态规划DP的思想把序列进行部分延伸，使两段序列长度相等，再计算序列间的欧氏距离得到两个序列间的匹配相似度，设两段序列分别为Xs和Ys，对应长度为|Xs|和|Ys|，通过延伸部分序列后得到规整路径：
其中，Ks是规整路径的长度，每个元素wk是一个二维向量 表示Xs中的第 个元素和Ys中的第 个元素进行匹对，DTW对规整路径有三个限制条件，一是路径起始点为w1＝(1,1)，结束点为 以保证Xs和Ys的每个点都出现在W中，二是满足单调性条件，即 和 以保证序列从前往后匹对，三是满足梯级大小条件，即wk+1-wk∈{(1,
0),(0,1),(1,1)}，以保证序列逐个元素匹对，满足上述约束条件后，计算规整路径中每个匹对点的欧氏距离，累加得到规整路径距离，规整路径距离越小，两段序列的匹配度越高，可利用动态规划来求解距离最短的规整路径，递归公式为：
D(i,j)＝Dist(i,j)+min{D(i-1,j),D(i,j-1),D(i-1,j-1)}
其中Dist(i,j)表示X中第i个坐标到Y中第j个坐标的欧氏距离，D(i,j)表示以(1,1)为起点，(i,j)为终点的最短规整路径距离，多次递归最终得到两段序列Xs和Ys的距离最短规整路径D(|Xs|,|Ys|)，以此计算两段序列的匹配度；
设r为通过DTW算法延伸后的两段序列长度，针对待匹配骨架序列：
其中 为待匹配序列中第i个骨架，和模板骨架序列：
其中 为模板序列中第i个骨架，基于DTW计算两者的匹配相似度
OSK为：
经实际观察，乘客搭乘扶梯时，发生的异常行为主要有向前摔倒、向后摔倒、攀爬扶手带、往扶梯外探头和往扶梯外探手五种异常行为，其它种类的异常行为都能够归类到上述五种行为之中，因此，制作异常行为骨架序列模板时，为以上五种行为每种制作10个模板，并综合考虑匹配计算时间、序列长度范围、匹配准确度因素，统一每个模板序列长度，每个模板序列中的骨架为从具有代表性的异常行为序列中按时间顺序均匀采样。