1.基于机器视觉的多人异常行为检测与识别方法，其特征在于：该方法对手扶电梯多乘客目标进行异常行为检测，识别异常行为的种类，包括以下步骤：
1)扶梯区域视频图像采集；
2)提取梯度方向直方图HOG特征并利用Adaboost分类器对手扶电梯乘客人脸进行检测；
3)利用卡尔曼滤波器对手扶电梯乘客人脸进行跟踪；
4)利用OpenPose深度学习网络从图像中提取乘客骨架特征；
5)基于乘客人脸相对位置对乘客进行遮挡判断，当乘客发生遮挡时，基于运动特征对乘客进行异常行为检测，当乘客没有遮挡时，基于骨架特征对乘客进行异常行为检测，并进一步利用时空图卷积模型识别异常行为的种类。
2.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：
在步骤1)中，采用1280*720图像分辨率大小的广角摄像头以斜上方往下的角度拍摄扶梯区域，采集监控视频图像，为了能够拍摄乘客人脸，使摄像头光轴与扶梯扶手带平行，拍摄角度覆盖整个扶梯运行区域，得到带俯视角度的乘客人脸清晰图像。
3.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：
在步骤2)中，提取HOG特征并利用Adaboost分类器对手扶电梯乘客人脸进行检测，包括以下步骤：
2.1)标准化颜色空间
对每个颜色通道进行平方根Gamma压缩，RGB和LAB颜色空间的结果相似，但如果使用灰度空间，会有性能下降，Gamma压缩公式为：
H(x,y)＝H(x,y)Gamma
其中Gamma为压缩因子，取Gamma值为0.5，H(x,y)为像素点(x,y)的像素值；
2.2)计算图像梯度
使用简单的[-1,0,1]模板及其转置对图像做卷积运算，计算图像梯度，计算梯度前不进行高斯平滑，增加高斯平滑会降低性能，对于带颜色的图像，分别计算每个颜色通道的梯度，以范数最大者作为该点的梯度向量，扶梯图像中像素点H(x,y)的梯度 是一个向量：
其中，Gx(x,y)为像素点(x,y)在水平方向上的梯度，Gy(x,y)为像素点(x,y)在垂直方向上的梯度，分别为：
梯度 的幅值和方向分别为：
其中，G(x,y)为梯度 的幅值， 为梯度 的方向；
2.3)为每个细胞单元构建梯度方向直方图
以8*8个像素点组合得到细胞单元，计算细胞单元内每个像素的梯度，为某个基于方向的bin投票，从而形成梯度方向直方图，直方图的方向bin在0度到180度，为了减少混叠现象，梯度投票需要进行方向和位置上的三线性插值，投票的权重根据梯度幅值本身进行计算，精细的方向编码对取得好的结果至关重要，然而空间采样可以做的相当粗糙；
2.4)块内归一化梯度方向直方图
把细胞单元组合成大的块，块内归一化梯度方向直方图，由于局部光照的变化，以及前景背景对比度的变化，使得梯度强度的变化范围非常大，这就需要对梯度做局部归一化，将细胞单元组成更大的块，然后针对每个块进行归一化，最终的描述子是块内的细胞单元的直方图构成的向量，块之间是有重叠的，归一化之后的块描述符就称之为HOG描述符，块归一化策略采用L2截断；
2.5)收集HOG特征
对检测窗口中所有重叠的块收集其HOG特征，并将它们结合成最终的特征向量供分类使用，检测窗口需要包含图像的上下文信息，采用的64*128大小的检测窗口在人体周围会产生大约16个像素的空白边缘，此空白边缘增加了有助于检测的上下文信息；
2.6)利用Adaboost分类器对扶梯乘客人脸进行检测
AdaBoost算法的基本思路是在同一个数据集上用多轮训练若干个弱分类器，并由它们组合成强分类器，弱分类器的分类准确率大于随机猜测的分类准确率，弱分类器是一种能够处理加权数据的分类器，弱分类器的精确率和召回率均比强分类器差，利用简单的分类器作为弱分类器往往能够得到较好的效果，利用单层决策树作为弱分类器能够用来处理各种类型的数据，因此采用单层决策树作为弱分类器，单层决策树hj(x)为：
其中，x为某一个样本的特征向量，xj为特性向量中第j个特征的值，θj为第j个特征的判定阈值，pj的取值为1或-1，用来决定判断的标准是大于阈值还是小于阈值，因此一个弱分类器取决于符号方向、维度的特征选择、判定阈值三个参数，以错误率最小的弱分类器作为该轮得到的最佳弱分类器，AdaBoost强分类器训练的基本思路是为数据集中的每一个训练样本赋予一个权重，并初始化为相等的值；首先在此数据集上训练出一个弱分类器，然后调整每个样本的权重，上一次分类正确的样本的权重会降低，分类错误的样本的权重会升高，在该数据集上再次训练弱分类器，当弱分类器的个数到达规定数量或错误率低于一定阈值则训练完成。
4.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：
在步骤3)中，利用卡尔曼滤波器对手扶电梯乘客人脸进行跟踪，具体如下：
卡尔曼滤波器通过估计运动系统的状态变量进行迭代，最终收敛至一个最优自回归解，即状态变量的最优估计，能够预测下一时刻的目标位置，是一个十分高效的线性递归滤波器，在时域上求解状态空间，它能够从一段不完整以及有噪声干扰的信号中，预测系统的最优状态，它能够利用信号的当前测量值和先验状态的估计值，预测信号的最优值，对一个离散时间的控制系统，它的状态方程为：
xk＝Axk-1+Buk+wk-1
其中，xk表示控制系统在k时刻的状态，A是状态转移矩阵，代表从k-1时刻到k时刻的系统状态变化，uk则代表k时刻从外界到系统的输入变量，B是转换矩阵，用于控制外界输入量的增益，wk-1代表实际应用中的过程噪声；
系统的观测方程为：
zk＝Hxk+vk
其中，zk表征控制系统在k时刻状态的观测值，H是测量矩阵，代表k时刻系统的状态值xk和观测值zk之间的关系，vk表示实际应用中的测量噪声；
假设过程噪音和测量噪音不随系统的变化而改变，且是均值为0的白噪声，设过程噪音的协方差矩阵为Qk，测量噪音的协方差矩阵为Rk，通过状态方程计算下一时刻的系统状态，状态方程为：
其中， 是上一时刻的最优化结果， 是根据上一时刻的结果预测得到的系统状态值，更新系统当前的状态后，需要更新 对应的协方差，协方差的更新方程为：
Pk,k-1＝Ak,k-1Pk-1ATk,k-1+Qk-1
其中，Pk-1为 的协方差，Pk,k-1是 的协方差，完成对系统状态的预测，然后计算卡尔曼滤波的增益，结合系统k时刻的观测值修正预测值，就能得到最优化的预测值，卡尔曼滤波增益Kk为：
通过状态修正能够获得k时刻状态的最优化估计值
更新 对应的协方差Pk，不停地对卡尔曼滤波器进行迭代，协方差更新方程为：
Pk＝Pk,k-1-KkHkPk,k-1
总而言之，卡尔曼滤波器的本质就是一个不断预测并更新修正的过程。
5.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：
在步骤4)中，利用OpenPose深度学习网络从图像中提取乘客骨架特征，具体如下：
相对于光流、外观和深度信息，骨架能够更好地描述乘客的行为信息，而利用OpenPose深度学习网络能够在光照不均匀、存在阴影的条件下准确、实时、稳定地提取乘客的二维人体骨架，目前的姿态估计方法分为自上而下和自下而上的方法，自上而下的方法需要先从图像中检测出每个人，然后对每个人分别进行姿态估计，提取该人的二维骨架，该方法受人体检测器的性能影响，且随着图像中人数的增加，算法的耗时会随之增加，与自上而下方法相对的是自下而上的方法，自下而上进行姿态估计不需要先对人体进行检测，算法耗时不受人的数量大小影响，但却忽略了行人整体与其所属骨架关节点之间的关联信息，需要采用别的方法将行人所属骨架关节点关联到行人整体，针对自下而上进行骨架提取的问题，OpenPose深度学习网络提出部分亲和字段PAFs对人体部位关节点的连接进行非参数的明确表示，PAFs是一组二维向量的集合，每段身体骨骼对应一幅PAFs图，与原图的大小相同，图中的每一点是一个二维向量，分别表示水平方向和竖直方向的分量，编码了一段骨骼的位置和方向，利用PAFs能够将属于一个行人整体的身体部位关节点连接起来，提取乘客二维骨架，OpenPose网络分为多个阶段，每个阶段的输出与真实值进行比较，得到相应的损失函数，将所有阶段的损失函数累加得到总损失函数，有助于模型收敛，优化总损失函数，迭代训练得到最终的模型；
实际测试时，输入图像通过模型能够输出一系列人体关节点置信图和骨骼PAFs图，其中人体关节点置信图的数量与骨架关节点数量一致，骨骼PAFs图的数量与骨架骨骼段数量一致，人体二维骨架包括鼻子、颈、左肩、左肘、左腕、左髋、左膝盖、左脚踝、右肩、右肘、右腕、右髋、右膝盖、右脚踝共14个人体关节点和由其相连而成的13段人体骨骼，然后将人体两两关节点的最优连接问题转化为最大权值二分图匹配问题，将骨架关节点作为二分图中的节点，将PAFs作为二分图中边的权值，利用匈牙利匹配和贪心解析算法，使骨架关节点和骨骼相连得到完整的人体骨架。
6.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：
在步骤5)中，基于乘客人脸相对位置对乘客进行遮挡判断，具体如下：
乘客在搭乘扶梯的过程中，由于相互之间的位置过于靠近会出现拥挤情况，而摄像头的拍摄角度是由近到远对扶梯区域进行拍摄，与摄像头距离近的乘客会遮挡与摄像头距离远的乘客，导致被遮挡的乘客缺失部分骨架，缺失的骨架不能很好地描述乘客的行为，很容易导致异常行为误检，因此，需要对乘客进行遮挡判断，若乘客发生遮挡，则基于乘客的运动特征进行异常行为检测，若乘客没有发生遮挡，则基于乘客的骨架特征进行异常行为检测，进行乘客遮挡判断时，对该乘客分别计算其与周围乘客的距离dist，若该距离小于自适应遮挡阈值Tdist，Tdist为：
Tdist＝(W1+W2)*0.6
其中，W1和W2分别为两位乘客的人脸跟踪框的宽度，且该乘客人脸中心点的纵坐标小于另一位乘客人脸中心点的纵坐标，则判断该乘客被另一位乘客遮挡；
当乘客发生遮挡时，基于运动特征对乘客进行异常行为检测，具体如下：
乘客的运动特征是由乘客的速度大小和速度方向组成，考虑到乘客人脸部位不容易发生遮挡，所以计算乘客运动速度时是基于乘客的人脸位置进行计算的，当骨架提取完整时，完整的骨架相对于乘客的运动特征能够更好地描述乘客的行为，当骨架提取不完整时，不完整的骨架容易发生异常行为误检，运动特征相对于骨架特征能够更好地描述乘客的行为，因此，当乘客发生遮挡时，利用乘客的运动特征进行乘客异常行为检测，设每隔t帧计算乘客的运动速度，第l帧人脸框中心为Pl＝(xl,yl)，人脸框面积为Sl，xl为中心横坐标，yl为中心纵坐标，帧率为fps，则运动速度vl、速度大小|vl|、速度方向θl分别为：
vl＝Pl-Pl-t＝(xl-xl-t,yl-yl-t)
乘客搭乘扶梯时的正常状态是站立在扶梯上，速度与扶梯运行速度一致，即乘客速度大小和速度方向均和扶梯的运行速度大小和方向相同，若乘客在连续几帧时间内速度大小和速度方向超出正常范围，即乘客的速度大小和速度方向满足以下条件：
其中，为校正后的乘客运动速度，Tv为正常状态时的最大运动速度阈值，Tθ1为正常状态时的最小运动方向阈值，Tθ2为正常状态时的最大运动方向阈值，因为摄像头拍摄近处物体的成像会比远处物体的成像大，导致越靠近摄像头，乘客在图像中计算得到的运动速度越大，需要除以乘客人脸的面积对速度大小进行校正，若乘客的运动速度大小和方向连续Tl帧满足上述条件，则检测到该乘客发生异常行为；
当乘客没有遮挡时，基于骨架特征对乘客进行异常行为检测，并进一步利用时空图卷积模型识别异常行为的种类，具体如下：
乘客搭乘扶梯时的正常状态是双手垂下，放在身体两侧，双腿站立在扶梯上，头朝前方，身体正面朝向摄像头，而异常行为一般具有大幅度的动作特征，与正常行为相比具有明显的差异，因此，根据乘客正常状态的行为特点，选取20个处于正常行为状态的乘客的人体骨架，作为正常行为模板，选取的正常行为模板能够体现正常状态时乘客行为的各种小幅度变化，使得制作的模板更具泛化性，能容忍乘客行为的正常幅度改变，分别与每一帧图像中提取得到的乘客人体骨架进行基于欧式距离的模板匹配，判断是否为异常骨架，为了适应由于乘客距离摄像头远近和乘客体型差异造成的成像大小变化，进行模板匹配的时候，分别提取模板骨架和乘客骨架的人体姿态特征向量，然后计算两个向量的欧氏距离得到两者的匹配相似度，计算骨架的人体姿态特征向量时，将人体骨架的13段人体骨骼看作是包含13个元素的特征J，每个元素是一个二维向量：
J＝{J1,J2,…,J13}
其中Jm为由首端关节点Bm与尾端关节点Em相互连接而成的第m段骨骼，骨骼向量的首端坐标为 为首端横坐标， 为首端纵坐标，尾端坐标为 为尾端横坐标，
为尾端纵坐标，水平方向角度为αm，竖直方向角度为βm，骨骼向量表示为
水平方向余弦值和竖直方向余弦值分别为：
13段骨骼分别计算其水平方向余弦值和竖直方向余弦值，然后按骨骼排列顺序依次连
1 1 13 13
接得到一个26维的特征向量{cosα,cosβ,…,cosα ,cosβ }作为人体姿态特征向量，进而计算待匹配骨架SKD和模板骨架SKT的匹配相似度O(SKD,SKT)为：
其中， 是待匹配骨架第i段骨骼的水平和竖直方向余弦值， 为
模板骨架第i段骨骼的水平和竖直方向余弦值，若乘客的骨架与所有模板骨架的匹配相似度均小于正常阈值，则判断该乘客骨架为异常骨架，若乘客骨架连续Tl帧被判断为异常骨架，则检测到该乘客发生异常行为；
若基于骨架特征检测到乘客发生异常行为，则将乘客的异常骨架按时间顺序组合得到异常骨架序列，输入到时空图卷积模型，识别异常行为的种类，时空图卷积模型用于人类行为识别，基于人体关节点位置的时间序列对动态骨骼进行建模，在二维或三维坐标形式下，动态骨骼模态能够自然地由人类关节位置的时间序列表示，然后，通过分析其动作模式能够做到人类行为识别，使用关节点的位置信息没有利用骨骼空间信息，需要连通骨骼，通过将图卷积网络扩展到时空图模型，设计用于行为识别的骨骼序列通用表示，得到时空图卷积网络，图中存在两种类型的边，即符合关节的自然连接的空间边和在连续的时间步骤中连接相同关节的时间边，在此基础上构建多层的时空图卷积，它允许信息沿着空间和时间两个维度进行整合，图卷积模型为图结构数据的处理提供了一个崭新的思路，将深度学习中常用于图像的卷积神经网络应用到图数据上，图上的卷积网络的卷积方式采用空间域卷积，是卷积神经网络泛化到任意结构图形而得到，给定二维或三维坐标系下的身体关节序列，就能构造一个时空图，其中，人体关节对应图的节点，人体身体结构的连通性和时间上的连通性对应图的两类边，因此，时空图卷积模型的输入是图节点的联合坐标向量，对输入数据应用多层的时空图卷积操作，能够生成更高级别的特征图，然后，它将被标准的SoftMax分类器分类到相应的动作类别，经观察，乘客搭乘扶梯时，发生的异常行为主要有向前摔倒、向后摔倒、攀爬扶手带、往扶梯外探头和往扶梯外探手五种异常行为，其他种类的异常行为都能够归类到上述五种行为之中，因此，识别的动作类别包括向前摔倒、向后摔倒、攀爬扶手带、往扶梯外探头和往扶梯外探手五种异常行为。