基于特征期望子图校正分类的异常视频清洗方法
阅读：134发布：2020-05-13
专利汇可以提供基于特征期望子图校正分类的异常视频清洗方法专利检索，专利查询，专利分析的服务。并且本 发明 属于监控视频监测领域，具体涉及基于特征期望子图校正分类的异常视频清洗方法，包括步骤：CNN-LSTM特征提取、特征期望子图构造及基于特征期望子图的校正分类与清洗，本发明提高视频异常事件检测的准确度、查准率和查全率性能指标；另一方面能够实现异常视频的自动清洗，减少视频数据集中的异常视频数据，改善视频数据集的数据 质量 。，下面是基于特征期望子图校正分类的异常视频清洗方法专利的具体信息内容。
1.基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述具体步骤如下：
S1、CNN-LSTM特征提取；
S2、特征期望子图构造；
S3、基于特征期望子图的校正分类与清洗。
2.如权利要求1所述的基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述CNN-LSTM特征提取具体步骤如下：
S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
3.如权利要求1所述的基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述特征期望子图的构建的具体步骤如下：
S21、通过VGG-LSTM深度神经网络获得了一组特征向量 其中第i个特征向量可表示为
S22、利用下面的公式将特征向量转换为二维的特征矩阵：
这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量一一对应；
(i)
S23、若Α 中的元素值不为0，通过一个映射φ: 获取二维空间中的特征值点；
S25、通过如下公式度量两个特征值点之间的距离：
其中，r表示邻域的范围；
S26、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图其中，v表示特征值，ε(v)表示与特征值点相对应的边的集合；
S25、在图 中计算边集合的期望值，如下述公式所示：
当 时，获得特征期望子图
4.如权利要求1所述的基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述基于特征期望子图的校正分类及清洗的具体步骤如下：
S31、对于一个测试的期望子图而言，分类函数描述如下：
其中，b是偏置，并且f(·)＝f(-1，+1)是预测函数；
S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用 的结果校正的f(V，Vi)结果；
S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
其中，N表示视频帧的个数，当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行清洗。
基于特征期望子图校正分类的异常视频清洗方法
技术领域
[0001] 本发明属于监控视频监测领域，具体涉及基于特征期望子图校正分类的异常视频清洗方法。
背景技术
[0002] 目前，相关研究主要集中在异常视频检测方面，包括视频的异常事件检测、异常活动检测和异常行为检测等。主要采用的理论方法包括：1、利用传统低层特征和分类模型进行视频异常检测，例如将轨迹特征、Harris角点特征和光流运动特征等和SVM等分类模型相结合进行异常检测；2、利用高层特征进行视频异常检测，例如通过CNN、LSTM、Resnets、Attention等深度学习模型获取特征向量，进而利用 softmax或SVM进行异常的分类识别；3、利用稀疏表示理论和分类算法相结合进行异常检测。
[0003] 无论上述哪种方式都只能对异常视频数据进行分类识别，但是较难将异常视频进行自动清洗。此外，上述研究在对视频特征进行表征的时候，更多关注的是特征向量的形式化结构，较少考虑到特征向量的结构化特征，例如拓扑和连续性特征等，尤其对于复杂视频场景，噪声等干扰因素造成的特征可能会影响异常分类和识别的效果。
发明内容
[0004] 为了克服以上问题，本发明提出基于特征期望子图校正分类的异常视频清洗方法，本方法通过构造特征期望子图，过滤与视频中各种干扰因素相关的不期望得到的特征表示，并将特征期望子图与SVC分类器相结合，即在提高单个分类器的识别效果。
[0005] 为实现上述目的，本发明采用的技术方案是：
[0006] 基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述具体步骤如下：
[0007] S1、CNN-LSTM特征提取；
[0008] S2、特征期望子图构造；
[0009] S3、基于特征期望子图的校正分类与清洗。
[0010] 所述CNN-LSTM特征提取具体步骤如下：
[0011] S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
[0012] S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
[0013] 所述特征期望子图的构建的具体步骤如下：
[0015] 其中第i个特征向量可表示为
[0016] S22、利用下面的公式将特征向量转换为二维的特征矩阵：
[0017]
[0018] 这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量 一一对应；
[0019] S23、若Α(i)中的元素值不为0，通过一个映射φ: 获取二维空间中的特征值点；
[0020] S25、通过如下公式度量两个特征值点之间的距离：
[0021]
[0022]
[0023] 其中，r表示邻域的范围；
[0024] S26、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图其中，ν表示特征值,ε(v)表示与特征值点相对应的边的集合；
[0025] S25、在图 中计算边集合的期望值，如下述公式所示：
[0026]
[0027] 当 时，获得特征期望子图
[0028] 所述基于特征期望子图的校正分类及清洗的具体步骤如下：
[0029] S31、对于一个测试的期望子图而言，分类函数描述如下：
[0030]
[0031] 其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数。
[0032] S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
[0033]
[0034] 其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用的结果校正的f(V,Vi)结果；
[0035] S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
[0036]
[0038] 与现有技术相比，本发明具有以下有益效果：
[0039] (1)本发明提出通过特征期望子图的方式刻画特征向量中特征值的连续性特性和拓扑特性；
[0040] (2)本发明通过特征期望子图和SVM分类器相结合的方式校正上述特征向量和单一分类器相结合的分类结果，缓解单一分类器分类不足的问题，用于改善异常视频检测的准确性。
[0041] (3)本发明通过分类识别的标签进行自动清洗，改善视频数据集的数据质量问题。在保留特征向量内部时序和拓扑结构关系特征的同时，能够获得特征向量的主成分，有利于异常事件检测的分类和识别，并且能够进行将识别出的异常数据进行清洗。
附图说明
附图说明
[0042] 图1为本发明基于特征期望子图校正分类的异常视频清洗方法系统图；
[0043] 图2为本发明通过VGG-LSTM深度神经网络产生的特征向量所生成的特征值点；
[0044] 图3为本发明其中一个视频帧构建的期望特征子图
具体实施方式
[0046] 如图1所示，基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述具体步骤如下：
[0047] S1、CNN-LSTM特征提取；
[0048] S2、特征期望子图构造；
[0049] S3、基于特征期望子图的校正分类与清洗。
[0050] 如图2所示，所述CNN-LSTM特征提取具体步骤如下：
[0051] S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
[0052] S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
[0053] 所述特征期望子图的构建的具体步骤如下：
[0054] S21、通过VGG-LSTM深度神经网络获得了一组特征向量
[0055] 其中第i个特征向量可表示为
[0056] S22、利用下面的公式将特征向量转换为二维的特征矩阵：
[0057]
[0058] 这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量 一一对应；
[0059] S23、若Α(i)中的元素值不为0，通过一个映射φ: 获取二维空间中的特征值点；
[0060] S25、通过如下公式度量两个特征值点之间的距离：
[0061]
[0062]
[0063] 其中，r表示邻域的范围；
[0064] S26、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图其中，ν表示特征值,ε(v)表示与特征值点相对应的边的集合；
[0065] S25、在图 中计算边集合的期望值，如下述公式所示：
[0066]
[0067] 当 时，获得特征期望子图
[0068] 所述基于特征期望子图的校正分类及清洗的具体步骤如下：
[0069] S31、对于一个测试的期望子图而言，分类函数描述如下：
[0070]
[0071] 其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数。
[0072] S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
[0073]
[0074] 其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用的结果校正的f(V,Vi)结果；
[0075] S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
[0076]
[0077] 其中，N表示视频帧的个数，当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行删除。
[0078] 实施例一
[0079] 进一步地，CNN-LSTM特征提取
[0080] 在不同类别的CNN模型中，VGG-16卷积神经网络由于其网络的深度，可以用于提取空间特征和高精度的图像识别。但是，VGG-16 网络较难准确地表示输入视频序列的时间关系。为了克服这种局限性，采用LSTM网络来提取视频流中的动态时序行为特征。考虑到视频的时空特性，首先选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取，然后将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。假设上述视频片段的大小为 w×h×c×l，w×h表示视频帧的大小，c表示每帧的信道数，l表示视频片段的帧数，在训练VGG-16网络之前，设置w和h均为224，并且c＝3。此外，首先在卷积层用步长1来固定卷积核，然后在池化层用步长2来固定池化窗口，用于实现卷积运算和池化的过程。在卷积运算过程中，特征矩阵Yij的计算公式如下：
[0081]
[0082] 在这里，f(·)表示激活函数，Xij是在视频帧中第i行和第j列像素周五的窗口矩阵，W表示权重矩阵，并且b表示偏置参数。在VGG-16 的网络中，选取ReLU函数表征f(·)，该函数描述如下所示：
[0083] f(Yij)＝max(0,Yij) (2)
[0084] 经过卷积运算之后，利用最大池化操作对生成的特征图进行降维，通过5组卷积和池化层，并利用3个全连通层可以提取出规模为4096 维的空间特征向量。将提取的特征向量输入LSTM网络，进一步提取时序特征。采用两层LSTM网络，每个LSTM都有相同的结构，由输入门、遗忘门和输出门组成。在LSTM网络的训练过程中，将学习率设置为0.01，输入节点数设置为64，隐藏层节点数设置为256。此外，利用交叉熵作为损失函数来训练和学习视频样本的特征，损失函数公式如下：
[0085]
[0086] 其中，yi是指输出门输出的特征向量的第i个特征值，y′i表示与yi相对应的标签。在完成VGG-LSTM网络训练之后，能够从LSTM输出层获得一个大小为[1024,1]的特征向量，用于表征视频片段的特征。
[0087] 实施例二
[0088] 进一步地，特征期望子图的构建：构造特征期望子图来表征结构化特征向量中特征值之间的序列和拓扑关系特征。
[0089] 假设通过VGG-LSTM深度神经网络获得了一组特征向量 其中第i个特征向量可表示为 由于在视频帧中特征点的分布具有一定的连续性和拓扑结构关系，如果在视频帧中针对同一个事物，表征相邻特征点的特征值 和 在任意一个向量中很可能彼此距离很近，这里的n和m是指特征向量中特征值的索引位置，并且m,n∈[1,1024],m＜n。为了表征特征向量内部的连续性和拓扑性结构关系，首先利用下面的公式将特征向量转换为二维的特征矩阵：
[0090]
[0091] 其中，t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量 一一对应。然后，如果Α(i)中的元素值不为0，通过一个映射φ:获取二维空间中的特征值点。由此，每个特征值y(i)与每个特征值点
在二维空间中是一一对应的。假设具有两个特征值点 和 能够通过
如下公式度量两个特征值点之间的距离：
在二维空间中是一一对应的。假设具有两个特征值点 和 能够通过
如下公式度量两个特征值点之间的距离：
[0092]
[0093] 其中参数t1,t2,l1,l2∈[1,1024]，并且α1和α2是约束因子，在二维空间中的特征值点的位置是度量特征向量内在连续性和拓扑性结构关系的主要因素。因此， 度量的是两个特征点之间特征值的相似度，K2(l2,l1)度量的是两个特征值点之间位置的相似度。此外，能够利用下面的公式计算k值去粗略的度量两项之间针对距离度量的贡献度。
[0094]
[0095] 其中，dim(Vi)表示特征向量Vi的维度。在此基础上，使用欧式距离函数去表征和K2(l2,l1)，因此，能够进一步描述公式
[0096]
[0097]
[0098] 其中，r表示邻域的范围。借鉴KNN算法思想只计算r范围内的距离，这不仅可以减少计算代价，也可以降低特征向量中较远位置特征值点之间的距离计算。如果满足关系其中μT是一个给定的阈值，认为 和是相似的特征值点，并且可以利用一个边去表征两个特征值点彼此之间的关联关系。通过这种方式，可以利用边关联若干个特征值点，并且可以产生若干个边去表征所有特征向量中特征值点之间的相互关系。通过上述特征值点和边的集合，可以构建一个由特征值点和边构成的图 其中，V表示特征值,ε(v)表示与特征值点相对应的
边的集合。为了利用深度特征向量的结构化特征过滤与干扰相对应的不期望的特征值，以便改进异常事件检测的准确度，提出针对每一个视频帧构建特征期望子图。首先，在图 中计算边集合的期望值，如下述公式所示：
边的集合。为了利用深度特征向量的结构化特征过滤与干扰相对应的不期望的特征值，以便改进异常事件检测的准确度，提出针对每一个视频帧构建特征期望子图。首先，在图 中计算边集合的期望值，如下述公式所示：
[0099]
[0100] 由于任意ε(v)的共现概率是随机的，可以进一步去描述公式(8)，如下所示：
[0101] 在这之后，当条件 被满足时，能够获得特征期望子图如图2所示的是通过VGG-LSTM深度神经网络产生的特征向量所生成的特征
值点，图3所示的是其中一个期望特征子图 通过图3可以看出，当一些特征值点不满足条件 时，这些特征值点将被过滤掉。此外，由这些特征值点
构成的图能够保留结构化特征向量的内在连续性和拓扑性关系结构特征。当只有很少的特征期望子图时，将使用所有的特征子图作为特征期望子图。当一个特征子图包含所有特征值点时，将其看作是最大特征期望子图。
值点，图3所示的是其中一个期望特征子图 通过图3可以看出，当一些特征值点不满足条件 时，这些特征值点将被过滤掉。此外，由这些特征值点
构成的图能够保留结构化特征向量的内在连续性和拓扑性关系结构特征。当只有很少的特征期望子图时，将使用所有的特征子图作为特征期望子图。当一个特征子图包含所有特征值点时，将其看作是最大特征期望子图。
[0102] 实施例三
[0103] 进一步地，基于特征期望子图的校正分类及清洗，即结合SVC 和特征期望子图来校正单个线性SVC分类的结果，从而确定在复杂的视频监控场景中是否存在异常事件。
[0104] 首先，设 是与N个训练视频中n个帧的特征期望子图相对应的标识，其中标识y′i为-1时，表示的是异常事件，当标识y′i为+1时，表示的是正常事件。然后，利用SVC算法对特征期望子图进行分类，并检测异常事件。在此，改进的SVM模型进行特征期望子图的分类计算，如下所示：
[0105]
[0106]
[0107] 其中，αi和αj是拉格朗日乘数因子，并且y′i∈{-1,+1}， 是图核函数，C是一个固定参数。由于能够通过一个逆映射φ′: 获得一个稀疏向量 该向量与特征期望子图 相对应。由此，能够确立一个转换关系 在此基础上，采用线性核函数 度量任意两个特征期望子图 和 的相似性。
对于一个测试的期望子图而言，分类函数如下：
对于一个测试的期望子图而言，分类函数如下：
[0108]
[0109] 其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数。虽然特征期望子图可以用于获取特征向量的主成分，同时也可以保留特征向量内在的连续性和拓扑性结构关系，但单一的分类器也较难保证分类的准确度。此外，通过特征期望子图获得的稀疏向量也较难完全表征视频帧的特征。因此，结合线性SVC分类器检测监控视频的异常事件，具体计算公式如下所示：
[0110]
[0111] 其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，能够利用的结果校正的f(V,Vi)结果，以便确定在监控视频场景下是否存在异常事件。
[0112] 由于偶然的异常事件不能说明该视频是异常视频，因此需要在异常事件检测的基础上，判断是否该视频为异常视频。由此，本方法通过如下公式进行异常视频的判断：
[0113]
[0114] 其中，N表示视频帧的个数。当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行删除。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 网络入侵检测方法和装置 | 2020-05-11 | 924 |
| 一种基于忆阻器阵列的K-means分类器及其分类方法 | 2020-05-12 | 179 |
| 基于机器学习的中间件故障预警方法和系统 | 2020-05-12 | 535 |
| 基于人脸特征的癌症筛查方法及筛查系统 | 2020-05-12 | 913 |
| 面向大尺度遥感图像的微小目标快速检测方法 | 2020-05-08 | 672 |
| 一种基于支持向量机的水声通信信号调制方式识别方法 | 2020-05-13 | 902 |
| 一种水下鱼类图像的超分辨率重建方法、系统及装置 | 2020-05-08 | 527 |
| 一种基于异常追踪的视频异常行为检测方法 | 2020-05-11 | 353 |
| 双阶段语义词向量生成方法 | 2020-05-12 | 176 |
| 基于深度密集连接和度量学习的SAR舰船目标分类方法 | 2020-05-12 | 7 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈