技术领域
[0001] 本
发明涉及
计算机视觉与视频
图像处理技术领域，特别涉及一种针对雨雪天气影响下的视频运动目标检测方法。
背景技术
[0002] 在视频
监控系统中，运动目标的检测是识别视频数据中有用信息的重要任务，如入侵检测、边缘对象、交通
数据采集等，实时环境中的目标检测具有重要的应用价值。在自然环境采集的视频，环境相对复杂，包括动态背景、光照变化、遮挡、相机抖动等影响，这些都会降低视频的
质量，但这些问题现已有较好的解决方法。然而在恶劣天气下的运动目标检测仍然是一个难题，尤其是雨雪天气条件下。
[0003] 背景差分法是经典的运动目标检测
算法之一，其核心是利用当前图像与背景图像的差分来检测运动目标，但背景差分法只有在静态相机、恒定光照和静态背景下背景差分法效果良好。近年来，鲁棒主成分分析(RPCA)在计算机视觉的许多研究中得到了广泛的应用。然而，它只能在静态背景下工作，现实场景的背景在本质上并不总是静态的，物体的运动也不均匀。为了克服RPCA中存在的不足，国内外学者进行了大量的研究。提出了一种低秩表示的连续目标检测(DECOLOR)算法，基于RPCA模板，利用正则化非凸l0范数和
马尔可夫随机域(MRF)提取运动目标和背景，该方法比RPCA具有更好的结果，但该方法只能检测靠近移动对象的区域。经过进一步研究提出了一种全变分正则化RPCA算法(TVRPCA)，将空间和时间连续引入到原始RPCA中，处理动态背景和长期或缓慢移动的对象。然而，只有当动态自然背景比具有平滑边界和轨迹的运动前景更稀疏时，这种方法才有效。虽然应用RPCA模型在目标检测上取得了很多成果，但大多数算法分别将背景和前景估计为低秩和稀疏分量，这些算法没有同时利用背景和前景的结构特性，显然在恶劣天气这种极端天气下是不够有效的。
[0004] 恶劣天气条件下的运动目标检测主要面临很多挑战，比如整个视频中都有不规律飘动的雪花，这些背景噪声都会干扰目标的检测；户外拍摄的镜头由于天气的原因可能会结
冰或雨
水而影响拍摄镜头；雪天背景
亮度较大，运动目标在背景表面投射弱阴影而不清晰；长时间在户外运动的目标，表面被雪花
覆盖，获取的目标产生大量空洞。这些问题给高
精度的运动目标检测带来了挑战。单纯的依靠RPCA模型已经不能解决前景空洞等问题，本方法利用RPCA这一工具，在低秩稀疏分解
框架下，通过采用收敛凸
优化算法的三维全变分(TV)范数正则化，结合l1正则化对前景目标的
时空平滑性和噪声(即雪花或雨夹雪)的稀疏性进行建模，检测出完整且边缘完好的运动目标。
发明内容
[0005] 本发明要解决的技术问题是，
现有技术对雨雪天气视频图像的检测准确度不高，雨雪天气下视频图像受到天气条件的影响很大，使得精确检测出视频目标十分困难。
[0006] 本发明的技术方案为：一种针对雨雪天气条件下的运动目标检测方法，将输入的监控视频读入，并将每一
帧图片灰度化并保存。首先将视频序列中的每一帧排列为一个列向量，所有的
视频帧组成的矩阵对应的就是二维观测数据矩阵，然后利用RPCA这一工具，在低秩稀疏分解框架下，使用核范数的强低秩性对背景进行建模，利用三维全变分正则化结合l1正则化对前景目标的时空平滑性和噪声(动态分量)的稀疏性进行约束，从而弥补现有RPCA模型的不足。针对所提出的模型，采用交替
迭代乘子法的思想，利用增广拉格朗日乘子法对目标函数进行优化求解，实现精确地的目标检测。
[0007] 本发明具体步骤如下：
[0008] 1)将输入的监控视频读入，并将每一帧图片灰度化并保存，并保存为V∈RM×N×P，其中p是帧数，M和N分别是高度和宽度。然后将视频序列中的每一帧排列为一个列向量，所有的视频帧组成的矩阵对应的就是二维观测数据矩阵O∈RMN×P，这就将三维视频转换到了二维空间上，利用RPCA方法将观测数据矩阵O分成背景部分L∈RMN×P和前景部分S∈RMN×P。
[0009] 2)本发明主要考虑雨雪天气条件下的目标检测情况，所以天空中飘舞的雪花或雨夹雪可以看成是前景部分的噪声干扰，因此可以将前景S分为噪声部分E∈RMM×P和运动目标F∈RMM×P。
[0010] 3)使用核范数的强低秩性对背景进行建模，动态分量看作是平滑视频前景和稀疏噪声沿时
空域的
叠加，利用通过采用收敛凸优化算法的三维全变分(TV)范数正则化，结合l1正则化对前景目标的时空平滑性和噪声(即雪花或雨夹雪)的稀疏性进行建模；
[0011] 4)将建立的目标检测模型写成增广拉格朗日形式。
[0012] 5)采用交替迭代法，将其它变量设为常数，同时求出一个变量的最小值，从而得到近似解，F的最优解就是检测出的运动目标。
[0013] 进一步的，步骤1)中所述的观测数据矩阵O分成两部分可描述为：O＝L+S[0014] 进一步的，步骤2)中的模型可以描述为：S＝E+F
[0015] 进一步的，步骤3)中利用RPCA这一工具，将核范数，l1范数和TV范数正则化运用到低秩稀疏分解框架下后的模型可以描述为
[0016]
[0017] s.t.O＝L+S,S＝E+F
[0018] 由于rank(.)和l0都是非凸,这是一个NP难问题,用核范数和l1范数来代替从而可以得到本发明用于目标检测的模型：
[0019]
[0020] s.t.O＝L+S,rank(L)≤r,S＝E+F
[0021] 步骤4)中利用增广拉格朗日乘子法对目标函数进行优化求解的模型为：
[0022]
[0023] 其中，μ是正惩罚参数，X,Y∈RMN×P是拉格朗日乘子，<.,.>表示矩阵内积， 是弗洛内尼斯范数。
[0024] 步骤5)中通过采用交替迭代的思想，利用交替方向法(ADMM)，将其它变量设为常数，同时求出一个变量的最小值，从而得到近似解；
[0025] 求解背景部分LK+1： 其中U∑V是O-Sk-Xk/μk的奇异值分解(SVD)，S[.]代表收缩算子。μk为单调递增正序列。
[0026] 求解稀疏前景部分SK+1： 其中，S[.]代表收缩算子。
[0027] 求解噪声干扰部分EK+1：
[0028] 求解目标前景部分FK+1：
[0029] 更新Xk+1：Xk+1＝Xk+μk(O-Lk+1-Sk+1)，
[0030] 更新Yk+1：Yk+1＝Yk+μk(Sk+1-Ek+1-Fk+1)。
[0031] 步骤4)中逐步更新相应量，当收敛条件满足 停止迭代更新，输出最优解FK+1，即检测出的最佳运动目标。
[0032] 有益效果：
[0033] 由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：
[0034] 第一：本发明利用RPCA这一工具，使用核范数的强低秩性对背景进行建模，其次，进一步细化RPCA中的动态分量，利用通过采用收敛凸优化算法的三维全变分(TV)范数正则化，结合l1正则化对前景目标的时空平滑性和噪声(即雪花或雨夹雪)的稀疏性进行建模，能有效检测小目标和被雪覆盖的目标，对于动态噪声的抑本发明抗噪性能好，能较好适应恶劣天气的挑战。
[0035] 第二：本发明采用交替迭代的思想，利用增广拉格朗日乘子法对目标函数进行优化求解，模型求解过程中相关计算量小，且均可采用交替迭代的思想，处理效率高，能满足雨雪天气条件下高精度处理视频监控的需求。
附图说明
[0037] 图2为本发明算法与相关算法实施效果。
具体实施方式
[0038] 本发明涉及一种雨雪天气条件下的运动目标检测方法，如图1所示，主要包括以下步骤：读取视频序列，将每一帧图片转化为灰度图像，排成一列；当已载入所有视频序列之后，将所有视频序列堆叠排列成
观测矩阵，将三维空间数据转化为二维数据；再利用RPCA这一工具，在低秩稀疏框架下将观测矩阵分为低秩背景部分和稀疏前景部分；低秩背景部分使用核范数的强低秩特性进行约束；在稀疏前景部分首先将每一列恢复为一张图像，经过一定的处理，可以将前景分为噪声干扰部分和运动目标。以下通过具体的
实施例来进一步说明本发明。
[0039] 步骤1：获取一段监控视频数据，并将视频数据传输至计算机终端。
[0040] 步骤2：读取视频序列；将每一帧图片转化为灰度图像，将每一帧图片堆叠排列成观测矩阵，将三维空间数据转化为二维数据。
[0041] 步骤3：利用RPCA方法将观测数据矩阵O分成背景部分L∈RMN×P和前景部分S∈RMN×P，其中p是帧数，M和N分别是高度和宽度。
[0042] 步骤4：本发明主要考虑雨雪天气条件下的目标检测情况，所以天空中飘舞的雪花或雨夹雪可以看成是前景部分的噪声干扰，因此可以将前景S分为噪声部分E∈RMM×P和运动MM×P目标F∈R ，因此可以表示为S＝E+F。
[0043] 步骤5：然后构造建立新的模型为，即将动态分量看作是平滑视频前景和稀疏噪声沿时空域的叠加，利用通过采用收敛凸优化算法的三维全变分(TV)范数正则化，结合l1正则化对前景目标的时空平滑性和噪声(即雪花或雨夹雪)的稀疏性进行建模，然后优化求解[0044]
[0045] s.t.O＝L+S,rank(L)≤r,S＝E+F
[0046] 步骤6：将建立的目标检测模型写成增广拉格朗日形式：
[0047]
[0048] 步骤7：采用交替迭代法，将其它变量设为常数，同时求出一个变量的最小值，从而得到近似解，F的最优解就是检测出的运动目标。
[0049] 求解背景部分LK+1： 其中U∑V是O-Sk-Xk/μk的奇异值分解(SVD)，S[.]代表收缩算子。μk为单调递增正序列。
[0050] 求解系数前景部分SK+1： 其中，S[.]代表收缩算子。
[0051] 求解稀疏噪声干扰部分EK+1：
[0052] 求解目标前景部分FK+1：
[0053] 更新Xk+1，Yk+1：Xk+1＝Xk+μk(O-Lk+1-Sk+1)
[0054] 更新Yk+1：Yk+1＝Yk+μk(Sk+1-Ek+1-Fk+1)
[0055] 中逐步更新相应量，当收敛条件满足 停止迭代更新，输出最优解FK+1，即检测出的最佳运动目标。
[0056] 实验验证：为了对本发明方法进行验证，实验是在MATLAB2018环境下实现，实验所选用的计算机是64位
操作系统的惠普
笔记本电脑，8GB RAM，处理器为Intel(R)Core(TM)i5-8250U CPU@1.60GHz四核；并在数据集CDCNET 2014上进行实验，CDCNET 2014数据集上包含了每个视频的真实前景，之后将用于与本发明实验得出的结果进行比较,本发明采用CDCNET 2014数据集上的“badweather”序列。同时在相同条件下，将本发明与其他现有的方法进行比较。
[0057] 为了验证本发明算法的性能，每一个视频都选用连续的25-50帧图像进行检测，λ1＝0.1*λ，λ2＝2*λ，λ3＝1*λ。在相同条件下，将本发明算法与近期其他三种同类算法(DECOLOR，TVRPCA，LRTVRPCA)进行对比。实验结果如图2所示。第一行第二行为“badweather”序列中的“blizzard(暴雪)”序列的1096帧和1111帧，该场景为典型的小目标且目标排列紧密，目标物在图中用红色标志物标记；第三行第四行为“snowfall(降雪)”序列的807帧和832帧，该场景的目标有阴影和被雪覆盖表面，且场景中有光照变化；第五行第六行为“wetsnow(雨夹雪)”序列的680帧和688帧，该场景是典型的背景噪声场景。从第一列到最后一列分别为：当前帧、背景、真实前景，本发明算法、DECOLOR算法、TVRPCA算法和LRTVRPCA算法检测结果。
[0058] 由图2可以看出，对于小目标和被雪覆盖的目标表面，只有发明提出的算法有较好的检测效果，检测的目标物清晰且比较完整，DECOLOR和TVRPCA算法能检测大面积物体，但如果是小物体就会当成背景处理，LRTVRPCA算法能检测出完整的目标，但检测结果有虚警；对于阴影的处理和光照变化的适应，本发明算法和LRTVRPCA算法有较好的效果，未发生误检测，但本发明算法的
边缘检测更加完整，而DECOLOR有少量的误
检测区域和虚警现象，TVRPCA算法的检测效果不佳，检测结果只能保持基本边缘，空洞很大；对于动态噪声的抑制，本发明算法和LRTVRPCA算法都有较好的效果，目标物都比较完整，DECOLOR算法对动态噪声的抑制效果不错，但检测的目标物不完整，TVRPCA算法背景噪声较严重。
[0059] 为了定量分析以上几种方法的性能，把检测的前景和背景作为分类问题，令TP为正确检测出前景
像素数目，TN为正确检测出的
背景像素数目，FN为被检测为前景的背景像素数目，即漏检的前景点，FP为被检测为背景的
前景像素数目，即误检的前景点，TP+FP为被检测出的所有前景像素的数目，TP+FN为真实前景的像素数目。那么本发明采用的三项指标可以表示为：
[0060] 1)召回率:R＝TP/(TP+FN)；2)F测度:F＝2*P*R/(P+R)；3)准确率:R＝TP/(TP+FP)。定量对比结果见表1，P,R和F测度值都是越大越好，表中最好的指标已加粗。由表1可以看出,本发明提出的算法各项指标都优于其他算法，表明本发明的优化取得了良好的效果。
[0061] Tab.1 P、R、F measure values of various algorithms
[0062] 表1各种算法的P、R、F测量值
[0063]
[0064] 为了验证本发明算法在运行速度上的提高，在表2中对比了这几种算法的运行速度，表中最好的指标已加粗。从表2中可以看出，除了“snowfall”序列上是LRL1TV算法最快,本算法的处理速度几乎是最快。虽然本发明算法和LRL1TV算法的处理速度上差不多，但对比不同序列定性对比结果图2可以发现本发明的检测效果更佳。所以对比处理效果和运行速度，本发明不仅运行速度提高并且检测效果也更好。
[0065] 表2 4种算法的运行时间对比
[0066] Table 2 Comparison of running time of 4algorithms
[0067]
[0068] 本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本
说明书后可以根据需要对本实施例做出没有创造性贡献的
修改，但只要在本发明的
权利要求范围内都受到
专利法的保护。
