技术领域
[0001] 本
发明涉及视频质量修正技术领域，尤其涉及一种基于显著性多特征融合的移动巡检视频质量修正方法。
背景技术
[0002] 当前移动巡检系统，例如矿井系统，其运
煤皮带机以及运输的煤流较多，工况复杂，致使人工很难真正检测皮带运输安全与否，一般通过移动巡检视频来自动检测煤流运输状况。但检测过程中，由于各种摄像环境的问题会导致视频图像不清晰，发生失真，影响检测效果。需要对移动巡检视频进行实时质量评价并修正。
[0003] 对移动巡检视频进行实时质量评价实时质量评价并修正，一方面，可以通过检测移动巡检视频的反馈来修正摄像头参数，使之达到最好的摄像效果。另一方面，可以为后期超
分辨率重建提供参考。
[0004] 当前的视频质量评价方法主要依据模型给出的量化指标衡量视频图像质量，但都没有充分考虑人眼的视觉显著性，而这一点对于视频质量评价并修正有重要影响。前视频画面的视觉显著性只考虑静止图像的显著性，没有考虑到物体的运动特性对视觉显著性的影响。并且，在计算整段视频的特征时，一般采用一
帧图像的特征值作为整段视频的特征值，却忽略了失真视频各帧特征值的
波动性。上述原因造成了目前无法对移动巡检视频进行有效的质量评价并修正。
发明内容
[0005] 鉴于上述的分析，本发明
实施例旨在提供一种基于显著性多特征融合的移动巡检视频质量修正方法，用以解决
现有技术无法对移动巡检视频进行有效的质量评价并修正的问题。
[0006] 一方面，本发明实施例提供了一种基于显著性多特征融合的移动巡检视频质量修正方法，包括如下步骤：
[0007] 对移动巡检视频中任一包括待检测物体的静止图像进行分
块，确定分块结果中包含待检测
物体识别特征的所有宏块，以及各宏块的显著性因子；
[0008] 使用上述每个宏块分别遍历移动巡检视频中其他图像，获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的
运动矢量，结合其显著性特征因子，获得每一帧图像的显著性矩阵；
[0009] 根据获得的显著性矩阵，确定移动巡检视频的块效应特征值、模糊效应特征值和信息熵特征值；
[0010] 建立包含视频评价结果与视频块效应特征值、视频模糊效应特征值和信息熵特征值三者关系的视频质量评价模型，判断视频质量是否合格，如果不合格，修正摄像头参数，重新判断，直到合格为止。
[0011] 上述技术方案的有益效果如下：现有技术在计算图像的特征值时，一般是直接、无区别地计算整个
视频帧的所有
像素点，上述技术方案是根据人眼视觉区域对图像进行分块(获得宏块)，计算出每一宏块的特征值，再利用分块显著性加权，求得整帧图像的特征值，方法更加精准、有针对性，结果更加准确。并且，现有技术在利用显著性时一般不会考虑到物体的运动特性，上述技术方案还考量了每个视频帧中每一个宏块的运动活性值(块效应特征值、模糊效应特征值和信息熵特征值)对显著性的影响，进而得出是否合格、需要修正的结论，更加贴合用户需求，用利于提升用户体验。
[0012] 基于上述方法的进一步改进，所述各宏块的显著性因子通过下面公式确定[0013] SSDSP(i,j)＝SF(x)·SC(x)·SD(x)
[0014] 式中，SF(x)为
频率先验，SC(x)为色彩先验，SD(x)为
位置先验，x为宏块对应的像素点矩阵。
[0015] 上述进一步改进方案的有益效果是：频率先验是模拟人眼视觉系统对显著物体的检测，进行了滤波，色彩先验是模拟人眼更容易被暖
色调吸引的视觉特性，位置先验是模拟人体可能更关注图像的中心区域的视觉特性。通过频率先验、色彩先验、位置先验能够更加贴合人眼识别，使得识别准确率更高。
[0016] 进一步，所述获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，包括如下步骤：
[0017] 获取该宏块中每个帧点的像素值；
[0018] 根据下面公式中的匹配准则遍历移动巡检视频中的各帧图像，分别找出各帧图像中MAD值最小的图像块，作为与该宏块最相似的图像块
[0019]
[0020] 式中，fk(m,n)指所述宏块当前帧点(m,n)的像素值，fp(m+i,n+j)指移动巡检视频第p帧图像中距离帧点(m,n)相对位移为(i,j)的像素值，M、N分别为该宏块的长和宽；
[0021] 根据各帧图像中与该宏块最相似的图像块的位置变化，得出各帧图像中该宏块每个帧点的相对位移(Δx'(m,n),Δy'(m,n))，进而得出各宏块的运动矢量(Δx(i,j),Δy(i,j))。
[0022] 上述进一步改进方案的有益效果是：根据视频中的运动物体更容易吸引眼球的人眼识别特性，通过获取各宏块的运动矢量(Δx(i,j),Δy(i,j))进而建立每一帧图像的显著性矩阵，经大量试验证明，有助于进行准确的视频质量评价，并进行准确的质量修正。
[0023] 进一步，所述获得每一帧图像的显著性矩阵，进一步包括如下步骤：
[0024] 根据各宏块的运动矢量(Δx(i,j),Δy(i,j))，通过下面公式得出每个宏块的运动活性MA(i,j)
[0025]
[0026] 其中
[0027]
[0028] 式中，k是调节系数；
[0029] 通过下面公式对每个宏块的运动活性MA(i,j)进行加权，获得加权后运动活性Sfinal(i,j)
[0030] Sfinal(i,j)＝SSDSP(i,j)·MA(i,j)i∈[1,Q],j∈[1,T]
[0031] 式中，SSDSP为该宏块的显著性因子；
[0032] 通过下面公式所述方式排列所有宏块的Sfinal(i,j)，得到待求每一帧图像的显著性矩阵Sfinal
[0033]
[0034] 式中，Q和T分别为对静止图像分块获得的宏块的总行数和总列数。
[0035] 上述进一步改进方案的有益效果是：综合了静止图像与运动图像的识别特性，相比现有技术，能够获得效果更好的视觉显著模型(显著性矩阵Sfinal)，可以提升后续视频质量修正效果。
[0036] 进一步，所述确定移动巡检视频的块效应特征值，进一步包括如下步骤：
[0037] 对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同；
[0038] 对分块处理获得的每一图像块依次进行
水平
边缘检测和垂直边缘检测，根据边缘像素点个数应小于
阈值一，识别出检测结果中的平滑块，进一步计算每一平滑块的水平块特征值、垂直块特征值；
[0039] 根据上述获得的每一平滑块的水平块特征值和垂直块特征值，得出该视频单帧的块效应特征值B；
[0040] 根据该视频所有单帧的块效应特征值B，计算出所述块效应特征值的标准差，作为待求整段移动巡检视频的块效应特征值Bvideo。
[0041] 上述进一步改进方案的有益效果是：只统计了平滑块的块效应特征值，使得特征值结果更为精准，能够更加准确地衡量视频平滑程度质量，且减少了计算量。
[0042] 进一步，通过下面公式，得出每一平滑块的水平块特征值
[0043]
[0044] 其中
[0045] dh(i,Kj)＝x(i,Kj)-x(i,Kj-1),j∈[1,N-1]
[0046] 式中， 为小于N/K的最大整数，M为平滑块垂直方向尺寸，N表示平滑块水平方向尺寸，Kj表示压缩尺寸，x()为像素值；
[0047] 通过下面公式，得出每一平滑块的垂直块特征值
[0048]
[0049] 其中
[0050] dv(Ki,j)＝x(Ki,j)-x(Ki-1,j,),i∈[1,M-1]
[0051] 式中， 为小于M/K的最大整数，Ki表示压缩尺寸；
[0052] 所述视频单帧的块效应特征值B为
[0053]
[0054] 式中，Si为第i个平滑块对应的显著性矩阵中的加权后运动活性，Ssum为所有平滑块的加权后运动活性之和。
[0055] 上述进一步改进方案的有益效果是：上述公式是
发明人经过大量试验总结出的规律性成果，利用特征值加权，能够有效提高块效应特征值计算的准确性。
[0056] 进一步，所述确定移动巡检视频的视频模糊效应特征值，进一步包括如下步骤：
[0057] 对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同；
[0058] 对分块处理获得的每一图像块分别进行边缘检测，根据边缘像素点个数应大于阈值二，识别出检测结果中属于边缘块的图像块，进一步计算每一边缘块的模糊度量值；
[0059] 根据获得的每一边缘块的模糊度量值，结合显著性矩阵，获得该视频单帧的模糊效应特征值D；
[0060] 根据该视频所有单帧的模糊效应特征值D，计算出所述模糊效应特征值的标准差，作为待求整段移动巡检视频的模糊效应特征值Dvideo。
[0061] 上述进一步改进方案的有益效果是：只统计了边缘块的模糊度量值，使得模糊特征值计算结果更为精准，能够更加准确地衡量视频模糊程度质量，进而提高视频质量评价的准确性，且减少了计算量。
[0062] 进一步，第Rb个边缘块的模糊度量值 为
[0063]
[0064] 式中，k(ei)为边缘块的边缘像素ei的宽度，kJNB(ei)为边缘像素ei局部
对比度系数，R为有理数，β为一常数；
[0065] 所述视频单帧的模糊效应特征值为
[0066]
[0067] 式中，L为边缘块个数，S′i为第i个边缘块的加权后运动活性，S′avg为所有边缘块加权后运动活性的均值。
[0068] 上述进一步改进方案的有益效果是：上述公式是发明人经过大量试验总结出的规律性成果，直接应用，能够有效减少设计成本，并提高模糊效应特征值计算的准确性，进而提高视频质量评价的准确性。
[0069] 进一步，所述确定移动巡检视频的信息熵特征值，进一步包括如下步骤：
[0070] 将移动巡检视频对前后帧图像作差，将获得的视频帧差图像转化为灰度矩阵；
[0071] 将获得的灰度矩阵与显著性矩阵Sfinal进行点乘加权，获得具有显著性的视频帧差图像；
[0072] 将所述具有显著性的视频帧差图像灰度分成k个等级，根据下面公式获得该视频单帧的信息熵特征值E
[0073]
[0074] 式中，pi为第i级灰度在具有显著性的视频帧差图像中出现的概率；
[0075] 根据该视频所有单帧的信息熵特征值E，计算出所述信息熵特征值的标准差，作为待求整段移动巡检视频的信息熵特征值Evideo。
[0076] 上述进一步改进方案的有益效果是：考虑到视频的时域失真，获取视频所有单帧的信息熵特征值，进而获得整段移动巡检视频的信息熵特征值Evideo，能够有效提升视频质量评价方法的准确性。
[0077] 进一步，所述视频质量评价模型为
[0078]
[0079] 式中，α、β、γ1、γ2、γ3分别为事先训练获得的拟合参数，SS为预设阈值；
[0080] 满足上述频质量评价模型中的不等式，判定视频质量合格；否则，判定视频质量不合格；
[0081] 所述摄像头参数包括焦距、分辨率、
光圈。
[0082] 上述进一步改进方案的有益效果是：上述公式是发明人经过大量试验总结出的规律性成果，直接应用，能够缩短设计时间，减少成本。并且，所述视频质量评价模型考了个多方面的特征，能够较全面地评价当前视频的质量。
[0083] 本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的
说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及
附图中所特别指出的内容中来实现和获得。
附图说明
[0084] 附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0085] 图1为本发明实施例1方法步骤示意图；
[0086] 图2为本发明实施例2方法流程示意图。
具体实施方式
[0087] 下面结合附图来具体描述本发明的优选实施例，其中，附图构成本
申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0088] 实施例1
[0089] 本发明的一个具体实施例，公开了一种基于显著性多特征融合的移动巡检视频质量修正方法，如图1所示，包括如下步骤：
[0090] S1.对移动巡检视频中任一包括待检测物体的静止图像进行分块，确定分块结果中包含待检测物体识别特征的所有宏块，以及各宏块的显著性因子；
[0091] S2.使用上述每个宏块分别遍历移动巡检视频中其他图像，获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，结合其显著性特征因子，获得每一帧图像的显著性矩阵；
[0092] S3.根据获得的显著性矩阵，确定移动巡检视频的块效应特征值、模糊效应特征值和信息熵特征值；
[0093] S4.建立包含视频评价结果与视频块效应特征值、视频模糊效应特征值和信息熵特征值三者关系的视频质量评价模型，判断视频质量是否合格，如果不合格，修正摄像头参数，重新判断，直到合格为止。
[0094] 与现有技术相比，现有技术在计算图像的特征值时，一般是直接、无区别地计算整个视频帧的所有像素点，本实施例提供的方法是根据人眼视觉区域对图像进行分块(获得宏块)，计算出每一宏块的特征值，再利用分块显著性加权，求得整帧图像的特征值，方法更加精准、有针对性，结果更加准确。并且，现有技术在利用显著性时一般不会考虑到物体的运动特性，本实施例提供的方法还考量了每个视频帧中每一个宏块的运动活性值(块效应特征值、模糊效应特征值和信息熵特征值)对显著性的影响，进而得出是否合格、需要修正的结论，更加贴合用户需求，用利于提升用户体验。
[0095] 实施例2
[0096] 在实施例1的
基础上进行优化，整体思路如图2所示，步骤S1中，各宏块的显著性因子可通过下面公式确定
[0097] SSDSP(i,j)＝SF(x)·SC(x)·SD(x) (1)
[0098] 式中，SF(x)为频率先验，SC(x)为色彩先验，SD(x)为位置先验，x为宏块对应的像素点矩阵，(i，j)表示像素点。
[0099] 具体地，SF(x)可通过如下步骤获得：
[0100] S111.对所述宏块进行Lab
颜色空间转换，获得三色通道中的L通道、a通道和b通道。
[0101] S112.根据上述获得的三色通道，结合
带通滤波，通过下面公式获得频率先验SF(x)
[0102]
[0103] 其中
[0104] g(x)＝f(G(u)) (3)
[0105]
[0106] 式中，u＝(u,v)∈R2为像素点的频域坐标，ω0为带通
滤波器的中心频率，σF为控制滤波的带宽，f()为反傅里叶变换函数。
[0107] 具体地，SC(x)可通过如下步骤获得：
[0108] S121.对a通道和b通道中各像素点的像素值分别进行归一化处理
[0109]
[0110]
[0111] 式中，fa(x)和fb(x)分别为a通道和b通道的像素值，min a和min b分别为fa(x)和fb(x)中的最小值，max a和max b分别表示fa(x)和fb(x)中的最大值。
[0112] 通过上面归一化，将所有像素点值归一化到(fan,fbn)∈[0,1]×[0,1]范围内。其中，值为(1,1)的表示色调最暖、显著性最高的像素点，同样，值为(0,0)的表示色调最冷、显著性最低的像素点。
[0113] S122.根据上述获得的fan(x)和fbn(x)，通过下面公式得出色彩先验SC(x)[0114]
[0115] 式中，σC为根据需求设置的一常数。
[0116] 具体地，SD(x)可通过下面公式获得
[0117]
[0118] 式中，σD为根据需求设置的一常数，c为视频帧的中心点。
[0119] 优选地，步骤S2中，所述获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，进一步包括如下步骤：
[0120] S21.获取该宏块中每个帧点的像素值。
[0121] S22.根据下面公式中的匹配准则遍历移动巡检视频中的各帧图像，分别找出各帧图像中MAD值最小的图像块，作为与该宏块最相似的图像块
[0122]
[0123] 式中，fk(m,n)指该宏块当前帧点(m,n)的像素值，fp(m+i,n+j)指移动巡检视频第p帧图像中距离帧点(m,n)相对位移为(i,j)的像素值，M、N分别为该宏块的长和宽。
[0124] S23.根据各帧图像中与该宏块最相似的图像块的位置变化(视频帧先后关系)，得出各帧图像中该宏块每个帧点的相对位移(Δx'(m,n),Δy'(m,n))，进而得出各宏块的运动矢量(Δx(i,j),Δy(i,j))。可选地，可采用最佳逼近直线方法，得出各宏块的运动矢量(Δx(i,j),Δy(i,j))。
[0125] 优选地，步骤S2中，所述获得每一帧图像的显著性矩阵，进一步包括如下步骤：
[0126] S24.根据各宏块的运动矢量(Δx(i,j),Δy(i,j))，通过下面公式得出每个宏块的运动活性MA(i,j)
[0127]
[0128] 其中
[0129]
[0130] 式中，k是调节系数。
[0131] S25.通过下面公式对每个宏块的运动活性MA(i,j)进行加权，获得加权后运动活性(也称显著值)Sfinal(i,j)
[0132] Sfinal(i,j)＝SSDSP(i,j)·MA(i,j)i∈[1,Q],j∈[1,T] (11)
[0133] 式中，SSDSP为该宏块的显著性因子。
[0134] S26.通过下面公式所述方式排列所有宏块的Sfinal(i,j)，得到待求每一帧图像的显著性矩阵Sfinal
[0135]
[0136] 式中，Q和T分别为对静止图像分块获得的宏块的总行数和总列数。
[0137] 优选地，步骤S3中，所述确定移动巡检视频的块效应特征值，进一步包括如下步骤：
[0138] S311.对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同。
[0139] S312.对分块处理获得的每一图像块依次进行水平边缘检测和垂直边缘检测，根据边缘像素点个数应小于阈值一，识别出检测结果中的平滑块，进一步计算每一平滑块的水平块特征值、垂直块特征值。每一平滑块的水平块特征值为
[0140]
[0141] 其中
[0142] dh(i,Kj)＝x(i,Kj)-x(i,Kj-1),j∈[1,N-1] (14)
[0143] 式中， 为小于N/K的最大整数，M为平滑块垂直方向尺寸，N表示平滑块水平方向尺寸，Kj表示压缩尺寸，x()为像素值。
[0144] 每一平滑块的垂直块特征值为
[0145]
[0146] 其中
[0147] dv(Ki,j)＝x(Ki,j)-x(Ki-1,j,),i∈[1,M-1] (16)
[0148] 式中， 为小于M/K的最大整数，Ki表示压缩尺寸。
[0149] S33.根据上述获得的每一平滑块的水平块特征值和垂直块特征值，得出该视频单帧的块效应特征值B
[0150]
[0151] 式中，Si为第i个平滑块对应的显著性矩阵中的加权后运动活性(显著值)，Ssum为所有平滑块的加权后运动活性之和。
[0152] S314.根据该视频所有单帧的块效应特征值B，计算出所述块效应特征值的标准差，作为待求整段移动巡检视频的块效应特征值Bvideo。
[0153] 优选地，步骤S3中，所述确定移动巡检视频的视频模糊效应特征值，进一步包括如下步骤：
[0154] S321.对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同。
[0155] S322.对分块处理获得的每一图像块分别进行边缘检测，根据边缘像素点个数应大于阈值二，识别出检测结果中属于边缘块的图像块，进一步计算每一边缘块的模糊度量值。第Rb个边缘块的模糊度量值 为
[0156]
[0157] 式中，k(ei)为边缘块的边缘像素ei的宽度，kJNB(ei)为边缘像素ei局部对比度系数，R为有理数，β为一常数。
[0158] S323.根据获得的每一边缘块的模糊度量值，结合显著性矩阵，获得该视频单帧的模糊效应特征值D
[0159]
[0160] 式中，L为边缘块个数，S′i为第i个边缘块的加权后运动活性，S′avg为所有边缘块加权后运动活性的均值。
[0161] S324.根据该视频所有单帧的模糊效应特征值D，计算出所述模糊效应特征值的标准差，作为待求整段移动巡检视频的模糊效应特征值Dvideo。
[0162] 优选地，步骤S3中，所述确定移动巡检视频的信息熵特征值，进一步包括如下步骤：
[0163] S331.将移动巡检视频对前后帧图像作差，将获得的视频帧差图像转化为灰度矩阵；
[0164] S332.将获得的灰度矩阵与显著性矩阵Sfinal进行点乘加权，获得具有显著性的视频帧差图像；
[0165] S333.将所述具有显著性的视频帧差图像灰度分成k个等级，根据下面公式获得该视频单帧的信息熵特征值E
[0166]
[0167] 式中，pi为第i级灰度在具有显著性的视频帧差图像中出现的概率。
[0168] S334.根据该视频所有单帧的信息熵特征值E，计算出所述信息熵特征值的标准差，作为待求整段移动巡检视频的信息熵特征值Evideo。
[0169] 优选地，步骤S4中，所述视频质量评价模型为
[0170]
[0171] 式中，α、β、γ1、γ2、γ3分别为事先训练获得的拟合参数，SS为预设阈值，S为视频质量评价指标。
[0172] 满足上述频质量评价模型中的不等式(21)，判定视频质量合格；否则，判定视频质量不合格。
[0173] 优选地，所述摄像头参数包括焦距、分辨率、光圈。
[0174] 与实施例1相比，本实施例提供的方法综合了视觉显著性、视频运动特性以及多种失真特征，能够更加准确地评价当前视频的质量，进而精准地修正摄像头参数，获得良好的视频拍摄效果。
[0175] 本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过
计算机程序来指令相关的
硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0176] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
