一种视频降噪方法和装置
阅读：576发布：2020-05-08
专利汇可以提供一种视频降噪方法和装置专利检索，专利查询，专利分析的服务。并且本 申请 公开了一种视频降噪方法和装置，该方法包括：根据预设的时间半径，从待降噪的视频中获取以含噪参考 帧 为中心的视频序列；针对含噪参考帧中预先划分的互不重叠的每个参考 块 ，执行如下降噪操作：确定参考块在所述视频序列的各 视频帧 上的搜索域；在各视频帧上的搜索域中匹配出该参考块的相似图像块；对该参考块在视频序列帧中匹配出的多个该参考块的相似图像块进行多帧平均计算，得到该参考块的降噪结果。应用本申请的方案，可降低 算法 复杂度提高降噪效率，同时可基本保证抑制噪声、保护边缘的降噪效果。，下面是一种视频降噪方法和装置专利的具体信息内容。
1.一种视频降噪方法，其特征在于，包括：
根据预设的时间半径，从待降噪的视频中获取以含噪参考帧为中心的视频序列；
针对所述含噪参考帧中预先划分的互不重叠的每个参考块，执行如下降噪操作：
确定参考块在所述视频序列的各视频帧上的搜索域；
在各视频帧上的搜索域中匹配出该参考块的相似图像块；
对该参考块在所述视频序列中匹配出的多个相似图像块进行多帧平均计算，得到该参考块的降噪结果；
其中，所述确定参考块在所述视频序列的各视频帧上的搜索域，包括：
依序遍历所述视频序列中的所有视频帧，执行如下操作：
若当前帧不是所述含噪参考帧，则判断与当前帧相邻的前N个视频帧中是否均存在参考块的相似图像块，N为大于或等于2且小于视频帧总数的自然数；其中，当前帧为当前从所述视频序列中选取的视频帧；
若均存在，则根据该N个视频帧中的相似图像块的位置，计算相似图像块运动位移；
根据所述相似图像块运动位移，确定该参考块在当前帧上的搜索域；
所述根据所述相似图像块运动位移，确定该参考块在当前帧上的搜索域，包括：
根据所述相似图像块运动位移以及预设的运动估计算法，确定该参考块在当前帧上的搜索域的中心位置；
根据所述相似图像块运动位移的幅值，确定该参考块在当前帧上的搜索域的半径。
2.根据权利要求1所述的视频降噪方法，其特征在于，所述确定参考块在所述视频序列的各当前帧上的搜索域，还包括：
若与当前帧相邻的前N个视频帧中有至少一个视频帧不存在参考块的相似图像块，则该参考块在当前帧上的搜索域为该参考块在当前帧上的默认搜索域。
3.根据权利要求1所述的视频降噪方法，其特征在于，所述确定参考块在所述视频序列的各当前帧上的搜索域，还包括：
若当前帧为所述含噪参考帧，则参考块在当前帧上的搜索域为该参考块所占区域。
4.根据权利要求1所述的视频降噪方法，其特征在于，所述在各视频帧上的搜索域中匹配出该参考块的相似图像块，包括：
依序遍历所述视频序列中的所有视频帧，执行如下操作：
从参考块在当前帧上的搜索域内，确定出待匹配图像块；其中，所述当前帧为当前从所述视频序列中选取的视频帧；
计算各待匹配图像块与该参考块的距离并排序；
选取与该参考块的距离最小、且该最小距离不大于预设的相似度阈值的待匹配图像块为该参考块在当前帧上的相似图像块。
5.一种视频降噪装置，其特征在于，包括：
视频序列选取模块，用于根据预设的时间半径，从待降噪的视频中获取以含噪参考帧为中心的视频序列；
搜索域确定模块，用于针对所述含噪参考帧中预先划分的互不重叠的每个参考块，确定参考块在所述视频序列的各视频帧上的搜索域；
帧间匹配模块，用于针对所述含噪参考帧中的每个参考块，在各视频帧上的搜索域中匹配出参考块的相似图像块；
视频降噪模块，用于针对所述含噪参考帧中的每个参考块，对该参考块在所述视频序列中匹配出的多个相似图像块进行多帧平均计算，得到该参考块的降噪结果；
其中，所述搜索域确定模块包括：
第一判断单元，用于依序遍历所述视频序列中的所有视频帧，若当前帧不是所述含噪参考帧，则判断与当前帧相邻的前N个视频帧中是否均存在参考块的相似图像块，N为大于或等于2且小于视频帧总数的自然数；
运动位移计算单元，用于依序遍历所述视频序列中的所有视频帧，若与当前帧相邻的前N个视频帧中均存在参考块的相似图像块，则根据该N个视频帧中的相似图像块的位置，计算相似图像块运动位移；
搜索域确定单元，用于依序遍历所述视频序列中的所有视频帧，根据所述运动位移计算单元计算出的相似图像块运动位移，确定参考块在当前帧上的搜索域；
所述根据所述运动位移计算单元计算出的相似图像块运动位移，确定参考块在当前帧上的搜索域，包括：
根据所述相似图像块运动位移以及预设的运动估计算法，确定该参考块在当前帧上的搜索域的中心位置；
根据所述相似图像块运动位移的幅值，确定该参考块在当前帧上的搜索域的半径；
其中，当前帧为当前从所述视频序列中选取的视频帧。
6.一种电子设备，其特征在于，包括处理器、存储器和总线，其中：
所述处理器、所述存储器通过总线完成相互间的通信；
所述处理器可以调用存储器中的计算机程序，以执行如权利要求1-4任意一项所述的方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任意一项所述方法的步骤。
一种视频降噪方法和装置
技术领域
[0001] 本公开一般涉及数字视频图像处理技术领域，具体涉及一种视频降噪方法和装置。
背景技术
[0002] 图像是一种重要的信息来源，人类获取的信息约70％来自于视觉，因此视频及图像成为人们传播信息的主要手段。但视频在生成和传输过程中常常会受到噪声的干扰，影响视觉效果并掩盖大量的有用信息，对后续的分割、检测、识别等处理产生不利的影响。由此为了突出更多的有用信息，就需要对视频做降噪预处理。
[0003] 降噪预处理长期以来一直是国内外学者研究的重点和难点，各国研究人员不断地从空间域、频率域等转换域做各种各样的降噪尝试。考虑到视频降噪对实时性的要求，而频率域算法计算量往往很大，故而视频降噪主要还是以空间域降噪为主。空间域降噪方向上，常用的算法有：均值、中值、高斯、双边等滤波算法。这些都属于根据待降噪像素点的局部区域内的一组像素值完成该点的空域滤波的常规算法。这些算法通常没有很好地利用帧间相似信息，并且在去除平坦区域的噪声的同时，也模糊了边缘、尖角等纹理丰富的区域。
[0004] 为了达到抑制噪声、保护边缘的降噪目的，有学者提出“非局部”降噪的思想，代表算法之一即为图像块三维协同滤波(BM3D，Block-Matching and 3D filtering)算法。BM3D算法在降噪方面取得了优于之前已有算法的效果，该算法不仅仅有效地滤除了噪声，而且还很好地保留了图像边缘等特征信息，并且经过学者逐渐地将该算法与视频序列的时间相关性相结合，最终实现了视频的保边降噪处理。
[0005] 然而，作为目前较优的降噪算法，BM3D存在的一个不足是，该算法往往有“过滤波”的现象，即因噪声滤除的太“干净”，而使得图像(尤其是边缘处)不自然。另外，BM3D未被广泛应用的原因在于该算法复杂度极高，所以只停留在科研阶段。因此，视频降噪处理如何平衡性能和效率则是一个亟待解决的问题。发明内容
[0008] 根据预设的时间半径，从待降噪的视频中获取以含噪参考帧为中心的视频序列；
[0009] 针对所述含噪参考帧中预先划分的互不重叠的每个参考块，执行如下降噪操作：
[0010] 确定参考块在所述视频序列的各视频帧上的搜索域；
[0011] 在各视频帧上的搜索域中匹配出该参考块的相似图像块；
[0012] 对该参考块在所述视频序列中匹配出的多个相似图像块进行多帧平均计算，得到该参考块的降噪结果。
[0013] 较佳地，所述确定参考块在所述视频序列的各视频帧上的搜索域，包括：
[0014] 依序遍历所述视频序列中的所有视频帧，执行如下操作：
[0015] 若当前帧不是所述含噪参考帧，则判断与当前帧相邻的前N个视频帧中是否均存在参考块的相似图像块，N为大于或等于2且小于视频帧总数的自然数；其中，当前帧为当前从所述视频序列中选取的视频帧；
[0016] 若均存在，则根据该N个视频帧中的相似图像块的位置，计算相似图像块运动位移；
[0017] 根据所述相似图像块运动位移，确定该参考块在当前帧上的搜索域。
[0018] 较佳地，所述根据所述相似图像块运动位移，确定该参考块在当前帧上的搜索域，包括：
[0019] 根据所述相似图像块运动位移以及预设的运动估计算法，确定该参考块在当前帧上的搜索域的中心位置；
[0020] 根据所述相似图像块运动位移的幅值，确定该参考块在当前帧上的搜索域的半径。
[0021] 较佳地，所述确定参考块在所述视频序列的各当前帧上的搜索域，还包括：
[0022] 若与当前帧相邻的前N个视频帧中有至少一个视频帧不存在参考块的相似图像块，则该参考块在当前帧上的搜索域为该参考块在当前帧上的默认搜索域。
[0023] 较佳地，所述确定参考块在所述视频序列的各当前帧上的搜索域，还包括：
[0024] 若当前帧为所述含噪参考帧，则参考块在当前帧上的搜索域为该参考块所占区域。
[0025] 较佳地，所述在各视频帧上的搜索域中匹配出该参考块的相似图像块，包括：
[0026] 依序遍历所述视频序列中的所有视频帧，执行如下操作：
[0027] 从参考块在当前帧上的搜索域内，确定出待匹配图像块；其中，所述当前帧为当前从所述视频序列中选取的视频帧；
[0028] 计算各待匹配图像块与该参考块的距离并排序；
[0029] 选取与该参考块的距离最小、且最小距离不大于预设的相似度阈值的待匹配图像块为该参考块在当前帧上的相似图像块。
[0030] 第二方面，本申请实施例还提供了一种视频降噪装置，包括：
[0031] 视频序列选取模块，用于根据预设的时间半径，从待降噪的视频中获取以含噪参考帧为中心的视频序列；
[0032] 搜索域确定模块，用于针对所述含噪参考帧中预先划分的互不重叠的每个参考块，确定参考块在所述视频序列的各视频帧上的搜索域；
[0033] 帧间匹配模块，用于针对所述含噪参考帧中的每个参考块，在各视频帧上的搜索域中匹配出参考块的相似图像块；
[0034] 视频降噪模块，用于针对所述含噪参考帧中的每个参考块，对该参考块在所述视频序列中匹配出的多个相似图像块进行多帧平均计算，得到该参考块的降噪结果。
[0035] 较佳地，所述搜索域确定模块包括：
[0036] 第一判断单元，用于依序遍历所述视频序列中的所有视频帧，若当前帧不是所述含噪参考帧，则判断与当前帧相邻的前N个视频帧中是否均存在参考块的相似图像块，N为大于或等于2且小于视频帧总数的自然数；
[0037] 运动位移计算单元，用于依序遍历所述视频序列中的所有视频帧，若与当前帧相邻的前N个视频帧中均存在参考块的相似图像块，则根据该N个视频帧中的相似图像块的位置，计算相似图像块运动位移；
[0038] 搜索域确定单元，用于依序遍历所述视频序列中的所有视频帧，根据所述运动位移计算单元计算出的相似图像块运动位移，确定参考块在当前帧上的搜索域；
[0039] 其中，当前帧为当前从所述视频序列中选取的视频帧。
[0040] 第三方面，本申请实施例还提供了一种电子设备，包括处理器、存储器和总线，其中，所述处理器、所述存储器通过总线完成相互间的通信；所述处理器可以调用存储器中的计算机程序，以执行上述视频降噪方法的各步骤。
[0041] 第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述视频降噪方法的各步骤。
[0042] 本申请实施例提供的视频降噪方案中，通过“非局部”思想将含噪参考帧预先划分为互不重叠的多个参考块，并完成块匹配，匹配出含噪参考帧的各参考块的相似图像块，然后利用多帧平均来融合一组相似图像块来降噪，这样既降低了算法复杂度，又基本保证了抑制噪声、保护边缘的降噪效果。
[0043] 进一步地，基于“非局部”滤波思想，利用视频帧间的冗余性，提出利用运动估计更准确地确定搜索域中心，并且实时地对视频帧上搜索域半径大小做出调整，使得搜索区域更精准，加快了相似图像块的匹配速度，改善了算法的效率，提高了降噪效率。附图说明
[0044] 通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0045] 图1示出了根据本申请一个实施例的视频降噪方法的示例性流程图；
[0046] 图2示出了根据本申请一个实施例的基于运动位移确定参考块在当前帧上的搜索域方法的示例性流程图；
[0047] 图3示出了根据本申请一个实施例的视频降噪装置的示例性结构框图；
[0048] 图4示出了根据本申请一个实施例的搜索域确定模块的示例性结构框图。
具体实施方式
[0049] 以下将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
[0050] 本申请使用的“模块”、“装置”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
[0051] 如背景技术中所提到的，现有的BM3D(图像块三维协同滤波)算法的主要工作为帧内、帧间相似图像块的块匹配，然后对相似块做三维频率域硬阈值、协同维纳滤波处理，最后利用加权平均完成图像块的融合，往往有“过滤波”的结果，即因噪声滤除的太“干净”，而使得图像(尤其是边缘处)不自然；而且该法复杂度极高。
[0052] 鉴于现有技术的上述缺陷，本发明的发明人发现，多帧平均降噪时，被平均的图像块数目会影响平滑的程度：图像块数目越多，平滑程度就越高，对灰度变化较小的非边缘平坦区域，匹配到的相似块较多，则平均结果越平滑，降噪效果越好；反之，被平均的图像块数目越少，则平滑力度越小。匹配到较少相似块的图像块往往是边缘等变化明显的图像块，因此较低程度的平滑也就更容易保护这些边缘等重要信息不被模糊掉。而且人眼视觉感知系统对边缘噪声的敏感度本身就低，所以看起来也更为自然。
[0053] 故而，本发明的发明人考虑，可以通过“非局部”思想将含噪参考帧预先划分为互不重叠的多个参考块并完成块匹配，匹配出含噪参考帧的各参考块的相似图像块，然后利用多帧平均算法融合一组相似图像块来降噪，区别处理纹理丰富区与平坦区，以此达到抑制噪声、保护边缘的降噪效果，且解决了现有BM3D算法对边缘的“过滤波”问题，使得处理结果更接近于实际情况。而且，相较于现有BM3D算法的滤波方法，多帧平均降低了算法复杂度，提高了算法效率。
[0054] 进一步地，本发明的发明人发现，BM3D算法中的块匹配过程是最耗时的部分，并且在较大的搜索域完成遍历时，往往存在很多无效计算，这大大影响了算法速度。故而，本发明的发明人考虑，可以结合运动估计完成对搜索域更精准的预测，以此达到缩小搜索范围，进一步提升算法效率的目的。
[0055] 本申请方案中，待降噪视频中各待降噪的视频帧称为含噪参考帧，将含噪参考帧划分为互不重叠的待降噪的图像块，这些待降噪的图像块称为参考块；而视频中当前用于与含噪参考帧进行匹配的视频帧称为当前帧，在当前帧的搜索区域内与参考块相似的图像块称为参考块的相似图像块。
[0056] 下面结合附图详细说明本申请的技术方案。
[0057] 本发明提供的视频降噪方案主要是：查找相邻帧上的相似图像块，然后以块为单位应用多帧平均降噪思想；而相邻帧上的相似图像块查找可借鉴于“非局部”降噪的帧间图像块匹配过程。
[0058] 实施例一
[0059] 参考图1，其示出了根据本申请一个实施例的视频降噪方法的示例性流程图。
[0060] 如图1所示，本申请一个实施例的视频降噪方法可以包括如下步骤：
[0061] S110：根据预设的时间半径，从待降噪的视频中获取以含噪参考帧为中心的视频序列。
[0062] 本申请方案中，待降噪的视频可表示为：
[0063] z(x,t)＝y(x,t)+n(x,t),x∈X,t∈T (公式1)
[0064] 其中，y(x,t)、n(x,t)、z(x,t)分别表示视频在t时刻的原始图像、噪声图像及含噪图像，x表示某一帧图像上的像素点位置，X表示该帧像素点位置集合，T表示该视频中所有时刻的集合。
[0065] 假定视频播放至ti时刻的某帧待降噪的图像为含噪参考帧z(X,ti)，其中X指该帧像素点位置的集合。
[0066] 根据预设的用于帧间匹配的时间半径，从待降噪的视频中获取以含噪参考帧为中心的视频序列。例如，设帧间匹配的时间半径为r，则以含噪参考帧z(X,ti)为中心、时间半径为r的视频序列可表示为{z(X,t)|t∈[ti-r,ti+r]}。
[0067] 为了使视频中各帧图像的结构信息得到最大的保护，削弱对视频有用信息的破坏，本申请方案中，基于“非局部”降噪法，将含噪参考帧划分为互不重叠的多个参考块，以参考块为降噪处理的最小单元。其中，参考块的大小可记为：NB×NB，NB为自然数，由本领域计算人员根据实际需求进行设定，例如可以设置为8、10等。
[0068] 针对含噪参考帧的降噪处理，最小处理单元为划分得到的每个参考块；这样，对每个参考块分别进行降噪处理，即可得到该含噪参考帧中各参考块的降噪结果，也就得到含噪参考帧的降噪处理结果。
[0069] 接下来的步骤S120至S140，适用于含噪参考帧中的每个参考块的降噪处理。
[0070] S120：针对含噪参考帧中预先划分的互不重叠的每个参考块，确定参考块在视频序列的各视频帧上的搜索域。
[0071] 为了完成含噪参考帧与相邻帧之间的相似块匹配，可以针对各个参考块，从各个视频帧上匹配出各参考块的相似图像块。具体地，可先确定视频帧上用于查找相似图像块的区域，即搜索域。
[0072] 本申请方案中，针对含噪参考帧中的每个参考块，可从视频序列中依序选取视频帧，并确定出该参考块在该视频帧上的搜索域。
[0073] 以含噪参考帧z(X,ti)、r为时间半径为例，从以含噪参考帧为中心、时间半径为r的视频序列中可依序选取出2r+1个视频帧。
[0074] 其中，根据算法处理流程，视频帧可以根据如下任意一种顺序进行选取：
[0075] (1)z(X,ti)-＞z(X,ti-1)-＞...-＞z(X,ti-r)-＞z(X,ti+1)-＞...-＞z(X,ti+r)；
[0076] (2)z(X,ti)-＞z(X,ti+1)-＞...-＞z(X,ti+r)-＞z(X,ti-1)-＞...-＞z(X,ti-r)；
[0077] 当然，实际应用中也可以根据本领域技术人员常用的其他算法处理流程来选取视频帧。
[0078] 实际应用中，视频帧上的搜索域的获取工作主要由两个参数确定：其一为该搜索域的中心位置；其二则为搜索域的半径。搜索域的半径可记为NSr。
[0079] 关于参考块在各视频帧上的搜索域，可以采用默认值的方式进行确定。例如，搜索域的中心位置默认为参考块 的左上角位置xi，搜索域的半径的默认值为初始化最大搜索域半径NS。
[0080] 更优地，可以采用本申请实施例二提供的基于运动位移确定搜索域的方案，完成对搜索域更精准的预测，以此达到缩小搜索范围、提升算法效率的目的。关于基于运动位移确定搜索域的方案将在后续详述，此处不再赘述。
[0081] S130：针对含噪参考帧中的每个参考块，在各视频帧上的搜索域中匹配出参考块的相似图像块。
[0082] 本申请方案中，可依序遍历视频序列中的所有视频帧，根据如下操作确定出参考块在各视频帧上的搜索域中的相似图像块：从参考块在当前帧上的搜索域内，确定出待匹配图像块；计算各待匹配图像块与该参考块的距离并排序；选取与该参考块的距离最小、且最小距离不大于预设的相似度阈值的待匹配图像块为该参考块在当前帧上的相似图像块。其中，当前帧为当前从视频序列中选取的视频帧。
[0083] 实际应用中，搜索域半径为NSr的搜索域内，共有(2NSr+1)×(2NSr+1)个像素点，每个像素点即为每个图像块的左上角，即是一个图像块的空间位置代表，因此参考块在当前帧上的搜索域内共(2NSr+1)×(2NSr+1)个待匹配图像块。其中，待匹配图像块的大小与参考块的大小一致，可具体为NB×NB。
[0084] 考虑若通过相似度量化准则来确定待匹配图像块与参考块的距离，那么距离越小，表明待匹配图像块与参考块的相似度越大。因此，本申请实施例中，可利用预设的相似度量化准则依次求待匹配图像块与参考块 的距离，并获取相似度最大的图像块，即获取与参考块距离最小的图像块。
[0085] 实际应用中，待匹配图像块与参考块之间的相似度量化准则可以选均方误差距离，即 其中，x表示视频帧上的像素点位置。该准则表明距离越小则相似度越高。其中， 为ti时刻的参考帧上以像素点xi为空间代表的参考块， 为ti-1时刻的当前帧上以像素点xi-1为空间代表的待匹配图像块。
[0086] 这样，遍历参考块在当前帧上的搜索域内所有待匹配图像块，通过上述相似度量化准则，可获取距离最小的图像块。该距离最小的图像块可能为参考块在当前帧上的相似图像块。
[0087] 进一步考虑到视频内容是动态变化的，因此实际应用中会存在含噪参考帧在相邻帧上可能并没有相似图像块的情况。若直接将最小距离的待匹配图像块认为是参考块的相似图像块，必将造成误匹配，以及误匹配带来的块效应、模糊等问题。
[0088] 为解决此问题，本申请在帧间匹配时预先设有相似度阈值，可利用相似度阈值的限制作用，排除不相似的图像块的干扰，避免对处理结果造成视频跳变或块效应等影响，使最终的降噪处理结果更接近于实际情况。实际应用中，相似度量化准则为均方误差距离时，相似度阈值τmatch可具体为均方误差阈值。
[0089] 其中，相似度阈值的限制作用具体为：若与参考块的最小距离小于或等于该相似度阈值，则该最小距离对应的待匹配图像块即为参考块在当前帧上的相似图像块，否则，表明在当前帧上并没有参考块的相似图像块，即待匹配图像块均与参考块不相似。
[0090] 这样，针对含噪参考帧中的每个参考块，通过步骤S130遍历完视频序列的2r+1个视频帧后，可匹配出参考块在各个视频帧上的相似图像块。由于相似度阈值的限制，可能存在视频帧上没有参考块的相似图像块的情况，因此，匹配出的该参考块的相似图像块个数m满足如下不等式：1≤m≤2r+1；其中，r为选取以含噪参考帧为中心的视频序列时所用的帧间匹配的时间半径。
[0091] S140：针对含噪参考帧中的每个参考块，对参考块在视频序列中匹配出的多个相似图像块进行多帧平均计算，得到该参考块的降噪结果。
[0092] 本申请实施例中，待降噪的视频可表示为：
[0093] z(x,t)＝y(x,t)+n(x,t),x∈X,t∈T (公式1)
[0094] 其中，y(x,t)、n(x,t)、z(x,t)分别表示视频在t时刻的原始图像、噪声图像及含噪图像，x表示某一帧图像上的像素点位置，X表示该帧像素点位置集合，T表示该视频中所有时刻的集合。
[0095] 假设视频采集的目标为静止的，即该序列原始图像y(x,t)一致，噪声n(x,t)随机但噪声程度一致，那么如果对该视频中m张图像做平均，则依据噪声的随机性和不规则性，该平均结果接近于原始图像，即如公式2，并且随着公式2式中m的增大，噪声的抑制效果越好，平均结果 越接近于原始无噪声图像y(x,t)。
[0096]
[0097] 其中， 是m张图像平均的结果，也是含噪图像z(x,t)的降噪结果。
[0098] 由此可以看出，相较于BM3D算法中的3D频率域滤波算法，多帧平均降噪的方法简单易实现，可大大减少运行时间。但是多帧平均并不常运用于视频降噪，原因在于当视频目标是运动的时候，该算法直接处理视频会有严重的重影、边缘模糊等问题。
[0099] 为解决这一问题，本发明的发明人发现，对于非静态视频而言，虽然视频的各帧是有差异的，但视频在短时间内运动量是很小的，前后帧图像的大部分信息是基本不变的，即时间上存在很强的相关性，这也就是视频序列的时间冗余性，并且变化的部分往往在相邻帧上也可以找到对应的相似信息。基于此，本申请方案中可将“非局部”降噪法与“多帧平均”降噪法进行结合：先借鉴于“非局部”降噪法的帧间图像块匹配过程，查找出相邻帧上的相似图像块，然后以块为单位应用多帧平均降噪思想。
[0100] 这样，通过步骤S110、S120、S130，针对含噪参考帧中的每个参考块，依序遍历视频序列的每个视频帧，匹配得到多个相似图像块后，可利用多帧平均算法得到该参考块的降噪结果。
[0101] 具体地，参考块完成帧间匹配后，可得到m个相似图像块组成的三维数组。利用公式3： 对这m个相似图像块进行多帧平均计算，即做点对点求和再平均，平均的结果即为噪声抑制的参考块。
[0102] 式中， 是参考块 的降噪结果，xi是参考块的位置代表，即图像块左上角像素点位置， 是参考块在相邻帧z(X,tj)上匹配得到的相似图像块。
[0103] 实际应用中，利用多帧平均进行降噪时，被平均的图像块数目会影响平滑的程度：相似图像块数目越多，平滑程度就越高，对灰度变化较小的非边缘平坦区域，匹配到的相似块较多，则平均结果越平滑，降噪效果越好；反之，被平均的图像块数目越少，则平滑力度越小。匹配到较少相似块的图像块往往是边缘等运动变化明显的图像块，因此较低程度的平滑也就更容易保护这些边缘等重要信息不被模糊掉。而且人眼视觉感知系统对边缘噪声的敏感度本身就低，所以看起来也更为自然。
[0104] 从上面描述可以看出，在本申请实施例一中，针对现有BM3D的过滤波问题，提出结合“非局部”降噪法与“多帧平均”降噪法的方案，将含噪参考帧划分为互不重叠的多个参考块，在视频序列的每个视频帧上确定参考块的搜索域；在该帧搜索域内查找参考块的相似图像块，并根据相似度阈值排除没有相似的图像块的情况；遍历完视频序列中的所有视频帧后，可根据匹配得到的多个相似图像块，利用多帧平均算法得到该参考块的降噪结果。
[0105] 这样，利用多帧平均算法融合一组相似图像块来降噪，区别处理纹理丰富区与平坦区，可达到抑制噪声、保护边缘的降噪效果，且解决了现有BM3D算法对边缘的“过滤波”问题，使得处理结果更接近于实际情况；而且相较于现有BM3D算法的滤波方法，多帧平均降低了算法复杂度，提高了算法效率。
[0106] 实施例二
[0107] 本发明的发明人发现，BM3D算法中块匹配过程是最耗时的部分，并且在较大的搜索域完成遍历时，往往存在很多无效计算，这大大影响了算法速度。故而，本发明结合运动估计的思想准确定位搜索域以提升帧间相似块匹配的速度。提速的核心是预测搜索域的中心位置、搜索域的半径两个参量，即减小搜索域范围，节省不必要的块对块计算，减少计算量。
[0108] 本申请实施例二中，基于实施例一提供的结合“非局部”降噪法与“多帧平均”降噪法的视频降噪方案，提出在执行步骤S120：针对含噪参考帧中预先划分的互不重叠的每个参考块，确定参考块在视频序列的各视频帧上的搜索域的过程中，可以基于运动位移来实现搜索域的确定。
[0109] 具体可通过如下方式实现：依序遍历视频序列中的所有视频帧，针对当前从视频序列中选取的视频帧即当前帧，根据如下操作确定参考块在当前帧上的搜索域：若当前帧不是含噪参考帧，则判断与当前帧相邻的前N个视频帧中是否均存在该参考块的相似图像块，N为大于或等于2、小于视频帧总数的自然数；若均存在，则根据该N个视频帧中的相似图像块的位置，计算相似图像块运动位移。继而，根据相似图像块运动位移，确定该参考块在当前帧上的搜索域。具体地，根据相似图像块运动位移以及预设的运动估计算法，确定该参考块在当前帧上的搜索域的中心位置；根据相似图像块运动位移的幅值，确定该参考块在当前帧上的搜索域的半径。
[0110] 实际应用中，若当前帧为含噪参考帧，则参考块在当前帧上的搜索域为该参考块所占区域。
[0111] 若与当前帧相邻的前N个视频帧中有至少一个视频帧不存在参考块的相似图像块，则该参考块在当前帧上的搜索域为该参考块在当前帧上的默认搜索域。通常，参考块在当前帧上的搜索域的中心位置默认为参考块的左上角位置，参考块在当前帧上的搜索域的半径默认为参考块的初始化最大搜索域半径NS。
[0112] 参考图2，其示出了根据本申请一个实施例的基于运动位移确定参考块在当前帧上的搜索域方法的示例性流程图。
[0113] 如图2所示，本申请一个实施例的基于运动位移确定参考块在当前帧上的搜索域方法可以包括如下步骤：
[0114] S210：判断当前帧是否为含噪参考帧；若是，则执行步骤S220；若否，则执行步骤S230。
[0115] S220：若当前帧为含噪参考帧，则参考块在当前帧上的搜索域为该参考块所占区域。
[0116] 实际应用中，当前帧为含噪参考帧时，含噪参考帧的每个参考块在该当前帧上的搜索域中匹配出的相似图像块为其本身。
[0117] S230：若当前帧不是含噪参考帧，则判断与当前帧相邻的前N个视频帧中是否均存在参考块的相似图像块；若是，则执行步骤S240；若否，则执行步骤S260。
[0118] 其中，N为大于或等于2、小于视频帧总数的自然数。
[0119] 本申请实施例二中，当前帧是依序从视频序列中选取出的视频帧，在确定参考块在该当前帧上的搜索域之前，当前帧之前选取的视频帧已完成与该参考块的匹配，匹配出该参考块的相似图像块或者未匹配出该参考块的相似图像块。
[0120] 因此，在确定参考块在该当前帧上的搜索域之前，可以先统计与当前帧相邻的前N个视频帧与该参考块的匹配情况，判断与当前帧相邻的前N个视频帧中是否均已完成与该参考块的匹配过程且均存在该参考块的相似图像块。
[0121] S240：根据该N个视频帧中的相似图像块的位置，计算相似图像块运动位移；并执行步骤S250。
[0122] 本申请实施例二中，若与当前帧相邻的前N个视频帧中均存在参考块的相似图像块，则可以根据该N个视频帧中的相似图像块的位置，计算相似图像块运动位移。其中，关于相似图像块运动位移的计算方法可以采用本领域技术人员已知的技术手段。
[0123] S250：根据相似图像块运动位移，确定参考块在当前帧上的搜索域。
[0124] 实际应用中，搜索域的确定取决于搜索域的中心位置和半径的确定。
[0125] 本申请实施例二中，可根据相似图像块运动位移以及预设的运动估计算法，确定该参考块在当前帧上的搜索域的中心位置；根据相似图像块运动位移的幅值，确定该参考块在当前帧上的搜索域的半径。
[0126] 以当前帧为z(X,ti-2)为例，已知相邻两帧z(X,ti)与z(X,ti-1)上的相似图像块分别为 则计算与当前帧最近邻的两帧上的相似图像块运动位移为ν(xi,ti)＝xi-1-xi。
[0127] xi为参考块在参考帧上的相似图像块的位置代表，xi-1是该参考块在视频帧z(X,ti-1)上的相似图像块的位置代表。
[0128] 那么根据运动估计算法，可以推测参考块在当前帧上的搜索域的空间位置为[0129] 其中，γp∈[0,1]，γp为运动估计控制参数； 为ti-1时刻的视频帧上匹配得到的相似图像块的空间位置； 为ti-2时刻的视频帧上预测的相似图像块的空间位置，即搜索域的中心位置。
[0130] 根据运动位移的幅值，可以得到参考块在当前帧上自适应的搜索域的半径NSr，数学表达式为
[0131] 其中，γω∈[0,1]是搜索域半径线性缩放因子；σω＞0是搜索域半径指数调节因子；NS为初始化最大搜索域半径；ν为两个相邻相似图像块的运动位移。
[0132] 当ν＝0时，NSr＝NS·(1-γω)；当ν增大时，NSr根据σω值的大小接近于NS。通过设置σω，我们可以控制ν对NSr的指数衰减速度。并且NSr≤NS，所以可以达到缩小搜索范围、减少不必要运算、改善算法效率的目的。
[0133] S260：若与当前帧相邻的前N个视频帧中有至少一个视频帧不存在参考块的相似图像块，则参考块在当前帧上的搜索域为该参考块在当前帧上的默认搜索域。
[0134] 本申请实施例二中，针对含噪参考帧中的每个参考块，若与当前帧相邻的前N个视频帧中只有M个视频帧完成与该参考块的匹配，M小于N，或者与当前帧相邻的前N个视频帧均已完成与该参考块的匹配但有至少一个视频帧不存在该参考块的相似图像块，则将不做运动位移计算，而采用参考块在当前帧上的默认搜索域作为该参考块在当前帧上的搜索域。
[0135] 从上面描述可以看出，本申请实施例二中，考虑到帧间图像块查找存在大量的冗余计算，所以基于“非局部”滤波思想，将含噪参考帧预先划分为互不重叠的多个参考块，并利用视频帧间的冗余性，提出利用运动估计更准确地确定参考块在各视频帧上的搜索域中心，并且实时地对当前帧上搜索域半径大小做出调整，使得搜索区域更精准，加快了参考块的相似图像块的匹配速度，改善了算法的效率，提高了降噪效率。最后依据噪声的自身特性，以相似图像块为单位做多帧平均，融合一组相似图像块来降噪，这样，既降低了算法复杂度，又基本保证了抑制噪声、保护边缘的降噪效果。
[0136] 进一步参考图3，其示出了根据本申请一个实施例的视频降噪装置的示例性结构框图。
[0137] 如图3所示，视频降噪装置300可以包括：视频序列选取模块301、搜索域确定模块302、帧间匹配模块303和视频降噪模块304。
[0138] 其中，视频序列选取模块301用于根据预设的时间半径，从待降噪的视频中获取以含噪参考帧为中心的视频序列。
[0139] 搜索域确定模块302用于针对含噪参考帧中预先划分的互不重叠的每个参考块，确定参考块在视频序列的各视频帧上的搜索域。
[0140] 帧间匹配模块303用于针对含噪参考帧中预先划分的互不重叠的每个参考块，在各视频帧上的搜索域中匹配出参考块的相似图像块。具体地，帧间匹配模块303用于依序遍历视频序列中的所有视频帧，执行如下操作：从参考块在当前帧上的搜索域内，确定出待匹配图像块；计算各待匹配图像块与该参考块的距离并排序；选取与该参考块的距离最小、且最小距离不大于预设的相似度阈值的待匹配图像块为该参考块在当前帧上的相似图像块。
[0141] 如果最小距离大于相似度阈值，则该参考块在当前帧上没有相似图像块。其中，当前帧为当前从视频序列中选取的视频帧。
[0142] 视频降噪模块304用于针对含噪参考帧中预先划分的互不重叠的每个参考块，对参考块在视频序列中匹配出的多个相似图像块进行多帧平均计算，得到该参考块的降噪结果。
[0143] 应当理解，视频降噪装置300中记载的诸模块与图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于视频降噪装置300、及其中包含的模块，在此不再赘述。
[0144] 更优地，参考图4，其示出了根据本申请一个实施例的搜索域确定模块的示例性结构框图。
[0145] 如图4所示，搜索域确定模块302可以包括：第一判断单元401、运动位移计算单元402、搜索域确定单元403。
[0146] 其中，第一判断单元401用于依序遍历视频序列中的所有视频帧，若当前帧不是含噪参考帧，则判断与当前帧相邻的前N个视频帧中是否均存在参考块的相似图像块，N为大于或等于2且小于视频帧总数的自然数。
[0147] 运动位移计算单元402用于依序遍历视频序列中的所有视频帧，若与当前帧相邻的前N个视频帧中均存在参考块的相似图像块，则根据该N个视频帧中的相似图像块的位置，计算相似图像块运动位移。
[0148] 搜索域确定单元403用于依序遍历视频序列中的所有视频帧，根据运动位移计算单元计算出的相似图像块运动位移，确定参考块在当前帧上的搜索域。其中，当前帧为当前从视频序列中选取的视频帧。
[0149] 搜索域确定单元403具体用于根据运动位移计算单元计算出的相似图像块运动位移以及预设的运动估计算法，确定该参考块在当前帧上的搜索域的中心位置；根据相似图像块运动位移的幅值，确定该参考块在当前帧上的搜索域的半径。
[0150] 搜索域确定单元403还用于若与当前帧相邻的前N个视频帧中有至少一个视频帧不存在该参考块的相似图像块，则确定该参考块在当前帧上的搜索域为该参考块在当前帧上的默认搜索域。
[0151] 搜索域确定单元403还用于若当前帧为含噪参考帧，则确定该参考块在当前帧上的搜索域为该参考块所占区域。
[0152] 应当理解，图4所示的搜索域确定模块中记载的诸单元与图2描述的方法中的步骤相对应。由此，上文针对方法描述的操作和特征同样适用于搜索域确定模块、及其中包含的单元，在此不再赘述。
[0153] 基于图1、图2所示的实施例提供的视频降噪方法，本申请实施例还提供了一种电子设备，该电子设备可以包括处理器、存储器和总线，其中，处理器、存储器可通过总线完成相互间的通信；处理器可以调用存储器中的计算机程序，以执行上述视频降噪方法中的各步骤。
[0154] 基于图1、图2所示的视频降噪方法，实施例提供的视频降噪方法，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述视频降噪方法中的各步骤。
[0155] 经过实践，本发明能明显提高含噪视频的画面质量，改善视觉效果，对视频的后续分析非常有益。处理结果所用参数如下：
[0156]
[0157] 运用以上默认参数，对比测试两方案的耗时，即结合运动估计进行帧间匹配加速与现有非局部算法的固定搜索域的方案：
[0158]
[0159] 可见，本申请方案通过实时调整搜索域大小减少了遍历匹配的用时，效率的改善，将大大提升非局部降噪算法的实用性。
[0160] 本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
[0161] 本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
[0162] 本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
[0163] 以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种仿信鸽地貌感知归巢机制的无人机自主导航方法 | 2020-05-12 | 527 |
| 一种AVS2视频编解码标准优化方案 | 2020-05-14 | 664 |
| 一种语义驱动的相机定位与地图重建方法和系统 | 2020-05-15 | 328 |
| 用于视频编码的运动估计的系统和方法 | 2020-05-15 | 844 |
| 一种计算机视频数据处理方法 | 2020-05-14 | 140 |
| 视频图像处理方法、装置、设备及存储介质 | 2020-05-15 | 360 |
| 一种基于FPGA的机载吊舱实时图像场景锁定装置及方法 | 2020-05-08 | 462 |
| 一种视频图像超分辨率重建方法及装置 | 2020-05-11 | 422 |
| 一种遥测数据和视频图像数据的离线同步方法及装置 | 2020-05-11 | 483 |
| 运动估计的方法、装置、电子设备及计算机可读存储介质 | 2020-05-08 | 133 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈