技术领域
[0001] 本
发明涉及
图像处理技术领域，尤其涉及一种基于迭代神经网络的视频去模糊方法。
背景技术
[0002] 随着计算机处理器的发展，简单的图像处理任务已经广泛的应用于实际场景中，而研究人员开始研究如何从视频中获取更多的信息以得到更好的效果。然而，由于拍摄过程中物体运动或相机晃动等原因，作为输入的视频往往含有一定程度的模糊影响，而这些模糊内容往往严重影响了视频的可应用价值，因此为了将获取到的视频更好的应用，视频去模糊等视频复原任务是必不可少的前提任务。
[0003] 视频去模糊是一个经典的视频复原问题。最早被提出的视频去模糊
算法是逆滤波(Inverse Filter)反卷积算法，例如Nathan采用二位逆滤波算法来进行还原处理。随着研究的不断深入，Donatelli等人将偏微分方程(Partial Differential Equation,PDE)理论应用于视频序列的恢复处理。此后，Fergus等人深入研究对比了
运动模糊退化的视频图像以及原始清晰的视频图像各自的梯度分布，提出一种基于分布统计模型的盲运动去模糊算法。还有Takeda针对视频
图像序列的特性，充分利用时域上的信息，建立三维的
时空不变的点扩散函数模型来对视频序列进行去模糊处理。
[0004] 随着
深度学习浪潮兴起，2D及3D卷积操作被广泛应用于时域信息的获取，并通过
卷积神经网络强大的学习能
力学习模糊视频到清晰视频的映射。例如，在DBN算法中，通过将相邻
帧放入卷积层来获取时域上的联系；又如，考虑到视频中帧与帧之间的关系本质上是三维数据，在DBLRGAN方法中将若干相邻数据进行对齐，并进一步使用3D卷积从中
抽取更逼真的时域信息。
[0005] 然而，上述方法在视频去模糊领域均取得了一定的成效，但它们大多依赖于庞大的卷积神经网络，导致视频去模糊模型难以应用到实际场景中。此外，上述方法往往注重于如何建模输入帧序列之间的时序联系，而忽视了生成的视频中帧与帧的连续性，导致恢复出来的视频出现一定的时域不连续性。
发明内容
[0006] 本发明
实施例所要解决的技术问题在于，提供一种基于迭代神经网络的视频去模糊方法，通过卷积神经网络和循环神经网络的耦合作用减少模型参数，并通过计算视频中全局与局部帧之间相似性用以建模时域信息，以及进一步通过时域损失函数让模型产生更连续清晰的图像序列，从而能够解决
现有技术所存在的问题。
[0007] 为了解决上述技术问题，本发明实施例提供了一种基于迭代神经网络的视频去模糊方法，包括以下步骤：
[0008] 步骤S1、构建视频去模糊模型；其中，所述视频去模糊模型包括非局部时域模
块、基于卷积神经网络和循环神经网络形成的迭代模块以及若干卷积层；
[0009] 步骤S2、获取原始视频序列，并通过所述视频去模糊模型中的若干卷积层和非局部时域模块，计算所述原始视频序列帧间的局部相似性和全局相似性，且进一步对比所计算出的局部相似性与全局相似性，建模所述原始视频序列帧间的时域信息；
[0010] 步骤S3、根据建模后的原始视频序列帧间的时域信息，利用所述视频去模糊模型中的迭代模块在特征空间中对所述原始视频序列的模糊帧进行去模糊操作，得到原始视频序列去模糊操作后的特征；
[0011] 步骤S4、将所得到的原始视频序列去模糊操作后的特征从特征空间中恢复为清晰的图像序列；
[0012] 步骤S5、根据所述清晰的图像序列及所述原始清晰视频序列，计算所述视频去模糊模型的时域损失函数，并反向传播训练模型。
[0013] 其中，所述步骤S2具体包括：
[0014] 通过所述若干卷积层从所述原始视频的局部帧和全部帧中分别抽取相对应的特征，且利用所述非局部时域模块对分别从局部帧和全部帧中抽取的相应特征进行计算，得到局部帧之间的相似性和全部帧之间的相似性，进一步通过对比局部帧之间的相似性和全部帧之间的相似性并融合，建模所述原始视频序列帧间的时域信息。
[0015] 其中，所述步骤S3具体包括：
[0016] 将建模后的原始视频序列帧间的时域信息作为所述迭代模块中卷积神经网络的输入，并通过所述卷积神经网络的卷积层获取抽象高维信息的能力来捕获输入在不同
位置的模糊程度，生成相应的处理参数，且进一步将建模后的原始视频序列帧间的时域信息和所生成的相应处理参数同时作为所述迭代模块中循环神经网络的输入，迭代N次直至为止完成去模糊操作，得到原始视频序列去模糊操作后的特征。
[0017] 其中，所述步骤S4具体包括：
[0018] 通过所述卷积神经网络及所述循环神经网络中的卷积层和上
采样层，将所得到的原始视频序列去模糊操作后的特征从特征空间中恢复为清晰的图像序列，同时使用两个全局跳跃链接
加速网络训练。
[0019] 其中，所述步骤S5具体包括：
[0020] 对所述清晰的图像序列和所述原始清晰视频序列，分别计算相应的神经网络特征，并计算所述清晰的图像序列及所述原始视频序列特征之间的均方误差后，对所述视频去模糊模型进行反向传播更新参数。
[0021] 实施本发明实施例，具有如下有益效果：
[0022] 1、与现有技术相比，本发明提出了一个基于迭代的去模糊模块，在每次迭代过程中，由卷积层对输入进行空间信息的检测，由相应的循环神经单元实现去模糊操作，这一设计大大减少了视频去模糊模型的参数规模；
[0023] 2、本发明充分考虑了输入帧序列之间的时序信息，专
门设计了一个非全局时域模块用于计算全局与局部帧之间的相似性，并将所计算出的全局相似性和局部相似性综合考虑以建模时域信息；
[0024] 3、本发明在充分考虑输入帧序列之间的时序信息的情况下，确保输出的时序信息尽可能完整，进而迫使去模糊模型产生清晰且连续的视频序列。
附图说明
[0025] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
[0026] 图1为本发明实施例提出的一种基于迭代神经网络的视频去模糊方法的
流程图；
[0027] 图2为本发明实施例提出的一种基于迭代神经网络的视频去模糊方法中视频去模糊模型的应用场景图；
[0028] 图3为图2的视频去模糊模型中非局部时域模块的应用场景图；
[0029] 图4为图2的视频去模糊模型中迭代模块的循环神经网络的应用场景图；
[0030] 图5为图2的视频去模糊模型中迭代模块的卷积神经网络的应用场景图；
[0031] 图6为图2的视频去模糊模型中对于生成的去模糊视频时域信息建模的效果图。
具体实施方式
[0032] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
[0033] 如图1所示，为本发明实施例中，提出的一种基于迭代神经网络的视频去模糊方法，包括以下步骤：
[0034] 步骤S1、构建视频去模糊模型；其中，所述视频去模糊模型包括非局部时域模块、基于卷积神经网络和循环神经网络形成的迭代模块以及若干卷积层；
[0035] 具体过程为，如图2所示，构建视频去模糊模型。视频去模糊模型包括非局部时域模块(如图3所示)、基于卷积神经网络(如图5所示)和循环神经网络(如图4所示)形成的迭代模块以及若干卷积层。
[0036] 步骤S2、获取原始视频序列，并通过所述视频去模糊模型中的若干卷积层和非局部时域模块，计算所述原始视频序列帧间的局部相似性和全局相似性，且进一步对比所计算出的局部相似性与全局相似性，建模所述原始视频序列帧间的时域信息；
[0037] 具体过程为，通过若干卷积层从原始视频的局部帧和全部帧中分别抽取相对应的特征，且利用非局部时域模块对分别从局部帧和全部帧中抽取的相应特征进行计算，得到局部帧之间的相似性和全部帧之间的相似性，进一步通过对比局部帧之间的相似性和全部帧之间的相似性并融合，建模原始视频序列帧间的时域信息。如图6所示，为生成的去模糊视频时域信息建模的效果图。
[0038] 应当说明的是，通过计算全局范围以及局部帧与帧之间的联系，使视频去模糊模型能够更好的建模帧间的时域信息。同时，时域信息的建模具有较强的鲁棒性，在视觉效果和衡量指标上均达到了一流
水平。
[0039] 步骤S3、根据建模后的原始视频序列帧间的时域信息，利用所述视频去模糊模型中的迭代模块在特征空间中对所述原始视频序列的模糊帧进行去模糊操作，得到原始视频序列去模糊操作后的特征；
[0040] 具体过程为，将建模后的原始视频序列帧间的时域信息作为迭代模块中卷积神经网络的输入，并通过卷积神经网络的卷积层获取抽象高维信息的能力来捕获输入在不同位置的模糊程度，生成相应的处理参数，且进一步将建模后的原始视频序列帧间的时域信息和所生成的相应处理参数同时作为所述迭代模块中循环神经网络的输入，迭代N次直至为止完成去模糊操作，得到原始视频序列去模糊操作后的特征。
[0041] 应当说明的是，为了视频去模糊模型中参数的利用率，专门设计了一个基于卷积神经网络和循环神经网络的迭代模块，该模块每次通过卷积神经网络来使循环神经网络自适应的进行去模糊处理。
[0042] 步骤S4、将所得到的原始视频序列去模糊操作后的特征从特征空间中恢复为清晰的图像序列；
[0043] 具体过程为，通过卷积神经网络及循环神经网络中的卷积层和上采样层，将所得到的原始视频序列去模糊操作后的特征从特征空间中恢复为清晰的图像序列，同时使用两个全局跳跃链接加速网络训练。
[0044] 步骤S5、根据所述清晰的图像序列及所述原始清晰视频序列，计算所述视频去模糊模型的时域损失函数，，并反向传播训练模型。
[0045] 具体过程为，对清晰的图像序列和原始清晰视频序列，分别计算相应的神经网络特征，并计算清晰的图像序列及所述原始清晰视频序列特征之间的均方误差后，对所述视频去模糊模型进行反向传播更新参数。
[0046] 应当说明的是，通过计算时域损失函数，确保视频去模糊模型能够恢复出清晰连续的视频。实验效果证明，上述方法能够大大减少视频去模糊模型参数而不影响模型效果。
[0047] 实施本发明实施例，具有如下有益效果：
[0048] 1、与现有技术相比，本发明提出了一个基于迭代的去模糊模块，在每次迭代过程中，由卷积层对输入进行空间信息的检测，由相应的循环神经单元实现去模糊操作，这一设计大大减少了视频去模糊模型的参数规模；
[0049] 2、本发明充分考虑了输入帧序列之间的时序信息，专门设计了一个非全局时域模块用于计算全局与局部帧之间的相似性，并将所计算出的全局相似性和局部相似性综合考虑以建模时域信息；
[0050] 3、本发明在充分考虑输入帧序列之间的时序信息的情况下，确保输出的时序信息尽可能完整，进而迫使去模糊模型产生清晰且连续的视频序列。
[0051] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的
硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
[0052] 以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明
权利要求所作的等同变化，仍属本发明所涵盖的范围。
