视频修复方法
阅读：402发布：2020-05-08
专利汇可以提供视频修复方法专利检索，专利查询，专利分析的服务。并且本 发明 提出一种视频修复方法，属于通信与信息系统领域，主要通过提取含有缺失区域的原始视频对应的掩膜，基于掩膜提取图像 帧 序列中的运动信息；设置一立方体滑 块 ，沿着原始视频的帧宽、帧高和帧数这三个维度方向遍历滑动，当滑动到有掩膜区域时，随机初始化一个更大的立方体滑动空间，比对掩膜区域边缘的光流特征信息，在该滑动空间范围内找到最匹配的样本块，填充并重建掩膜区域的 像素 特征，继续遍历，直到原始视频中所有的掩膜区域得到修复，再输入到前向-后置神经网络进行优化，输出修复好的完整视频。本方法以最小的计算代价，实现较高 质量 的视频修复效果。，下面是视频修复方法专利的具体信息内容。
1.一种视频修复方法，其特征在于，包括以下步骤：
1)对含有缺失区域的原始视频进行预处理；
2)对原始视频进行图像帧的区域识别分割，得到对应的掩膜，基于掩膜到原始视频的映射，从第一帧至最后一帧依次计算各图像帧顶层至底层的像素特征，并提取图像帧序列中的运动信息；
3)将原始视频视为关于帧数、帧宽和帧高三维的长方体，在该长方体中设置一个立方体滑块，让滑块从长方体的初始点沿着原始视频的帧宽、帧高和帧数这三个维度方向遍历滑动，当滑动到有掩膜区域时，更新当前滑块位置为起始点，以该点为中心随机初始化一个比该滑块更大的立方体滑动空间，比对掩膜区域边缘的光流特征信息，在该滑动空间范围内找到最匹配的样本块，依次填充并重建当前滑块位置中掩膜区域的像素特征，以进行修复；
4)每次更新滑块的位置为起始点时，重复步骤3)，直到原始视频中所有的掩膜区域得到修复，然后输出初步修复的视频；
5)将初步修复的视频输入到前向-后置神经网络进行优化，把优化后对应的掩膜区域的内容填充入原始视频对应的位置，完成修复并输出修复好的完整视频。
2.如权利要求1所述的方法，其特征在于，原始视频的预处理包括锐化和增加去噪滤镜。
3.如权利要求1所述的方法，其特征在于，基于原始视频的预处理，检测视频中每个像素点是运动的还是静止的，判断该视频是否属于背景运动或摄像机运动的情况，如是，则通过仿射运动模型重新调整视频后再提取运动信息，如不是，则判定该视频属于静态背景，直接提取运动信息。
4.如权利要求1所述的方法，其特征在于，运动信息提取方法为：根据像素特征将原始视频的每一对相邻帧做匹配计算，求出运动矢量估计值，剔除估计值中的坏值，得到全局运动矢量观测值；用光流法基于全局运动区域的光流场求取前景目标的稠密运动矢量，结合全局运动矢量观测值的预估，提取运动目标的全局运动模型参数特征。
5.如权利要求1所述的方法，其特征在于，像素特征包括图像帧的纹理、边缘、尺度空间、梯度以及角点、局部极值点。
6.如权利要求1所述的方法，其特征在于，立方体滑块在原始视频中的遍历方法为：滑块以原始视频的长方体的一个角的顶点为起始点，沿着滑块所涵盖的当前若干帧的帧宽或帧高的方向滑动，滑到长方体边界时再向帧高或帧宽方向滑动一个步长，再同样沿着帧宽或帧高的方向滑动，当遍历完当前若干帧后再向前滑动一个步长，对下一步长的若干帧进行遍历。
7.如权利要求1所述的方法，其特征在于，每当滑块滑动到包含掩膜区域的位置时，初始化一个边长大于2倍滑块边长的立方体滑动空间，在该滑动空间范围内通过ANNsearch方法，找到最匹配的样本块。
8.如权利要求1所述的方法，其特征在于，在滑动空间内完成掩膜区域的修复方法为：
由运动目标的全局运动模型估测滑动空间内局部运动矢量值，采用Horn-Schunck光流分析法计算滑动空间中掩膜块边缘稠密光流场，由滑动空间中心点的局部运动矢量值和掩膜边缘光流矢量估测沿边缘穿入掩膜块的运动矢量，并以该矢量值向帧数方向扩张进行PQ乘积量化计算，找到最匹配的填充块并依次填入掩膜区域完成修复。
9.如权利要求1所述的方法，其特征在于，前向-后置神经网络的优化策略为：通过输入的若干个连续图像帧，预测出下一时刻的视频图像帧，然后通过内插计算，在输入的若干个连续帧的末帧和预测出的图像帧中间生成一个内插帧，该帧即为优化后的帧，并替代视频中的对应帧。
10.如权利要求9所述的方法，其特征在于，前向-后置神经网络的优化方法为：对于初步修复的视频，从第一帧开始查找，依次把每一个被块填充修复的帧作为末帧，该末帧连同其前面若干个连续帧输入到前向-后置神经网络中，输出优化后的帧替代初步修复的视频中对应的末帧，完成所有修复帧的优化。
视频修复方法
技术领域
背景技术
[0002] 视频是多媒体信息传播的重要载体，是人类获取外部信息的重要来源。随着互联网和数字技术的快速发展，数字视频以其存储容易、传输方便等优点，得到了广泛的应用。但是数字视频序列在低信噪比信道传输过程中由于信道噪声等原因，容易导致视频中的某些图像帧丢失部分信息，使视频序列帧出现划痕、斑点、闪烁等问题，从而破坏视频的完整性和可读性，影响信息的准确度。因此，针对缺失的视频数据进行修复，还原视频序列在传输过程中丢失的运动矢量和图像块具有重要的现实意义。视频修复技术主要利用待修复区域的边缘、邻域或受损图像的连续前后帧信息，通过扩散或复制等方式，对视觉输入的缺失区域或指定的待修补区进行填充，使填充后的效果在视觉上真实可信，在语义上正确、合理，并与已知的视频内容在空间和时间维度上保持高度一致，以达到恢复视频完整性的目的。
[0003] 现有的视频修复方法主要包括三大类型，基于样本块(patch)的修复方法、基于运动目标的修复方法以及基于深度学习的视频帧修复方法。其中，基于样本块的修复方法主要是以块为单位，根据算法设定的优先级，搜索最佳匹配块的方式顺序对缺失区域进行填补。该方法对优先级的设计可以充分利用视频图像的信息，有效保留待修补区域的线性结构，减少与扩散相关的模糊现象，主要适用于缺损区域较大的修复情况。然而该类方法通常不能较好地完成非重复性结构的修复，需要依赖于视频帧的纹理信息，且查找、匹配、填充整个过程耗时较长。其次，基于运动目标的修复方法主要将视频帧分割为两部分，即前景运动目标部分和背景纹理部分。前景运动目标主要利用基于偏微分模型进行修复，背景纹理主要利用类似图像纹理合成的方法来完成填充修复，这两部分内容分别同时进行修复，最后将它们的修复结果合并起来得到修复好的完整视频。这类视频修复方法主要把图像分割、图像修复、纹理合成这三种技术充分结合起来，与单纯使用图像填充或纹理合成的方法相比，可以获得更好的修复效果，但这种方法适合于结构比较清晰且易于提取的情况，因此具有很大的局限性。此外，基于深度学习的视频帧修复方法主要依赖于预训练神经网络模型的“知识”来推测填补视频图像中缺失区域的内容，其对于高维复杂映射具有强大的逼近能力，可以有效地提取一序列图像的语义来指导图像帧的纹理重建。但是如何设计结合语义网络和纹理网络的深度神经网络结构，建立更为普遍的视频图像先验模型的学习网络仍然需要进一步的研究。
[0004] 视频修复不仅要求恢复各图像帧间缺失区域的信息，同时还要求保持各个连续帧间内容信息的一致性。目前，视频修复技术在数字效果的视频复原，虚拟现实及视频编码和传输等等方面的应用优势日益突出，所以探索并研究高效的视频修复方法，自动化地实现视频中缺失部分的重建，使修复后的视频在空间和时间维度上保持和谐、自然已经成为了现阶段视频研究应用领域亟需解决的重大问题。
发明内容
[0005] 针对上述问题，本发明提出了一种联合三维块(3D patch)填充及深度神经网络优化的新型视频修复方法，其是目前视频修复研究领域提出的首个结合传统的样本块填充和深度学习神经网络优化的视频修复方法，目标是以最小的计算代价，实现较高质量的视频修复效果。
[0006] 为实现上述发明目的，本发明采用如下的技术方案：
[0007] 一种视频修复方法，包括以下步骤：
[0008] 1)对含有缺失区域的原始视频进行基本的预处理；
[0010] 3)将原始视频视为关于帧数、帧宽和帧高三维的长方体，在该长方体中设置一个立方体滑块，让滑块从长方体的初始点沿着原始视频的帧宽、帧高和帧数这三个维度方向遍历滑动，当滑动到有掩膜区域时，更新当前滑块位置为起始点，以该点为中心随机初始化一个比该滑块更大的立方体滑动空间，比对掩膜区域边缘的光流特征信息，在该滑动空间范围内找到最匹配的样本块，依次填充并重建当前滑块位置中掩膜区域的像素特征，以进行修复；
[0011] 4)每次更新滑块的位置为起始点时，重复步骤3)，直到原始视频中所有的掩膜区域得到修复，然后输出初步修复的视频；
[0012] 5)将初步修复的视频输入到前向-后置神经网络(Forward-Backward Network，FBN)进行优化，把优化后对应的掩膜区域的内容填充入原始视频对应的位置，完成修复并输出修复好的完整视频。把所有优化帧中对应掩膜区域的像素内容，填充入原始视频的掩膜区域，即完成本方法的视频修复工作。
[0013] 优选地，原始视频的预处理包括基本的锐化和增加去噪滤镜。
[0014] 优选地，基于原始视频的预处理，检测视频中每个像素点是运动的还是静止的，从而判断该视频是否属于背景运动或摄像机运动的情况，如是，则通过仿射运动模型重新调整视频后再提取运动信息，如不是，即该视频属于静态背景，则直接提取运动信息。
[0015] 优选地，运动信息提取方法为：根据像素特征将原始视频的每一对相邻帧做匹配计算，求出运动矢量估计值，剔除估计值中的坏值，得到全局运动矢量观测值；用光流法基于全局运动区域的光流场求取前景目标的稠密运动矢量，结合全局运动矢量观测值的预估，提取运动目标的全局运动模型参数特征。
[0016] 优选地，像素特征包括图像帧的纹理、边缘、尺度空间、梯度以及角点、局部极值点。
[0017] 优选地，立方体滑块在原始视频中的遍历方法为：滑块以原始视频的长方体的一个角(如左下角)顶点为起始点(滑块左下角顶点和原始视频长方体左下角顶点重合，滑块的边长即为滑块每次滑动的步长，滑块包含了一个边长长度的帧数)，先沿着帧宽(或帧高)的方向依次向长方体内侧滑动，滑到边界便向帧高(或帧宽)方向滑动一个步长，随后又朝着帧宽(或帧高)方向向长方体外侧滑动。即滑块在几帧图像上从左下角开始逐行滑动，每次滑动一个步长，直至滑动至对角上便完成一个步长单位帧的遍历，随后继续沿着原始视频帧数的方向按照相同方式滑动，直到滑动到长方体的右对上角，即完成整个长方体由左边外侧顶点到右边内侧对角顶点的完整遍历。
[0018] 优选地，每当滑块滑动到包含掩膜区域的位置时，初始化一个边长大于2倍滑块边长的立方体滑动空间，在该立体滑动空间范围内通过ANNsearch方法，找到最匹配的样本块。
[0019] 优选地，在滑动空间内完成掩膜区域的修复方法为：由运动目标的全局运动模型估测滑动空间内局部运动矢量值，采用Horn-Schunck光流分析法计算滑动空间中掩膜块边缘稠密光流场，由滑动空间中心点的局部运动矢量值和掩膜边缘光流矢量估测沿边缘穿入掩膜块的运动矢量，并以该矢量值向帧数方向扩张进行PQ乘积量化计算，找到最匹配的填充块并依次填入掩膜区域完成修复。
[0020] 优选地，前向-后置神经网络的优化策略为：通过输入的若干个(如5个)连续图像帧，预测出下一时刻的视频图像帧，然后通过内插计算，在输入的5个连续帧的末帧和预测出的图像帧中间生成一个内插帧，该帧即为优化后的帧，并替代视频中的对应帧。
[0021] 优选地，前向-后置神经网络的优化方法为：对于初步修复的视频，从第一帧开始查找，依次把每一个被块填充修复的帧作为末帧，该末帧连同其前面(如4个)连续帧输入到前向-后置神经网络中，输出优化后的帧替代初步修复的视频中对应的末帧，完成所有修复帧的优化。
[0022] 本发明方法主要包括两个部分：1)提出了基于3D块填充的视频修复算法，主要改进了样本块的搜索机制，将光流法引进块搜索和块重建步骤，在输入的不完整视频中迭代地查找和比对最匹配的三维块，并把找到的三维块信息顺序地对缺失区域进行填充，快速实现视频的初步修复，该算法能在保证修复质量的前提下节省整体的修复耗时。2)提出基于光流法的前向-后置神经网络Forward-Backward Network，对1)中缺失区域的修复/填充内容进行进一步优化，使修复好的视频在视觉上保持自然，在语义上正确、合理。
[0023] 与现有技术相比，本发明具有的优点和积极效果如下：
[0024] 1、本发明针对现有视频数据在存储、传输过程中容易发生损坏的问题，提出一种高效的视频修复方法，该方法是目前视频修复领域中首次提出的结合传统样本块(patch)填充修复方式和基于学习的神经网络模型的优化来完成视频的修复任务。
[0025] 2、本发明提出的基于3D样本块的视频填充修复算法，与传统的基于块的视频修复方式相比，能在保障视频修复效果基础上大大减少计算时间。
[0026] 3、本发明提出的基于ConvLSTM改进的Forward-Backward Network网络，能高效的实现视频序列图像帧的预测和修复优化，输出高质量的修复效果。
[0028] 图1是本发明的视频修复方法结构图。
[0029] 图2是基于前向-后置神经网络的视频优化结构图。
具体实施方式
[0030] 为了使本发明的目的、技术方案及优点更加清晰，下面通过具体的实施例和附图对本发明进行进一步详细阐述。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
[0031] 本发明主要考虑到传统基于块匹配的视频修复主要关注空间像素块的搜索和匹配，适合大面积缺失区域的内容块快速填充，但其缺乏时间维度信息的考虑，尤其在复杂场景的情况下，不考虑前后帧的上下文信息会导致修复效果不尽如人意。而基于学习的深度神经网络修复方法可以处理在时间维度上一序列高质量像素的逼近、预测和生成，但是遇到大面积缺失或是持续性缺失的不完整视频，其通过预测生成的修复方式计算成本比较高，且修复效果不稳定。所以本发明考虑两者的优缺点，提出联合3D块填充和深度神经网络优化的新型视频修复方法。该方法主要通过提出基于3D样本块的视频填充修复和基于ConvLSTM的深度神经网络的图像帧预测优化。
[0032] 本视频修复方法的处理流程见图1，步骤包括：
[0033] 1)初始化定义：定义含有缺失区域的原始视频帧序列Vin(f1,f2,…fn)为一个F*W*H的三维空间长方体，F，W，H分别为Vin的帧数，帧宽和帧高。对Vin进行图像帧的区域识别分割(参考文献：B. J.Quintanilla-Domínguez,Ruelas R,et al.Improvement of the Image Sub-Segmentation for Identification and Differentiation of Atypical Regions[J].International Journal of Pattern Recognition and Artificial Intelligence,2017.)，得到对应的掩膜M(O1,O2,…On)。在Vin中定义一个边长为L(L远小于F，W，H)的三维正立方体滑块P，P每次滑动的步长单位为一个边长长度L，其在Vin的位置点为O(F,W,H)，以F＝0，W＝0，H＝0设定滑块在Vin的初始位置起始点为O(0,0,0)。
[0034] 2)输入不完整的视频Vin及其对应的掩膜M，并对Vin进行f1至fn的预处理，如果Vin属于背景运动或摄像机运动的情况，通过仿射运动模型重新调整视频Vin。如果其属于静态背景的情况，则直接进入下一步骤。
[0035] 3)基于步骤2)的预处理，在M到Vin的映射过程中从f1至fn计算视频图像帧L至1各层的特征并提取一序列运动信息。
[0036] 4)让滑块P从起始点依次沿着W，H，F方向遍历滑动，当P滑动到有掩膜区域的时候，更新当前滑块位置为起始点，以该点为中心点，随机初始化边长为R的正立方体滑动空间(R>2L，即滑块P包含于该边长为R的立方体中)，比对掩膜区域边缘的光流特征信息，在R空间范围内执行ANNsearch(参考文献Alasdair Newson,Andr′es Almansa,Matthieu Fradet,Yann Gousseau,and Patrick P′erez,“Video inpainting of complex scenes,”SIAM Journal on Imaging Sciences,vol.7,no.4,pp.1993–2019,2014.)，找到最匹配的样本块，依次填充并重建当前滑块位置中掩膜区域的像素特征。
[0037] 5)在Vin中，每次更新滑块的位置为起始点时，重复步骤4)直到Vin中所有的掩膜区域得到修复，然后输出初步完成修复的视频Vout1(f1,f2,…fn)。
[0038] 6)将Vout1(f1,f2,…fn)输入到前向-后置神经网络进行优化，把优化后对应的掩膜区域的内容填充入Vin(f1,f2,…fn)对应的位置，完成修复并输出Vcomplete(f1,f2,…fn)。
[0039] 其中，在输入视频Vin和掩膜M时，首先读取两者数据并对Vin进行预处理，包括基本的锐化、增加去噪滤镜。判断Vin和M对应的格式、尺寸、模式、映射匹配参数。其次使用基于光流的掩膜检测该视频中的每个像素点是运动的还是静止的。如果是运动的，即属于背景运动或摄像机运动的情况。此时为了解决运动背景中视频对象的准确提取，通过仿射运动模型剔除目标点和噪声点对全局运动参数估计的影响。
[0040] 其中，基于M的掩膜区域计算，提取视频Vin中f1至fn图像帧由顶层L至底层1层的金字塔纹理、边缘、尺度空间、梯度以及角点、局部极值点等关键点特征，并根据这些特征将f1至fn帧的每一对相邻帧做匹配计算，求出运动矢量估计值，遍历估计值剔除其中的坏值，得到全局运动矢量观测值。然后用光流法基于全局运动区域的光流场求取前景目标的稠密运动矢量，结合全局运动矢量观测值的预估提取运动目标的全局运动模型参数特征。
[0041] 其中，让边长和步长均为L的滑块在Vin中遍历，由初始位置O(0,0,0)，先沿着长方体块Vin的W-H-W-H方向由外到内滑动，每次滑动一个L的步长，把点(0,W,0)，(0,W,H)及(0,0,H)遍历一遍，然后朝F方向继续按相同的方式遍历，直到遍历整个Vin。每滑动一次，判断滑块内是否有缺失区域(任意掩膜块)，如果没有，继续滑动。如果滑块中有掩膜块，则以该点为中心点，在随机设定边长为R(R>2L)的立方体滑动空间内执行以下步骤：
[0042] a)由运动目标的全局运动模型估测R空间内局部运动矢量值。
[0043] b)采用Horn-Schunck光流分析法计算滑块空间中掩膜块边缘稠密光流场。
[0044] c)由R空间中心点的局部运动矢量值和掩膜边缘光流矢量估测沿边缘穿入掩膜块的运动矢量，并以该矢量值向F方向扩张进行PQ乘积量化计算，匹配出最佳填充块像素并依次填入掩膜区域的位置。
[0045] 其中，通过一个深度神经网络—前向-后置神经网络，把完成了块填充的视频Vout1(f1,f2,…fn)进行优化。该优化策略为：输入5个连续的图像帧{fα,fβ,fγ,fδ,fμ}，经过神经网络预测出下一时刻的帧fgeneration，然后通过内插计算，在fμ帧和fgeneration帧中间插入一帧fr，该帧即为优化后的帧，并代替视频中对应帧，即在Vout1中，从f1开始，依次把每一个被块填充修复的帧作为fμ帧，加上fμ前面的4个相邻连续帧作为输入，输出的fr帧替代对应的fμ更新入Vout1，当Vout1中所有修复帧都完成优化，即更新为Vout，并把Vout对应掩膜区域M的内容填充入Vin(f1,f2,…fn)对应的位置，并输出Vcomplete(f1,f2,…fn)，完成本方法的视频修复工作。
[0046] 对于上述的视频修复方法，进一步说明如下：
[0047] 1)基于3D样本块填充的视频填充修复。传统块匹配方法的思路是将某帧图像分割成N×N像素大小的矩阵块，在搜索窗口将当前块与参考帧对应的块进行比较。设计匹配算法查找最佳匹配，得到当前块的替代块。Le等人在2017年提出了将光流法应用到视频的快速修复，以保持连续帧中运动的一致性(参考文献Le T T,Almansa A,Gousseau Y,et al.Motion-consistent video inpainting.In:Proceedings of the IEEE International Conference on Image Processing,Beijing,China,2017.2094-2098)，本方法将传统图像帧上像素块的搜索修复扩展到连续图像帧的三维样本块的搜索填充，将视频数据定义成连续帧的三维立体长方体块，其对应的x轴即为视频的帧数，y轴为视频图像的宽，z轴是视频图像的高，即为F*W*H的长方体。本方法由一个完整的视频根据输入的掩膜M随机在任意帧上生成对应尺寸的掩膜得到一个有缺失区域的视频Vin(f1,f2,…fn)，由于掩膜位置是不确定的，所以需要定义一个滑块P来遍历整个视频长方体块，以定位待修复的区域。当滑块移动到有掩膜区域的时候，需要在一定的空间位置内找到匹配的样本像素进行填充，该方法基于Le等人的基础，提出修改光流法的应用策略，将提取的光流特征矢量应用到三维立体的搜索空间中，即利用局部运动矢量约束滑块P中掩膜区域边缘像素的扩散特征和扩散方向，从而约束R中查找匹配块的有效空间，进而减少搜索成本，提高搜索填充的效率。在R空间内执行搜索匹配块时，联合SSD模型和SSIM模型从图像帧的L层到1层的颜色特征和结构特征两方面对P中包含的掩膜块p2和目标匹配块p1的相似度进行度量，在ANNsearch的m1和m2相似度计算中，由于加入了光流矢量特征，所以对ssd(the Sum of Squared Differences误差平方和)的计算为：
[0048] ssd＝ssd+(t*m1+(1-t)*m2)/sumOcc (1)
[0049] 其中，t为F方向上的位置，sumOcc为p2在y轴和z轴上的面积，m1和m2分别为光流矢量在x轴和y轴方向上的参数，如果掩膜区域包含前景目标特征，其运动矢量可以约束随机搜索区域范围。当在R中搜索匹配到最佳匹配块，并依次将对应的各层像素填充入掩膜区域。
[0050] 2)基于ConvLSTM改进的前向-后置神经网络。长短期记忆网络(LSTM，Long Short-Term Memory)是一种时间循环神经网络RNN模型，具有较强的时序数据处理能力。ConvLSTM(参考文献Shi X,Chen Z,Wang H,et al.Convolutional LSTM Network:A Machine Learning Approach for Precipitation Nowcasting[J].2015)除了具有LSTM的时序建模能力，而且还能像CNN一样刻画局部特征，具备时空特性。本方法主要基于ConvLSTM实现连续帧序列图像的时空预测，其思想是通过网络结构多种功能的结合，在时空序列预测和生成问题中，既要考虑空间特性spatial character，又要考虑时间序列特性temporal character。所以提出了基于光流运动特征flow-based的ConvLSTM神经网络，名为Forward-Backward Network，即在ConvLSTM网络结构中，使用Ilg E等人提出的方法(参考文献E.Ilg,N.Mayer,T.Saikia,M.Keuper,A.Dosovitskiy,and T.Brox.Flownet 2.0:Evolution of optical flow estimation with deep networks.In IEEE Conference on Computer Vision and Pattern Recognition,volume 2,page 6,2017)把提取到的各帧运动矢量特征编入一个LSTM序列进行模型的训练和预测。在训练本方法的神经网络时，总的损失函数为：
[0051] Ltotal＝αLr+βLp+γLf (2)[0052] 其中Lr为重建损失，即通过计算L1损失函数来指导模型对图像帧像素的预测和重建。Lp损失函数为基于图像结构像素特征的学习，其来源于Granados等人(参考文献M.Granados,J.Tompkin,K.Kim,O.Grau,J.Kautz,and C.Theobalt.How not to be seen object removal from videos of crowded scenes.In Computer Graphics Forum,volume 31,219–228.2012)，Lf为运动矢量评估的损失函数。α,β,γ分别为Lr,，Lp,和Lf的平衡权重。Lr,，Lp和Lf分别为：
[0053]
[0054]
[0055]
[0056] 其中t,x,y为视频的三维空间F*W*H方向上的坐标，Vt(L→1)为图像帧的运动矢量，Ft和Ft-1为相邻时刻的运动特征参数。
[0057] 在视频图像预测和优化机制中，由于设定基于块填充好的帧fμ(待优化帧)作为输入的5帧中的末帧进行下一时刻帧的预测，即预测帧fgeneration代表的是fμ的下一时刻帧，所以用内插法在网络的每一次迭代中于fgeneration和fμ间插入一帧来作为生成的优化帧并替代视频中fμ的位置，即网络时序向前forward预测后的backward回退功能，以解决时序网络预测的运动偏差问题。图2即为本方法的前向-后置神经网络的优化结构，主要将完成块填充修复的视频Vout1(f1,f2,…fn)一帧帧的输入网络，通过上文所述的优化策略实现本方法的视频优化工作。
[0058] 以上对本发明所述的联合3D块填充及深度神经网络优化的新型视频修复方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种可以避雨遮阳的人行横道交通灯 | 2020-05-08 | 466 |
| 一种孔位检具工装 | 2020-05-08 | 262 |
| 模块组合空调系统 | 2020-05-08 | 646 |
| 风扇控制装置及系统 | 2020-05-08 | 297 |
| 一种具有可动分隔的改进型污水处理装置 | 2020-05-11 | 781 |
| 一种防溺水护腕 | 2020-05-11 | 527 |
| 视频压缩编码方法 | 2020-05-08 | 651 |
| 一种便于拆装的五金加工模具 | 2020-05-11 | 254 |
| 一种基于客户画像的客户诉求自动预警系统 | 2020-05-08 | 509 |
| 一种汽车零部件存放架 | 2020-05-11 | 296 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
块匹配热门专利
QQ群二维码
意见反馈
意见反馈