一种基于非局部网络的视频压缩失真复原方法及系统专利检索-压缩失真图形技术专利检索查询-专利查询网

一种基于非局部网络的视频压缩失真复原方法及系统

阅读：76发布：2020-05-11

专利汇可以提供一种基于非局部网络的视频压缩失真复原方法及系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于非局部网络的视频压缩失真复原方法及系统，该方法包括：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；利用S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；通过S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。该系统包括：依次连接的空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块。本发明的基于非局部网络的视频压缩失真复原方法及系统，通过非局部网络间接的得到运动信息，减少了视频压缩失真，提升了视频主观质量。，下面是一种基于非局部网络的视频压缩失真复原方法及系统专利的具体信息内容。

权利要求

1.一种基于非局部网络的视频压缩失真复原方法，其特征在于，包括：
S11：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；
S12：利用所述S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；
S13：通过所述S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。
2.根据权利要求1所述的基于非局部网络的视频压缩失真复原方法，其特征在于，所述S11中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征与之间的相似性经过卷积变换后的特征经过所述
非局部网络细化后输出的特征的公式分别为:
其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，代表Rx中每个位置处的向量，代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵。
3.根据权利要求1所述的基于非局部网络的视频压缩失真复原方法，其特征在于，所述S11中用于提取所述空间域信息的非局部网络包括：
所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
4.根据权利要求1所述的基于非局部网络的视频压缩失真复原方法，其特征在于，所述S12中用于提取所述时间域信息的非局部网络包括：
所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。
5.根据权利要求1所述的基于非局部网络的视频压缩失真复原方法，其特征在于，所述S13具体为：通过计算所述S12得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。
6.一种基于非局部网络的视频压缩失真复原系统，其特征在于，包括：空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块；其中，
所述空间域信息以及时间域信息获取模块用于利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；
所述空间域复原结果以及时间域复原结果获得模块用于利用所述空间域信息以及时间域信息获取模块得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；
所述最终复原结果获得模块用于通过所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果得到最终复原结果。
7.根据权利要求6所述的基于非局部网络的视频压缩失真复原系统，其特征在于，所述空间域信息以及时间域信息获取模块中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征与之间的相似性经过卷
积变换后的特征经过所述非局部网络细化后输出的特征的公式分别为:
其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，代表Rx中每个位置处的向量，代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵。
8.根据权利要求6所述的基于非局部网络的视频压缩失真复原系统，其特征在于，所述空间域信息以及时间域信息获取模块中用于提取所述空间域信息的非局部网络包括：
所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
9.根据权利要求6所述的基于非局部网络的视频压缩失真复原系统，其特征在于，所述空间域复原结果以及时间域复原结果获得模块中用于提取所述时间域信息的非局部网络包括：
所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。
10.根据权利要求6所述的基于非局部网络的视频压缩失真复原系统，其特征在于，所述最终复原结果获得模块具体用于通过计算所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。

说明书全文

一种基于非局部网络的视频压缩失真复原方法及系统

技术领域

[0001] 本发明涉及视频处理技术领域，特别涉及一种基于非局部网络的视频压缩失真复原方法及系统。

背景技术

[0002] 视频经过压缩传输之后，在解码端会有压缩失真的存在。压缩失真会影响到视频的观看质量，降低用户的观看体验。为此就需要在解码端进行对应的后处理，从而减少计算复杂度。常用的后处理方法就是基于深度学习的压缩失真复原。一般来讲，为了提升压缩失真的复原效果，就需要获取对应的运动矢量。其中一个常用的方法就是用基于深度学习的光流网络估计运动矢量，从而进行后续的运动补偿和细化。但是由于光流运动估计本身就不是就有可能产生不可靠的运动矢量，因此对于光流网络的依赖就会对后续的压缩失真复原造成影响。与此同时，由于光流估计的计算复杂度较高，因此整个压缩失真复原方法也较为复杂。

发明内容

[0003] 本发明针对上述现有技术中存在的问题，提出一种基于非局部网络的视频压缩失真复原方法及系统，基于非局部网络的压缩失真复原方法不直接估计运动矢量，而是通过非局部网络间接的得到运动信息，能够减少由于不准确运动矢量导致的误差。

[0004] 为解决上述技术问题，本发明是通过如下技术方案实现的：

[0005] 本发明提供一种基于非局部网络的视频压缩失真复原方法，其包括：

[0006] S11：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；

[0007] S12：利用所述S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；

[0008] S13：通过所述S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。

[0009] 较佳地，所述S11中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征与之间的相似性经过卷积变换后的特征经过所述非局部网络细化后输出的特征的公式分别为:

[0010]

[0011]

[0012]

[0013] 其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，代表Rx中每个位置处的向量，代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵。

[0014] 较佳地，所述S11中用于提取所述空间域信息的非局部网络包括：

[0015] 所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。

[0016] 较佳地，所述S12中用于提取所述时间域信息的非局部网络包括：

[0017] 所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。

[0018] 较佳地，所述S13具体为：通过计算所述S12得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。

[0019] 本发明还提供一种基于非局部网络的视频压缩失真复原系统，其包括：空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块；其中，

[0020] 所述空间域信息以及时间域信息获取模块用于利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；

[0021] 所述空间域复原结果以及时间域复原结果获得模块用于利用所述空间域信息以及时间域信息获取模块得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；

[0022] 所述最终复原结果获得模块用于通过所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果得到最终复原结果。

[0023] 较佳地，所述空间域信息以及时间域信息获取模块中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征与之间的相似性经过卷积变换后的特征经过所述非局部网络细化后输出的特征的公式分别为:

[0024]

[0025]

[0026]

[0027] 其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，代表Rx中每个位置处的向量，代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵。

[0028] 较佳地，所述空间域信息以及时间域信息获取模块中用于提取所述空间域信息的非局部网络包括：

[0029] 所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。

[0030] 较佳地，所述空间域复原结果以及时间域复原结果获得模块中用于提取所述时间域信息的非局部网络包括：

[0031] 所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。

[0032] 较佳地，所述最终复原结果获得模块具体用于通过计算所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。

[0033] 相较于现有技术，本发明具有以下优点：

[0034] (1)本发明提供的基于非局部网络的视频压缩失真复原方法及系统，采用非局部网络的压缩失真复原方法，通过非局部网络间接得到运动信息，而不直接估计运动矢量，与现有方法相比，能够减少由于不准确运动矢量导致的误差，进而减少视频压缩失真，提升视频主观质量，且压缩失真复原简单；

[0035] (2)本发明提供的基于非局部网络的视频压缩失真复原方法及系统，非局部网络包括两个支路，分别用于提取经过压缩传输后的视频的空间域信息以及时间域信息，复原结果更准确。

[0036] (3)本发明提供的基于非局部网络的视频压缩失真复原方法及系统，适用范围广泛，可以在视频网站、流媒体以及云端存储等方面进行使用。

[0037] 当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。附图说明

[0038] 下面结合附图对本发明的实施方式作进一步说明：

[0039] 图1为本发明的一实施例的基于非局部网络的视频压缩失真复原方法的流程图；

[0040] 图2为本发明的一实施例的非局部网络的结构示意图；

[0041] 图3为本发明的一实施例的用于提取空间域信息的非局部网络的结构示意图；

[0042] 图4为本发明的一实施例的用于提取时间域信息的非局部网络的结构示意图。

具体实施方式

[0043] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

[0044] 如图1所示为本发明的一实施例的基于非局部网络的视频压缩失真复原方法的流程图。

[0045] 请参考图1，本实施例的基于非局部网络的视频压缩失真复原方法包括以下步骤：

[0046] S11：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；

[0047] S12：利用S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；

[0048] S13：通过S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。

[0049] 较佳实施例中，如图2所示为本发明的一实施例的非局部网络的结构示意图。具体地为：

[0050] Rx，Ry代表输入的特征，其中用Ry来对Rx进行细化。代表位置i处的特征，P的Ry中以i为中心的局部特征。θ、φ，g，z分别代表核大小为1x1的卷积操作。代表矩阵乘法。“softmax”代表归一化指数函数。为了减少计算复杂度，本实施例中仅仅利用Ry中的局部特征，而不是全局特征。目的是通过计算p与之间的相似性，然后对p中的特征进行加权，最后对进行细化。

[0051] 具体地，S11中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征与之间的相似性经过卷积变换后的特征经过非局部网络细化后输出的特征的公式分别为:

[0052]

[0053]

[0054]

[0055] 其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，x y代表R中每个位置处的向量，代表R中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，这里用一个核大小为1x1的卷积进行实现，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵，一实施例中分别代表的是四个不同的核为1x1 卷积神经网络的权重。

[0056] 较佳实施例中，S11中用于提取所述空间域信息的非局部网络包括：

[0057] 所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。

[0058] 较佳实施例中，S11中用于提取所述空间域信息的非局部网络包括：

[0059] 所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。

[0060] 如图3所示为本发明的一实施例的用于提取空间域信息的非局部网络的结构示意图。具体为：

[0061] 代表当前时刻的压缩图像，“conv，3x3，64”代表的是核大小为3x3，输出通道为64的卷积操作。“Residual Block”代表的是核大小为3x3，输出通道为64，采用前置激活函数的残差单元。“Non-local”代表本文的非局部网络。本网络的功能就是希望通过非局部网络提取空间域的信息，从而进行图像复原，得到当前时刻的通过空间域信息得到的复原图像Zt。

[0062] 较佳实施例中，S12中用于提取所述时间域信息的非局部网络包括：

[0063] 所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。

[0064] 如图4所示为本发明的一实施例的用于提取时间域信息的非局部网络的结构示意图。具体为：

[0065] 代表当前时刻的压缩图像，代表前一个时刻的压缩图像。“conv，3x3，64”代表的是核大小为3x3，输出通道为64的卷积操作。“Residual Block”代表的是核大小为3x3，输出通道为64，采用前置激活函数的残差单元。“Non-local”代表本文的非局部网络。
本实例的目的就是希望借助非局部神经网络提取时间的相关信息，辅助视频压缩失真复原。

[0066] 较佳实施例中，S13具体为：通过计算S12得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。

[0067] 在另一实施例中，还提供一种基于非局部网络的视频压缩失真复原系统，其用于实现上述实施例中的视频压缩失真复原方法，该系统包括：依次连接的空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块；其中，

[0068] 空间域信息以及时间域信息获取模块用于利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；

[0069] 空间域复原结果以及时间域复原结果获得模块用于利用所述空间域信息以及时间域信息获取模块得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果

[0070] 最终复原结果获得模块用于通过所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果得到最终复原结果。

[0071] 较佳实施例中，空间域信息以及时间域信息获取模块中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征与之间的相似性经过卷积变换后的特征经过非局部网络细化后输出的特征的公式分别为:

[0072]

[0073]

[0074]

[0075] 其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，代表Rx中每个位置处的向量，代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵，一实施例中分别代表的是四个不同的核为1x1卷积神经网络的权重。

[0076] 较佳实施例中，空间域信息以及时间域信息获取模块中用于提取空间域信息的非局部网络包括：

[0077] 空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。

[0078] 较佳实施例中，空间域复原结果以及时间域复原结果获得模块中用于提取所述时间域信息的非局部网络包括：

[0079] 时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。

[0080] 较佳实施例中，最终复原结果获得模块具体用于通过计算空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。

[0081] 本发明上述实施例的基于非局部网络的视频压缩失真复原方法及系统，通过非局部网络间接的得到运动信息，能够减少由于不准确运动矢量导致的误差，进而减少视频压缩失真，提升视频主观质量，且压缩失真复原简单

[0082] 此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

标题	发布/更新时间	阅读量
预制装配式构件接触面摩擦力反演方法	2020-05-13	855
有损压缩编码数据方法和设备及相应重构数据方法和设备	2020-05-13	79
卷积神经网络的处理方法及装置	2020-05-12	222
一种基于深度神经网络的数字视频特征提取方法	2020-05-13	867
一种GPU加速的椭球裁剪图地形渲染方法	2020-05-14	254
一种抗瞬态脉冲干扰装置及方法	2020-05-08	87
数字预失真的控制方法及电子设备	2020-05-12	489
一种基于实例分割的重定向图像质量信息处理方法及系统	2020-05-08	827
一种基于卷积神经网络的图像失真类型分类方法	2020-05-12	294
一种多频多制式分布式接入系统	2020-05-14	205

一种基于非局部网络的视频压缩失真复原方法及系统

一种基于非局部网络的视频压缩失真复原方法及系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：