一种基于多尺度特征编码的图像压缩方法专利检索-压缩失真图形技术专利检索查询-专利查询网

一种基于多尺度特征编码的图像压缩方法

阅读：532发布：2020-05-12

专利汇可以提供一种基于多尺度特征编码的图像压缩方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于多尺度特征编码的图像压缩方法，通过训练集图像特征的梯度谱绝对值取平均得到选择向量，并利用选择向量来指导不同通道特征选择编码分辨率；同时将低分辨率编码的特征在解码端经过超分辨网络进行恢复，最终与高分辨率编码的特征重新组合成完整特征谱，映射回原始图像。本发明针对图像特征的特点进行差异性处理，对于容易从上下文信息恢复的特征用低分辨率传输，从而节省了码率；对于复杂的精细特征用高分辨率传输，减小了损失程度。，下面是一种基于多尺度特征编码的图像压缩方法专利的具体信息内容。

权利要求

1.一种基于多尺度特征编码的图像压缩方法，其特征在于，包括以下步骤：
S1、对输入图像进行特征提取，得到图像特征；
S2、根据图像特征进行通道选择，得到高分辨率特征通道和低分辨率特征通道；
S3、分别对高分辨率特征通道中的图像特征和低分辨率特征通道中的图像特征进行编解码，得到第一高分辨率图像特征和低分辨率图像特征；
S4、将低分辨率图像特征输入超分辨网络进行恢复，得到第二高分辨率图像特征；
S5、对第一高分辨率图像特征和第二高分辨率图像特征进行图像合成，得到输出图像。
2.根据权利要求1所述的图像压缩方法，其特征在于，所述步骤S1具体为：在图像编码端通过4个依次连接的下采样卷积层对输入图像进行特征提取，得到图像特征；每个所述下采样卷积层的卷积核大小为5×5，步长为2，激活函数为GDN函数。
3.根据权利要求1所述的图像压缩方法，其特征在于，所述步骤S2包括以下分步骤：
S21、将图像特征的特征谱提出，并采用Sobel梯度算子计算得到其梯度谱；
S22、对每个特征通道的梯度谱的绝对值取平均，得到用于描述其复杂程度的一维向量；
S23、将复杂程度较大的一半一维向量对应的通道置1，作为高分辨率特征通道，将复杂程度较小的一半一维向量对应的通道置0，作为低分辨率特征通道。
4.根据权利要求1所述的图像压缩方法，其特征在于，所述步骤S3中对高分辨率特征通道中的图像特征进行编解码的具体方法为：
A1、对高分辨率特征通道中的图像特征进行量化；
A2、通过超先验网络估计量化后图像特征的概率分布；
A3、根据概率分布对量化后的图像特征进行算术编码，得到二进制码流；
A4、根据概率分布对二进制码流进行算术解码，得到第一高分辨率图像特征；
所述步骤S3中对低分辨率特征通道中的图像特征进行编解码的具体方法为：
B1、对低分辨率特征通道中的图像特征进行下采样；
B2、对下采样后的图像特征进行量化；
B3、通过超先验网络估计量化后图像特征的概率分布；
B4、根据概率分布对量化后的图像特征进行算术编码，得到二进制码流；
B5、根据概率分布对二进制码流进行算术解码，得到低分辨率图像特征。
5.根据权利要求4所述的图像压缩方法，其特征在于，所述步骤A1具体为：在训练过程中，通过增加均匀噪声近似表示量化结果的方式对高分辨率特征通道中的图像特征进行量化；在测试过程中，采用四舍五入的方式对高分辨率特征通道中的图像特征进行量化；
所述步骤B2具体为：在训练过程中，通过增加均匀噪声近似表示量化结果的方式对下采样后的图像特征进行量化；在测试过程中，采用四舍五入的方式对下采样后的图像特征进行量化。
6.根据权利要求4所述的图像压缩方法，其特征在于，所述步骤B1中通过一个下采样卷积层对低分辨率特征通道中的图像特征进行下采样，所述下采样卷积层的卷积核大小为5×5，步长为2，激活函数为GDN函数。
7.根据权利要求4所述的图像压缩方法，其特征在于，所述超先验网络从图像特征中提取方差作为边信息，所述边信息进行编解码时使用固定的概率分布；
所述超先验网络的编码端包括三个依次连接的卷积层，每个所述卷积层的卷积核大小为5×5，步长为2，激活函数为ReLU函数；
所述超先验网络的解码端包括三个依次连接的转置卷积层，每个所述转置卷积层的卷积核大小为5×5，步长为2，激活函数为ReLU函数。
8.根据权利要求1所述的图像压缩方法，其特征在于，所述步骤S4中的超分辨网络包括依次连接的第一卷积层、GDN函数、第二卷积层、第一级联层、第三卷积层、GDN函数、第四卷积层、GDN函数、第一残差块、第二残差块、第五卷积层、GDN函数、第二级联层和转置卷积层；
所述第一卷积层的输入端输入第一高分辨率图像特征，所述第一级联层的输入端输入低分辨率图像特征，所述第二级联层的输入端还与第一级联层的输出端连接，所述转置卷积层的输出端输出第二高分辨率图像特征；
所述第一卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1；
所述第二卷积层的滤波器个数为96，卷积核大小为1×1，采样倍数为2倍下采样；
所述第三卷积层的滤波器个数为384，卷积核大小为3×3，采样倍数为1；
所述第四卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1；
所述第五卷积层的滤波器个数为384，卷积核大小为1×1，采样倍数为1；
所述转置卷积层的滤波器个数为96，卷积核大小为3×3，采样倍数为2倍上采样；
所述第一残差块和第二残差块的结构相同，均包括依次连接的第六卷积层、GDN函数、第七卷积层和加法器，所述第六卷积层的输入端作为第一残差块或第二残差块的输入端，并与加法器的输入端连接，所述加法器的输出端作为第一残差块或第二残差块的输出端；
所述第六卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1；
所述第七卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。
9.根据权利要求8所述的图像压缩方法，其特征在于，所述步骤S4中的超分辨网络在训练过程中的主约束条件为率失真损失，辅助约束条件为超分辨损失；
所述率失真损失的计算公式为：
L＝R+λD
其中L表示率失真损失，R表示码率，D表示失真度，λ为权值；
所述超分辨损失为图像编码端两个特征通道下采样之前的图像特征与图像解码端超分辨之后的图像特征之间的均方误差。
10.根据权利要求1所述的图像压缩方法，其特征在于，所述步骤S5中通过4个转置卷积层对第一高分辨率图像特征和第二高分辨率图像特征进行图像合成，每个所述转置卷积层的卷积核大小为5×5，激活函数为GDN函数的逆函数IGDN函数。

说明书全文

一种基于多尺度特征编码的图像压缩方法

技术领域

[0001] 本发明属于图像压缩技术领域，具体涉及一种基于多尺度特征编码的图像压缩方法的设计。

背景技术

[0002] 目前在图像压缩领域，很多基于深度学习的方法开始出现，例如利用卷积神经网络的特征提取能力将图像映射到特征空间，对得到的特征进行量化和熵编码，解码端熵解码后用转置卷积将特征映射回原图像。然而不同通道的特征之间在复杂程度上存在着差异，相同的处理方式会导致在平滑特征上浪费大量码率，同时损伤复杂特征的精细程度。

发明内容

[0003] 本发明的目的是提出一种基于多尺度特征编码的图像压缩方法，针对图像特征的特点进行差异性处理，对于容易从上下文信息恢复的特征用低分辨率传输，从而节省码率；对于复杂的精细特征用高分辨率传输，减小损失程度。

[0004] 本发明的技术方案为：一种基于多尺度特征编码的图像压缩方法，包括以下步骤：

[0005] S1、对输入图像进行特征提取，得到图像特征。

[0006] S2、根据图像特征进行通道选择，得到高分辨率特征通道和低分辨率特征通道。

[0007] S3、分别对高分辨率特征通道中的图像特征和低分辨率特征通道中的图像特征进行编解码，得到第一高分辨率图像特征和低分辨率图像特征。

[0008] S4、将低分辨率图像特征输入超分辨网络进行恢复，得到第二高分辨率图像特征。

[0009] S5、对第一高分辨率图像特征和第二高分辨率图像特征进行图像合成，得到输出图像。

[0010] 进一步地，步骤S1具体为：在图像编码端通过4个依次连接的下采样卷积层对输入图像进行特征提取，得到图像特征；每个下采样卷积层的卷积核大小为5×5，步长为2，激活函数为GDN函数。

[0011] 进一步地，步骤S2包括以下分步骤：

[0012] S21、将图像特征的特征谱提出，并采用Sobel梯度算子计算得到其梯度谱。

[0013] S22、对每个特征通道的梯度谱的绝对值取平均，得到用于描述其复杂程度的一维向量。

[0014] S23、将复杂程度较大的一半一维向量对应的通道置1，作为高分辨率特征通道，将复杂程度较小的一半一维向量对应的通道置0，作为低分辨率特征通道。

[0015] 进一步地，步骤S3中对高分辨率特征通道中的图像特征进行编解码的具体方法为：

[0016] A1、对高分辨率特征通道中的图像特征进行量化。

[0017] A2、通过超先验网络估计量化后图像特征的概率分布。

[0018] A3、根据概率分布对量化后的图像特征进行算术编码，得到二进制码流。

[0019] A4、根据概率分布对二进制码流进行算术解码，得到第一高分辨率图像特征。

[0020] 步骤S3中对低分辨率特征通道中的图像特征进行编解码的具体方法为：

[0021] B1、对低分辨率特征通道中的图像特征进行下采样。

[0022] B2、对下采样后的图像特征进行量化。

[0023] B3、通过超先验网络估计量化后图像特征的概率分布。

[0024] B4、根据概率分布对量化后的图像特征进行算术编码，得到二进制码流。

[0025] B5、根据概率分布对二进制码流进行算术解码，得到低分辨率图像特征。

[0026] 进一步地，步骤A1具体为：在训练过程中，通过增加均匀噪声近似表示量化结果的方式对高分辨率特征通道中的图像特征进行量化；在测试过程中，采用四舍五入的方式对高分辨率特征通道中的图像特征进行量化。

[0027] 步骤B2具体为：在训练过程中，通过增加均匀噪声近似表示量化结果的方式对下采样后的图像特征进行量化；在测试过程中，采用四舍五入的方式对下采样后的图像特征进行量化。

[0028] 进一步地，步骤B1中通过一个下采样卷积层对低分辨率特征通道中的图像特征进行下采样，下采样卷积层的卷积核大小为5×5，步长为2，激活函数为GDN函数。

[0029] 进一步地，超先验网络从图像特征中提取方差作为边信息，边信息进行编解码时使用固定的概率分布。

[0030] 超先验网络的编码端包括三个依次连接的卷积层，每个卷积层的卷积核大小为5×5，步长为2，激活函数为ReLU函数。

[0031] 超先验网络的解码端包括三个依次连接的转置卷积层，每个转置卷积层的卷积核大小为5×5，步长为2，激活函数为ReLU函数。

[0032] 进一步地，步骤S4中的超分辨网络包括依次连接的第一卷积层、GDN函数、第二卷积层、第一级联层、第三卷积层、GDN函数、第四卷积层、GDN函数、第一残差块、第二残差块、第五卷积层、GDN函数、第二级联层和转置卷积层。

[0033] 第一卷积层的输入端输入第一高分辨率图像特征，第一级联层的输入端输入低分辨率图像特征，第二级联层的输入端还与第一级联层的输出端连接，转置卷积层的输出端输出第二高分辨率图像特征。

[0034] 第一卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。

[0035] 第二卷积层的滤波器个数为96，卷积核大小为1×1，采样倍数为2倍下采样。

[0036] 第三卷积层的滤波器个数为384，卷积核大小为3×3，采样倍数为1。

[0037] 第四卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。

[0038] 第五卷积层的滤波器个数为384，卷积核大小为1×1，采样倍数为1。

[0039] 转置卷积层的滤波器个数为96，卷积核大小为3×3，采样倍数为2倍上采样。

[0040] 第一残差块和第二残差块的结构相同，均包括依次连接的第六卷积层、GDN函数、第七卷积层和加法器，第六卷积层的输入端作为第一残差块或第二残差块的输入端，并与加法器的输入端连接，加法器的输出端作为第一残差块或第二残差块的输出端。

[0041] 第六卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。

[0042] 第七卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。

[0043] 进一步地，步骤S4中的超分辨网络在训练过程中的主约束条件为率失真损失，辅助约束条件为超分辨损失。

[0044] 率失真损失的计算公式为：

[0045] L＝R+λD

[0046] 其中L表示率失真损失，R表示码率，D表示失真度，λ为权值。

[0047] 超分辨损失为图像编码端两个特征通道下采样之前的图像特征与图像解码端超分辨之后的图像特征之间的均方误差。

[0048] 进一步地，步骤S5中通过4个转置卷积层对第一高分辨率图像特征和第二高分辨率图像特征进行图像合成，每个转置卷积层的卷积核大小为5×5，激活函数为GDN函数的逆函数IGDN函数。

[0049] 本发明的有益效果是：

[0050] (1)本发明通过对不同通道的图像特征采用不同分辨率的编码方式，实现对不同精细程度的特征分配相应码率的目的，相比于同等对待不同通道特征的做法，本发明可以将更多的码率分配在精细的特征处，较平滑的特征则用更少的码率来表示，从而有效节省了码率。

[0051] (2)本发明将低分辨率编码的特征在解码端通过超分辨网络进行处理，充分利用了神经网络在图像恢复方面的能力，从上下文内容推断出丢失信息，能够减小图像的损失程度。附图说明

[0052] 图1所示为本发明实施例提供的一种基于多尺度特征编码的图像压缩方法流程图。

[0053] 图2所示为本发明实施例提供的超分辨网络结构示意图。

具体实施方式

[0054] 现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

[0055] 本发明实施例提供了一种基于多尺度特征编码的图像压缩方法，如图1所示，包括以下步骤S1～S5：

[0056] S1、对输入图像进行特征提取，得到图像特征。

[0057] 本发明实施例中，在图像编码端通过4个依次连接的下采样卷积层对输入图像进行特征提取，得到图像特征。每个下采样卷积层的卷积核大小为5×5，步长为2，激活函数为GDN(Generalized Divisive Normalization，广义分裂归一化)函数。

[0058] S2、根据图像特征进行通道选择，得到高分辨率特征通道和低分辨率特征通道。

[0059] 步骤S2包括以下分步骤S21～S23：

[0060] S21、将图像特征的特征谱提出，并采用Sobel梯度算子计算得到其梯度谱。

[0061] S22、对每个特征通道的梯度谱的绝对值取平均，得到用于描述其复杂程度的一维向量。本发明实施例中一维向量中数值越大，表示其对应的特征通道复杂程度越大。

[0062] S23、将复杂程度较大的一半一维向量对应的通道置1，作为高分辨率特征通道，将复杂程度较小的一半一维向量对应的通道置0，作为低分辨率特征通道。

[0063] S3、分别对高分辨率特征通道中的图像特征和低分辨率特征通道中的图像特征进行编解码，得到第一高分辨率图像特征和低分辨率图像特征。

[0064] 其中，对高分辨率特征通道中的图像特征进行编解码的具体方法为：

[0065] A1、对高分辨率特征通道中的图像特征进行量化。

[0066] 本发明实施例中，在训练过程中，由于量化操作无法进行反向传播，因此采用一种替代的方式，通过增加均匀噪声近似表示量化结果的方式对高分辨率特征通道中的图像特征进行量化；在测试过程中，采用四舍五入的方式对高分辨率特征通道中的图像特征进行量化。

[0067] A2、通过超先验网络估计量化后图像特征的概率分布。

[0068] A3、根据概率分布对量化后的图像特征进行算术编码，得到二进制码流。

[0069] A4、根据概率分布对二进制码流进行算术解码，得到第一高分辨率图像特征。

[0070] 对低分辨率特征通道中的图像特征进行编解码的具体方法为：

[0071] B1、对低分辨率特征通道中的图像特征进行下采样。

[0072] 本发明实施例中，通过一个下采样卷积层对低分辨率特征通道中的图像特征进行下采样，下采样卷积层的卷积核大小为5×5，步长为2，激活函数为GDN函数。

[0073] B2、对下采样后的图像特征进行量化。

[0074] 本发明实施例中，在训练过程中，由于量化操作无法进行反向传播，因此采用一种替代的方式，通过增加均匀噪声近似表示量化结果的方式对下采样后的图像特征进行量化；在测试过程中，采用四舍五入的方式对下采样后的图像特征进行量化。

[0075] B3、通过超先验网络估计量化后图像特征的概率分布。

[0076] B4、根据概率分布对量化后的图像特征进行算术编码，得到二进制码流。

[0077] B5、根据概率分布对二进制码流进行算术解码，得到低分辨率图像特征。

[0078] 本发明实施例中的，编解码部分采用算术编解码，算术编解码需要一个编解码双方通用的概率分布，此时将概率分布建模成零均值高斯混合模型，用一个超先验网络从特征中提取方差作为边信息。根据同样的概率分布参数，两个特征通道编解码部分的算术编码将特征编码成二进制码流，算术解码将其解码回原特征。超先验网络的边信息进行编解码时使用固定的概率分布。

[0079] 其中，超先验网络的编码端包括三个依次连接的卷积层，每个卷积层的卷积核大小为5×5，步长为2，激活函数为ReLU函数。超先验网络的解码端包括三个依次连接的与编码端卷积层对应的转置卷积层，每个转置卷积层的卷积核大小为5×5，步长为2，激活函数为ReLU函数。

[0080] S4、将低分辨率图像特征输入超分辨网络进行恢复，得到第二高分辨率图像特征。

[0081] 如图2所示，本发明实施例中，超分辨网络包括依次连接的第一卷积层、GDN函数、第二卷积层、第一级联层、第三卷积层、GDN函数、第四卷积层、GDN函数、第一残差块、第二残差块、第五卷积层、GDN函数、第二级联层和转置卷积层。

[0082] 由于低分辨率图像特征与第一高分辨率图像特征之间存在着一定的相关性，因此在对低分辨率图像特征进行超分辨的时候，第一高分辨率图像特征也一起作为输入。本发明实施例中，第一卷积层的输入端输入第一高分辨率图像特征，第一级联层的输入端输入低分辨率图像特征，第二级联层的输入端还与第一级联层的输出端连接，转置卷积层的输出端输出第二高分辨率图像特征。

[0083] 第一卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。

[0084] 第二卷积层的滤波器个数为96，卷积核大小为1×1，采样倍数为2倍下采样。

[0085] 第三卷积层的滤波器个数为384，卷积核大小为3×3，采样倍数为1。

[0086] 第四卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。

[0087] 第五卷积层的滤波器个数为384，卷积核大小为1×1，采样倍数为1。

[0088] 转置卷积层的滤波器个数为96，卷积核大小为3×3，采样倍数为2倍上采样。

[0089] 第一残差块和第二残差块的结构相同，均包括依次连接的第六卷积层、GDN函数、第七卷积层和加法器，第六卷积层的输入端作为第一残差块或第二残差块的输入端，并与加法器的输入端连接，加法器的输出端作为第一残差块或第二残差块的输出端。

[0090] 第六卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。

[0091] 第七卷积层的滤波器个数为192，卷积核大小为3×3，采样倍数为1。

[0092] 本发明实施例中，超分辨网络在训练过程中的主约束条件为率失真损失，辅助约束条件为超分辨损失。

[0093] 其中，率失真损失由码率和失真加权得到，其计算公式为：

[0094] L＝R+λD

[0095] 其中L表示率失真损失，R表示码率，本发明实施例中采用当前的概率分布计算其信息熵直接作为熵编码后的码率大小；D表示失真度，本发明实施例中采用原始图像和解码后图像之间的均方误差MSE(Mean Square Error)描述失真度；λ为权值，本发明实施例中采用人工设定，通过调整λ的大小可以改变图像的压缩率。

[0096] 超分辨损失为图像编码端两个特征通道下采样之前的图像特征与图像解码端超分辨之后的图像特征之间的均方误差。

[0097] S5、对第一高分辨率图像特征和第二高分辨率图像特征进行图像合成，得到输出图像。

[0098] 本发明实施例中，通过4个转置卷积层对第一高分辨率图像特征和第二高分辨率图像特征进行图像合成，每个转置卷积层的卷积核大小为5×5，激活函数为GDN函数的逆函数IGDN函数。

[0099] 本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

标题	发布/更新时间	阅读量
预制装配式构件接触面摩擦力反演方法	2020-05-13	855
有损压缩编码数据方法和设备及相应重构数据方法和设备	2020-05-13	79
卷积神经网络的处理方法及装置	2020-05-12	222
一种基于深度神经网络的数字视频特征提取方法	2020-05-13	867
一种GPU加速的椭球裁剪图地形渲染方法	2020-05-14	254
一种抗瞬态脉冲干扰装置及方法	2020-05-08	87
数字预失真的控制方法及电子设备	2020-05-12	489
一种基于实例分割的重定向图像质量信息处理方法及系统	2020-05-08	827
一种基于卷积神经网络的图像失真类型分类方法	2020-05-12	294
一种多频多制式分布式接入系统	2020-05-14	205

一种基于多尺度特征编码的图像压缩方法

一种基于多尺度特征编码的图像压缩方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：