面向多角度SAR目标识别网络的轻量化设计方法专利检索-有损压缩多媒体工具与应用专利检索查询-专利查询网

面向多角度SAR目标识别网络的轻量化设计方法

阅读：879发布：2020-05-11

专利汇可以提供面向多角度SAR目标识别网络的轻量化设计方法专利检索，专利查询，专利分析的服务。并且本发明公开了面向多角度SAR目标识别网络的轻量化设计方法，属于计算机视觉和遥感的交叉领域。现有的神经网络压缩方法通常是逐步压缩思路且有识别精度损失的，而本发明结合SAR目标多角度特征保持的要求，使用结构化剪枝生成轻量化SAR目标识别CNN网络结构，使用知识蒸馏恢复CNN网络模型的多角度特征提取能力，使用权重共享进一步压缩网络模型存储空间需求，最终得到了无损的轻量化多角度SAR目标识别网络模型。在识别精度无损的前提下，压缩率能达到60倍以上，同时计算量能减少2倍以上。，下面是面向多角度SAR目标识别网络的轻量化设计方法专利的具体信息内容。

权利要求

1.面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：该方法的实施流程如下：
步骤1、获取训练好的原始CNN模型；
将合成孔径雷达采集到的数据制作成多角度SAR数据集；指定一种原始CNN网络；利用数据集训练模型，使得CNN模型的分类性能达到满意的精度；
步骤2、对原始CNN模型进行结构化剪枝；
结构化的剪枝将权重矩阵作为一个大滤波器，直接删除不重要的滤波器通道，减少权重矩阵的维度；对于第i层卷积层，输入特征图xi有ni个通道，输出特征图xi+1有ni+1个通道；
特征图xi变换到xi+1的过程就是特征图xi穿过一个维度为ni×ni+1的滤波器的过程；具体而言：
1)在每一层中，权重参数的总和以滤波器的单个通道为单位进行计算；对于滤波器的第j个通道，权重重要性表示为pj＝∑|K|，其中K是卷积核的权重；
2)使用权重重要性pj从大到小对过滤器的通道进行排序；
3)修剪具有最小和值的m个通道；删除连接到这m个通道的下一层的输入特征图；
4)重新训练网络以恢复其性能；
5)对下一层重复上述步骤，直到完成所有卷积层和全连接层的修剪；
步骤3、对经过结构化剪枝的轻量化CNN模型的无损精度恢复；
使用知识蒸馏的方法使有损的轻量化模型多角度特征提取能力恢复至无损的原始模型水平；教师网络是未经修剪的，训练有素的网络，而学生网络是经过结构化修剪的轻量化模型；通过修改学生网络的损失和使用联合损失指导轻量化CNN模型的无损精度恢复；在CNN的训练中，softmax分类器用于处理网络的分类概率qi得到分类结果；令zi为网络的输出，则
知识蒸馏中引入超参数温度T来提取隐藏信息；此时，分类概率qi被表示为：
温度T越大，隐藏信息越有可能被提取；使用超参数T的训练过程称为“软目标”训练，其网络输出为zi/T；普通训练称为“硬目标”训练，其网络输出为zi；联合训练时的联合损失Lt被用来评价剪枝模型从原始模型中学习的水平，其定义为：
其中和是剪枝模型和教师模型的软目标，F1分别表示KL散度，用于描述描述和之间的差异；F2是交叉熵，用于测量预测输出Qp与实际值Ytrue之间的差异；α作为超参数，用于平衡损失的两个部分，T是温度参数，用于控制蒸馏训练的快慢与质量；
步骤4、使用权重共享进一步压缩轻量化CNN模型的存储空间；
基于K-means聚类的权重共享被引入以减少权重矩阵的存储消耗；假设权重被分为C类，则权重仅需要log2 C位的空间进行存储；对于一层网络中的N个连接，每个连接用b位存储空间表示；则压缩比由下式计算：
具体对每一层卷积层进行相同类数的聚类，对聚类个数中心数目进行实验，最终选择不会对CNN模型分类精度造成影响的聚类中心个数。
2.根据权利要求1所述的面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：步骤2中的剪枝是结构化的，能通过剪枝得到轻量化CNN模型的结构。
3.根据权利要求1所述的面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：步骤3中的知识蒸馏方法作为轻量化CNN模型的精度恢复方法被引入，具体通过联合训练的方式达到知识迁移的目的，最终得到多角度特征提取能力相较于原始模型无损的轻量化CNN模型。
4.根据权利要求1所述的面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：步骤4中的权重共享方法是权重聚类，具体是在每一层卷积层或全连接层进行相同聚类中心的聚类，且选择不会影响CNN模型多角度特征提取能力的聚类中心个数。

说明书全文

面向多角度SAR目标识别网络的轻量化设计方法

技术领域

[0001] 本发明涉及一种面向多角度SAR目标识别网络的轻量化设计方法，属于计算机视觉和遥感的交叉领域。

背景技术

[0002] 合成孔径雷达(SAR)是一种主动式成像雷达，由其产生的数据具有全天时、全天候，高分辨率、高穿透性的特点。这些优秀的特性使其被广泛运用在地质探测、海洋监测、农林监测、军事侦察等领域。

[0003] 由于成像机理的差异，SAR图像与普通的光学图像很大差别，并且SAR图像中包含大量特殊的乘性噪声，这都对图像的解译工作造成了巨大干扰。SAR图像的解译方法主要分为人工判读解译和计算机模式识别解译。人工判断需要消耗极高的成本且工作效率低下，使用计算机的SAR图像目标自动识别是更优，符合未来趋势的方法。

[0004] 近年来，深度学习被广泛运用到SAR图像目标自动识别中，特别是一些难度较大的自动识别任务中，如多角度SAR目标识别。SAR目标由于独特的散射特性，在不同角度下成像特征差异很大，为多角度特征的提取提出了更多的困难。作为深度学习的重要分支，卷积神经网络(CNN)已被证明在多角度SAR目标自动识别上相较其他方法有一定性能优势。然而，CNN的成功依赖于巨大的参数量和计算量需求。现实应用中大量嵌入式和边缘计算设备没有足够的存储和计算能力提供给CNN使用，对现有CNN模型进行压缩，设计轻量化的CNN模型是SAR图像自动目标识别(ATR)在应用中的刚需。同时，轻量化的CNN模型应该具有最小的精度损失，最好是无损的。本发明提出了一种实用、符合逻辑的无损多角度SAR目标识别轻量化网络设计方法。

发明内容

[0005] 本发明提供了一种面向多角度SAR目标识别网络的轻量化设计方法。

[0006] 不同于一些有损的基于神经网络压缩的多角度SAR目标识别网络设计方法，本发明的具体创新点在于提供了一种符合CNN模型构造逻辑的无损压缩的多角度SAR目标识别网络设计方法。通过使用结构化剪枝进行轻量化CNN网络结构设计获得原始CNN网络的压缩模型，进一步使用知识蒸馏联合训练剪枝得到的压缩模型和原始CNN模型已恢复模型分类识别精度，最后通过权重分享进一步压缩存储，获得无损，轻量化的CNN模型，最终模型在SAR多角度自动识别任务中可以取得和原始模型相同的性能。

[0007] 本发明的技术方案具体来说，主要包括如下技术内容：

[0008] 1、基于结构化剪枝的轻量化网络结构设计：针对CNN的每一个卷积层和全连接层，基于一定规则对滤波器进行筛选，删去不重要的滤波器，达到对CNN网络结构进行压缩，得到轻量化网络结构的目的。

[0009] 2、基于知识蒸馏的无损网络精度恢复：使用知识蒸馏的方法联合训练原始CNN模型和经过剪枝的轻量化网络模型，通过联合损失将原始CNN模型中的知识迁移到轻量化网络模型中，完成轻量化模型的精度恢复。

[0010] 3、基于权重分享的网络存储压缩：在轻量化模型完成精度恢复后，对其权重参数进行进一步压缩，具体做法是对每一层的权重参数进行聚类，用较少的聚类中心稀疏表示总体权重，进一步减少CNN模型的存储要求。

[0011] 本发明的流程图如图1所示，实施流程如下：

[0012] 步骤1、获取训练好的原始CNN模型：将合成孔径雷达采集到的数据制作成数据集。指定一种适应多角度SAR目标识别的原始CNN网络，如A-ConvNets。利用数据集训练模型，使得CNN模型的分类性能达到满意的精度。

[0013] 步骤2、对原始CNN模型进行结构化剪枝：

[0014] 剪枝是去除CNN网络中不必要的权重连接以进行模型压缩的方法。CNN的强大特征表示能力和分类性能一般认为是由于CNN网络的过参数化，即用大量冗余参数尽可能逼近任务的最优解。剪枝就是去除冗余参数的过程。剪枝分为非结构化的剪枝和结构化的剪枝。非结构化的剪枝直接将权重矩阵中的冗余参数置0，这样会造成权重矩阵的稀疏化，不利于实际情况中的压缩加速。结构化的剪枝将权重矩阵作为一个大滤波器，直接删除不重要的滤波器通道，减少权重矩阵的维度。对于第i层卷积层，输入特征图xi有ni个通道，输出特征图xi+1有ni+1个通道。特征图xi变换到xi+1的过程就是特征图xi穿过一个维度为ni×ni+1的滤波器的过程。如图2所示，假设剪枝过程中修剪第(i-1)个卷积层删除一个通道，修剪第i个卷积层删除两个通道。对于第i卷积层，由于最后一层的修剪，输入特征图xi的维数为ni-1。
此时卷积层尺寸为(ni-1)×(ni+1-2)，输出特征图的尺寸为(ni+1-2)。

[0015] 结构化剪枝的核心是选择修剪策略，即如何选择不重要的连接并制定特定的修剪过程。本发明连接的重要性由卷积核的权重之和的L1范数确定。至于修剪过程，则使用了逐层修剪策略。这意味着一次只修剪一层，并且在对CNN进行重新训练以基本恢复准确性之后，才会对下一层执行相同的操作。在此策略下，剪枝的步骤被细分如下：

[0016] 1)在每一层中，权重参数的总和以滤波器的单个通道为单位进行计算。对于滤波器的第j个通道，权重重要性表示为pj＝∑|K|，其中K是卷积核的权重；

[0017] 2)使用权重重要性pj从大到小对过滤器的通道进行排序；

[0018] 3)修剪具有最小和值的m个通道。删除连接到这m个通道的下一层的输入特征图；

[0019] 4)重新训练网络以恢复其性能；

[0020] 5)对下一层重复上述步骤，直到完成所有卷积层和全连接层的修剪；

[0021] 步骤3、对经过结构化剪枝的轻量化CNN模型的无损精度恢复：

[0022] 剪枝之后的轻量化CNN模型虽然能够通过再训练恢复一部分精度，但始终是一种有损的CNN模型压缩方法。本发明使用知识蒸馏的方法恢复CNN网络模型的多角度特征提取能力。知识蒸馏是一种知识迁移方法，目的是通过与大型网络(教师网络)的联合培训来诱导小型网络(学生网络)的培训并传递知识。本发明的教师网络是未经修剪的，训练有素的网络，而学生网络是经过结构化修剪的轻量化模型。细节上，本发明通过修改学生网络的损失和使用联合损失指导轻量化CNN模型的无损精度恢复。在CNN的训练中，softmax分类器用于处理网络的分类概率qi。令zi为网络的输出，则

[0023]

[0024] 一般认为在错误的分类中，仍然存在一些隐藏信息可以引导特征提取。知识蒸馏中引入超参数温度T来提取隐藏信息。此时，分类概率qi被表示为：

[0025]

[0026] 温度T越大，隐藏信息越有可能被提取。使用超参数T的训练过程称为“软目标”训练，其网络输出为zi/T。普通训练称为“硬目标”训练，其网络输出为zi。本发明于是定义联合训练时的联合损失Lt被用来评价剪枝模型从原始模型中学习的水平，其定义为：

[0027]

[0028] 其中和是剪枝模型和教师模型的软目标，F1分别表示KL散度，用于描述和之间的差异；F2是交叉熵，用于测量预测输出Qp与实际值Ytrue之间的差异；α作为超参数，用于平衡联合损失的两个部分，T是温度参数，用于控制蒸馏训练的快慢与质量；

[0029] 步骤4、使用权重共享进一步压缩轻量化CNN模型的存储空间；

[0030] 在一些嵌入式，边缘端计算中，对轻量化CNN模型的存储空间提出了更高的要求。本发明在获得无损的轻量化CNN模型后对模型的权重矩阵进行了进一步压缩。基于K-means聚类的权重共享被引入以减少权重矩阵的存储消耗；假设权重被分为C类，则权重仅需要log2 C位的空间进行存储；对于一层网络中的N个连接，每个连接用b位存储空间表示；则压缩比由下式计算：

[0031]

[0032] 通过聚类，权重共享造成的稀疏权重可大大减少模型存储。

[0033] 与现有技术相比，本发明具有如下优点：

[0034] 不同于传统的单一CNN模型压缩方法，本发明综合使用了三种CNN模型压缩方法，利用每种方法的优点，互相弥补了每种方法的缺点，形成了一套符合轻量化CNN模型设计逻辑的CNN模型轻量化方案：结构化剪枝提供轻量化CNN模型的结构，知识蒸馏将模型多角度特征提取能力恢复到原始水平，权重共享进一步压缩CNN模型。同时，本发明不同于其他有损的CNN模型压缩方法，创新性地将知识蒸馏这一模型压缩方法作为多角度特征提取能力恢复方法，得到了无损的轻量化CNN模型。最终，将本发明压缩得到了轻量化模型应用到SAR目标识别中，在MSTAR数据集上可以达到99.46％的分类准确率，同时模型大小只有19KB，浮点运算次数(floating point operations,FLOPs)为15.53M。附图说明

[0035] 图1为本发明具体流程图。

[0036] 图2为结构化剪枝的示意图。

具体实施方式

[0037] 以下结合实验样例对本发明的实施过程和实验结果做进一步描述。

[0038] 本发明实施使用的样例数据是来自于运动和静止目标的获取与识别(Moving and Stationary Target Acquisition and Recognition，MSTAR)计划公开的MSTAR数据库。实验所采用的是在X波段、HH极化模式下采集得到的十类军用车辆目标，成像分辨率为0.3m。目标的姿态覆盖范围均为0°～360°。我们把17°俯仰角下拍摄的图像作为训练集，15°俯仰角下拍摄的图像作为测试集，数据集的设置如表1所示。

[0039] 表1训练和测试数据集

[0040] 种类训练集(17°) 测试集(15°)2S1 299 274
BMP2 233 195
BRDM2 298 274
BTR70 233 196
BTR60 256 295
D7 299 274
T72 232 196
T62 299 273
ZIL131 299 274
ZSU234 299 274
Total 2747 2425

[0041] 1)MSTAR数据集输入计算机，首先对输入图像做预处理，将所有图像裁剪中心的88×88区域，作为网络的输入。

[0042] 2)样例原始CNN模型选为A-ConvNets。A-ConvNets是一种面向多角度SAR图像目标识别设计的小型CNN网络，在MSTAR数据集上能达到99.13％的分类准确率，结构如下表2所示。将网络训练150轮，分类准确率稳定在99.13％。

[0043] 表2 A-ConvNets的结构

[0044]

[0045]

[0046] 3)对2)训练得到CNN模型进行结构化剪枝，每次修剪一个卷积层，每次修剪完成后再训练6轮。经过结构化剪枝CNN模型各层尺寸的变化如下表所示。

[0047] 表3剪枝前后的CNN结构变化

[0048]Layer name Layer size(before pruning) Layer size(after pruning)
Conv1 1×16×5×5 1×12×5×5
Maxpool 2×2 2×2
Conv2 16×32×5×5 12×18×5×5
Maxpool 2×2 2×2
Conv3 32×64×6×6 18×36×6×6
Maxpool 2×2 2×2
Conv4 64×128×5×5 36×8×5×5
Conv5 128×10×5×5 8×10×5×5

[0049] 经过剪枝，CNN模型的准确率下降为98.54％，模型大小从1.21MB变为152KB，压缩率为8.21。与此同时，计算量也有了明显下降。本发明使用浮点运算次数(floating point operations,FLOPs)描述计算量。CNN模型的FLOPs计算公式如下：

[0050] FLOPs＝2·H·W·(Nin·K2+1)·Nout (4)

[0051] 其中H和W是每层输入特征图的高度和宽度，Nin是输入通道数，K是卷积核的宽度，Nout是输出通道数。

[0052] 经过剪枝，CNN模型的FLOPs从39.63M下降到15.53M，计算量压缩比为2.55。

[0053] 4)将3)中经过结构化剪枝的轻量化模型和原始A-ConvNets模型进行引入蒸馏参数T的联合训练，联合训练的损失Lt如下：

[0054]

[0055] 其中和是剪枝模型和教师模型的软目标，F1分别表示KL散度，用于描述描述和之间的差异；F2是交叉熵，用于测量预测输出Qp与实际值Ytrue之间的差异；α作为超参数，用于平衡损失的两个部分，T是温度参数，用于控制蒸馏训练的快慢与质量。这里α取值0.9，T取值为5。经过150轮的联合训练知识蒸馏，轻量化CNN模型的分类准确率达到了99.46％，相比原始模型99.13％的分类准确率不仅达到了无损的要求，还有0.33％的增益。

[0056] 5)将4)得到的高性能轻量化模型的权重矩阵进行聚类权重共享。具体对每一层卷积层进行相同类数的聚类，本样例中聚类中心，即聚类类数为8。经过权重共享，CNN模型分类正确率没有下降，并且模型大小变为19KB，相比原始模型压缩率为65.68。总体上CNN模型的前后变化如下表所示：

[0057] 表4 CNN模型总体压缩率与分类正确率

[0058] 模型压缩率分类准确率 FLOPs 模型大小原始A-ConvNets 1 99.13％ 39.63M 1.21MB
轻量化CNN模型 65.68 99.46％ 15.53M 19KB

标题	发布/更新时间	阅读量
影像的金字塔分层切片方法	2020-05-08	431
图像解压缩装置、其控制方法及计算机可读存储介质	2020-05-11	895
一种基于高维矩阵变换的视频数据传输方法	2020-05-08	945
一种压缩图像的方法和装置	2020-05-12	441
改进压缩质量BAQ的SAR数据压缩系统及方法	2020-05-14	688
数字内容流压缩	2020-05-08	527
一种基于对非关注点部分分级模糊的高清视频优化方法	2020-05-13	27
用于自主车辆的高清晰度地图数据的向量数据编码	2020-05-12	646
一种视频编解码方法、装置、系统及存储介质	2020-05-16	268
基于傅里叶变换的OLED屏幕DeMURA方法	2020-05-11	925

面向多角度SAR目标识别网络的轻量化设计方法

面向多角度SAR目标识别网络的轻量化设计方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：