[0001] 技术领域个
[0002] 本
发明属于雷达遥感应用技术领域，具体的说是一种基于深度神经网络的大场景SAR目标识别方法。本发明针对SAR图像，搭建基于多尺度特征图的深度网络结构，实现对大场景SAR图像目标的快速识别
背景技术
[0003]
合成孔径雷达(Synthetic Aperture Radar，以下简称SAR)可全天时、全天候获取高
分辨率雷达图像，是一种重要的对地观测手段。作为SAR技术领域的一个分支，SAR目标识别在军事以及民用领域上都具有重要意义，现已成为国际研究的焦点。
[0004] SAR图像与普通光学图像在成像机理、几何特征、
辐射特征等方面有较大的不同。SAR所成图像对地物回波的强弱不敏感，层次感较差；雷达波反射的不均匀造成图像分辨率较低，目标边缘模糊；此外SAR图像中噪声较多，对目标检测的影响较大。
[0005] 通常，SAR目标识别的过程可以包括四个主要的步骤：检测，
鉴别，特征提取和识别。1)检测阶段的目的是通过结合SAR图像的局部
亮度或目标的形状等信息，从SAR图像中找出潜在的目标的区域，从而筛选出感兴趣区域(ROI)；2)鉴别阶段通过对上一步得到的ROI进行处理，排除噪声和由于人为因素造成的虚警以筛除不含目标的ROI；3)特征提取是SAR目标识别中的一个关键的步骤，通过提取有效的鉴别特征，如纹理、尺寸、
对比度等特征，可以大大地降低SAR图像的特征维数，提高识别的效率；4)最后，识别阶段主要通过对余下的ROI进行进一步处理，得到目标的类别。
[0006] 根据识别方法的不同，SAR目标识别方法可以划分为以下几类：1)基于模板匹配的方法，即直接从已标记的训练图像构建一系列的参考图像(
空域或时域)，即模板，事先要把这些模板存储起来。在测试阶段，对于给定的一幅测试图像，首先将该测试图像与模板库内的所有模板进行匹配，然后将该测试图像归到与之相近的模板所在的类中，该方法处理过程复杂，并且在目标类别较多时，需要处理大量的图像模板，空间复杂度比较高；2)基于模型的方法，其具体步骤为：①提取出未知目标的特征，根据数学模型来推出一些相关的候选目标，然后分别假设这些目标的类别和
姿态；②对候选目标通过模型构建技术进行三维成像，提取出散射中心模型，并进一步预测识别目标的特征，看作待识别目标的参考特征，该方法对图像
质量的要求很高，并且构造模型需要高
水平的理论和计算，对于有杂波的背景图像，基于模型的方法有较好的鲁棒性，对此方法对模型需要高水平的理论和计算；③匹配，判决。3)基于
压缩感知的方法，该方法大都是针对具有某些特性的目标，并不通用。
[0007] 在上述步骤当中，特征提取是重中之重，能否提取到具有较高识别能
力的特征影响后续整个识别过程。在传统的
机器学习算法中，特征的提取规则往往是由人工设计的，或者当数据量较大时由计算机总结出来。实际应用中，当数据量过大，并且数据较复杂时，这种方式提取的特征往往并不具有代表性，无法表示不同类别数据间的独特性，因此也就限制了识别
精度。同时，检测与鉴别之间的许多因素将极大地影响识别结果，如目标区域的大小，检测结果与训练样本之间的目标
位置差异。这种分步骤的SAR目标识别方法，若前一步未得到较好的结果，将对下一步产生的结果产生很大的影响。则要实现一个较好的SAR目标识别结果，需要精心设计检测、鉴别、特征提取以及识别的每一个步骤。
发明内容
[0008] 针对以上存在的问题或不足，本发明结合深度神经网络在特征提取方面的优势，利用神经网络结构通过逐层的非线性变换，自动提取SAR图像目标的低层以及高层特征，同时将传统SAR目标识别的4个主要步骤：检测、鉴别、特征提取以及识别整合到一个神经网络中，无需单独设计检测器、鉴别器以及分类器。
[0009] 本发明的基于深度神经网络的SAR目标识别方法主要由以下步骤实现。
[0010] 步骤1、搭建深度神经网络模型，如
附图1所示。
[0011] 使用图像分类领域通用的网络结构，如VGG16或者ResNet等通用的网络作为
基础网络结构，然后在此基础上增添额外的卷积层，并且这些卷积层的大小是逐层递减的，可以进行多尺度的预测。在卷积过程中得到的特征图不断被额外的特征层用于输出一部分的预测，从而形成多个输出路径，每一个额外特征层的详细计算如附图2所示，其中K代表输入图像中一些固定大小位置和长宽比的矩形局域，即预选框。
[0012] 由于感受野的大小与特征图的大小相关，于是在较低层的特征图的感受野比较小，相对而言，在较高层的特征图的感受野较大，同时卷积层的每一个输出只会感受到目标周围的信息，包括上下文。并且，不同的卷积层的输出不仅用于预测不同宽高比的目标类别，同时预测边界框的偏移，以此实现多尺度特征图的检测。
[0013] 步骤2、制作训练样本集和测试样本。首先，将采集到的SAR图像，切割成一定大小且包含目标的SAR图像切片，同时在SAR图像切片中手动画框包围目标，该框为真值框，并记录真值框的位置和目标的真实类别；
[0014] 步骤3、利用步骤2中制作好的训练样本集训练网络，更新网络参数。
[0015] 具体为：
[0016] ①通过前向传播，利用网络结构中的
卷积神经网络提取SAR图像的特征；
[0017] ②将卷积神经网络提取到的特征图，分成8×8或者4×4个特征图格子，在每一个特征图格子中生成k个不同大小，不同长宽比的预选框；
[0018] 每一个预选框的大小为
[0019]
[0020] 其中，m为特征图的个数，Sk表示第k个特征图的＝预选框的大小，Smin和Smax分别代表最小特征图和最大特征图预选框的尺寸大小，同时，这些预选框的长宽比根据一定的比例aγ计算。预选框的宽度为： 高度为： 当aγ＝1时，坐标归一化后为： |fk|为第k个特征图的尺寸，i,j∈[0,|fk|)。
[0021] ③计算每个候选区域相对于预选框的坐标位置偏移量，在每一个预选框里，预测c个SAR图像目标的类别得分；
[0022] ④根据候选区域和坐标位置偏移量计算出SAR目标的最终区域，损失函数由分类和回归两部分组成。根据类别得分计算候选区域的损失函数，即置信损失。回归部分的损失函数是使得预测框和预选框的差距尽可能跟真值框和预选框的差距接近，即
定位损失。累加两者得到总的目标损失函数；
[0023]
[0024] 其中，
[0025]
[0026]
[0027]
[0028]
[0029] 其中，c为每一类的
置信度，Lconf为预测框l和真实框g的smoothL1损失函数，即置信损失，Lloc为定位损失。通过交叉验证将α的值设置为1。N是与真实框相匹配的预选框的个数。i表示第i个预选框，j表示第j个真实框，p为第p个类别， 表示第i个预选框与第j个真实框的Jaccard系数。A和B之间的Jaccard系数可以用于衡量两者的相关性，计算方式为：
[0030]
[0031] ⑤根据最后的损失函数经过反向传播来修正各个网络层的权值。
[0032] 由此，得到训练好的神经网络模型。
[0033] 步骤4、将待解译的大场景SAR图像按照一定大小切割成适应网络输入图片大小的SAR图像切片，在切割的过程中，保证目标完整的出现在某一个切片上。
[0034] 步骤5、将步骤4得到的大场景SAR图像切片缩放到固定的尺寸，然后送入基础网络之后，再进行多次卷积，每个次卷积得到的特征图的尺寸逐渐变小，由此得到一系列不同尺度的特征图，然后在这些不同尺度的特征图上通过回归得到目标的位置并得到目标的类别信息。
[0035] 由于，在预测阶段和训练阶段一样会每个特征图格子会生成数个预选框，通过非极大值抑制算法保留预测置信度最高的一个框。
[0036] 在预测切片中目标类别时，相当于把一张完整的图切分成大大小小张子图，每一张子图相当于一个窗口，判断窗口是否存在目标，如果存在目标，预测其类别以及位置，无目标则预测为背景，如附图3所示。
[0037] 将切片上的检测结果反馈到大场景图片上并输出，即在大场景SAR图像上框出目标并标出其类别信息，同时给出目标的类别置信度。
[0038] 本发明通过搭建一个基于多尺度特征图的神经网络结构，提取SAR图像的多尺度特征，并将每层的卷积神经网络的输出用于预测。同时，本发明结合深度神经网络在特征提取方面的优势，利用神经网络结构通过逐层的非线性变换，自动提取SAR图像目标的低层以及高层特征，将传统SAR目标识别的4个主要步骤：检测、鉴别、特征提取以及识别整合到一个神经网络中，无需单独设计检测器、鉴别器以及分类器。通过在网络前加入切割模
块，即可完成大场景SAR图像的解译。
附图说明
[0039] 图1为本发明的SAR目标识别所采用的神经网络结构；
[0040] 图2为额外的卷积层的详细计算过程；
[0041] 图3为网络预测过程；
[0042] 图4为部分MSTAR三类目标切片及其识别结果展示；
[0043] 图5为合成的大场景SAR图像及目标分布；
[0044] 图6为大场景SAR图像的识别结果；
具体实施方式
[0045] 下面结合实例详细说明本发明的技术方案。
[0046] 本发明的
实施例中采用MSTAR图像数据，现在对MSTAR进行简单的介绍。
[0047] MSTAR(Moving and Stationary Target Acquisition Recognition)项目启动于1994年，它是由美国国防高级研究计划署(Defense Advanced Research Project Agency,DARPA)和空军研究室(Air Force Research Laboratory,AFRL)提供的联合研究的一个SAR自动目标识别课题。实验数据采用地面军事车辆的聚束式MSTAR SAR图像集，图像分辨率为
0.3m×0.3m，
像素尺寸128×128。现在MSTAR数据已经成为考核SAR目标识别和分类算法的标准
数据库。大部分在权威杂志和会议上发表的SAR目标识别和分类算法都是采用MSTAR数据进行测试和评估。
[0048] 实验所用的样本为MSTAR三类目标切片，训练样本为
俯仰角17度的目标，测试样本为俯仰角15度的目标。表1为MSTAR三类目标训练测试样本分布。其中训练样本用于训练所搭建的网络，更新网络参数，而测试样本不参与训练。
[0049] 表1 MSTAR三类目标训练测试样本分布
[0050]
[0051] 首先，用测试样本测试训练好的网络的性能，由于测试样本的大小为128×128的MSTAR SAR目标切片，所以不需要做切割，直接送入网络进行检测识别。附图4为测试样本中部分MSTAR三类目标切片及其识别结果，第一行图片为待检测的SAR图像切片，依次为T72、BTR70以及BMP2，第二行图片显示了第一行的目标切片的识别结果。根据结果可以看出，切片中的每一个目标都被框出，并且给出了正确的SAR目标类别以及较高的类别置信率。在MSTAR三类目标上的识别准确率如表2所示，其中BMP2，BTR70和T72的准确率分别为98％，100％，100％。检测识别1162张切片用时13秒。可见本发明在SAR目标切片上的检测识别准确率高且具有较快的速度。
[0052] 表2在MSTAR三类目标上的识别准确率
[0053]
[0054] 接下来，验证本发明在大场景SAR图像上的检测识别的表现。由于，大场景SAR图像中包含地面车辆目标的SAR图像获取的成本昂贵，所以首先利用MSTAR数据库中提供的大幅场景和目标图像进行合成，得到一幅尺寸为1478×1784的包含有目标的大场景SAR图像，如附图5所示，合成的大场景SAR图像中的目标类别以及相应的标号如附表3所示。识别结果附图6所示，3种不同类型的所有15个目标全部被正确识别，并且其中一个目标的类别置信率为0.87，其余14个目标的类别置信率均高于0.96。
[0055] 表3大场景SAR图像中目标类别及相应的标号
[0056]
[0057] 由此可见，本发明利用构建深度神经网络，将传统SAR目标识别的4个主要步骤：检测、鉴别、特征提取以及识别整合到一个神经网络中，无需单独设计检测器、鉴别器以及分类器。通过以上实验可见，本发明在检测识别大场景SAR图像目标时，识别准确率高且处理速度快。
