一种基于深度学习的多时相SAR图像变化检测方法
阅读：168发布：2020-05-08
专利汇可以提供一种基于深度学习的多时相SAR图像变化检测方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 深度学习 的多时相SAR图像变化检测方法，与 现有技术 相比，以超 像素 为单位，将邻域信息带入分类，进行聚类，抑制了矩形patch产生时的人为干扰，降低了聚类的不确定性，也抑制了影响SAR图像可解释性的斑点噪声。并且本发明将变化检测作为两个阶段的分类，抑制了大量由斑噪引起的虚警。在第一阶段，我们简单地将DI聚集成变化和无变化的类。在第二阶段，基于斑噪引起的变化与真实物体的变化之间的内在差异，我们采用低秩稀疏分解(LRSD)进行预处理。LRSD的低秩项使斑噪引起的假变化恢复到原来的状态，而稀疏项将斑噪从图像中分离出来，大大削弱了斑噪对后续分类的影响。，下面是一种基于深度学习的多时相SAR图像变化检测方法专利的具体信息内容。
1.一种基于深度学习的多时相SAR图像变化检测方法，其特征在于，包括：
S1、获取检测目标第一时刻的SAR图像I1和第二时刻的SAR图像I2，I1和I2的尺寸均为M×N；
S2、对I1和I2进行超像素分割得到I1和I2的超像素块，I1和I2的相对应的超像素块相等；
S3、对超像素块进行重塑得到超像素向量；
S4、基于超像素向量生成超像素向量DI；
S5、基于超像素向量DI对超像素向量进行分类，基于超像素向量的分类结果投票决定所属超超像素块的类别，类别包括变化类、无变化类及中间类；
S6、将变化类和无变化类的超像素块的超像素向量作为训练集和测试集对深度学习神经网络进行训练，利用训练后的神经网络将中间类的超像素块的超像素向量分类为变化类和无变化类，基于中间类超像素块的超像素向量的分类结果，将中间类超像素块投票分类为变化类和无变化类；
S7、对SAR图像I1和I2进行掩膜处理，得到新的SAR图像I1'和I2'；
S8、采用步骤S2及S3的方式生成SAR图像I1'和I2'的超像素向量；
S9、将SAR图像I1'和I2'对应的超像素块所对应的超像素向量作为列向量合成所述对应的超像素块的观测矩阵，观测矩阵中，对应的超像素向量相邻；
S10、从观测矩阵中观测出低秩矩阵；
S11、基于低秩矩阵的列向量生成对应的超像素向量DI；
S12、采用步骤S5至S6中的方法及所述对应的超像素向量DI对SAR图像I1'和I2'的超像素块进行分类，将变化类的超像素块作为SAR图像I1和I2的变化像素。
2.如权利要求1所述的基于深度学习的多时相SAR图像变化检测方法，其特征在于，步骤S2包括：
S201、利用SLIC对I1进行超像素分割得到I1的超像素块；
S202、利用SLIC以与分割I1相同的方式对I2行超像素分割得到I2的超像素块。
3.如权利要求1所述的基于深度学习的多时相SAR图像变化检测方法，其特征在于，当超像素块的像素个数小于或等于输入像素个数时，步骤S3包括：
S301、超像素块从自身随机抽取像素进行填充直到所述超像素块的像素个数等于输入像素个数，若超像素块的像素个数等于输入像素个数，则直接将超像素块作为填充后的超像素块；
S302、将填充后的超像素块作为超像素向量；
当超像素块的像素个数打于输入像素个数时，步骤S3包括；
S311、将超像素块划分为尽可能多的像素个数等于输入像素个数的超像素向量，若划分后还剩余像素；
S312、从超像素块中随机抽取像素对划分后的剩余像素进行填充，使得填充后的剩余像素的像素个数等于输入像素个数，将填充后的剩余像素作为超像素向量。
4.如权利要求3所述的基于深度学习的多时相SAR图像变化检测方法，其特征在于，式中， 表示第一次分类时第一时刻的SAR图像的第i个超像素块的第h
个超像素向量， 表示第一次分类时第二时刻的SAR图像的第i个超像素块的第h个超像素向量， 表示 及 对应的超像素向量DI。
5.如权利要求4所述的基于深度学习的多时相SAR图像变化检测方法，其特征在于，步骤S5中：当超像素块的像素个数小于或等于输入像素个数时，将超像素向量DI分类作为超像素块的分类；
当超像素块的像素个数大于输入像素个数时，基于超像素向量DI的分类确定每个超像素向量DI的权值，计算超像素块的所有超像素向量DI的权值和，基于预设分类权值范围以及超像素块的所有超像素向量DI的权值和对超像素块进行分类。
6.如权利要求1所述的基于深度学习的多时相SAR图像变化检测方法，其特征在于，SAR图像I1'和I2'的超像素块的像素个数少于SAR图像I1和I2的超像素块的像素个数。
7.如权利要求1所述的基于深度学习的多时相SAR图像变化检测方法，其特征在于，步骤S10中：
式中， 表示第二次分类时第b时刻的SAR图像的第i个超像素块的第h个超像素向量，b＝1，2， 表示 对应的低秩向量， 表示 对应的稀疏向量；
式中，k和λ均为预设系数，subject to表示左式满足右式，VY表示观测矩阵，A表示低秩矩阵，E表示稀疏矩阵，|| ||*表示求核范数，|| ||2,1表示求由行向量的l2范数构成的向量的l1范数。
8.如权利要求1所述的基于深度学习的多时相SAR图像变化检测方法，其特征在于，式中， 表示低秩矩阵中与SAR图像I1'的第i个超像素块的第h个超像
素向量对应的列向量， 表示低秩矩阵中与SAR图像I2'的第i个超像素块的第h个超像素向量对应的列向量， 表示与 及 对应的DI。
一种基于深度学习的多时相SAR图像变化检测方法
技术领域
[0001] 本发明涉及到图像检测领域，具体地说，涉及一种基于深度学习的多时相SAR图像变化检测方法。
背景技术
[0002] 在过去的几十年里，由于不受时间和天气的限制，合成孔径雷达(synthetic aperture radar，SAR)图像在军事、环境监测和城市规划等领域引起了广泛的关注。其中一个普遍的运用是变化检测。给定两幅不同时间从同一观测区域获得的SAR图像，变化检测的目的是识别它们之间的差异。根据是否存在差异图DI(difference image，差异图)，我们将变化检测方法分为两类。后分类比较是将分析前已独立分类的两幅图像中的变化区域和不变区域直接进行分析，从而避免了辐射归一化和几何校正的影响。然而，最终结果的准确度很大程度上取决于两种图像分类的质量，它们的误差在最终结果处聚集并显现出来。另一种是后比较分析，目前是变化检测的主流，它从两幅多时相图像中生成一幅DI，然后从DI中得到最终的变化图。显然，这种方法中分类错误不会累积，但是，由于分类是直接基于DI，所以DI的质量将影响变化检测的结果。除此之外，根据是否引入标记数据，变化检测也可以分为有监督和无监督两种方式。对于有监督的方法，从标记数据中提取的特征将会被输入到分类器中。不幸的是，这需要巨大人力财力，以获得ground truth(地面真实的变化情况)。在一些文献中，提出了一种基于监督分类框架的上下文敏感相似度度量方法，以放大变化像素和不变像素之间的差异。无监督方法绕过先验信息，可以被看作是一个通过详细的模型来寻找最优阈值的阈值问题，或者是一个在将数据分类为变化类和不变类的同时，寻求保留更多信息的精确准则的聚类问题。在有的文献中，将DI映射到特征向量空间，并使用k-means将该空间划分为两类。在有的文献中，一个修正的马尔可夫随机场能量函数更新了在FCM将DI聚类成两类迭代中的隶属度。有的文献中，一种基于空间模糊聚类的新方法将空间信息加入到模糊聚类中以获得更好的性能。
[0003] 所有这些传统的技术都是在人类认知的范围内运作的，这样会丢失一些必不可少而我们却没看见的东西。它们根据人类对这个问题的理解来研究样本，这种人为干预限制了这些技术的样品利用效果。为了从功能和结构上模拟人脑，深度学习揭示了其在模式识别和图像分类领域的优势。深度学习之所以盛行，是因为它能够提取抽象的、高层次的特征，而这些特征往往是人们很难捕捉到的。此外，在大规模数据集上进行预训练后，可以很容易地对网络进行优化，并将网络转移到其他领域的新任务上。目前已经有一些比较成熟的深度学习结构，如AlexNet、VGG、GoogleNet等。卷积神经网络(CNNs)是模仿神经中枢感受域的先驱，由于其权重共享结构，其冗余性和复杂性都较低。介于深度学习的这些优点，许多基于深度学习的算法被提出。在有的文献中，一个两层受限Boltzmann机器(RBM)网络，通过使用对称加权连接将随机的、二元的特征连接到随机的、二元特征检测器，来建模邻域特征。有的文献中，利用两个CNN结构分别提取两幅SAR图像的特征，然后由一个全连接层和一个softmax输出层来完成。有的文献提出了一种改进的CNN，称为LRCNN，它是通过在CNN的输出层加入一个称为局部约束的空间约束来学习多层差异图。有的文献提出了一种堆栈压缩自编码器(sCAE)，它利用压缩惩罚项和Jacobian项来提高局部不变性和表示的鲁棒性，以在抑制噪声的情况下从超像素中提取鲁棒特征。在有的文献中，弱监督分类器集合了由改进的无监督堆栈AE学习到的标签，以解决ground truth不足的问题。在有的文献中，在一个较大的数据集下训练了一个多层次融合网络(MLFN)，该网络在每个卷积层上都有dense block，然后对其进行微调以从SAR图像块中提取特征。
[0004] 最近，PCANet出现在我们的视线中。它保持了深度学习网络的结构，同时采用PCA滤波器组构成各个层。在PACNet的训练过程中，不需要正则化参数和数值优化求解器，这提高网络的效率和精度。在有的文献中，级联PCA滤波器和二进制量化(hashing)被用作每个阶段和非线性层的数据自适应卷积滤波器组。在有的文献中，采用上下文感知显著性检测方法为SDPCANet提取训练样本，在保证训练样本可靠性的同时，减少了训练样本的数量，训练时间相对较短。有的研究人员在他们的算法中添加了一个新的训练集，该训练集由变化区域和无变化区域边界中的像素组成。该边界训练集旨在解决训练样本变化与不变之间的不平衡问题。有的文献中，使用另一种算法，该算法通过两次FCM来维持变化样本和无变样本之间的平衡。第一次的FCM用来决定变化像素数的上界，第二次的FCM基于该上界将像素聚类成无变化类、变化类和中间类。然而，在面对SAR图像中由后向散射信号相干处理所产生的强斑点噪声时，PCANet的局限性就显现出来。斑点噪声降低了对比度，改变了背景场景后向散射的空间统计信息，从而降低了SAR图像的可解释性。
[0005] 另外，传统的变化检测方法是逐像素检测方法，忽略了大量局部信息。而传统的深度学习则是以感兴趣的像素为中心选取样本。然而，这种以像素为中心的矩形patch处理方式在分类patch的边界上引入了人为干预，这通常会在分类中引入不确定性。
[0006] 因此，如何提高SAR图像的可解释性，避免分类中引入人为干预的而带来不确定性成为了本领域技术人员急需解决的问题。
发明内容
[0007] 针对上述现有技术的不足，本发明实际需要解决的问题是：如何提高SAR图像的可解释性，避免分类中引入人为干预的而带来不确定性。
[0008] 为了解决上述技术问题，本发明采用了如下的技术方案：
[0009] 一种基于深度学习的多时相SAR图像变化检测方法，包括：
[0010] S1、获取检测目标第一时刻的SAR图像I1和第二时刻的SAR图像I2，I1和I2的尺寸均为M×N；
[0011] S2、对I1和I2进行超像素分割得到I1和I2的超像素块，I1和I2的相对应的超像素块相等；
[0012] S3、对超像素块进行重塑得到超像素向量；
[0013] S4、基于超像素向量生成超像素向量DI；
[0014] S5、基于超像素向量DI对超像素向量进行分类，基于超像素向量的分类结果投票决定所属超超像素块的类别，类别包括变化类、无变化类及中间类；
[0015] S6、将变化类和无变化类的超像素块的超像素向量作为训练集和测试集对深度学习神经网络进行训练，利用训练后的神经网络将中间类的超像素块的超像素向量分类为变化类和无变化类，基于中间类超像素块的超像素向量的分类结果，将中间类超像素块投票分类为变化类和无变化类；
[0016] S7、对SAR图像I1和I2进行掩膜处理，得到新的SAR图像I1'和I2'；
[0017] S8、采用步骤S2及S3的方式生成SAR图像I1'和I2'的超像素向量；
[0018] S9、将SAR图像I1'和I2'对应的超像素块所对应的超像素向量作为列向量合成所述对应的超像素块的观测矩阵，观测矩阵中，对应的超像素向量相邻；
[0019] S10、从观测矩阵中观测出低秩矩阵；
[0020] S11、基于低秩矩阵的列向量生成对应的超像素向量DI；
[0021] S12、采用步骤S5至S6中的方法及所述对应的超像素向量DI对SAR图像I1'和I2'的超像素块进行分类，将变化类的超像素块作为SAR图像I1和I2的变化像素。
[0022] 优选地，步骤S2包括：
[0023] S201、利用SLIC对I1进行超像素分割得到I1的超像素块；
[0024] S202、利用SLIC以与分割I1相同的方式对I2行超像素分割得到I2的超像素块。
[0025] 优选地，当超像素块的像素个数小于或等于输入像素个数时，步骤S3包括：
[0026] S301、超像素块从自身随机抽取像素进行填充直到所述超像素块的像素个数等于输入像素个数，若超像素块的像素个数等于输入像素个数，则直接将超像素块作为填充后的超像素块；
[0027] S302、将填充后的超像素块作为超像素向量；
[0028] 当超像素块的像素个数打于输入像素个数时，步骤S3包括；
[0029] S311、将超像素块划分为尽可能多的像素个数等于输入像素个数的超像素向量，若划分后还剩余像素；
[0030] S312、从超像素块中随机抽取像素对划分后的剩余像素进行填充，使得填充后的剩余像素的像素个数等于输入像素个数，将填充后的剩余像素作为超像素向量。
[0031] 优选地， 式中， 表示第一次分类时第一时刻的SAR图像的第i个超像素块的第h个超像素向量， 表示第一次分类时第二时刻的SAR图像的第i个超像素块的第h个超像素向量， 表示 及 对应的超像素向量DI。
[0032] 优选地，步骤S5中：当超像素块的像素个数小于或等于输入像素个数时，将超像素向量DI分类作为超像素块的分类；
[0033] 当超像素块的像素个数大于输入像素个数时，基于超像素向量DI的分类确定每个超像素向量DI的权值，计算超像素块的所有超像素向量DI的权值和，基于预设分类权值范围以及超像素块的所有超像素向量DI的权值和对超像素块进行分类。
[0034] 优选地，SAR图像I1'和I2'的超像素块的像素个数少于SAR图像I1和I2的超像素块的像素个数。
[0035] 优选地，步骤S10中：
[0036]
[0037] 式中， 表示第二次分类时第b时刻的SAR图像的第i个超像素块的第h个超像素向量，b＝1,2， 表示 对应的低秩向量， 表示 对应的稀疏向量；
[0038]
[0039] 式中，k和λ均为预设系数，subject to表示左式满足右式，VY表示观测矩阵，A表示低秩矩阵，E表示稀疏矩阵，|| ||*表示求核范数，|| ||2,1表示求由行向量的l2范数构成的向量的l1范数。
[0040] 优选地， 式中， 表示低秩矩阵中与SAR图像I1'的第i个超像素块的第h个超像素向量对应的列向量， 表示低秩矩阵中与SAR图像I2'的第i个超像素块的第h个超像素向量对应的列向量， 表示与 及 对应的DI。
[0041] 综上所述，本发明与现有技术相比，具有以下技术效果：
[0042] 与逐个像素进行聚类不同，本发明所提出的方法是以超像素为单位，将邻域信息带入分类，进行聚类，抑制了矩形patch产生时的人为干扰，降低了聚类的不确定性，也抑制了影响SAR图像可解释性的斑点噪声。
[0043] 本发明将变化检测作为两个阶段的分类，抑制了大量由斑噪引起的虚警。在第一阶段，我们简单地将DI聚集成变化和无变化的类。在第二阶段，基于斑噪引起的变化与真实物体的变化之间的内在差异，我们采用低秩稀疏分解(LRSD)进行预处理。LRSD的低秩项使斑噪引起的假变化恢复到原来的状态，而稀疏项将斑噪从图像中分离出来，大大削弱了斑噪对后续分类的影响。附图说明
[0044] 为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
[0045] 图1为本发明公开的一种基于深度学习的多时相SAR图像变化检测方法的一种具体实施方式的流程图；
[0046] 图2为超像素块分割示意图；
[0047] 图3为步骤S6中神经网络的样本的生成过程示意图；
[0048] 图4为步骤S6中神经网络结构示意图；
[0049] 图5为矩阵VY的生成示意图；
[0050] 图6为超像素LRSD示意图；
[0051] 图7为对比实验中获取的SAR图像；
[0052] 图8为C1实验结果图；
[0053] 图9为C2实验结果图；
[0054] 图10为C3实验结果图；
[0055] 图11-图14为实验中采用不同参数的结果对比图；
[0056] 图15为进行LRSD和未进行LRSD的效果对比图。
具体实施方式
[0057] 下面结合附图对本发明作进一步的详细说明。
[0058] 如图1所示，本发明公开了一种基于深度学习的多时相SAR图像变化检测方法，包括：
[0059] S1、获取检测目标第一时刻的SAR图像I1和第二时刻的SAR图像I2，I1和I2的尺寸均为M×N；
[0060] S2、对I1和I2进行超像素分割得到I1和I2的超像素块，I1和I2的相对应的超像素块相等；
[0061] 超像素块相等是指对应的超像素块，形状、对应的位置和块中包含的像素个数相等。因为我们首先对I1进行超像素分割，再用I1的分割模式去分割I2。
[0062] S3、对超像素块进行重塑得到超像素向量；
[0063] S4、基于超像素向量生成超像素向量DI；
[0064] S5、基于超像素向量DI对超像素向量进行分类，基于超像素向量的分类结果投票决定所属超超像素块的类别，类别包括变化类、无变化类及中间类；
[0065] S6、将变化类和无变化类的超像素块的超像素向量作为训练集和测试集对深度学习神经网络进行训练，利用训练后的神经网络将中间类的超像素块的超像素向量分类为变化类和无变化类，基于中间类超像素块的超像素向量的分类结果，将中间类超像素块投票分类为变化类和无变化类；
[0066] 考虑到深度学习神经网络在图像分类、模式识别等方面的优越性，本发明采用PCANet对前一步的中间类进行进一步的分类。PCANet能够从多时相SAR图像中学习非线性关系，对斑点噪声具有较强的鲁棒性。此外，PCANet易于训练，训练后对其他任务具有适应性。
[0067] 首先，属于变化类和无变化类的超像素向量DI将用作训练网络的样本。对 和进行整形和组合，以形成送入网络的patch Ri,h，如图3所示。如果将I1分割成v个超像素，并且其第i个超像素被重组为mi个超像素向量，则会得到 个大小为2k×k的Ri,h。
[0068] 图4展示了PCANet的结构，PCANet由两个PCA滤波器卷积层、哈希层和直方图组成。生成patch后，所有Ri,h都将被去除平均值，矢量化并合并为矩阵Y。
[0069]
[0070] 这里， 是去平均值和矢量化之后的Ri,h。
[0071] 接下来，选择YYT的L1个主特征向量作为第一层的PCA滤波器组，即[0072]
[0073] 这里ql(YYT)表示YYT的第l个主特征向量，mat(V)表示将一个向量 映射为一个矩阵 所以，第一层的输出为：
[0074]
[0075] 这里，*表示2-D卷积。 将会作为第二层的输入。
[0076] 在第二层中，所有由第l个PCA滤波器 卷积得到的 将一同去掉它们的平均值，并且向量化合并为一个矩阵之后，所有 合并为：
[0077]
[0078] 接下来的步骤和第一层相似。我们选择ZZT的L2个主特征向量作为PCA滤波器组，即：
[0079]
[0080] 第二层卷积层的输出为：
[0081]
[0082] 经过两个卷积层之后，每个都有个输出。每个输出通过Heaviside阶跃函数进行二值化(正输入为1，负输入为零)，得到 的每个像素的整数值，其范围为[0,2L2-1]。因此，我们得到一个整数值图像 表示为：
[0083]
[0084] 进一步转化为直方图 然后，PCAnet将输入Ri,h的特征定义为：
[0085]
[0086] 将由上述方法得到的特征输入到支持向量机中，训练出一个能将中间类的超像素分类为变化类或无变化类的模型。将该模型的结果与FCM的结果相结合，得到最终的变化图。需要注意的是PCANet1的训练是基于重组超像素向量 的，所以在对中间类的像素个数p>k2超像素进行分类时，也必须对重组超像素向量进行分类，采用投票机制来决定该超像素属于哪一类。并且，第一阶段的变化类不仅包括地面物体真实变化引起的变化类，还包括强斑噪声引起的变化类。
[0087] S7、对SAR图像I1和I2进行掩膜处理，得到新的SAR图像I1'和I2'；
[0088] 如上所述，当SAR图像受到强斑噪污染时，第一阶段所得到的的变化类包含两类变化。一种是由斑噪引起的，另一种是由地物的真实变化引起的。因此，在第二阶段，我们的目标是分离这两类变化，这两类变化之间的类内间隔很小，因此很难分离。然而，这两类变化像素的本质区别在于，强斑噪引起的变化具有很强的随机性。若能大大削弱随机噪声的影响，则可提高两类变化类的可分性。因此，在第二阶段的深度学习变化检测中，我们采用了不同于第一阶段的方法。该方法的一个关键步骤是利用LRSD进行噪声抑制和SAR数据恢复。
[0089] S8、采用步骤S2及S3的方式生成SAR图像I1'和I2'的超像素向量；
[0090] 在第二阶段，首先对原SAR图像I1和I2和进行掩膜处理，将在第一阶段被分类为无变化类的像素置零。然后对这两幅掩模后的图像进行SLIC，生成超像素。第二阶段的超像素分割与第一阶段有两个不同点。首先，第二阶段的超像素分割基于的是掩膜后的图像，因此像素的空间上下文关系发生了显著的变化。这种变化的关系导致不同的分割模式。其次，在第二阶段的超像素分割中，将每个超像素的像素数设置为小于第一阶段的超像素内像素数，因为在第二阶段，较小的超像素更有利于后面的LRSD减弱斑噪，从而有效地将由强斑噪引起的变化与由真实物体引起的变化区分开来。
[0091] 如图5所示，S9、将SAR图像I1'和I2'对应的超像素块所对应的超像素向量作为列向量合成所述对应的超像素块的观测矩阵，观测矩阵中，对应的超像素向量相邻；
[0092] 来自I1和I2对应的同一实物的无变化目标，它们的噪声超像素具有内在相关性，表现为低秩特性。因此，为了区分由于强斑噪引起的像素的变化和由实际地物的变化而引起的像素的变化，因此提出了一个基于LRSD的构想，以分离强斑点噪声并恢复掩模后的I1和I2，这位后后续区分由于噪声和真实变化引起的变化奠定了重要基础。LRSD模型建立了观测数据与噪声的有效表达。低质约束和稀疏约束能很有效地从观测数据中分离噪声，回复数据。通过优化LRSD模型，斑噪将被分离并观测对象将被恢复，从而大大改善了两类变化像素之间的差异性。
[0093] S10、从观测矩阵中观测出低秩矩阵；
[0094] S11、基于低秩矩阵的列向量生成对应的超像素向量DI；
[0095] S12、采用步骤S5至S6中的方法及所述对应的超像素向量DI对SAR图像I1'和I2'的超像素块进行分类，将变化类的超像素块作为SAR图像I1和I2的变化像素。
[0096] 与现有技术相比，本发明以超像素为单位，将邻域信息带入分类，进行聚类，抑制了矩形patch产生时的人为干扰，降低了聚类的不确定性，也抑制了影响SAR图像可解释性的斑点噪声。并且本发明将变化检测作为两个阶段的分类，抑制了大量由斑噪引起的虚警。在第一阶段，我们简单地将DI聚集成变化和无变化的类。在第二阶段，基于斑噪引起的变化与真实物体的变化之间的内在差异，我们采用低秩稀疏分解(LRSD)进行预处理。LRSD的低秩项使斑噪引起的假变化恢复到原来的状态，而稀疏项将斑噪从图像中分离出来，大大削弱了斑噪对后续分类的影响。
[0097] 如图2所示，具体实施时，步骤S2包括：
[0098] S201、利用SLIC对I1进行超像素分割得到I1的超像素块；
[0099] S202、利用SLIC以与分割I1相同的方式对I2行超像素分割得到I2的超像素块。
[0100] 在现存的基于深度学习的的SAR图像变化检测算法中，为了便利，用作网络训练和测试的patch都是以矩形形态生成的。而这是以损害网络为代价的。首先，当感兴趣的像素位于变化区域和无变化区域之间的边界附近时，由其生成的patch同时包含变化像素和无变化像素，作为样本这将给网络带来不确定性，影响学习过程。其次，patch的逐像素生成忽略了局部空间上下文关系，而挖掘这种局部空间上下文关系有利于改进深层神经网络。与传统方法以一个像素为中心生成一个patch不同，本发明的patch来源于超像素，一个超像素里几乎所有像素都是均匀的。它避免了以像素方式制作面片时，在同一个面片中同时出现异构对象，甚至改变和不变的像素。与以像素为中心的块相比，超像素生成的块为深度学习模型提供了更有效的信息。实际上，基于超像素的深度学习是面向对象的，它在有效解决斑点噪声问题的同时，充分利用了邻域信息和特殊纹理。它避免了以逐像素生成patch时，在一个patch中同时出现异质对象，甚至同时包含变化和无变化像素。与以像素为中心的patch相比，超像素生成的patch为深度学习模型提供了更有效的信息。实际上，基于超像素的深度学习是面向对象的一种学习，它在有效解决斑点噪声问题的同时，还充分利用了邻域信息和特殊纹理。
[0101] 在本方法中，我们使用SLIC在多时相SAR图像I1和I2上进行超像素分割。我们之所以选择SLIC，是因为它简洁、灵活、紧凑，切存储效率和精度高。首先，用SLIC获得I1的超像素。然后，我们以I1被分割的方式分割I2。这就是我们如何将超像素分割模式从I1复制到I2的方法。超像素模式复制原则上可以保证I1和I2对应的两个超像素是相等的局部区域。
[0102] 具体实施时，当超像素块的像素个数小于或等于输入像素个数时，步骤S3包括：
[0103] S301、超像素块从自身随机抽取像素进行填充直到所述超像素块的像素个数等于输入像素个数，若超像素块的像素个数等于输入像素个数，则直接将超像素块作为填充后的超像素块；
[0104] S302、将填充后的超像素块作为超像素向量；
[0105] 当超像素块的像素个数打于输入像素个数时，步骤S3包括；
[0106] S311、将超像素块划分为尽可能多的像素个数等于输入像素个数的超像素向量，若划分后还剩余像素；
[0107] S312、从超像素块中随机抽取像素对划分后的剩余像素进行填充，使得填充后的剩余像素的像素个数等于输入像素个数，将填充后的剩余像素作为超像素向量。
[0108] 由于超像素生成时的随机性，它们具有随机的形状和像素数。然而深度学习神经网络的输入是具有相同像素数的均匀矩形像素块，所以则需要在输入网络前对超像素进行整形。
[0109] 具体实施时， 式中， 表示第一次分类时第一时刻的SAR图像的第i个超像素块的第h个超像素向量， 表示第一次分类时第二时刻的SAR图像的第i个超像素块的第h个超像素向量， 表示 及 对应的超像素向量DI。
[0110] 具体实施时，步骤S5中：当超像素块的像素个数小于或等于输入像素个数时，将超像素向量DI分类作为超像素块的分类；
[0111] 对于只有一个超像素向量DI的超像素块的分类为现有技术，在此不再赘述。
[0112] 当超像素块的像素个数大于输入像素个数时，基于超像素向量DI的分类确定每个超像素向量DI的权值，计算超像素块的所有超像素向量DI的权值和，基于预设分类权值范围以及超像素块的所有超像素向量DI的权值和对超像素块进行分类。
[0113] 变化类的超像素向量DI的权值可取1，无变化类的超像素向量DI的权值可取0，中间类的超像素向量DI的权值可取0.5，当权值和为1时，将对应的超像素块划分到变化类，当权值和小于0.6时，将对应的超像素块划分到无变化类，剩余的划分到中间类。
[0114] 具体实施时，SAR图像I1'和I2'的超像素块的像素个数少于SAR图像I1和I2的超像素块的像素个数。
[0115] 在第二阶段的超像素分割中，我们将每个超像素的像素数设置为小于第一阶段的超像素内像素数，因为在第二阶段，较小的超像素更有利于后面的LRSD减弱斑噪，从而有效地将由强斑噪引起的变化与由真实物体引起的变化区分开来。
[0116] 具体实施时，步骤S10中：
[0117]
[0118] 式中， 表示第二次分类时第b时刻的SAR图像的第i个超像素块的第h个超像素向量，b＝1,2， 表示 对应的低秩向量， 表示 对应的稀疏向量；
[0119]
[0120] 式中，k和λ均为预设系数，subject to表示左式满足右式，VY表示观测矩阵，A表示低秩矩阵，E表示稀疏矩阵，|| ||*表示求核范数(引入矩阵奇异值的稀疏性)，|| ||2,1表示求由行向量的l2范数构成的向量的l1范数(引入矩阵元素的稀疏性)。
[0121] 可以用增广拉格朗日算法求解该优化问题。该模型的增广拉格朗日公式为[0122]
[0123] 这里Y为拉格朗日乘子。给定Y＝Yk和μ＝μk，求解该模型的关键是求解[0124] minA,EL(A,E,Yk；μk),
[0125] 该解可以通过迭代得到。首先固定A＝Ak+1，求解
[0126] Ek+1＝argminEL(Ak+1,E,Yk；μk),
[0127] 再固定E＝Ek，求解
[0128] Ak+1＝argminAL(Ak,Ek,Yk；μk).
[0129] 在LRSD之后，我们选择低秩矩阵A的列向量U1,i,h和U2,i,h作为后一个聚类和分类的对象，放弃噪声矩阵E，如图6所示，其中U1,i,h对应于 U2,i,h对应于
[0130] 具体实施时， 式中， 表示低秩矩阵中与SAR图像I1'的第i个超像素块的第h个超像素向量对应的列向量， 表示低秩矩阵中与SAR图像I2'的第i个超像素块的第h个超像素向量对应的列向量， 表示与 及 对应的DI。
[0131] 下面为三个真实星载SAR图像数据集的描述，以及变化检测的评价标准。为了验证本发明的方法的性能和有效性，我们将其与现有的其他方法进行了比较，这些方法包括主成分分析和k-均值聚类(PCAKM)、PCANet、基于邻域比率的变化检测和极端学习机(NR_ELM)和CWNN。
[0132] 数据集和实验前置
[0133] 我们将上述方法应用于实际的星载SAR数据集，以评估本发明方法的性能。本发明使用的三个数据集来自COSMO-Skymed卫星获取的，切经过被准和几何校正的合成孔径雷达数据集，如图7所示。图7(a)(b)(c)于同一时刻获得，图7(d)(e)(f)于另一时刻获得。选定的三个区域具有一定的代表性，包括了河流、平原、山区和建筑物。它们的尺寸都是400×400。可见，这三组SAR数据集都存在严重的斑点噪声。现有的斑点噪声抑制滤波器有很多种，但是斑噪抑制和细节保留之间的平衡很难实现，所以我们没有对三个具有强斑点噪声的SAR数据集进行滤波。为了得到准确的ground truth，本发明中使用的所有ground truth都是人工标注的，如图7(g)(h)(i)所示。
[0134] 图7(a)(d)是包含河流和山脉的数据集C1，(g)是其ground truth；(b)(e)是包含建筑物和山脉的数据集C2，(h)是其ground truth；(c)(f)是包含平原和建筑物的数据集C3，(i)是其地ground truth；
[0135] 如何评价SAR图像变化检测算法的性能是一个很关键的问题。在这项工作中，我们使用了几种最新的评估指标，包括虚警概率(Pf)、漏检概率(Pm)、正确分类百分比(PCC)、Kappa系数(KC)和GD/OE。在ground truth中，分别用Nu和Nc表示属于无变化类和变化类的实际像素数，则
[0136] Pf＝F/Nu×100％,
[0137]
[0138] 这里，F表示检测为变化的无变化像素数，M表示检测为无变化的变化像素数。
[0139]
[0140]
[0141] 这里，
[0142]
[0143] 我们还引入了 进行定量分析。
[0144] 再则，这些用于比较的方法的参数设置为源代码中的默认值。
[0145] 在这项工作中，我们对最终结果进行了视觉和定量的分析和评价。对于视觉分析，所有方法的最终变化检测图都以图形形式显示。关于定量分析，结果以表格形式显示。
[0146] 表1.C1的结果
[0147]
[0148]
[0149] 数据集C1的多时相SAR变化检测结果如图8((a)PCAKM；(b)PCANet；(c)NR_ELM；(d)CWNN；(e)本文发明的方法；(f)ground truth)和表1所示。如图8所示，PCAKM的变化图包含了大量的假警报，这些假警报散布在图像各处，Pf达到39.23％。这是因为PCAKM在机制上无法将强斑噪引起的变化与真实地物引起的变化进行分类。然而，与PCAKM不同，PCANet、NR_ELN和CWNN的虚警主要集中在河流中。这是因为，最初，第一时刻采集的第一幅图像中的斑点噪声很弱，导致河流在SAR图像中显示为非常暗的区域，像素值较小。然而，第二时刻获得的第二幅图像中，斑噪变强。因此，两幅图像在河流区域的像素值相差较大，这些方法将其归类为变化类。这说明强斑噪会严重影响它们性能。与这些方法相比，本发明的方法得到的变化图中的虚警率仅为0.18％。这是因为在第二阶段，采用两阶段的深度学习方法，利用网络来识别强斑点噪声和真实地物体引起的变化，从而可以有效地消除强斑点噪声引起的虚警。这也说明了我们的方法在强相干斑噪声下的SAR变化检测中的优势。从表1可以看出，视觉分析与定量分析结果一致。显然，对于PCC、Pf、GD/OE和KC，我们的方法比其它算法的性能要好得多。值得注意的是，虽然PCAKM、PCANet和NR_ELN的漏检率低于本发明所提出的方法，但它们是以较大的Pf为代价的。之所以我们方法的Pm值高于其他方法的Pm值，是因为在深度学习的第二阶段，一些真实变化的像素被错误地归类为强斑噪引起的变化。所以，我们需要考虑更有说服力的KC的值。本发明的方法的KC最高，为97.84％，说明本发明的方法的变化检测精度优于其他方法，且检测效率在质量上是最高的。
[0150] 表2.C2的结果
[0151]
[0152]
[0153] 图9((a)PCAKM；(b)PCANet；(c)NR_ELM；(d)CWNN；(e)本发明的方法；(f)ground truth)和表2示出了数据C2的最终变化检测结果。在视觉比较方面，由于斑点噪声的影响，PCAKM仍然有很多无变化像素被检测为变化像素。PCANet的虚警能优于PCAKM，但由于斑点噪声的存在，PCANet的虚警率仍然较高。此外，无论是PCAKM、PCANet还是NR_ELM，在三种方法的变化图的右上角都有一个区域(图9中矩形区域)具有较少的虚警。在原始的两幅多时相SAR图像中，我们发现该区域与其他区域相比具有较强的散射，即这些像素的幅值相对较大。这说明在原始图像中，强散射区域的变化检测受斑噪的影响较小。原因在于这些区域的信噪比不同。强后向散射区的信噪比高于弱后向散射区。在CWNN的变化图中，斑点噪声引起的虚警相对较少。这得益于CWNN中的小波池化层，它通过丢掉高频子带来抑制斑噪，同时保留低频子带来提取特征。对于本发明的方法，两阶段深度学习不仅对高信噪比的变化检测有效，而且对低信噪比的变化检测也有效。这是因为在第二阶段采用了LRSD，极大地抑制了斑噪对神经网络辨识性能的影响，从而减少了虚警。在五种方法中，本发明的方法的PCC、Pf、GD/OE和KC的值最优，分别达到99.43％、0.26％、4.70％和95.67％。总之，与其它四种方法相比，本发明的方法对信噪比相对不敏感，有相对较好的变化检测性能。
[0154] 表3.C3的结果
[0155]
[0156] 数据C3的实验结果如图10((a)PCAKM；(b)PCANet；(c)NR_ELM；(d)CWNN；(e)本发明的方法；(f)ground truth)和表3所示。PCAKM的性能仍然是最差的。与前两个数据集相比，该数据集的场景更加复杂，真实地物引起的变化不太明显，因此各种方法的漏检率都比较高。然而，我们的方法仍然得到最好的结果，98.42％的PCC和11.18％的Pf。值得注意的是，在这组数据中，我们的算法保持了PCC和Pf的最高值，同时，我们也得到了与其他两种方法类似的Pm。这些实验数据充分显示了我们方法的优越性。
[0157] 在本发明中，需要讨论的参数有4个，分别是第一阶段的超像素SP1的个数和patch大小k1，第二阶段的超像素SP2的个数和patch大小k2。这四个参数影响了算法对邻域信息的捕获能力和对斑噪的抑制能力。由于patch大小应该是奇数，当设置为5时结果最佳，因此我们首先固定k1＝5。对于SP1，在考虑冗余度减少和超像素分割效率的情况下，我们假设这意味着超像素中的像素数和patch中的像素数应该尽可能相同。所以我们固定SP1＝6400。然后，利用 分别对SP2＝17800,6400,3200和k2＝3,5,7,9一一对应进行实验。结果如图11-12所示。
[0158] 从图11-12可以看出，当k2＝3时，所有SP2的PCC和KC均达到峰值。实验结果表明，本发明的方法在第二阶段patch大小为3×3时表现最好。对于SP2，很明显SP2＝17800在对应的所有SP2中有着最高的PCC和KC。这表明，在第二阶段，相对较大的SP2有助于网络挖掘更多的细节，这迎合了区分两个相似变化类的目的。
[0159] 然后将第二阶段的参数设为SP2＝17800和k2＝3，分别对SP1＝17800,6400,3200和k1＝3,5,7,9进行成对实验。结果如图13-14所示。
[0160] 从图13-14可以看出，有两对SP1和k1达到PCC和KC的最大。一个是SP1＝6400，k1＝5；另一个是SP1＝3200，k1＝7。在进一步的观察中，这两对参数服从 这表明，与我们假设的相同，理论上超像素的平均像素数应该与patch中的像素数相同。此外，k1＝7时SP1＝3200的结果略好于k1＝5时SP1＝6400的结果。最后，最合适的参数组合为：第一阶段为SP1＝3200，k1＝7；第二阶段为SP2＝17800，k2＝3。
[0161] 首先，我们将本发明的方法与其它相关方法进行了比较，结果如图8-10和表1-3所示。从结果来看，本发明提出的方法优于其他比较方法。其原因在于，通过超像素分割和两阶段的深度学习，本发明的方法对斑点噪声具有更强的鲁棒性，能够提取精确的特征，能够准确有效地从多时相SAR图像中学习非线性关系。SLIC将图像分割成具有同质像素的小块，初步判断变化像素与不变像素的差异。在FCM聚类后，将均匀像素的超像素输入到网络中，有利于网络的深层特征提取和学习，避免了以像素为中心无条件获取的patch中存在的非均匀像素的影响。
[0162] 本发明的方法中的两阶段深度学习框架对于获得期望的变化检测性能也非常重要。第一阶段将像素分为两类：变化类和无变化类。然而，在变化类中实际上有两种变化。一种是噪声引起的变化，另一种是真实物体引起的变化。在第二阶段，将第一阶段定义的无变化类置零，这样PCANet2的训练可以集中在识别噪声和真实物体引起的变化上。考虑到斑噪会导致很大一部分误分类，我们在第二阶段加入LRSD，以增强算法的噪声鲁棒性和识别能力。斑噪的分布是随机的，而物体的后向散射与物体的性质有关。LRSD不仅可以抑制斑噪，还可以通过低秩约束来突出无变化像素之间的相关性，如图15所示((a)未进行LRSD的一块区域；(b)LRSD后的该区域)。与传统方法相比，本发明的方法在强斑噪下具有更好的性能。
[0163] 其次，我们研究了本发明的算法在不同参数下的性能。图13-14推荐了相对较小的SP1.值。特别是，在第一阶段，取一个较大的SP1.值将导致更多的虚警。第一阶段的虚警越多，意味着第二阶段将对更多像素进行分类，不管它们是什么类别。对于旨在对噪声和实际变化进行分类的第二阶段，想要得到精确的最终变化图，就必须选择一个大的SP2和一个相应的小k2，如图11-12所示。
[0164] 综上所述，在本发明的方法中，超像素分割和LRSD为网络提供了更具鉴别性的样本，使本文的方法具有很高的噪声鲁棒性。两阶段的深度学习，根据实际存在的三类变化(无变化类、噪声引起的变化类和真实物体引起的变化类)，对变化检测过程进行了细化，法保证了两个阶段的网络能够精确地响应不同的需求，增强了特征提取能力和非线性关系学习能力。实验证明，本文的方法具有较高的精度和有效性。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于深度学习的多时相SAR图像变化检测方法 | 2020-05-08 | 168 |
| 一种基于视觉与激光slam的机器人室内建图方法及系统 | 2020-05-08 | 322 |
| 一种应用于智能终端RTD定位的粗差探测方法及系统 | 2020-05-08 | 109 |
| 基于全球地磁异常场的地磁辅助惯性导航仿真系统及方法 | 2020-05-08 | 571 |
| 基于星型网络结构的三维场景数据获取方法及系统 | 2020-05-11 | 682 |
| 一种考虑不确定性的自动驾驶风险评估方法 | 2020-05-11 | 905 |
| 一种地铁列车的自主导航定位方法 | 2020-05-08 | 131 |
| 一种工程结构混凝土碳化深度测试方法及测试装置 | 2020-05-08 | 776 |
| 基于DR/USBL的深潜载人潜水器组合导航方法 | 2020-05-08 | 543 |
| 一种快速收敛的惯性测量单元安装姿态估计方法 | 2020-05-08 | 943 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈