技术领域
[0001] 本
发明涉及遥感图像配准技术领域，具体涉及基于伪孪生卷积神经网络的SAR和光学遥感图像配准方法。
背景技术
[0002] 近几十年来，通过遥感(Remote Sensing,RS)进行的地球监测在军事和民生中都得到了广泛的应用。多模遥感图像中含有许多互补信息，有利于许多遥感应用。为此，图像配准是利用多模图像的常见要求。然而，由于成像机制的不同，多模图像配准比普通图像配准更具挑战性，尤其是对光学和
合成孔径雷达(Synthetic Aperture Radar,SAR)图像来说。由于成像机制的不同，在光学和SAR图像寻找共同特征是非常困难的。并且随着空间
分辨率的提高，两个不同
传感器之间几何形状和
辐射测量差异的现有差距进一步扩大了。
[0003] 遥感图像配准有两个关键步骤。第一步是构造一组尽可能在图像上均匀分布的对应点(Corresponding Point,CP)。第二步是基于对应点估计空间变换(如仿射变换或射影变换)。由于构造假定对应点的方式不同，图像配准可以分为两类—基于特征的方法和基于区域的方法。
[0004] 对于基于特征的方法，如果对应点周围具有最相似的结构，则我们假定这组对应点是匹配的。首先，从主图像和从图像中检测出周围结构显著的候选特征点。使用局部结构信息(主要是梯度信息)生成特征描述子。具有最小描述子距离的点对被认作对应点对。许多手工制作的特征(如SIFT,SURF,ORB)都是为点匹配而设计的，不过大多数都无法应用于多模图像配准中。
[0005] 基于区域的方法首先从主图像中生成一组候选特征点。对于每个特征点，它试图在局部搜索窗口内找到从图像上的对应关系。我们用局部强度之间的相似性来定义用于
定位对应关系的度量。因此，相似性度量的定义对于基于区域的方法是必不可少的。归一化互相关(Normalization Cross-correlation,NCC)和互信息(Mutual Information,MI)是两个基线相似性度量。NCC度量主要用于光学图像配准，但在多模图像配准中总是失败。相比之下，MI对复杂的辐射变化具有更强的鲁棒性，并且广泛应用于多模图像配准。
[0006] 多模图像配准的理想特征应该是独特的，并且对由不同成像条件引起的各种非线性度量变化具有鲁棒性。手工制作的特征或MI不足以描述高度非线性的关系。众所周知，卷积神经网络的出现已经彻底改变了几乎所有的
计算机视觉问题。在图像配准领域，基于学习的特征已经引起了人们的广泛关注。在一些视觉任务上，学习到的特征比手工编写的描述子表现得更好，但是它们还没有展现出压倒性的优势，经典的局部图像
块检测器和描述子仍然提供十分有竞争
力的配准结果。出现这种结果的一个原因是，将图像配准任务重新表述为可区分的端到端过程是十分具有挑战性的。此外，在遥感图像配准方面，当前用于训练的本地图像块数据集还不够大和多样化，还不允许学习高
质量和广泛适用的描述子。
[0007] 深度特征也在遥感领域中得到了更多的使用。然而到目前为止，在不同的遥感领域，大多数
深度学习相关的研究都集中在分类和检测相关的任务上。对于遥感图像配准，深度学习刚取得了成功。目前，几乎所有的遥感图像都是用纬度和经度进行地理编码的。理论上，经过正确地理编码的遥感图像已经进行了配准，但是空间
姿态角的不准确测量往往会导致地理定位误差，需要进行进一步优化。基于此，本发明设计了基于伪孪生卷积神经网络的SAR和光学遥感图像配准方法，以解决上述问题。
发明内容
[0008] 本发明的目的在于提供基于伪孪生卷积神经网络的SAR和光学遥感图像配准方法，以解决上述背景技术中提出的SAR与光学图像配准效果差、
精度低的问题。
[0009] 为实现上述目的，本发明提供如下技术方案：基于伪孪生卷积神经网络的SAR和光学遥感图像配准方法，包括SAR和光学遥感图像，对所述SAR和光学遥感图像进行配准，配准的具体步骤如下：
[0010] 第一步，特征图像块的采集和匹配
[0011] Step1，对主图像进行基于块的Harris特征点检测，从主图像提取Harris特征点周围的局部候选图像块；
[0012] Step2，围绕主Harris特征点的相同地理
位置，在从图像中提取更大的局部搜索图像块；
[0013] Step3，所述局部候选图像块及对应的局部搜索图像块被输送作为伪孪生卷积网络的输入；
[0014] 第二步，异常点去除和最终配准
[0015] Step4，将伪孪生卷积神经网络输出的
相似性得分作为匹配
置信度的指标，并作为唯一指标来判断一个假定的对应点是否为异常值，即判断CP是否为异常值，假定CP的分值越大，则CP是正确值的可能性越大；
[0016] Step5，通过移除所有分数值小于给定
阈值Tscore的假定CPs来执行异常值移除。
[0017] 优选的，构建一个伪孪生卷积神经网络模型，所述伪孪生卷积神经网络采用了最大化正样本和难负样本之间的特征距离的策略，具体步骤如下：
[0018] 第一步，通过卷积层对SAR和光学图像块进行特征提取，在伪孪生卷积神经网络中，使用感受野为3×3的卷积
滤波器，因为3×3卷积滤波器是捕获不同方向图案的最小核，其次实用小的卷积滤波器可以增加网络内部的非线性，从而使网络更有辨别力；
[0019] 第二步，所述伪孪生卷积神经网络具有两个分离但相同的卷积流，用于处理SAR和光学图像十分不同的几何和辐射外观，并行处理SAR图像块和光学图像块，并且仅在之后的决策阶段融合结果信息，所述SAR图像块和光学图像块通过卷积层进行特征提取，两个分离的所述卷积流网络包括8个卷积层和3个最大值
池化层，卷积层输入的空间填充使得卷积后保持空间分辨率，使用感受野为3×3的卷积滤波器，所述伪孪生卷积神经网络中卷积步长固定为一个
像素，所述伪孪生卷积神经网络中的所有3×3卷积层，填充为1个像素，空间池化通过执行7个最大值池化层，所述池化层在卷积层之后，用于降低特征图的维数，最大值池化在步长为2的2×2的像素窗口上执行。
[0020] 优选的，所述伪孪生卷积神经网络的融合阶段包括两个连续的卷积层，后面跟着两个全连接层，所述卷积层由3×3的
滤波器组成，所述滤波器用于对SAR和光学的级联特征映射进行操作，以便学习使最终损失函数最小化的融合规则，在融合阶段，第一卷积层之后最大值池化被省略，并且设定步长为2以便在保留空间信息的同时对特征图进行下
采样，使用3×3滤波器，并且第一次卷积后没有最大值池化，令步长为2来减小特征大小，融合网络的最后阶段由两个完全连接的层组成，第一层包含512个信道，而第二层执行独热二进制分类，包含2个信道。
[0021] 优选的，为提高伪孪生卷积神经网络模型的可识别性，采用最大化正样本和难负样本之间的特征距离的方式定义损失函数，设计的损失函数旨在使正确匹配特征和接近不匹配特征之间的差异尽可能大，得分图通过con-8输出特征对之间的卷积运算获得，在分数图中，正确匹配位置的响应表示为，
[0022] yhns＝maxk(yns)
[0023] 训练的目标是为了最大化正匹配和难负匹配的平均响应值之间的距离，即[0024]
[0025] 但如果直接将 作为损失函数会导致训练结果不稳定，对于不同的
训练数据集，优化过程对学习率非常敏感，为了获得更平滑的损失函数，采用逻辑操作[0026] flogi(y)＝log(1+exp(-y))
[0027] 并将损失函数L定义如下
[0028]
[0029] 其中Nps和Nhns分别是正样本和难负样本的数量；
[0030] 对于网络训练，地面真值图定义为
[0031]
[0032] 其中，u＝(x,y)是分数图上任意位置的二维坐标，u0＝(x0,y0)是中心位置的坐标，r是有效的L1距离，如果位置u到u0的L1距离小于r，则假定位置u为正，因此，损失函数可以重写为
[0033]
[0034] 也可写成
[0035]
[0036] 优选的，建立半手动的训练数据集
整理方法，来获取具有较高匹配精度的数据集，收集共同配准的小图像块是训练伪孪生网络必不可少的，所述半手动训练集整理方法如下：
[0037] 第一步，通过在图像的四个角上手动选择四个对应点CP来粗略配准图像对；
[0038] 第二步，采用Harris角点检测器进行主图像候选特征点检测；
[0039] 第三步，搜索从图像上的高置信度对应点；
[0040] 第四步，配准大Geotiff；
[0041] 第五步，从配准的大Geotiff图像对中采集更多的对应点CP。
[0042] 优选的，所述局部候选图像块为M*M像素，所述局部搜索图像块为[M+s]*[M+s]像素。
[0043] 与
现有技术相比，本发明的有益效果是：本发明通过提出了伪孪生卷积神经网络体系结构，使得伪孪生网络的左分支和右分支能够分别输入不同大小的光学和SAR遥感图像，能够解决在极高分辨率下光学和SAR遥感图像中识别相应图像块的任务。与传统上用于图像配准的CNN中使用的孪生结构不同，采用伪孪生结构，在SAR和光学图像的两个数据流之间没有互连，网络使用自动生成的训练数据进行训练，并且不求助于任何手工制作的特征。其次，定义了一种新的损失函数，相似性度量被定义为伪孪生网络的两个输出内的卷积计算，而不是L2距离或点产生，通过一种新的难例挖掘策略，可以使设计的网络性能得到显著的提升。
附图说明
[0044] 为了更清楚地说明本发明
实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045] 图1为本发明伪孪生卷积神经网络
框架图。
[0046] 图2为本发明伪孪生卷积神经网络层配置图。
[0047] 图3为本发明损失函数构造图。
[0048] 图4为本发明SAR与光学图像配准的总体路线图。
[0049] 图5为本发明SAR-光学的RMSE-i图。
具体实施方式
[0050] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0051] 请参阅图1-5，本发明提供一种技术方案：基于伪孪生卷积神经网络的SAR和光学遥感图像配准方法，
[0052] (1)构建一个伪孪生卷积网络模型，如图1所示。
[0053] 为了处理SAR和光学遥感图像十分不同的几何和辐射外观，提出了一种具有两个分离但相同的卷积流的伪孪生网络体系结构，它可以并行处理SAR图像块和光学图像块，并且仅在之后的决策阶段融合结果信息。
[0054] SAR和光学图像块通过卷积层进行特征提取。在网络中，使用感受野为3×3的卷积滤波器，因为3×3卷积滤波器是能捕获不同方向图案的最小核，其次使用小的卷积滤波器可以增加网络内部的非线性，从而使网络更有辨别力。
[0055] 网络中卷积步长固定为一个像素；卷积层输入的空间填充使得卷积后保持空间分辨率，即对于网络中的所有3×3卷积层，填充为1个像素。空间池化是通过执行7个最大值池化层来实现的，池化层在卷积层之后，它们用于降低特征图的维数。最大值池化是在步长为2的2×2的像素窗口上执行的。具体网络模型的层配置如图2所示。
[0056] 网络的融合阶段由两个连续的卷积层组成，后面跟着两个全连接层。卷积层由3×3的滤波器组成，这些滤波器对SAR和光学的级联特征映射进行操作，以便学习使最终损失函数最小化的融合规则。在融合阶段，第一卷积层之后最大值池化被省略，并且设定步长为
2以便在保留空间信息的同时对特征图进行
下采样。使用3×3滤波器，并且第一次卷积后没有最大值池化，使得融合层能够学习到融合规则，这对于由于成像方式的不同而导致的空间不匹配具有一定的不变量。这是因为融合层使用3×3卷积来学习特征之间的关系，同时保留附近的空间信息。最大值池化的缺乏意味着这些学习到的空间关系被保留下来，不仅考虑了最大响应，而且令步长为2来减小特征大小。融合网络的最后阶段由两个完全连接的层组成：第一层包含512个信道；而第二层执行独热(one-hot)二进制分类，包含2个信道。
[0057] 总而言之，网络中除融合层之外的卷积层通常由3×3个
过滤器组成，并遵循两条规则：
[0058] 1)具有相同特征映射大小的层具有相同数量的过滤器。
[0059] 2)更深层中的特征映射数量增加，在每个最大值池化层之后大约加倍(除了每个流中的最后一个卷积堆栈)。网络中除最后一个全连通层由Softmax作为激活函数外，其余各层均以ReLU作为激活函数。
[0060] (2)提出一种新的损失函数用于训练神经网络，以提高模型的可识别性。
[0061] 设计的损失函数旨在式正确匹配特征和接近不匹配特征之间的差异尽可能大，损失函数构造的图解如图3所示。得分图是通过con-8输出特征对之间的卷积运算获得的。在分数图中，正确匹配位置的响应表示为：
[0062] yhns＝maxk(yns)
[0063] 训练的目标是为了最大化正匹配和难负匹配的平均响应值之间的距离，即[0064]
[0065] 但如果直接将 作为损失函数会导致训练结果不稳定，对于不同的训练数据集，优化过程对学习率非常敏感，为了获得更平滑的损失函数，采用逻辑操作[0066] flogi(y)＝log(1+exp(-y))
[0067] 并将损失函数L定义如下
[0068]
[0069] 其中Nps和Nhns分别是正样本和难负样本的数量；
[0070] 对于网络训练，地面真值图定义为
[0071]
[0072] 其中，u＝(x,y)是分数图上任意位置的二维坐标，u0＝(x0,y0)是中心位置的坐标，r是有效的L1距离，如果位置u到u0的L1距离小于r，则假定位置u为正，因此，损失函数可以重写为
[0073]
[0074] 也可写成
[0075]
[0076] 在训练过程中，在光学SAR图像对上的每对对应点周围绘制主图像块和从图像块。即，对于特征点对{pm,ps}，分别在pm和ps的中心提取尺寸为Nm*Nm的主图像块和尺寸为Ns*Ns的从图像块。对于对应搜索，Is范围大于Im，意味着Ns>Nm。通过卷积主图像块和从搜索图像块的conv-8输出，得分映射y的大小为(Ns-Nm+1)*(Ns-Nm+1)。理论上只有一个正确匹配的位置，位于最终得分图y的中心，但实验发现，当网络在训练过程中容忍小位移时，能够获得更好的结果。因此，如图3所示，有效距离r被设置为2，其中红色、棕色和黄色位置都被认为是正的。
[0077] 在测试过程中，将主块和较大的从搜索块送入网络，得到得分图y。y上的最大响应位置可以定位为umax。umax和u0之间的偏移量umax-u0正好是主和从对应特征点之间的偏移量。因此，对于主图像上的每个特征点，可以定位其在从属图像上的对应关系。
[0078] (3)建立一种半手动的训练数据集整理方法，来获取具有较高匹配精度的数据集。
[0079] 使用Geotiff图像对训练和测试网络，光学图像从Google Earth历史图像中提取，SAR图像来自TerraSAR-X。
[0080] 收集共同配准的小图像块是训练伪孪生网络必不可少的，半手动训练集整理方法主要包括以下五个步骤：
[0081] ①粗略地配准每对大Geotiff图像：通过在图像的四个角上手动选择四个对应点(CP)来粗略配准图像对。从图像在仿射变换下扭曲。粗略的配准过程是确保主图像和从图像上的每个CP具有有限的偏移量，从而减少进行CP搜索步骤的时间开销。
[0082] ②检测主图像的候选特征点：采用Harris角点检测器进行候选特征点检测。具体地说，提取均匀分布在大Geotiff主图像上的基于块的特征点。光学图像被认为是光学-SAR图像对的主图像。考虑到地图图像的纹理非常低，从地图图像中提取Harris候选特征点。
[0083] ③搜索从图像上的高置信度对应点：将MI和HOPC两种方法结合起来以获得高置信度的匹配结果。首先，围绕每个候选主特征点绘制大小为101*101像素的局部图像块，之后从围绕相同位置粗匹配的从图像中画出大小为121*121像素的对应搜索块。分别对这些主从图像块对进行MI和HOPC方法，得到CPMI和CPHOPC的匹配结果。
[0084] 对于每个对应点(CP)，如果||CPMI-CPHOPC||2≤1.5像素，认为它是高置信度匹配。它们被收集在CPMI＝＝HOPC。之后，在集合CPMI＝＝HOPC内，通过视觉检查手动消除实际不匹配的匹配点。如果高置信度匹配的数量不足以进行精细图像配准，则手动从剩余的CPMI和CPHOPC中选择新的有效匹配到的集合中。这样，就得到了高置信度匹配特征点集CPconfi。
[0085] ④配准大Geotiff：基于步骤③中获得的CPconfi，用分段线性(Piecewise Linearization,PL)变换配准大Geotiff图像对，该变换使用三角剖分法将图像划分为三角形区域，并使用仿射变换将从图像中每个三角形区域映射到主图像上的对应区域。由于每个待配准图像对的地形变化是非线性和不可预测的，与其他高阶几何变换模型相比，PL具有更强的鲁棒性。这样，大的Geotiff图像对以高精度配准。
[0086] ⑤从配准的大Geotiff图像对中采集更多的对应点(CP)：步骤③中收集的CPconfi数据集不足以进行网络训练。由于在步骤④中已经精确地配准了大Geotiff，所以从主图像和扭曲的从图像的相同位置提取的任何特征点对都可以被认为是CPs。在这一步中，在主图像上收集更多的Harris特征点，并将它们的对应位置定位在配准的从图像的相同位置上。最后获得最终的CPs集合。在最终的CPs周围绘制训练图像块对，这些图像块对不仅用于训练图像块收集，而且作为网络验证的检查点。
[0087] 进行SAR和光学图像配准：
[0088] SAR和光学遥感图像配准包括如下两个主要步骤，配准
流程图如图4所示。
[0089] ①特征图像块采集和匹配：由于遥感图像的局部
变形，CPs的均匀分布是计算精确变换公式的重要因素。因此，类似于训练数据集管理过程，对主图像执行基于块的Harris特征点检测器。从主图像中提取Harris特征点周围的局部候选图像块(M*M像素)。由于地理编码图像对之间的偏移不显著，因此在主Harris特征点的相同地理位置周围，更大的局部搜索图像块[(M+s)*(M+s)像素]在从图像中被提取出来。将候选图像块和相应的搜索图像块作为伪孪生网络的输入。在输出分数图上，将最大分数位置与其中心位置之间的偏移量作为对应的主特征点与从特征点的地理位置之间的偏移量。
[0090] ②异常值去除和最终匹配：在中，将网络输出的相似性得分作为匹配置信度的指标，并将该得分值作为唯一的指标来决定一个CP是否为异常值。显然，CP的分值越高，表明CP是正确的可能性越大。通过移除所有分数值小于给定阈值Tscore的假定CPs来执行异常值移除。
[0091] 设计了一种自动确定Tscore值的方法。假设有N个假设CPs{cp1,...,cpi,...cpN},，按分值降序排序。对于每个i>4，使用第一个i推定CPs来估计它们之间的投影变换，然后计算这些i推定CP的均方根误差(Root Mean Square Error,RMSE)。然后获得RMSE与i的关系图。三阶多项式曲线R(I)被拟合到RMSE-i图，如图5所示。将min(abs( (i)))的位置定位为IP，其中 (i)表示R(i)的一阶导数。cpip的得分被假设为阈值Tscore，并且第一iP CPs被认为是内值。min(abs( (i)))的位置表明，当添加或移除附近CP时，其对RMSE的影响最小，这意味着由第一iP CPs决定的变换是相对稳定的。
[0092] 通过将从图像扭曲到主映像上，利用过滤后的CPs进行最终配准。变换模型的选择取决于要配准的图像对的特定条件。对于低分辨率或中等分辨率的图像，仿射或投影变换通常就足够了。但对于高分辨率图像，PL变换能够获得更好的配准结果。
[0093] 在本
说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0094] 以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的
修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受
权利要求书及其全部范围和等效物的限制。
