首页 / 专利库 / 电脑编程 / 算法 / 基于深度学习的SAR图像精细配准方法

基于深度学习的SAR图像精细配准方法

阅读:637发布:2024-02-12

专利汇可以提供基于深度学习的SAR图像精细配准方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 深度学习 的SAR图像精准配准方法,主要解决传统方法无法校正局部畸变和耗时的问题。其实现方案为:1)获取 训练数据 集;2)构建用于SAR图像精细配准的神经网络;3)构造用于SAR图像精细配准的神经网络的模型的损失函数;4)利用训练数据集对用于SAR图像精细配准的神经网络进行训练,得到训练好的网络模型;5)将待配准的SAR图像和作为参考的SAR图像输入到训练好的网络模型中,得到配准好的SAR图像。本发明能够校正SAR图像间的整体形变和局部畸变,提高了配准性能,加快了配准速度,可用于SAR图像融合和变化检测。,下面是基于深度学习的SAR图像精细配准方法专利的具体信息内容。

1.一种基于深度学习的SAR图像精细配准方法,其特征在于,包括如下:
(1)获取多幅从不同视观测同一场景得到的有重叠区域的SAR图像,得到数据集Φ;
(2)构建用于SAR图像精细配准的神经网络:
(2a)构建用于校正图像间整体形变的子卷积神经网络,该子卷积神经网络依次由八个卷积层和一个全局平均池化层组成,其中前七个卷积层激活函数采用ReLU函数,第八层卷积层输出3个特征图,激活函数为线性函数,全局平均池化层对每个特征图中所有值进行平均,得到分别对应图像间几何形变的平平移量、垂直平移量和旋转角度这三个输出值,根据这三个输出值采用二次线性插值法对待配准图像的进行全局校正;
(2b)构建用于校正SAR图像间局部形变的子残差神经网络,该子残差神经网络依次由激活函数是ReLU函数的八个卷积层和四个反卷积层组成,其中前三个反卷积层后的激活函数同是ReLU函数,第四个反卷积层后的激活函数是Tanh函数;根据该子残差神经网络输出1张特征图和参考图像对应像素值的偏移量u,采用二次线性插值法对经过子卷积神经网络校正后的图像进行局部畸变校正;
(2c)将步骤(2a)和(2b)构建的两个子神经网络依次连接,组合成SAR图像精细配准神经网络;
(2d)构建SAR图像精细配准的神经网络的损失函数Loss:
(2d1)构造子卷积神经网络的损失函数:lossglo=||x-y||1+(1-SSIM(x,y))(2d2)构造子残差神经网络的损失函数:
(2d3)将(2d1)与(2d2)构造的损失函数相加,得到SAR图像精细配准的神经网络的损失函数:Loss=lossglo+lossloc,
式中,x是子卷积神经网络得到的校正图像,y是参考图像,x1是残差神经网络得到的校正图像,||·||1表示1-范数,SSIM(·)是结构相似性函数, 和 分别表示沿水平和垂直方向的局部微分;
(3)利用(1)获得的数据集Φ对(2)构建的神经网络进行训练,得到配准好的图像:
(3a)设学习率参数为0.0001;
(3b)从数据集Φ随机抽取两张SAR图像,一张作待配准图像,一张作为参考图像,并将两张图像输入到用于SAR图像精细配准的神经网络中;
(3c)采用后向传播算法对(2)构建的SAR图像精细配准的神经网络的权值进行更新,以减少Loss函数值;
(3d)重复步骤3b)和3c),直至SAR图像精细配准的神经网络的损失函数Loss收敛,得到训练好的SAR图像精细配准的神经网络模型;
(3e)将参考图像和需要待配准的图像一同输入到训练好的神经网络模型中,得到配准好的SAR图像。
2.根据权利要求书1所述的方法,其特征在于,(2a)中由八个卷积层和一个全局平均池化层组成子卷积神经网络中的前七层卷积层输出特征图个数依次分别为32、64、128、256、
256、256、256,卷积核尺寸依次为7×7、5×5、3×3、3×3、3×3、3×3、3×3,步长均为2×2;
第8层卷积层的输出特征图个数为3,卷积核尺寸为3×3,步长为2×2。
3.根据权利要求书1所述的方法,其特征在于,(2b)中由八个卷积层和四个反卷积层组成子残差神经网络中的前四层卷积层输出特征图个数分别为32、64、128、256,卷积核尺寸依次为7×7、5×5、3×3、3×3,步长均为2×2,后四层卷积层输出特征图个数均为256,卷积核尺寸均为3×3,步长均为1×1;前三个反卷积层的输出特征图个数分别为256、128、64,卷积核尺寸依次为3×3、3×3、5×5,步长均为2×2,最后一个反卷积层的输出特征图个数为
1,卷积核尺寸为7×7,步长为2×2。
4.根据权利要求书1所述的方法,其特征在于,(2d1)的实现步骤如下:
(2d11)将待配准图像与参考图像y输入到子卷积神经网络,得到第一校正图像x,根据第一校正图像x和参考图像y的像素相似性,以1-范数作为像素相似性衡量标准构造||x-y||1函数,函数值越大,则像素相似性越差;
(2d12)根据第一校正图像x和参考图像y的结构相似性,选择结构相似性函数SSIM(·)作为结构相似性衡量标准构造(1-SSIM(x,y))函数,函数值越大,则结构相似性越差;
(2d13)将(2d11)与(2d12)中构造的函数相加,得到(2d1)的损失函数:
lossglo=||x-y||1+(1-SSIM(x,y))。
5.根据权利要求书1所述的方法,其特征在于,(2d2)的实现步骤如下:
(2d21)将第一校正图像x输入到子残差神经网络,得到第二校正图像x1,根据第二校正图像x1和参考图像y的像素相似性,以1-范数作为像素相似性衡量标准构造||x1-y||1,函数值越大,则像素相似性越差;
(2d22)根据第二校正图像x1和参考图像y的结构相似性,选择结构相似性函数SSIM(·)作为结构相似性衡量标准构造(1-SSIM(x1,y))函数,函数值越大,则结构相似性越差;
(2d23)根据残差神经网络输出的偏移量需要具有空间平滑性,空间平滑性体现在水平梯度与垂直梯度上,故构造函数 作为空间平滑性的衡量标准,函数值越大,则空间平滑度越差;
(2d24)将(2d21)、(2d22)与(2d23)中构造的函数相加,得到(2d2)的损失函数:

说明书全文

基于深度学习的SAR图像精细配准方法

技术领域

[0001] 本发明属于图像处理技术领域,特别涉及一种SAR图像精细配准方法,可用于SAR图像融合和变化检测。

背景技术

[0002] 合成孔径雷达SAR是一种主动式微波成像系统,具有在不同气候和光照条件下对地面、海面进行全天候的观察能,在地质资源勘探、海洋监测和城市规划等诸多应用中发挥了重要的作用。随着SAR成像技术的不断发展,SAR成像系统获取了大量有价值的对地观测数据。在SAR图像处理中,往往需要对两幅或者多幅SAR图像进行分析处理,如SAR图像融合和SAR图像变化检测,而SAR图像配准技术正是这些图像处理任务的前提。
[0003] 目前SAR图像的配准方法可分为两大类。第一类是基于区域的方法,此类方法基于互相关或互信息等相似性测度建立图像间的匹配关系来实现SAR的图像的配准,然而此类方法十分耗时、配准精度不高。第二类方法是基于特征的方法,此类方法通过比较局部不变特征描述子间的距离并设定阈值筛选,从而建立匹配关系实现SAR图像配准。此类虽然相比于第一类方法速度更快、配准精度更高,但是仍然存在耗时的问题。
[0004] Dellinger在其发表的论文“SAR-SIFT:A SIFT-like Algorithm for SAR Images”《IEEE Transaction on Geoscience&Remote Sensing》,2015,53(1):453-466)中提出了一种典型的基于特征的SAR图像配准方法,该方法首先构建SAR-Harris尺度空间,然后在尺度空间上寻找极值点,并对极值点进行筛选找出稳定特征点,接着根据特征点生成基于合成孔径雷达的尺度不变特征转换SAR-SIFT特征描述子,最后利用最邻近法删除错误匹配点对。该方法的不足之处是,在建立尺度空间和获得特征描述子的过程中计算量较大,耗时比较严重。
[0005] 传统的SAR图像配准都是通过估计图像间的几何变换参数,对图像整体进行一致校正。然而实际的两幅SAR图像间除整体的形变之外,还因为观测度的差异存在着局部的畸变,这些局部畸变的存在不利于后续的SAR图像处理,但传统的两种SAR图像配准无法校正这些局部的畸变,影响配准性能和配准速度的提高。

发明内容

[0006] 本发明的目的在于针对上述现有技术的不足,提出一种基于深度学习的SAR图像精细配准方法,以校正SAR图像间的整体形变和局部畸变,提高配准性能,加快配准速度。
[0007] 为实现上述目的,本发明技术方案的实现步骤包括如下:
[0008] (1)获取多幅从不同视角观测同一场景得到的有重叠区域的SAR图像,得到数据集Φ;
[0009] (2)构建用于SAR图像精细配准的神经网络:
[0010] (2a)构建用于校正图像间整体形变的子卷积神经网络,该子卷积神经网络依次由八个卷积层和一个全局平均池化层组成,其中前七个卷积层激活函数采用ReLU函数,第八层卷积层的输出3个特征图,激活函数为线性函数,全局平均池化层对每个特征图中所有值进行平均,得到分别对应图像间几何形变的平平移量、垂直平移量和旋转角度这三个输出值,根据这三个输出值采用二次线性插值法对待配准图像的进行全局校正;
[0011] (2b)构建用于校正SAR图像间局部形变的子残差神经网络,该子残差神经网络依次由激活函数是ReLU函数的八个卷积层和四个反卷积层组成,其中前三个反卷积层后的激活函数同是ReLU函数,第四个反卷积层后的激活函数是Tanh函数;根据该子残差神经网络输出1张特征图和参考图像对应像素值的偏移量u,采用二次线性插值法对经过子卷积神经网络校正后的图像进行局部畸变校正;
[0012] (2c)将步骤(2a)和(2b)构建的两个子神经网络依次连接,组合成SAR图像精细配准神经网络;
[0013] (2d)构建SAR图像精细配准的神经网络的损失函数Loss:
[0014] (2d1)构造子卷积神经网络的损失函数:lossglo=||x-y||1+(1-SSIM(x,y))[0015] (2d2)构造子残差神经网络的损失函数:
[0016]
[0017] (2d3)将(2d1)与(2d2)构造的损失函数相加,得到SAR图像精细配准的神经网络的损失函数:Loss=lossglo+lossloc,
[0018] 式中,x是子卷积神经网络得到的校正图像,y是参考图像,x1是残差神经网络得到的校正图像,||·||1表示1-范数,SSIM(·)是结构相似性函数, 和 分别表示沿水平和垂直方向的局部微分;
[0019] (3)利用(1)获得的数据集Φ对(2)构建的神经网络进行训练,得到配准好的图像:
[0020] (3a)设学习率参数为0.0001;
[0021] (3b)从数据集Φ随机抽取两张SAR图像,一张作待配准图像,一张作为参考图像,并将两张图像输入到用于SAR图像精细配准的神经网络中;
[0022] (3c)采用后向传播算法对(2)构建的SAR图像精细配准的神经网络的权值进行更新,以减少Loss函数值;
[0023] (3d)重复步骤3b)和3c),直至SAR图像精细配准的神经网络的损失函数Loss收敛,得到训练好的SAR图像精细配准的神经网络模型;
[0024] (3e)将参考图像和需要待配准的图像一同输入到训练好的神经网络模型中,得到配准好的SAR图像。
[0025] 本发明与现有技术相比具有以下优点:
[0026] 1.本发明采用深度学习的方法,构建网络模型和损失函数,智能地实现了SAR图像的精细配准,能够校正SAR图像间的整体形变和局部畸变,提高了配准性能。
[0027] 2.本发明由于设计了一种适用于SAR图像配准的端到端神经网络模型,输入待配准的SAR图像和作为参考的SAR图像到该神经网络模型中,即可输出得到配准好的SAR图像,避免了传统复杂的特征描述子提取过程,简化了操作过程,加快了配准速度。附图说明
[0028] 图1是本发明的实现流程图
[0029] 图2是用本发明进行SAR图像配准的仿真结果图。

具体实施方式

[0030] 下面结合附图对本发明的实施例和效果做进一步描述。
[0031] 参照图1,本发明的实施步骤如下:
[0032] 步骤一,获取网络训练与测试的数据集。
[0033] 选取特定场景,对场景发射信号脉冲,信号反射后进入雷达接收机,根据SAR成像技术,获取多幅从不同视角观测到的同一场景SAR图像,由这些图像组成数据集:其中 表示获取的第i张大小为m×n的图片,N表
示图片总数。
[0034] 步骤二,构建用于SAR图像精细配准的神经网络模型。
[0035] 该网络由用于校正SAR图像间的整体形变的子卷积神经网络和用于校正SAR图像间局部形变的子残差神经网络依次组成。
[0036] 2a)构建校正SAR图像间的整体形变的子卷积神经网络,该网络依次由八个卷积层和一个全局平均池化层组成,前七层卷积层输出特征图个数分别为32、64、128、256、256、256、256,卷积核尺寸分别为7×7、5×5、3×3、3×3、3×3、3×3、3×3,步长均为2×2,激活函数是ReLU函数,第8层卷积层的输出特征图个数为3,卷积核尺寸均为3×3,步长均为2×
2,激活函数是线性函数;全局平均池化层对每个特征图中所有值进行平均,得到三个输出值,分别对应图像间几何形变的水平平移量、垂直平移量和旋转角度,根据这三个输出值采用二次线性插值法对待配准图像的进行全局校正;
[0037] 2b)构建校正SAR图像间局部形变的子残差神经网络,该网络依次由八个卷积层和四个反卷积层组成,前四层卷积层输出特征图个数分别为32、64、128、256,卷积核尺寸分别为7×7、5×5、3×3、3×3,步长均为2×2,激活函数是ReLU函数,紧接着的四层卷积层输出特征图个数均为256,卷积核尺寸均为3×3,步长均为1×1,激活函数是ReLU函数,之后的三个反卷积层的输出特征图个数分别为256、128、64,卷积核尺寸分别为3×3、3×3、5×5,步长均为2×2,激活函数是ReLU函数,最后的一个反卷积层的输出特征图个数为1,卷积核尺寸均为7×7,步长为2×2,激活函数是Tanh函数。该网络的输出结果简记为u,表示两幅图像间对应像素值的偏移量,根据该偏移量采用二次线性插值法对经过用于校正SAR图像间的整体形变的子卷积神经网络校正后的图像进行局部畸变校正。
[0038] 步骤三,构造用于SAR图像精细配准的神经网络的损失函数Loss;
[0039] 3a)构造用于校正SAR图像间的整体形变的子卷积神经网络损失函数lossglo:
[0040] (3a1)将待配准图像与参考图像y输入到子卷积神经网络,得到第一校正图像x,根据第一校正图像x和参考图像y的像素相似性,以1-范数作为像素相似性衡量标准构造||x-y||1函数,函数值越大,则像素相似性越差;
[0041] (3a2)根据第一校正图像x和参考图像y的结构相似性,选择结构相似性函数SSIM(·)作为结构相似性衡量标准构造(1-SSIM(x,y))函数,函数值越大,则结构相似性越差;
[0042] (3a3)将(3a1)与(3a2)中构造的函数相加,得到损失函数:
[0043] lossglo=||x-y||1+(1-SSIM(x,y))
[0044] 其中,||·||1表示1-范数,SSIM(·)是结构相似性函数;
[0045] 3b)构造用于校正SAR图像间的局部形变的子残差神经网络的损失函数lossloc:
[0046] (3b1)将第一校正图像x输入到子残差神经网络,得到第二校正图像x1,根据第二校正图像x1和参考图像y的像素相似性,以1-范数作为像素相似性衡量标准构造||x1-y||1,函数值越大,则像素相似性越差;
[0047] (3b2)根据第二校正图像x1和参考图像y的结构相似性,选择结构相似性函数SSIM(·)作为结构相似性衡量标准构造(1-SSIM(x1,y))函数,函数值越大,则结构相似性越差;
[0048] (3b3)根据残差神经网络输出的偏移量需要具有空间平滑性,空间平滑性体现在水平梯度与垂直梯度上,故构造函数 作为空间平滑性的衡量标准,函数值越大,则空间平滑度越差;
[0049] (3b4)将(3b1)、(3b2)与(3b3)中构造的函数相加,得到损失函数:
[0050]
[0051] 其中, 和 分别表示沿水平和沿垂直方向的偏导数。
[0052] 3c)将3a)中的用于校正SAR图像间的整体形变的子卷积神经网络损失函数lossglo和3b)中的用于校正SAR图像间的整体形变的子残差神经网络的损失函数lossloc相加,得到用于SAR图像精细配准的神经网络的损失函数Loss:
[0053] Loss=lossglo+lossloc。
[0054] 步骤四,利用(1)中的数据集Φ,训练(2)中构建的神经网络,得到训练好的网络模型。
[0055] 4a)从数据集Φ中随机抽取两张SAR图像,一张作待配准图像,一张作为参考图像,并将两张图像输入到用于SAR图像精细配准的神经网络中;
[0056] 4b)采用后向传播算法更新用于SAR图像精细配准的神经网络的权值;
[0057] 4c)设置学习率为0.0001,重复步骤4a)和4b),直至SAR图像精细配准的神经网络的损失函数Loss收敛,得到训练好的SAR图像精细配准的神经网络模型;
[0058] 步骤五,输入待配准的SAR图像和作为参考的SAR图像输入到训练好的网络模型中,得到配准好的SAR图像。
[0059] 本发明效果可通过以下仿真进一步说明:
[0060] 一.仿真条件:
[0061] 从数据集Φ中,随机抽取两幅图像如2(a)和2(b),并将2(a)作为参考的SAR图像,2(b)作为待配准的SAR图像;
[0062] 二.仿真过程:
[0063] 第一步,采用传统SAR-SIFT配准方法对2(a)和2(b)进行配准,其配准结果如图2(c)所示。
[0064] 第二步,用本发明的神经网络进行图像配准,其配准结果如图2(d)所示。
[0065] 第三步,将图2(a)与图2(c)两者对应像素值相减并取绝对值,结果如图2(e)。
[0066] 第四步,将图2(a)和图2(d)两者对应像素值相减并取绝对值,结果如图2(f)。
[0067] 从图2(e)和图2(f)两幅图像可以看到,本发明的基于深度学习的SAR图像精细配准方法,能够校正SAR图像间的整体形变和局部畸变,提高配准性能。
[0068] 以上描述仅是本发明的一个具体事例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈