技术领域
[0001] 本
发明属于
图像处理领域，具体涉及一种基于多尺度动态卷积神经网络的遥感图像融合方法及系统。
背景技术
[0002] 为了高效的利用和整合来自不同
传感器的图像，图像融合技术得到了飞速的发展，在民用、军事、医学、
计算机视觉等领域得到了广泛的应用。在图像融合技术中，多
光谱图像和全色图像的融合应用最为广泛。多光谱图像包含丰富的光谱信息，但是空间
分辨率低；而全色图像的空间细节丰富，但缺乏光谱信息，通过多光谱图像和全色图像的融合可以提高多光谱图像的空间分辨率，使其更好地运用于地表物体的识别检测以及其他应用。
[0003] 传统的图像融合方法主要有以下三种：成分替换法、多分辨率分析法和稀疏表示法。成分替换法首先对低分辨率多光谱图像进行某种空间变换，然后用高分辨全色图像替代变换后多光谱图像的结构分量，最后进行逆变换得到高分辨多光谱图像，该方法虽然简单快速，能获得较好的空间细节，但是有一定的光谱失真；多分辨率分析法的中心思想是在多光谱图像中注入由多分辨率分析所提取的全色图像的结构细节，该方法的光谱保持通常优于成分替换法，但融合图像的结构细节欠佳；稀疏表示法主要是构造或学习字典以及稀疏求解，该方法的融合结果受构造字典的影响，且稀疏求解效率低。
[0004] 现有的图像融合方法主要是基于
深度学习模型的方法，如PNN、PanNet和RSIFNN等，其中PNN方法参见文献Masi,Giuseppe,et al."Pansharpening by convolutional neural networks."Remote Sensing 8.7(2016):594，PanNet方法参见文献Yang,Junfeng,et al."PanNet:Adeep network architecture for pan-sharpening."Proceedings of the IEEE International Conference on Computer Vision.2017，RSIFNN方法参见文献Shao,Zhenfeng,and Jiajun Cai."Remote sensing image fusion with deep convolutional neural network."IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 11.5(2018):1656-1669；虽然相比传统的融合方法，融合效果有显著的提高，但是这些方法的网络自适应性不强，结构较简单，导致融合图像的光谱存在一定的扭曲，丢失了部分结构细节。为了使网络具有更好的泛化能
力，提升融合性能，基于深度学习模型的图像融合方法仍然需要不断的改进与创新。
发明内容
[0005] 本发明针对传统的基于卷积神经网络的遥感图像融合方法，
滤波器在训练后固定不变，自适应性差，导致融合图像细节丢失、光谱扭曲的问题，提供一种基于多尺度动态卷积神经网络的遥感图像融合方法及系统。
[0006] 一种基于多尺度动态卷积神经网络的遥感图像融合方法，包括以下步骤：
[0007] 步骤1：利用多尺度滤波器生成网络获取多尺度局部自适应动态滤波器；
[0008] 步骤2：利用多尺度局部自适应动态滤波器与全色图像进行多尺度动态卷积；
[0009] 步骤3：利用权重生成网络获得不同尺度的权重，并将权重与对应的尺度的动态卷积结果进行相乘，获得全色图像在不同尺度的细节特征；
[0010] 步骤4：重构融合图像；
[0011] 利用不同尺度的细节特征在通道维进行拼接后，将拼接结果依次通过两个不同大小的卷积层，得到最终细节；最后将最终细节与低分辨率多光谱图像相加，获得融合图像。
[0012] 进一步地，所述多尺度局部自适应动态滤波器是利用低分辨率多光谱图像和全色图像在通道维拼接后，将拼接后的结果输入多尺度滤波器生成网络中获得；
[0013] 其中，所述多尺度滤波器生成网络包括依次连接的1个3×3的卷积层、4个残差模
块、1个3×3的卷积层和1个1×1的卷积层，再连接4个不同通道数的1×1卷积层和矩阵维数变换模块；
[0014] 所述残差模块包括1个3×3的卷积层和1个1×1的卷积层，输入残差模块的数据依次经过1个3×3的卷积层和1个1×1的卷积层的处理后，再与输入残差模块的数据进行相加，得到残差模块的输出数据；
[0015] 所述矩阵维数变换模块是指将输入矩阵维数变换模块的矩阵维度由四维转换为五维；
[0016] 所述4个不同通道数的1×1卷积层的通道数为Cs，Cs＝ks×ks×M，ks表示第s个尺度的动态卷积滤波器的大小，s＝1，2，3，4。
[0017] 多尺度滤波器生成网络对每个输入图像在每个
像素位置动态产生滤波器，提高了网络的自适应能力，网络中的残差模块不仅提高了各残差块之间的信息流通，也有效的避免了网络深度增加所引起的退化问题和梯度消失问题；普通滤波通过同一滤波器平移实现，局部自适应动态滤波是在输入图像的不同位置自适应采用不同滤波器。
[0018] 利用多尺度动态卷积来提取不同尺度的细节特征，提高了网络的特征提取能力，得到了更高效、更精确的特征图像。
[0019] 进一步地，所述矩阵维数变换模块采用tensorflow的reshape函数实现；
[0020] 输入矩阵维数变换模块的矩阵维度大小为N×H×W×Cs，所述矩阵维数变换模块输出的矩阵维度大小为N×H×W×ks2×M；
[0021] 其中，N表示输入图像的批量大小，H和W表示待融合图像的高度和宽度，M为设定的动态卷积滤波器个数。
[0022] 批量大小是训练一次所取的图像数量，如批量大小为32时表明网络一次训练32组低分多光谱图像和全色图像，这里是指输入图像的批量，也就是低分多光谱图像和全色图像的批量。批量大小是卷积神经网络里一个基本的概念；此外，低分辨率多光谱图像，全色图像，融合图像的大小都相同；
[0023] 进一步地，ks×ks的取值依次为3×3、5×5、7×7、9×9，且M＝16。
[0024] 进一步地，所述权重生成网络包括依次连接的1个3×3卷积层、1个空洞卷积模块、1个3×3卷积层、1个空洞卷积模块、1个3×3卷积层和1个1×1卷积层；
[0025] 所述空洞卷积模块包括3个不同膨胀系数的空洞卷积层，输入空洞卷积模块的数据分别经过3个不同膨胀系数的空洞卷积层处理，将处理结果与输入空洞卷积模块的数据进行通道维拼接，得到空洞卷积模块的输出数据。
[0026] 权重生成网络产生自适应的权重调整各特征图在每个尺度细节特征中的比例关系，网络中采用的空洞卷积在不增加参数的情况下加大感受野，使得每个卷积输出都包含较大范围的信息。
[0027] 进一步地，所述3个不同膨胀系数的空洞卷积层的膨胀系数分别为1、2、4，且所述空洞卷积层滤波器的大小为3×3。
[0028] 进一步地，所述多尺度滤波器生成网络、权重生成网络以及重构融合图像中的卷积层的参数，是在利用训练集进行训练时，通过优化损失函数，使得损失函数达到最小时确定；
[0029] 其中，所述训练集包括多组低分辨率多光谱图像、全色图像和对应的高分辨率多光谱图像；所述损失函数是指将低分辨率多光谱图像、全色图像按照步骤1-步骤4得到的融合图像与对应的高分辨率多光谱图像之间的误差。
[0030] 进一步地，所述损失函数采用均方误差进行计算。
[0031] 进一步地，所述损失函数采用均方误差和光谱损失进行权重求和计算；
[0032]
[0033]
[0034] L＝L1+λL2
[0035] 其中，L1表示均方误差，L2表示光谱损失，L表示总的损失函数，Y表示将训练集中的低分辨率多光谱图像和全色图像按照步骤1-步骤4得到的融合图像，MS表示训练集中与Y对应的高分辨率多光谱图像，n、m、z表示空间向量坐标，λ表示一个常量，取值为0.8。
[0036] 一种基于多尺度动态卷积神经网络的遥感图像融合系统，包括：
[0037] 多尺度局部自适应动态滤波器构建单元：利用多尺度滤波器生成网络获取多尺度局部自适应动态滤波器；
[0038] 多尺度动态卷积单元：利用多尺度局部自适应动态滤波器与全色图像进行多尺度动态卷积；
[0039] 细节特征调整单元：利用权重生成网络获得不同尺度的权重，并将权重与对应尺度的动态卷积结果进行相乘，获得全色图像在不同尺度的细节特征；
[0040] 融合图像重构单元：利用不同尺度的细节特征在通道维进行拼接后，将拼接结果依次通过两个不同大小的卷积层，得到最终细节；最后将最终细节与低分辨率多光谱图像相加，获得融合图像。
[0041] 在所述的融合系统中，各单元模块的处理过程按照一种基于多尺度动态卷积神经网络的遥感图像融合方法进行图像
数据处理。
[0042] 有益效果
[0043] 相较于
现有技术，本发明提出的一种基于多尺度动态卷积神经网络的遥感图像融合方法及系统有以下显著优点：
[0044] 1.多尺度滤波器生成网络对每个输入图像在每个像素位置动态产生滤波器，提高了网络的自适应能力，网络中的残差模块不仅提高了各残差块之间的信息流通，也有效的避免了网络深度增加所引起的退化问题和梯度消失问题；传统卷积神经网络使用的滤波器在训练中学习，在实际融合中保持不变，而动态卷积使用的滤波器在实际融合时会根据输入的不同而自适应变化，局部自适应动态滤波是将不同的滤波器应用在输入图像的不同位置进行的。
[0045] 2.利用多尺度动态卷积来提取不同尺度的细节，提高了网络的特征提取能力，得到了更精确的图像细节。
[0046] 3.权重生成网络产生自适应的的权重调整各特征图在每个尺度细节特征中的比例关系，网络中采用的空洞卷积在不增加参数的情况下加大感受野，使得每个卷积输出都包含较大范围的信息。
附图说明
[0047] 图1为本发明实例所述方法的流程示意图；
[0048] 图2为本发明实例所述方法中的主要网络结构示意图，其中，图2(a)为多尺度滤波器生成网络结构图，图2(b)为权重生成网络结构图；
[0049] 图3是模拟图像实验中不同融合方法对GeoEye1卫星图像的融合结果示意图，其中，图3(a)为低分辨率多光谱图像，图3(b)为全色图像，图3(c)为高分辨率多光谱参考图像，图3(d)为NMRA方法融合图像，图3(e)为GLP方法融合图像，图3(f)为PanNet方法融合图像，图3(g)为Target-PNN方法融合图像，图3(h)为RSIFNN方法融合图像，图3(i)为应用本发明实例所述方法融合图像；
[0050] 图4是模拟图像实验中不同融合方法对QuickBird卫星图像的融合结果示意图，其中，图4(a)为低分辨率多光谱图像，图4(b)为全色图像，图4(c)为高分辨率多光谱参考图像，图4(d)为NMRA方法融合图像，图4(e)为GLP方法融合图像，图4(f)为PanNet方法融合图像，图4(g)为Target-PNN方法融合图像，图4(h)为RSIFNN方法融合图像，图4(i)为应用本发明实例所述方法融合图像；
[0051] 图5是实际图像实验中不同融合方法对GeoEye1卫星图像的融合结果示意图，其中，图5(a)为低分辨率多光谱图像，图5(b)为全色图像，图5(c)为NMRA方法融合图像，图5(d)为GLP方法融合图像，图5(e)为PanNet方法融合图像，图5(f)为Target-PNN方法融合图像，图5(g)为RSIFNN方法融合图像，图5(h)为应用本发明实例所述方法融合图像；
[0052] 图6是实际图像实验中不同融合方法对QuickBird卫星图像的融合结果示意图，其中，图6(a)为低分辨率多光谱图像，图6(b)为全色图像，图6(c)为NMRA方法融合图像，图6(d)为GLP方法融合图像，图6(e)为PanNet方法融合图像，图6(f)为Target-PNN方法融合图像，图6(g)为RSIFNN方法融合图像，图6(h)为应用本发明实例所述方法融合图像。
具体实施方式
[0053] 下面结合附图和
实施例对本发明作进一步详细的描述。
[0054] 如图1所示，本发明实例所述的一种基于多尺度动态卷积神经网络的遥感图像融合方法，具体实施步骤如下：
[0055] (1)将低分辨率多光谱图像和全色图像在通道维拼接后输入多尺度滤波器生成网络中获得多尺度局部自适应滤波器；多尺度滤波器生成网络结构如图2(a)所示，包括依次连接的一个3×3的卷积层、4个残差模块、一个3×3的卷积层和一个1×1的卷积层，再连接到4个不同通道数的1×1卷积层，这4个卷积层的通道数根据滤波器的大小和个数设置。最后利用tensorflow的reshape函数分别对4个不同通道数的1×1卷积后的结果进行矩阵维数变换，分别生成16个大小为3×3、5×5、7×7、9×9的滤波器。其中，残差模块包括1个3×3的卷积层和1个1×1的卷积层，输入残差模块的数据依次经过1个3×3的卷积层和1个1×1的卷积层的处理后，再与输入残差模块的数据进行相加，得到残差模块的输出数据，残差模块提高了信息流通，避免了由于网络过深所引起的梯度消失问题和退化问题；
[0056] (2)利用生成的4种尺度分别为3×3、5×5、7×7、9×9的滤波器与全色图像进行多尺度动态卷积，提取全色图像不同尺度的细节特征。局部动态卷积的滤波器根据输入中每个像素的位置在局部动态生成，单尺度动态卷积可表示为：
[0057]
[0058] 其中，Xy+j,x+i表示输入图像， 表示输入的滤波器，s表示尺度，v表示通道数，k表示滤波器的大小，y、x表示空间坐标， 表示动态卷积的结果；
[0059] (3)将动态卷积得到的结果D(1)、D(2)、D(3)、D(4)分别输入权重生成网络中生成矩阵大小与D(1)、D(2)、D(3)、D(4)相同的权重，然后将权重分别与D(1)、D(2)、D(3)、D(4)相乘，得到4个不同尺度的细节特征G(1)、G(2)、G(3)、G(4)；权重生成网络结构如图2(b)所示，包括依次连接的一个3×3卷积层、一个空洞卷积模块、一个3×3卷积层、一个空洞卷积模块、一个3×3卷积层和一个1×1卷积层；其中，空洞卷积模块包括3个膨胀系数分别为1、2、4的3×3空洞卷积层，输入空洞卷积模块的数据分别经过3个不同膨胀系数的空洞卷积层处理，将处理结果与输入空洞卷积模块的数据进行通道维拼接，得到空洞卷积模块的输出数据。其中单尺度细节特征可表示为：
[0060]
[0061] 其中， 表示权重生成网络所生成的权重， 表示得到的细节特征；
[0062] (4)重构融合图像；首先将得到的G(1)、G(2)、G(3)、G(4)在通道维拼接后，然后通过一个3×3的卷积层和一个1×1的卷积层得到最终的细节图像G，最后将G与低分辨率多光谱图像相加，得到融合图像。
[0063] 实施例
[0064] 本发明实例采用GeoEye1卫星和QuickBird卫星上的图像来检验提出的融合方法的实用性和有效性，其中多光谱图像包括红、绿、蓝、
近红外四个波段。本发明实例给出了模拟图像实验和实际图像实验，模拟实验中的图像通过对实际图像进行退化和下
采样得到。其中，模拟低分辨率多光谱图像还要对
下采样的图像进行上采样，实际图像实验中先对实际多光谱图像进行上采样，然后再与实际全色图像进行融合。
[0065] 实验中采用已配准好的全色图像和多光谱图像，本发明实例所述方法主要与NMRA、GLP两种传统融合方法和PanNet、RSIFNN、Target-PNN三种深度学习方法进行比较。
[0066] 模拟图像实验效果分析：
[0067] 图3(a)、3(b)和4(a)、4(b)分别为GeoEye1和QuickBird的低分辨率多光谱图像和全色图像，图3(c)和图4(c)为高分辨率多光谱参考图像，图3(d)～(h)和图4(d)～(h)为两个卫星的对比方法融合结果图，图3(i)和图4(i)为本发明实例所提出方法的融合结果图。与高分辨率多光谱参考图像相比，图3(d)～(e)有一定的细节丢失，由图3(i)可以看出本发明实例所述方法的光谱保持较好。图4(d)～(f)和图4(h)的融合图像较模糊，细节丢失严重，图4(i)可以看出本发明实例所述方法细节保存比较好。由融合图像可直观的看出本发明实例所述方法的融合图像与高分辨率多光谱参考图像差异较小，光谱保持和细节注入均较好。
[0068] 通过对融合图像的分析，可以对融合结果有一个直观的认识，本发明还通过客观评价指标来进一步评估图像融合结果。本发明实例所述方法通过Q(通用图像
质量指标)、SAM(光谱
角映射)、SCC(空间相关系数)、ERGAS(相对整体维数综合误差)、Q4(4波段图像融合质量评价指标)这五项指标来对融合结果进行评估。其中SAM和ERGAS的最优值为0，Q、SCC和Q4的最优值为1。不同方法融合结果的客观评价指标如表1、表2所示，由表1和表2可看出，本发明实例所述方法在GeoEye1卫星和QuickBird卫星上的各项指标都优于其它方法。其中，与高分辨率多光谱参考图像的光谱和空间信息的相关程度远远高于传统融合方法。
[0069] 表1 GeoEye1遥感图像融合结果客观评价指标
[0070]
[0071] 表2 QuickBird遥感图像融合结果客观评价指标
[0072]
[0073] 实际图像融合效果分析：
[0074] 图5(a)、5(b)和图6(a)、6(b)分别为GeoEye1和QuickBird的低分辨率多光谱图像和全色图像，图5(c)～(f)和图6(c)～(f)为两个卫星的对比方法融合结果图，图5(h)和图5(h)为本发明实例所述方法的融合结果图。与低分辨率多光谱图像进行比较，图5(c)和图5(d)的细节结构欠佳，图5(e)～(g)的光谱保持没有本发明实例所述方法好。图6(d)、6(e)和6(g)有明显的细节丢失，图6(c)和图6(f)的植被部分的光谱和细节没有本发明方法图6(h)好。本发明实例所述方法在保持光谱信息的同时很好的注入了空间细节，达到了较好的融合效果。
[0075] 由于实际融合过程中，没有高分辨率多光谱参考图像，本发明实例所述方法采用无参考图像的客观指标来评估融合结果。主要指标有QNR(质量无参考指标)、Dλ(光谱扭曲度)、Ds(空间扭曲度)。Dλ评价融合图像的光谱扭曲程度，Ds评价融合图像的空间细节丢失程度，QNR是结合Dλ和Ds的一个综合性指标，最优值为1，Dλ和Ds的最优值为0。表3和表4是不同融合方法在两个卫星图像上的融合结果客观评价指标。在GeoEye1卫星和QuickBird卫星上的实验，本发明实例所述方法的Dλ指标和Ds指标都最小，而且本发明实例所述方法的综合指标QNR最优，实现了较好的光谱保持和空间细节注入。
[0076] 表3 GeoEye1遥感图像融合结果客观评价指标
[0077]
[0078] 表4 QuickBird遥感图像融合结果客观评价指标
[0079]
[0080] 一种基于多尺度动态卷积神经网络的遥感图像融合系统，包括：
[0081] 多尺度局部自适应动态滤波器构建单元：利用多尺度滤波器生成网络获取多尺度局部自适应动态滤波器；
[0082] 多尺度动态卷积单元：利用多尺度局部自适应动态滤波器与全色图像进行多尺度动态卷积；
[0083] 细节特征调整单元：利用权重生成网络获得不同尺度的权重，并将权重与对应的尺度的动态卷积结果进行相乘，获得全色图像在不同尺度的细节特征；
[0084] 融合图像重构单元：利用不同尺度的细节特征在通道维进行拼接后，将拼接结果依次通过两个不同大小的卷积层，得到最终细节；最后将最终细节与低分辨率多光谱图像相加，获得融合图像。
[0085] 在所述的融合系统中，各单元模块的处理过程按照一种基于多尺度动态卷积神经网络的遥感图像融合方法进行图像数据处理。
[0086] 应当理解，本发明各个实施例中的功能单元模块可以集中在一个处理单元中，也可以是各个单元模块单独物理存在，也可以是两个或两个以上的单元模块集成在一个单元模块中，可以采用
硬件或
软件的形式来实现。
[0087] 最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行
修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的
权利要求保护范围之内。
