首页 / 专利库 / 图形技术 / 递归噪声 / 一种基于三维拟递归神经网络的高光谱图像降噪方法

一种基于三维拟递归神经网络的高光谱图像降噪方法

阅读:696发布:2020-05-08

专利汇可以提供一种基于三维拟递归神经网络的高光谱图像降噪方法专利检索,专利查询,专利分析的服务。并且本 发明 公开的一种基于三维拟 递归神经网络 的高 光谱 图像降噪方法,属于 图像处理 领域。本发明的一种基于三维拟递归神经网络的高光谱图像降噪方法:根据空间-光谱相关性和光谱全局相关性,构建以三维卷积和准递归 池化 及交替方向结构为核心的三维拟递归神经网络;通过降噪 训练数据 集训练三维拟递归神经网络;应用训练完毕的三维拟递归神经网络去除带噪高光谱图像中的复杂噪声。本发明能够高 质量 地完成高光谱图像降噪恢复,不仅能保证恢复结果具备空间、光谱保真性,大幅度提高光谱图像恢复的效率,而且能够用于任意光谱 分辨率 的成像系统采集的高光谱图像,扩展高光谱图像的应用范围。本发明可用于遥感成像、地质勘探、农业生产和 生物 医学领域。,下面是一种基于三维拟递归神经网络的高光谱图像降噪方法专利的具体信息内容。

1.一种基于三维拟递归神经网络的高光谱图像降噪方法,其特征在于:包括如下步骤:
步骤1:输入高光谱图像数据集,噪声模型类别与噪声模型参数,根据加性光谱退化模型生成由带噪高光谱图像和无噪高光谱图像对构成的降噪训练数据集;
步骤2:根据结构化的空间-光谱相关性与光谱全局相关性,在不损失光谱维度灵活性的前提下,构建三维拟递归神经单元;
步骤3:构建交替方向结构消除前向递归结构所引入的单向依赖性;
步骤4:在步骤2与步骤3构建的三维拟递归神经单元与交替方向结构的基础上,构建用于高光谱图像降噪的三维拟递归神经网络;
步骤5:针对步骤1构建的降噪训练数据集,对步骤4构建的三维拟递归神经网络设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代轮次,建立三维拟递归神经网络的训练目标函数,使用降噪训练数据集训练三维拟递归神经网络,得出带噪高光谱图像与无噪高光谱图像间的映射关系,并应用带噪高光谱图像与无噪高光谱图像间的映射关系完成从带噪高光谱图像Y到无噪高光谱图像X的降噪还原。
2.如权利要求1所述的一种基于三维拟递归神经网络的高光谱图像降噪方法,其特征在于:所述加性光谱退化模型表示高光谱图像采集时受到噪声污染的过程,所述的加性光谱退化模型如公式(1)所示:
Y=X+ε  (1)
公式(1)中 表示采集到的带噪高光谱图像,X表示无噪高光谱图像,ε
表示加性随机噪声。Y,X,ε的大小均为H×W×B,H×W表示图像的空间分辨率,B表示图像的光谱数;
加性随机噪声ε通过噪声模型生成,噪声模型类别包括高斯噪声、条带噪声、死线噪声、脉冲噪声以及混合噪声,噪声模型参数包括噪声强度、噪声占比,为了更好地针对高光谱图像采集过程中产生的多种不同类别的噪声,设定五种类型的噪声如下:
类型1:非独立同分布的高斯噪声,对于高光谱图像的不同谱带,生成不同噪声强度的零均值高斯噪声;
类型2:高斯噪声+条带噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取Sb%比率的光谱,在Sc比率的图像列中加入条带噪声;
类型3:高斯噪声+死线噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取Db%比率的光谱,在Dc比率的图像列中加入死线噪声;
类型4:高斯噪声+脉冲噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取Ib%比率的光谱,随机加入强度区间为[Imin,Imax]的脉冲噪声;
类型5:混合噪声,对于高光谱图像的每一个光谱,随机加入至少一种类型为1-4的噪声;
根据公式(1)及五种噪声设定将无噪高光谱图像数据集映射成对应的带噪高光谱图像数据,从而构建由带噪高光谱图像和无噪高光谱图像对构成的降噪训练数据集。
3.如权利要求1所述的一种基于三维拟递归神经网络的高光谱图像降噪方法,其特征在于:所述三维拟递归神经单元是三维拟递归神经网络的基本单元。构建宗旨是替代目前已有的基于二维卷积方法的基本单元,使得三维拟递归神经网络既能有效地利用结构化的空间-光谱相关性与光谱全局相关性,又能够兼顾光谱维度的灵活性,三维拟递归神经单元由三维卷积及拟递归池化两个子模组成,不同于二维卷积,两个子模块都不需要提前预设光谱维度,因此能够用于处理不同光谱分辨率的高光谱图像,三维卷积子模块使用两组具有不同卷积核及激活函数的三维卷积提取结构化的空间-光谱相关性;
三维卷积子模块的输出如公式(2)、公式(3)所示:
Z=tanh(Wz*I)  (2)
F=σ(Wf*I)  (3)
公式(2)、公式(3)中 表示当前层的输入特征图, 表示
输出的候选高维张量, 表示用于控制动态记忆功能的神经遗忘
表示不同的三维卷积核,*表示三维卷积操作,tanh表示双
曲正切非线性激活函数,σ表示S型非线性激活函数,Cin表示当前层输入通道数,Cout表示当前层输出通道数,Kh×Kw×Kb表示三维卷积核的大小;
拟递归池化子模块递归式地沿光谱维合并精炼三维卷积子模块所产生的输出特征,从而隐式地建模光谱的全局相关性,三维卷积子模块所产生的候选高维张量Z与神经遗忘门F首先沿着光谱维度分离,分别产生一系列的光谱状态zb与fb,之后将光谱状态zb与fb逐一输入到拟递归池化子模块中,拟递归池化子模块输出如公式(4)所示:
公式(4)中b表示光谱段序号,⊙表示逐元素相乘,hb-1表示由先前状态混合产生的隐状态,同时也表示当前层在第(b-1)个光谱段的输出,h0=0表示零状态,最终,由拟递归池化子模块输出的一系列隐状态沿着光谱维度级联,得出当前三维拟递归神经单元的输出。
4.如权利要求1所述的一种基于三维拟递归神经网络的高光谱图像降噪方法,其特征在于:所述交替方向结构通过交替使用正向和反向的拟递归池化消除单向依赖性,如公式(4)所示,正向的拟递归池化沿光谱维正向依次读入候选张量zb,即从z1到zB,这种单向结构使得隐状态hb取决于先前的光谱段[1,b],而与后续的光谱段[b+1,B]无关,为了消除这种单向依赖性,引入反向的拟递归池化,如公式(5)所示:
公式(5)输出的隐状态hb取决于光谱段[b,B],而与光谱段[1,b-1]无关,通过在三维拟递归神经网络中交替使用正向与反向的拟递归池化,在不增加处理量的情况下消除了单向依赖性,从而更有效地建模光谱的全局相关性。
5.如权利要求1所述的一种基于三维拟递归神经网络的高光谱图像降噪方法,其特征在于:所述三维拟递归神经网络以步骤2构建的三维拟递归神经单元与步骤3构建的交替方向结构为基本构造单元,采用残差编码器-残差解码器结构作为三维拟递归神经网络骨架,包括L对对称的三维拟递归神经单元,分别位于残差编码器与残差解码器的对称位置,同时,每一对的三维拟递归神经单元间都由跳跃连接相连,残差编码器使用D次降采样减小空间分辨率,残差解码器使用D次上采样恢复空间尺寸,从而增大了三维拟递归神经网络的感受野,减小了三维拟递归神经网络处理量,除了头部和尾部使用双向结构,三维拟递归神经网络主体本分使用交替方向结构消除单向依赖性,同时不增加额外的处理开销。
6.如权利要求1所述的一种基于三维拟递归神经网络的高光谱图像降噪方法,其特征在于:所述降噪训练数据集训练三维拟递归神经网络的目标函数如公式(6)所示:
公式(6)中f(Yk;θ)表示优化参数为θ的三维拟递归神经网络,Yk表示第k张输入的带噪高光谱图像,Xk表示Yk对应的无噪高光谱图像,K表示降噪训练数据集的图像对数量。

说明书全文

一种基于三维拟递归神经网络的高光谱图像降噪方法

技术领域

[0001] 本发明专利涉及一种基于三维拟递归神经网络的高光谱图像降噪方法,尤其涉及能够从复杂环境下采集的带噪高光谱图像中重建无噪高光谱图像的方法,属于图像处理领域。

背景技术

[0002] 高光谱图像记录了真实场景中每一个空间位置的离散光谱信息。相比于常见的彩色RGB图像,丰富的光谱细节能够反映更加丰富的场景信息,如场景的光照和材质,这使得高光谱图像被广泛应用于地质勘探、农业生产和生物医学领域。然而,由于每一个谱段的光强度有限,高光谱图像在采集过程中通常会受到如高斯噪声、条纹噪声、死线噪声以及脉冲噪声的影响,所带来的图像质量劣化会对后续的高光谱图像的应用产生严重的负面影响。因此,高光谱图像降噪是高光谱分析和处理的典型工作流程中必要的预处理步骤。
[0003] 近年来,更多的高光谱图像降噪工作开始关注并利用高光谱的领域知识,即结构化的空间-光谱相关性和光谱全局相关性。表现最佳的基于模型的方法通常利用非局部低秩张量分解对其进行建模。尽管这类方法通过有效地考虑光谱基本特征而获得了更高的准确度,它们的性能受限于模型构建的先验与高光谱图像的本质特征的匹配程度。而事实上,这些模型构建的先验无法准确的表示真实世界不同场景的光谱数据。此外,基于模型的方法通常需要迭代求解复杂的优化问题,这也使得整个降噪过程异常耗时。
[0004] 另一方面,基于学习的方法依赖卷积神经网络来替代代价高昂的优化和模型构建的先验方法。尽管有效提高了降噪的效率,这类方法由于使用可学习的多通道或逐通道的二维卷积来对高光谱进行建模,从而无法同时兼顾处理任意维度的光谱的灵活性与建模全局光谱相关性的能。当训练时所使用的光谱数据维度与测试时使用的数据维度不一致时,前者就必须要重新训练神经网络模型。而后者,由于缺乏全局光谱相关性的表征能力,往往在性能上次于基于模型的方法。模型表征能力与光谱维度的灵活性的取舍权衡对这类方法在真实世界的应用构成了根本上的限制。

发明内容

[0005] 本发明的目的是提出一种基于三维拟递归神经网络的高光谱图像降噪方法,通过构建一种三维拟递归神经网络,既能有效利用高光谱图像的领域知识,又能够灵活处理由光谱成像系统所采集的不同光谱分辨率的高光谱图像,解决模型表征能力与光谱维度灵活性的折衷问题,进而实现复杂环境下采集的高光谱图像的降噪保真,提升高光谱图像降噪效果。
[0006] 本发明的目的是通过下述技术方案实现的:
[0007] 本发明公开的一种基于三维拟递归神经网络的高光谱图像降噪方法,应用于光谱成像系统在复杂环境下采集的带噪高光谱图像上,使用以三维卷积和准递归池化及交替方向结构为核心的三维拟递归神经网络来重建高光谱图像;利用空间-光谱相关性和光谱全局相关性去除带噪高光谱图像中的噪声。
[0008] 本发明公开的一种基于三维拟递归神经网络的高光谱图像降噪方法,包括以下步骤:
[0009] 步骤1:输入高光谱图像数据集,噪声模型类别与噪声模型参数,根据加性光谱退化模型生成由带噪高光谱图像和无噪高光谱图像对构成的降噪训练数据集。
[0010] 加性光谱退化模型表示高光谱图像采集时受到噪声污染的过程,加性光谱退化模型如公式(1)所示:
[0011] Y=X+ε  (1)
[0012] 公式(1)中 表示采集到的带噪高光谱图像,X表示无噪高光谱图像,ε表示加性随机噪声,Y,X,ε的大小均为H×W×B,H×W表示高光谱图像的空间分辨率,B表示高光谱图像的光谱数。
[0013] 加性随机噪声ε通过噪声模型生成,噪声模型类别包括高斯噪声、条带噪声、死线噪声、脉冲噪声以及混合噪声,噪声模型参数包括噪声强度、噪声占比,为了更好地针对高光谱图像采集过程中产生的多种不同类别的噪声,设定五种类型的噪声如下:
[0014] 类型1:非独立同分布的高斯噪声,对于高光谱图像的不同谱带,生成不同噪声强度的零均值高斯噪声;
[0015] 类型2:高斯噪声+条带噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取Sb%比率的光谱,在Sc比率的图像列中加入条带噪声;
[0016] 类型3:高斯噪声+死线噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取Db%比率的光谱,在Dc比率的图像列中加入死线噪声;
[0017] 类型4:高斯噪声+脉冲噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取Ib%比率的光谱,随机加入强度区间为[Imin,Imax]的脉冲噪声;
[0018] 类型5:混合噪声,对于高光谱图像的每一个光谱,随机加入至少一种类型为1-4的噪声;
[0019] 根据公式(1)及五种噪声设定将无噪高光谱图像数据集映射成对应的带噪高光谱图像数据,从而构建由带噪高光谱图像和无噪高光谱图像对构成的降噪训练数据集。
[0020] 步骤2:根据结构化的空间-光谱相关性与光谱全局相关性,在不损失光谱维度灵活性的前提下,构建三维拟递归神经单元。
[0021] 三维拟递归神经单元是三维拟递归神经网络的基本单元,构建宗旨是替代目前已有的基于二维卷积方法的基本单元,使得三维拟递归神经网络既能有效地利用结构化的空间-光谱相关性与光谱全局相关性,又能够兼顾光谱维度的灵活性。三维拟递归神经单元由三维卷积及拟递归池化两个子模组成。不同于二维卷积,两个子模块都不需要提前预设光谱维度,因此能够用于处理不同光谱分辨率的高光谱图像。三维卷积子模块使用两组具有不同卷积核及激活函数的三维卷积提取结构化的空间-光谱相关性。
[0022] 三维卷积子模块的输出如公式(2)、公式(3)所示:
[0023] Z=tanh(Wz*I)  (2)
[0024] F=σ(Wf*I)  (3)
[0025] 公式(2)、公式(3)中 表示当前层的输入特征图,表示输出的候选高维张量, 表示用于控制动态记忆功能的神经遗忘,表示不同的三维卷积核,*表示三维卷积操作,tanh表示双
曲正切非线性激活函数,σ表示S型非线性激活函数,Cin表示当前层输入通道数,Cout表示当前层输出通道数,Kh×Kw×Kb表示三维卷积核的大小。
[0026] 拟递归池化子模块递归式地沿光谱维合并精炼三维卷积子模块所产生的输出特征,从而隐式地建模光谱的全局相关性。三维卷积子模块所产生的候选高维张量Z与神经遗忘门F首先沿着光谱维度分离,分别产生一系列的光谱状态zb与fb。之后将光谱状态zb与fb逐一输入到拟递归池化子模块中,拟递归池化子模块输出如公式(4)所示:
[0027]
[0028] 公式(4)中b表示光谱段序号,⊙表示逐元素相乘,hb-1表示由先前状态混合产生的隐状态,同时也表示当前层在第(b-1)个光谱段的输出,h0=0表示零状态。最终,由拟递归池化子模块输出的一系列隐状态沿着光谱维度级联,得出当前三维拟递归神经单元的输出。
[0029] 至此,完成三维拟递归神经单元的构建。
[0030] 步骤3:构建交替方向结构消除前向递归结构所引入的单向依赖性。
[0031] 交替方向结构通过交替使用正向和反向的拟递归池化消除单向依赖性。如公式(4)所示,正向的拟递归池化沿光谱维正向依次读入候选张量zb,即从z1到zB。这种单向结构使得隐状态hb取决于先前的光谱段[1,b],而与后续的光谱段[b+1,B]无关。为了消除这种单向依赖性,引入反向的拟递归池化,如公式(5)所示:
[0032]
[0033] 公式(5)输出的隐状态hb取决于光谱段[b,B],而与光谱段[1,b-1]无关。通过在三维拟递归神经网络中交替使用正向与反向的拟递归池化,在不增加处理量的情况下消除了单向依赖性,从而更有效地建模光谱的全局相关性。
[0034] 步骤4:在步骤2与步骤3构建的三维拟递归神经单元与交替方向结构的基础上,构建用于高光谱图像降噪的三维拟递归神经网络。
[0035] 三维拟递归神经网络以步骤2构建的三维拟递归神经单元与步骤3构建的交替方向结构为基本构造单元,采用残差编码器-残差解码器结构作为三维拟递归神经网络骨架,包括L对对称的三维拟递归神经单元,分别位于残差编码器与残差解码器的对称位置,同时,每一对的三维拟递归神经单元间都由跳跃连接相连。残差编码器使用D次降采样减小空间分辨率,残差解码器使用D次上采样恢复空间尺寸,从而增大了三维拟递归神经网络的感受野,减小了三维拟递归神经网络处理量。除了头部和尾部使用双向结构,三维拟递归神经网络主体部分使用交替方向结构消除单向依赖性,同时不增加额外的处理开销。
[0036] 至此,完成三维拟递归神经网络的构造。
[0037] 步骤5:针对步骤1构建的降噪训练数据集,对步骤4构建的三维拟递归神经网络设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代轮次,建立三维拟递归神经网络的训练目标函数,使用降噪训练数据集训练三维拟递归神经网络。
[0038] 降噪训练数据集训练三维拟递归神经网络的目标函数如公式(6)所示:
[0039]
[0040] 公式(6)中f(Yk;θ)表示优化参数为θ的三维拟递归神经网络,Yk表示第k张输入的带噪高光谱图像,Xk表示Yk对应的无噪高光谱图像,K表示降噪训练数据集的图像对数量。
[0041] 通过优化目标函数公式(6)得到优化后的三维拟递归神经网络参数θ,完成三维拟递归神经网络在降噪训练数据集的训练,得到带噪高光谱图像与无噪高光谱图像的映射关系,并应用训练完毕的三维拟递归神经网络完成从带噪高光谱图像Y到无噪高光谱图像X的降噪还原,提高高光谱图像质量。
[0042] 使用图形处理器完成步骤5的三维拟递归神经网络训练和高光谱图像的去噪还原,并利用图形处理器加速库加快三维拟递归神经网络的运行速度。
[0043] 本发明的一种基于三维拟递归神经网络的高光谱图像降噪方法,能够完成高光谱图像降噪恢复,不仅能保证降噪结果具备空间、光谱保真性,大幅度提升高光谱图像降噪的效率,而且能够用于任意光谱分辨率的成像系统采集的高光谱图像,扩展高光谱图像的应用范围。本发明能够应用于遥感成像、地质勘探、农业生产和生物医学领域。
[0044] 有益效果:
[0045] 1、本发明公开的一种基于三维拟递归神经网络的高光谱图像降噪方法,使用以三维卷积和准递归池化及交替方向结构为核心的三维拟递归神经网络来重建高质量光谱图像,利用空间-光谱相关性和光谱全局相关性去除带噪高光谱图像中的复杂噪声,能够高质量地完成高光谱图像降噪恢复,提高光谱图像保真度。
[0046] 2、本发明公开的一种基于三维拟递归神经网络的高光谱图像降噪方法,通过建模高光谱图像采集过程中所产生的复杂噪声,生成降噪训练数据集训练三维拟递归神经网络,从而有效地去除复杂环境下采集的高光谱图像中的噪声。
[0047] 3、本发明公开的一种基于三维拟递归神经网络的高光谱图像降噪方法,无须提前设定输入高光谱图像的光谱维度,能够用于任意光谱分辨率的成像系统采集的高光谱图像,扩展高光谱图像的应用范围。
[0048] 4、本发明公开的一种基于三维拟递归神经网络的高光谱图像降噪方法,使用图形处理器进行三维拟递归神经网络优化训练及高光谱图像降噪恢复,能够大幅度提升高光谱图像降噪的效率。
[0049] 5、本发明公开的一种基于三维拟递归神经网络的高光谱图像降噪方法,高光谱图像降噪质量高,能够应用于遥感成像、地质勘探、农业生产和生物医学领域。附图说明
[0050] 图1是本发明中公开的一种基于三维拟递归神经网络的高光谱图像降噪方法的总流程图
[0051] 图2是本发明中公开的三维拟递归神经网络的基本单元,即三维拟递归神经单元;
[0052] 图3是本发明中公开的三维拟递归神经网络所使用的方向结构图,图3-a为单向结构图,图3-b为双向结构图,图3-c为交替方向结构图;
[0053] 图4是本发明中公开的三维拟递归神经网络的架构图;
[0054] 图5是本发明中公开的一种基于三维拟递归神经网络的高光谱图像降噪方法的效果图。

具体实施方式

[0055] 为了更好地说明本发明的目的和优点,下面结合附图和实例对发明内容做进一步说明。
[0056] 实施例1:
[0057] 一种基于三维拟递归神经网络的高光谱图像降噪方法,解决模型表征能力与光谱维度灵活性的折衷问题,构建三维拟递归神经网络,既能够有效利用高光谱的领域知识,提高光谱图像降噪质量,又能够灵活处理任意光谱成像系统所采集的不同光谱分辨率的高光谱图像,进而实现复杂环境下采集的高光谱图像的降噪保真,提升高光谱图像质量。
[0058] 实施例的硬件环境为:处理器为Inter i7 7700K;内存为16G;图形处理器为NVIDIA GTX1080Ti;显存为11G,CUDA8.0。实施例所用高光谱图像来自Indian Pines数据库和Urban数据库,Indian Pines的空间大小为145×145,Urban的空间大小为307×307。Indian Pines数据库由NASA于1992年在印第安那州西北部的上空遥感采集。Indian Pines数据库由224-光谱段的AVIRIS光谱系统采集。AVIRIS光谱系统由喷气动力实验室于1983年建造,主要用于识别、测量、监控地球表面/大气组分,理解、分析全球气候与环境的变化。
Urban数据库由NASA于1995年采集。Urban数据库由210-光谱段的HYDICE光谱系统采集。
HYDICE光谱系统建造于1994年,其目标在于为美国民事机构提供高质量的高光谱图像以服务于城市建设、农业生产等多种领域。由于当时高光谱系统硬件设备上的限制以及遥感环境的复杂性,Indian Pines数据库和Urban数据库的原始高光谱图像中存在显著的噪声,这也严重干扰了后续对高光谱图像的进一步分析。本发明的一种基于三维拟递归神经网络的高光谱图像降噪方法能有效地去除这些历史老旧高光谱图像中的噪声。
[0059] 如附图1所示,一种基于三维拟递归神经网络的高光谱降噪方法,包含以下步骤:
[0060] 步骤1:输入无噪高光谱图像数据集,噪声模型类别与噪声模型参数,根据加性光谱退化模型生成带噪高光谱图像和无噪高光谱图像对构成的降噪训练数据集。
[0061] 加性光谱退化模型如公式(1)所示,表示光谱采集时受到噪声污染的过程。
[0062] Y=X+ε  (1)
[0063] 公式(1)中 Y表示采集到的带噪高光谱图像,X表示原始的无噪高光谱图像,ε表示加性随机噪声,Y,X,ε的大小均为H×W×B,H×W表示图像的空间分辨率,B表示图像的光谱数。
[0064] 加性随机噪声ε由所述的噪声模型生成,噪声模型类别包括高斯噪声、条带噪声、死线噪声、脉冲噪声以及混合噪声,噪声模型参数包括噪声强度、噪声占比,为了更好地针对高光谱图像采集过程中产生的多种不同类别的噪声,定义五种类型的噪声设定如下:
[0065] 类型1:非独立同分布的高斯噪声,对于高光谱图像的不同光谱,生成不同噪声强度的零均值高斯噪声;
[0066] 类型2:高斯噪声+条带噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取1/3比率的光谱,在5%-10%比率的图像列中加入条带噪声;
[0067] 类型3:高斯噪声+死线噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取1/3比率的光谱,在5%-10%比率的图像列中加入死线噪声;
[0068] 类型4:高斯噪声+脉冲噪声,在类型1的非独立同分布的高斯噪声的基础上,随机选取1/3比率的光谱,随机加入强度区间为[10%,70%]的脉冲噪声;
[0069] 类型5:混合噪声,对于高光谱图像的每一个光谱,随机加入至少一种类型为1-4的噪声。
[0070] 根据公式(1)及五种噪声设定将无噪高光谱图像数据集映射成对应的带噪高光谱图像数据,从而构建由带噪高光谱图像和无噪高光谱图像对构成的降噪训练数据集。
[0071] 步骤2:如附图2所示,考虑结构化的空间-光谱相关性与光谱全局相关性,在不损失光谱维度灵活性的前提下,构建三维拟递归神经单元。
[0072] 三维拟递归神经单元是本发明所公开的三维拟递归神经网络的基本单元,构建宗旨是替代目前已有的基于二维卷积方法的基本单元,使得三维拟递归神经网络既能有效地利用结构化的空间-光谱相关性与光谱全局相关性,又能够兼顾光谱维度的灵活性。三维拟递归神经单元由三维卷积及拟递归池化两个子模块组成。不同于二维卷积,两个子模块都不需要提前预设光谱维度,因此能够用于处理不同光谱分辨率的高光谱图像。三维卷积子模块使用两组具有不同卷积核及激活函数的三维卷积提取结构化的空间-光谱相关性。
[0073] 三维卷积子模块的输出如公式(2)、公式(3)所示:
[0074] Z=tanh(Wz*I)  (2)
[0075] F=σ(Wf*I)  (3)
[0076] 公式(2)、公式(3)中 表示当前层的输入特征图,表示输出的候选高维张量, 表示用于控制动态记忆功能的神经遗忘门,表示不同的三维卷积核,*表示三维卷积操作,tanh表示双
曲正切非线性激活函数,σ表示S型非线性激活函数,Cin表示当前层输入通道数,在三维拟递归神经网络的第一层,I=Y,Cin=1,Cout表示当前层输出通道数,Kh×Kw×Kb表示三维卷积核的大小。
[0077] 拟递归池化子模块递归式地沿光谱维合并精炼三维卷积子模块所产生的输出特征,从而隐式地建模光谱的全局相关性,三维卷积子模块所产生的候选高维张量Z与神经遗忘门F首先沿着光谱维度分离,分别产生一系列的光谱状态zb与fb,之后将光谱状态zb与fb逐一输入到拟递归池化子模块中,拟递归池化子模块输出如公式(4)所示:
[0078]
[0079] 公式(4)中b表示光谱段序号,⊙表示逐元素相乘,hb-1表示由先前状态混合产生的隐状态,同时也表示当前层在第(b-1)个光谱段的输出,h0=0表示零状态,最终,由拟递归池化子模块输出的一系列隐状态沿着光谱维度级联,得出当前三维拟递归神经单元的输出。
[0080] 至此,完成三维拟递归神经单元的构建。
[0081] 步骤3:如附图3所示,为消除前向递归结构所引入的单向依赖性,在不引入额外处理量的情况下构建交替方向结构。
[0082] 交替方向结构通过交替使用正向和反向的拟递归池化消除单向依赖性。如公式(4)所示,正向的拟递归池化沿光谱维正向依次读入候选张量zb,即从z1到zB。这种单向结构使得隐状态hb取决于先前的光谱段[1,b],而与后续的光谱段[b+1,B]无关。为了消除这种单向依赖性,引入反向的拟递归池化,如公式(5)所示:
[0083]
[0084] 公式(5)输出的隐状态hb取决于光谱段[b,B],而与光谱段[1,b-1]无关。通过在三维拟递归神经网络中交替使用正向与反向的拟递归池化,在不增加处理量的情况下消除了单向依赖性,从而更有效地建模光谱全局的相关性。
[0085] 步骤4:如附图4所示,在步骤2构建的三维拟递归神经单元与步骤3构建的交替方向结构的基础上,构建用于高光谱图像降噪的三维拟递归神经网络。
[0086] 三维拟递归神经网络以步骤2构建的三维拟递归神经单元与步骤3构建的交替方向结构为基本构造单元,三维拟递归神经网络骨架采用残差编码器-残差解码器结构,包括L对对称的三维拟递归神经单元,分别位于残差编码器与残差解码器对称的位置上,同时,每一对的三维拟递归神经单元间都由跳跃连接相连。残差编码器使用两次降采样减小空间分辨率,残差解码器使用两次上采样恢复空间尺寸,从而增大了三维拟递归神经网络的感受野,减小了三维拟递归神经网络处理量。除了头部和尾部使用双向结构,三维拟递归神经网络主体使用交替方向结构消除单向依赖性,同时不增加额外的处理开销。
[0087] 至此,完成三维拟递归神经网络的构造。
[0088] 步骤5:针对步骤1构建的降噪训练数据集,对步骤4构建的三维拟递归神经网络设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代轮次,构建三维拟递归神经网络的训练目标函数,使用降噪训练数据集训练三维拟递归神经网络。
[0089] 使用降噪训练数据集训练三维拟递归神经网络的目标函数为:
[0090]
[0091] 公式(6)中f(Yk;θ)表示优化参数为θ的三维拟递归神经网络,Yk表示第k张输入的带噪高光谱图像,Xk表示Yk对应的无噪高光谱图像,K表示降噪训练数据集的高光谱图像对数量。
[0092] 通过优化目标函数公式(6)得到优化后的三维拟递归神经网络参数θ,完成三维拟递归神经网络在降噪数据集的训练,得到带噪高光谱图像与无噪高光谱图像的映射关系,并应用训练完毕的三维拟递归神经网络完成来自Indian Pines数据库和Urban数据库的高光谱图像的降噪还原,提高高光谱图像质量。
[0093] 本发明的一种基于三维拟递归神经网络的高光谱图像降噪方法对比其他方法处理带噪高光谱图像的降噪效果对比图如附图5所示。附图5-a和附图5-g为输入的带噪高光谱图像,附图5-b和附图5-h为LRMR方法的降噪效果图,附图5-c和附图5-i为LRTV方法的降噪效果图,附图5-d和附图5-j为LRTDTV方法的降噪效果图,附图5-e和附图5-k为HSID-CNN方法的降噪效果图,附图5-f和附图5-l为本发明的一种基于三维拟递归神经网络的高光谱图像降噪方法的降噪效果图。通过效果图对比可以得出,本发明的一种基于三维拟递归神经网络的高光谱图像降噪方法能有效地实现Indian Pines数据库和Urban数据库的历史老旧高光谱图像的降噪还原,恢复重建这些高光谱图像。
[0094] 本发明的一种基于三维拟递归神经网络的高光谱图像降噪方法能有效地去除带噪高光谱图像中复杂噪声,复原光谱曲线与高光谱图像细节,不仅能保证降噪结果具备空间、光谱保真性,大幅度提升高光谱图像降噪的效率,而且能够用于任意光谱分辨率的成像系统采集的高光谱图像,扩展高光谱图像的应用范围。本发明能够应用于遥感成像、地质勘探、农业生产和生物医学领域。
[0095] 以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈