专利汇可以提供基于轻量化语义分割网络的遥感图像地物分类方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于轻量化语义分割网络的遥感图像地物分类方法,主要解决现有方法由于 图像空间 和通道特征信息利用不足且模型庞大,而导致的对遥感图像地物分类 精度 不高、训练速度较慢的问题。其方案为:在遥感图像地物分类数据集中获取训练样本和测试样本;构建引入可拓宽通道分解空洞卷积的轻量化遥感图像地物分类模型,设计关注地物边缘的整体损失函数;将训练样本输入到所构建的地物分类模型中训练,得到训练好的模型;将测试样本输入训练好的模型中,预测输出遥感图像中地物分类结果。本发明提升了特征的表达能 力 ,减少了网络参数,提高了遥感图像地物分类的平均精度和训练速度,可用于获取一幅遥感图像的地物分布情况。,下面是基于轻量化语义分割网络的遥感图像地物分类方法专利的具体信息内容。
1.一种基于轻量化语义分割网络的遥感图像地物分类方法,其特征在于,包括如下:
(1)将输入的遥感图像划分为训练样本和测试样本:
对输入的遥感数据集进行可交叠地切图,划分为N个大小为H×H的图像块,并从N个图像块中随机选取80%的图像块作为训练样本,其余的图像块作为测试样本,N≥60,H≥500;
(2)构建引入可拓宽通道分解空洞卷积的轻量化遥感图像地物分类模型:
(2a)将输入遥感图像经过多个下采样和多个可拓宽通道分解空洞卷积,得到编码器特征F;
(2b)用注意力金字塔网络APN作为解码器网络,将编码器特征F输入到该解码器网络中,得到三路特征图F1、F2、F3;
(2c)根据三路特征图F1、F2、F3得到预测图Q;
(3)针对标签图地物边缘标记模糊的特点,设计轻量化语义分割网络的损失函数L:
(3a)将原标签图进行标签平滑和高斯滤波处理得到新的标签图P;
(3b)根据标签图P和预测图Q的信息熵差值,构造损失函数L;
(4)对(2)构建的轻量化遥感图像地物分类模型进行训练:
(4a)设初始学习率baselr为0.0005,当前学习率计算公式为:lr=baselr×(1-iter/maxiter)0.9,其中lr是当前的学习率,iter是当前迭代轮数,maxiter是最大迭代轮数。优化器使用Adam,最大迭代轮数设为300,随机初始化模型参数;
(4b)将训练样本输入到构建的轻量化遥感图像地物分类模型中,使用优化器Adam优化(3b)中的损失函数L,更新轻量化遥感图像地物分类模型的权重参数,当训练轮数达到300时,得到训练好的轻量化遥感图像地物分类模型;
(5)将测试样本输入到训练好的轻量化遥感图像地物分类模型中,预测输出测试样本中各像素所属的地物种类,得到遥感图像的地物分类结果。
2.根据权利要求1所述的方法,其特征在于,(2a)中所述的将输入遥感图像经过多个下采样和多个可拓宽通道分解空洞卷积得到编码器特征F,其实现如下:
(2a1)输入图像I经过第一个下采样层D1执行步长均为2的3×3卷积和2×2最大池化操作,并将这两个操作得到的特征图进行通道维度上的拼接,得到通道维度为C>30的第一个特征图T1;
(2a2)第一个特征图T1依次经过K1~K3这三个可拓宽通道分解空洞卷积,得到通道维度为C的第二个特征图T2;
(2a3)第二个特征图T2经过第二个下采样层D2执行步长均为2的3×3卷积和2×2最大池化操作,并将这两个操作得到的特征图进行通道维度上的拼接,得到通道维度为2C的第三个特征图T3;
(2a4)第三个特征图T3依次经过K4、K5这两个可拓宽通道分解空洞卷积,得到通道维度为2C的第四个特征图T4;
(2a5)第四个特征图T4经过第三个下采样层D3执行步长均为2的3×3卷积和2×2最大池化操作,并将这两个操作得到的特征图进行通道维度上的拼接,得到通道维度为4C的第五个特征图T5;
(2a6)第五个特征图T5依次经过K6~K13这八个可拓宽通道分解空洞卷积,得到通道维度为4C的第六个特征图T6,T6即为编码器特征F。
3.根据权利要求2所述的方法,其特征在于,其中所述K1~K5这五个可拓宽通道分解空洞卷积的结构相同,每个可拓宽通道分解空洞卷积均将其输入参数在通道维度上均分成两个分支,第一个分支依次经过3×1卷积、1×3卷积、空洞率为1的3×1空洞卷积、空洞率为1的1×3空洞卷积,得到一个卷积特征;第二个分支依次经过1×3卷积、3×1卷积、空洞率为1的1×3空洞卷积、空洞率为1的3×1空洞卷积,得到另一个卷积特征,将这两个卷积特征在通道维度上进行拼接并与输入参数求和,输出中间特征或特征图,其中K1、K2输出通道维度为C的中间特征,K3输出通道维度为C的特征图;K4输出通道维度为2C的中间特征,K5输出通道维度为2C的特征图。
4.根据权利要求2所述的方法,其特征在于,其中所述K6~K11这六个可拓宽通道分解空洞卷积的结构相似,其均将输入参数在通道维度上均分成十个分支,第一个分支依次经过3×1卷积、1×3卷积、空洞率为d的3×1空洞卷积、空洞率为d的1×3空洞卷积,得到一个卷积特征;第二个分支依次经过1×3卷积、3×1卷积、空洞率为d的1×3空洞卷积、空洞率为d的3×1空洞卷积,得到另一个卷积特征;第3~10个分支均依次经过3×3卷积和空洞率为d的3×3空洞卷积得到其他八个卷积特征,将这八个卷积特征求和并与前两个卷积特征在通道维度上进行拼接,再与输入参数进行求和,输出通道维度为4C的中间特征,其中K6的空洞率为1,K7的空洞率为2,K8的空洞率为5,K9的空洞率为9,K10的空洞率为2,K11的空洞率为
5。
5.根据权利要求2所述的方法,其特征在于,其中所述K12~K13这两个可拓宽通道分解空洞卷积的结构与K1相似,仅空洞率有所不同,其中K12的空洞率为9,输出通道维度为4C的中间特征,K13的空洞率为17,输出通道维度为4C的特征图,该特征图即为编码器特征F。
6.根据权利要求2所述的方法,其特征在于,(2a2)中第一个特征图T1依次经过K1~K3这三个可拓宽通道分解空洞卷积,得到通道维度为C的第二个特征图T2,其实现如下:
(2a2.1)第一个特征图T1通过第一个可拓宽通道分解空洞卷积K1,在其两个分支上分别得到第一个卷积特征A1和第二个卷积特征A2,将A1和A2这两个卷积特征在通道维度上进行拼接并与T1求和,输出通道维度为C的第一中间特征Z1;
(2a2.2)K1输出的中间特征Z1经过第二个可拓宽通道分解空洞卷积K2,在其两个分支上分别输出第三个卷积特征A3和第四个卷积特征A4,将这两个卷积特征A3和A4在通道维度上进行拼接并与第一中间特征Z1求和,输出通道维度为C的第二中间特征Z2;
(2a2.3)K2输出的中间特征Z2经过第三个可拓宽通道分解空洞卷积K3,在其两个分支上分别输出第五个卷积特征A5和第六个卷积特征A6,将这两个卷积特征A5和A6在通道维度上进行拼接并与第二中间特征Z2求和,输出通道维度为C的第二个特征图T2。
7.根据权利要求2所述的方法,其特征在于,(2a4)中第三个特征图T3依次经过K4、K5这两个可拓宽通道分解空洞卷积,得到通道维度为2C的第四个特征图T4,其实现如下:
(2a4.1)第三个特征图T3经过第四个可拓宽通道分解空洞卷积K4,在其两个分支上分别输出第七个卷积特征A7和第八个卷积特征A8,将这两个卷积特征A7和A8在通道维度上进行拼接并与T3求和,输出通道维度为2C的第三中间特征Z3;
(2a4.2)K4输出的中间特征Z3经过第五个可拓宽通道分解空洞卷积K5,在其两个分支上分别输出第九个卷积特征A9和第十个卷积特征A10,将这两个卷积特征A9和A10在通道维度上进行拼接并与Z3求和,输出通道维度为2C的第四个特征图T4。
8.根据权利要求2所述的方法,其特征在于,(2a6)中第五个特征图T5依次经过K6~K13这八个可拓宽通道分解空洞卷积,得到通道维度为4C的第六个特征图T6,其实现如下:
(2a6.1)第五个特征图T5经过第六个可拓宽通道分解空洞卷积K6,在其十个分支上分别输出第11~20个卷积特征A11~A20,将A13~A20求和并与A11和A12在通道维度上进行拼接,再与T5求和,输出通道维度为4C的第四中间特征Z4;
(2a6.2)K6输出的中间特征Z4经过第七个可拓宽通道分解空洞卷积K7,在其十个分支上分别输出第21~30个卷积特征A21~A30,将A23~A30求和并与A21和A22在通道维度上进行拼接,再与Z4求和,输出通道维度为4C的第五中间特征Z5;
(2a6.3)K7输出的中间特征Z5经过第八个可拓宽通道分解空洞卷积K8,在其十个分支上分别输出第31~40个卷积特征A31~A40,将A33~A40求和并与A31和A32在通道维度上进行拼接,再与Z5求和,输出通道维度为4C的第六中间特征Z6;
(2a6.4)K8输出的中间特征Z6经过第九个可拓宽通道分解空洞卷积K9,在其十个分支上分别输出第41~50个卷积特征A41~A50,将A43~A50求和并与A41和A42在通道维度上进行拼接,再与Z6求和,输出通道维度为4C的第七中间特征Z7;
(2a6.5)K9输出的中间特征Z7经过第十个可拓宽通道分解空洞卷积K10,在其十个分支上分别输出第51~60个卷积特征A51~A60,将A53~A60求和并与A51和A52在通道维度上进行拼接,再与Z7求和,输出通道维度为4C的第八中间特征Z8;
(2a6.6)K10输出的中间特征Z8经过第十一个可拓宽通道分解空洞卷积K11,在其十个分支上分别输出第61~70个卷积特征A61~A70,将A63~A70求和并与A61和A62在通道维度上进行拼接,再与Z8求和,输出通道维度为4C的第九中间特征Z9;
(2a6.7)K11输出的中间特征Z9经过第十二个可拓宽通道分解空洞卷积K12,在其两个分支上分别输出71~72个卷积特征A71~A72,将这两个卷积特征A71和A72在通道维度上进行拼接并与Z9求和,输出通道维度为4C的第十中间特征Z10;
(2a6.8)K12输出的中间特征Z10经过第十三个可拓宽通道分解空洞卷积K13,在其两个分支上分别输出73~74个卷积特征A73~A74,将这两个卷积特征A73和A74在通道维度上进行拼接并与Z10求和,输出通道维度为4C的第六个特征图T6,T6即为编码器特征F。
9.根据权利要求1所述的方法,其特征在于,(2b)中用注意力金字塔网络APN作为解码器网络,将编码器特征F输入到该解码器网络中,得到三路特征图F1、F2、F3,其实现如下:
(2b1)编码器特征F依次经过三个注意力卷积模块Conv1、Conv2、Conv3,得到(H/8)×(H/8)×1的第一路特征图F1;
(2b2)编码器特征F经过一个步长为1的1×1卷积层,得到(H/8)×(H/8)×5的第二路特征图F2;
(2b3)编码器特征F依次经过一个全局平均池化层、一个步长为1的1×1卷积层及上采样操作后,得到(H/8)×(H/8)×5的第三路特征图F3。
10.根据权利要求9所述的方法,其特征在于,(2b1)中编码器特征F依次经过三个注意力卷积模块Conv1、Conv2、Conv3,得到(H/8)×(H/8)×1的第一路特征图F1,其实现如下:
(2b1.1)编码器特征F输入到第一个注意力卷积模块Conv1,通过一个步长为2的7×7卷积,得到第一个注意力卷积特征B1,B1通过一个步长为1的7×7卷积,得到第二个注意力卷积特征B2;
(2b1.2)第一个注意力卷积特征B1输入到第二个注意力卷积模块Conv2,通过一个步长为2的5×5卷积,得到第三个注意力卷积特征B3,B3通过一个步长为1的5×5卷积,得到第四个注意力卷积特征B4;
(2b1.3)第三个注意力卷积特征B3输入到第三个注意力卷积模块Conv3,通过一个步长为2的3×3卷积,得到第五个注意力卷积特征B5,B5通过一个步长为1的3×3卷积,得到第六个注意力卷积特征B6;
(2b1.4)第六个注意力卷积特征B6经过上采样操作,使得其尺寸与第四个注意力卷积特征B4的尺寸一致,再与B4求和后得到第7个注意力卷积特征B7;B7经过上采样操作,使得其尺寸与第二个注意力卷积特征B2的尺寸一致,再与B2求和后得到第8个注意力卷积特征B8;B8再经过上采样操作得到尺寸为(H/8)×(H/8)×1的第一路特征图F1,该过程可由以下式子表示:
F1=Up(Up(Up(B6)+B4)+B2)
其中Up(·)表示上采样操作。
11.根据权利要求1所述的方法,其特征在于,(2c)根据三路特征图F1、F2、F3得到预测图Q,其实现如下:
(2c1)将第一路特征图F1与第二路特征图F2的五个通道分别点乘,并在通道维度上进行拼接,得到F1与F2的融合结果J;
(2c2)将(2c1)中得到的融合结果J与第三路特征图F3进行求和与上采样操作,得到预测图Q:
Q=Up(J+F3),
其中Up(·)表示上采样操作。
12.根据权利要求1所述的方法,其特征在于,(3a)将原标签图进行标签平滑和高斯滤波处理,得到新的标签图P,其实现如下:
(3a1)将原标签图由1通道以独热编码的形式映射为5通道标签图P1,每个通道对应一类地物,若原图某位置像素为第i类,则P1对应像素在第i个通道值为1,其它通道的该位置值为0,其中i=0,1,2,3,4;
(3a2)对P1进行标签平滑,即将P1中值为1的位置重新赋值为0.9,值为0的位置重新赋值为(1-0.9)/(5-1)=0.025,得到平滑后的标签图P2;
(3a3)对P2使用3×3的滑动窗口进行高斯滤波,其标准差由opencv工具包中的cv2.GaussianBlur()函数根据3×3的高斯模板的尺寸来指定,经过此操作得到高斯滤波后的标签图P。
13.根据权利要求1所述的方法,其特征在于,(3b)中根据标签图P和预测图Q的信息熵差值,构造损失函数L,其实现如下:
(3b1)对(2c)中得到的Q进行softmax运算和对数运算处理,得到Q上每个像素的分类结果概率值Q(xi);
(3b2)计算预测图Q与标签图P之间的信息熵差值:
其中KLdiv_loss(Q,P)为KL散度损失,表示用概率分布Q来拟合真实分布P时产生的信息损失,n表示输入图像的总像素数,xi表示第i个像素点;
(3b3)用(3b2)中的信息熵差值KLdiv_loss(Q,P)作为本模型的损失函数L:
L=KLdiv_loss(Q,P)。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
用于水下目标检测的检测网络的方法 | 2020-05-12 | 640 |
基于候选框选择的深度学习遥感影像目标检测方法及装置 | 2020-05-12 | 117 |
一种基于时空约束的长时目标跟踪方法 | 2020-05-12 | 351 |
一种缓存系统和方法 | 2020-05-08 | 471 |
基于空基平台视觉监视的水域面积检测方法与装置 | 2020-05-11 | 240 |
图像精细化阴影区域分割系统、方法、装置 | 2020-05-08 | 213 |
一种指令集转换系统和方法 | 2020-05-08 | 734 |
双阶段语义词向量生成方法 | 2020-05-11 | 232 |
基于改进YOLOv3的快速车辆检测方法 | 2020-05-08 | 583 |
一种基于双时间尺度的主动配电网鲁棒无功优化方法 | 2020-05-12 | 946 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。