基于农田图像的卷积神经网络构建方法及其系统专利检索-细化通道电脑图像专利检索查询-专利查询网

基于农田图像的 卷积神经网络构建方法及其系统

阅读：601发布：2020-05-12

专利汇可以提供基于农田图像的卷积神经网络构建方法及其系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于农田图像的卷积神经网络的构建方法，其包括如下步骤：获取至少一农田的一组农田图像；获取每一所述农田图像对应的一标准分割农田图像；将所述农田图像和对应的所述标准分割农田图像划分为一训练图像集和一测试图像集；以所述训练图像集中的所述农田图像和对应的所述标准分割农田图像作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及以所述测试图像集中的所述农田图像和对应的所述标准分割农田图像对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神经网络模型的参数进行优化。，下面是基于农田图像的卷积神经网络构建方法及其系统专利的具体信息内容。

权利要求

1.一种基于农田图像的卷积神经网络的构建方法，其特征在于，所述构建方法包括以下步骤：
101：获取至少一农田的一组农田图像；
102：获取每一所述农田图像对应的一标准分割农田图像；
103：将所述农田图像和对应的所述标准分割农田图像划分为一训练图像集和一测试图像集；
104：以所述训练图像集中的所述农田图像和对应的所述标准分割农田图像作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及
105：以所述测试图像集中的所述农田图像和对应的所述标准分割农田图像对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神经网络模型的参数进行优化。
2.根据权利要求1所述的基于农田图像的卷积神经网络的构建方法，在所述步骤102和所述步骤103之间进一步包括：
106：将每一所述农田图像和对应的所述标准分割农田图像转化为单通道灰度图像；和
107：分别对所述农田图像和对应的所述标准分割农田图像进行预处理，用于进行图像扩增处理，以增加图像的多样性。
3.根据权利要求1所述的基于农田图像的卷积神经网络的构建方法，在所述步骤101中进一步包括：
1011：获取所述至少一农田的至少一视频；
1012：按照帧数提取所述视频中的所述农田图像；以及
1013：剔除不满足预设条件的所述农田图像。
4.根据权利要求1所述的基于农田图像的卷积神经网络的构建方法，在所述步骤103中，将所述农田图像和对应的所述标准分割农田图像按照8：2的比例划分为所述训练图像集和所述测试图像集。
5.根据权利要求1所述的基于农田图像的卷积神经网络的构建方法，其中在所述步骤
104中，所述卷积神经网络是ENet网络，所述ENet网络的激活函数使用prelu激活函数，其中所述ai是可学习参数。
6.根据权利要求1所述的基于农田图像的卷积神经网络的构建方法，其中在所述步骤
104中进一步包括：
1041：将所述训练图像集中的所述农田图像和对应的所述标准分割农田图像分别转化为多种不同分辨率大小的图像；
1042：将多种不同分辨率大小的图像分别经过多个独立的网络得到相应的特征图；
1043：缩放多个特征图为同一分辨率大小的图像，并将缩放后的多个特征图像融合为一融合图；以及
1044：将所述融合图作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型。
7.根据权利要求6所述的基于农田图像的卷积神经网络的构建方法，其中在所述步骤
1041中，将所述训练图像集中的所述农田图像和对应的所述标准分割农田图像转化为三种分辨率图像，分别是全分辨率480*640、半分辨率240*320以及四分之三分辨率360*480。
8.根据权利要求7所述的基于农田图像的卷积神经网络的构建方法，其中在所述步骤
1042中，全分辨率480*640图像采用改进的ENet网络得到相应的特征图，半分辨率240*320和四分之三分辨率360*480的图像使用ENet网络得到相应的特征图。
9.根据权利要求1所述的基于农田图像的卷积神经网络的构建方法，其中在所述步骤
105中，将优化后的网络模型的BatchNorm层参数，融合到卷积层中，以供提高模型的测试速度。
10.根据权利要求1所述的基于农田图像的卷积神经网络的构建方法，其中在所述步骤
105中，在优化后的网络模型后加高斯条件随机场进行处理，以进一步细化边界分割效果。
11.一种基于农田图像的卷积神经网络模型，其特征在于，所述基于农田图像的卷积神经网络的构建方法包括以下步骤：
101：获取至少一农田的一组农田图像；
102：获取每一所述农田图像对应的一标准分割农田图像；
103：将所述农田图像和对应的所述标准分割农田图像划分为一训练图像集和一测试图像集；
104：以所述训练图像集中的所述农田图像和对应的所述标准分割农田图像作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及
105：以所述测试图像集中的所述农田图像和对应的所述标准分割农田图像对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神经网络模型的参数进行优化。
12.一种基于权利要求11所述的基于农田图像的卷积神经网络模型的农田图像分割方法，其特征在于，所述农田图像分割方法包括以下步骤：
301：获取一农田的一实时图像；和
302：将所述实时图像输入所述基于农田图像的卷积神经网络模型，以获取所述实时图像对应的一实时分割图像。
13.一种基于农田图像的卷积神经网络模型构建系统，其特征在于，包括：
一图像获取单元，其用于获取至少一农田的一组农田图像；
一图像分割单元，其用于分割所述农田图像以获得相应的标准分割农田图像；以及一网络模型构建单元，所述网络模型构建单元用于基于所述农田图像和对应的所述标准分割农田图像构建相应的基于农田图像的卷积神经网络模型。
14.根据权利要求13所述的基于农田图像的卷积神经网络模型构建系统，进一步包括一图像转化单元，所述图像转化单元被可工作地连接于所述图像获取单元和所述图像分割单元，所述图像转化单元用于将所述农田图像和对应的所述标准分割农田图像转化为相应的单通道灰度图像。
15.根据权利要求14所述的基于农田图像的卷积神经网络模型构建系统，进一步包括一图像扩增单元，所述图像扩增单元被可工作地连接于所述图像获取单元和所述图像分割单元，所述图像扩增单元用于对所述农田图像和对应的所述标准分割农田图像进行扩增处理。
16.根据权利要求15所述的基于农田图像的卷积神经网络模型构建系统，进一步包括一图像划分单元，所述图像划分单元用于将所述农田图像和对应的所述标准分割农田图像按照一预设比例划分为一训练图像集和一测试图像集合。
17.根据权利要求16所述的基于农田图像的卷积神经网络模型构建系统，其中所述网络模型构建单元进一步包括一模型建立模块和一模型优化模块，所述模型建立模块用于基于所述训练图像集建立卷积神经网络模型，所述模型优化模块用于基于所述测试图像集合对所述卷积神经网络模型进行优化。
18.根据权利要求13至17中任一所述的基于农田图像的卷积神经网络模型构建系统，进一步包括一多分辨率转化单元，所述多分辨率转化单元用于将所述农田图像和对应的所述标准分割农田图像转化为多个不同分辨率的图像。

说明书全文

基于农田图像的卷积神经网络构建方法及其系统

技术领域

[0001] 本发明涉及图像语义识别领域，更进一步地涉及一基于农田图像的卷积神经网络构建方法及其系统。

背景技术

[0002] 随着现代科学技术的进步和现代高效农业的不断发展，自动化控制技术在农业现代化过程中不可替代的地位和作用越来越被人们所重视。农业自动化能够很大程度上提高
劳动生产率和降低劳动强度，增加劳动的舒适性，农业生产的高效率和高精度的机械化，自
动化方向发展是必然的选择。

[0003] 尤其是近年来，精细农业的概念应运而生，在精细农业中，对农田场景的理解是推动精细农业发展和进步的重要技术。基于计算机和相关农业知识理论的自动信息获取方
法，正在逐步地取代传统的信息采集方法，成为农业信息获取的主要手段。

[0004] 在农业信息获取技术中，精细农业面临的主要研究课题是如何能够准确、有效和全面地识别农业工作环境。即场景理解任务。精细农业发展的重要方向和热点内容是如何
利用计算机让农业机械，能够拥有与人相近的感知周围环境的能力，自主开展农业任务，如
农田场景中的图像分割、农田目标检测和识别、三维信息获取等，从而完成农田场景理解中
的各项任务。随着研究的深入和技术的发展，包括语义分割在内的多种解决方式被不断地
提出，并朝着逐渐成熟的方向进步和发展，对推动农业精细化的实现，农业生产力的提升产
生了较大的意义。

[0005] 传统农业网生产方式对农田、果园等同一管理，在施肥、除草、喷药和耕种等操作时没有考虑农作物信息分布的空间差异，导致了生产成本的增加并且使环境污染加剧。为
了解决这些问题，精细农业成为未来农业发展的趋势，而农田图像的语义分割是精细农业
的前提和基础。目前深度学习方法在农田图像分割中有着极其重要的作用。卷积神经网络
在分割和分类等多种图像分析任务重取得极具优势的结果，并显现出强大的适用性。

[0006] 目前，图像语义分割的研究方法已经进入深度学习领域，神经网络在其中取得了较为优秀的成果，但依然面临着分割结果不够精细，像素之间的关系考虑不充分等问题，导
致了语义分割的图像细节的丢失，空间缺乏一致性。同时，由于农田场景中存在着类别信息
较多，语义对象轮廓不够清晰，作物状态的更新，自然环境复杂且易于变化等现象，影响了
语义分割的准确性和适应性。

发明内容

[0007] 本发明的一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，其中所述基于农田图像的卷积神经网络构建方法将卷积神经网络引入农田图像分割中，以
识别农田图像分割的精确度。

[0008] 本发明的另一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，其中所述基于农田图像的卷积神经网络构建方法将农田图像作为训练样本输入卷积神
经网络，对农田图像进行实时语义分割，以供提高农田图像语义分割的精确度。

[0009] 本发明的另一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，其中在所述基于农田图像的卷积神经网络构建过程中，构建了一个有效可用的农田图
像数据集。

[0010] 本发明的另一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，使用多分辨率网络方法，对不同分辨率大小的图像分别经过相互独立的网络训练，鼓励
相同图像区域在不同分辨率下使用相同的标签，加强像素之间的相互作用。

[0011] 本发明的另一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，使用条件随机场座位网络后处理模块，充分考虑图像的细节，细化边缘，加强图像分割
效果。

[0012] 本发明的另一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，使用优化的ENet网络进行农田图像分割，具有较强实用性和有效性。

[0013] 本发明的另一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，将卷积神经网络合并BatchNorm层参数，融合到卷集层中，以供提升模型的测试速度。

[0014] 本发明的另一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，其中所述基于农田图像的卷积神经网络构建方法操作简单、易于实现。

[0015] 本发明的另一个目的在于提供一基于农田图像的卷积神经网络构建方法及其系统，其中所述基于农田图像的卷积神经网络构建方法所构建的基于农田图像的卷积神经网
络模型图像分割效率高、使用方便。

[0016] 相应地，为了实现以上至少一个发明目的，本发明提供一种基于农田图像的卷积神经网络的构建方法，其中所述构建方法包括以下步骤：

[0017] 101：获取至少一农田的一组农田图像；

[0018] 102：获取每一所述农田图像对应的一标准分割农田图像；

[0019] 103：将所述农田图像和对应的所述标准分割农田图像划分为一训练图像集和一测试图像集；

[0020] 104：以所述训练图像集中的所述农田图像和对应的所述标准分割农田图像作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及

[0021] 105：以所述测试图像集中的所述农田图像和对应的所述标准分割农田图像对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神经网络模型
的参数进行优化。

[0022] 在本发明的一些优选实施例中，在所述步骤102和所述步骤103之间进一步包括：

[0023] 106：将每一所述农田图像和对应的所述标准分割农田图像转化为单通道灰度图像；和

[0024] 107：分别对所述农田图像和对应的所述标准分割农田图像进行预处理，用于进行图像扩增处理，以增加图像的多样性。

[0025] 在本发明的一些优选实施例中，在所述步骤101中进一步包括：

[0026] 1011：获取所述至少一农田的至少一视频；

[0027] 1012：按照帧数提取所述视频中的所述农田图像；以及

[0028] 1013：剔除不满足预设条件的所述农田图像。

[0029] 在本发明的一些优选实施例中，在所述步骤103中，将所述农田图像和对应的所述标准分割农田图像按照8：2的比例划分为所述训练图像集和所述测试图像集。

[0030] 在本发明的一些优选实施例中，其中在所述步骤104中，所述卷积神经网络是ENet网络，所述ENet网络的激活函数使用prelu激活函数，其
中所述ai是可学习参数。

[0031] 在本发明的一些优选实施例中，在所述步骤104中进一步包括：

[0032] 1041：将所述训练图像集中的所述农田图像和对应的所述标准分割农田图像分别转化为多种不同分辨率大小的图像；

[0033] 1042：将多种不同分辨率大小的图像分别经过多个独立的网络得到相应的特征图；

[0034] 1043：缩放多个特征图为同一分辨率大小的图像，并将缩放后的多个特征图像融合为一融合图；以及

[0035] 1044：将所述融合图作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型。

[0036] 在本发明的一些优选实施例中，在所述步骤1041中，将所述训练图像集中的所述农田图像和对应的所述标准分割农田图像转化为三种分辨率图像，分别是全分辨率480*
640、半分辨率240*320以及四分之三分辨率360*480。

[0037] 在本发明的一些优选实施例中，在所述步骤1042中，全分辨率480*640图像采用改进的ENet网络得到相应的特征图，半分辨率240*320和四分之三分辨率360*480的图像使用
ENet网络得到相应的特征图。

[0038] 在本发明的一些优选实施例中，在所述步骤105中，将优化后的网络模型的BatchNorm层参数，融合到卷积层中，以供提高模型的测试速度。

[0039] 在本发明的一些优选实施例中，在所述步骤105中，在优化后的网络模型后加高斯条件随机场进行处理，以进一步细化边界分割效果。

[0040] 根据本发明的另一方面，本发明进一步提供一种基于农田图像的卷积神经网络模型，其特征在于，所述基于农田图像的卷积神经网络模型的构建方法包括：

[0041] 101：获取至少一农田的一组农田图像；

[0042] 102：获取每一所述农田图像对应的一标准分割农田图像；

[0043] 103：将所述农田图像和对应的所述标准分割农田图像划分为一训练图像集和一测试图像集；

[0044] 104：以所述训练图像集中的所述农田图像和对应的所述标准分割农田图像作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及

[0045] 105：以所述测试图像集中的所述农田图像和对应的所述标准分割农田图像对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神经网络模型
的参数进行优化。

[0046] 根据本发明的另一方面，本发明进一步提供一种基于农田图像的卷积神经网络模型构建系统，其包括：

[0047] 一图像获取单元，其用于获取至少一农田的一组农田图像；

[0048] 一图像分割单元，其用于分割所述农田图像以获得相应的标准分割农田图像；以及

[0049] 一网络模型构建单元，所述网络模型构建单元用于基于所述农田图像和对应的所述标准分割农田图像构建相应的基于农田图像的卷积神经网络模型。

[0050] 在本发明的一些优选实施例中，所述基于农田图像的卷积神经网络模型构建系统进一步包括一图像转化单元，所述图像转化单元被可工作地连接于所述图像获取单元和所
述图像分割单元，所述图像转化单元用于将所述农田图像和对应的所述标准分割农田图像
转化为相应的单通道灰度图像。

[0051] 在本发明的一些优选实施例中，所述基于农田图像的卷积神经网络模型构建系统进一步包括一图像扩增单元，所述图像扩增单元被可工作地连接于所述图像获取单元和所
述图像分割单元，所述图像扩增单元用于对所述农田图像和对应的所述标准分割农田图像
进行扩增处理。

[0052] 在本发明的一些优选实施例中，所述基于农田图像的卷积神经网络模型构建系统进一步包括一图像划分单元，所述图像划分单元用于将所述农田图像和对应的所述标准分
割农田图像按照一预设比例划分为一训练图像集和一测试图像集合。

[0053] 在本发明的一些优选实施例中，所述网络模型构建单元进一步包括一模型建立模块和一模型优化模块，所述模型建立模块用于基于所述训练图像集建立卷积神经网络模
型，所述模型优化模块用于基于所述测试图像集合对所述卷积神经网络模型进行优化。

[0054] 在本发明的一些优选实施例中，所述基于农田图像的卷积神经网络模型构建系统进一步包括一多分辨率转化单元，所述多分辨率转化单元用于将所述农田图像和对应的所
述标准分割农田图像转化为多个不同分辨率的图像。

[0055] 根据本发明的另一方面，本发明进一步提供一种基于基于农田图像的卷积神经网络模型的农田图像分割方法，其包括：

[0056] 301：获取一农田的一实时图像；和

[0057] 302：将所述实时图像输入所述基于农田图像的卷积神经网络模型，以获取所述实时图像对应的一实时分割图像；

[0058] 其中所述基于农田图像的卷积神经网络模型的构建方法包括：

[0059] 101：获取至少一农田的一组农田图像；

[0060] 102：获取每一所述农田图像对应的一标准分割农田图像；

[0061] 103：将所述农田图像和对应的所述标准分割农田图像划分为一训练图像集和一测试图像集；

[0062] 104：以所述训练图像集中的所述农田图像和对应的所述标准分割农田图像作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及

[0063] 105：以所述测试图像集中的所述农田图像和对应的所述标准分割农田图像对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神经网络模型
的参数进行优化。
附图说明

[0064] 图1是根据本发明的一个优选实施例的基于农田图像的卷积神经网络构建方法的框图结构示意图。

[0065] 图2是根据本发明的一个优选实施例的基于农田图像的卷积神经网络构建方法的流程框图示意图。

[0066] 图3是根据本发明的一个优选实施例的基于农田图像的卷积神经网络模型的部分模块示意图。

[0067] 图4是根据本发明的一个优选实施例的基于农田图像的卷积神经网络模型的部分模块示意图。

[0068] 图5是根据本发明的一个优选实施例的基于农田图像的卷积神经网络模型的训练曲线示意图。

[0069] 图6是根据本发明的一个优选实施例的基于农田图像的卷积神经网络模型的图像分割效果示意图。

[0070] 图7是根据本发明的一个优选实施例的基于农田图像的卷积神经网络模型的图像分割效果示意图。

[0071] 图8是根据本发明的一个优选实施例的基于农田图像的卷积神经网络模型构建系统的框图结构示意图。

[0072] 图9是根据本发明的一个优选实施例的基于农田图像的卷积神经网络模型构建系统的一变形实施方式的框图结构示意图。

[0073] 图10是根据本发明的一个优选实施例的基于基于农田图像的卷积神经网络模型的农田图像分割方法的框图结构示意图。

具体实施方式

[0074] 以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定
的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背
离本发明的精神和范围的其他技术方案。

[0075] 本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是
指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述
术语不能理解为对本发明的限制。

[0076] 可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

[0077] 参考说明书附图1至图7，本发明所提供的基于农田图像的卷积神经网络模型构建方法100被阐述，其包括：

[0078] 101：获取至少一农田的一组农田图像110；

[0079] 102：获取每一所述农田图像110对应的一标准分割农田图像120；

[0080] 103：将所述农田图像110和对应的所述标准分割农田图像120划分为一训练图像集130和一测试图像集140；

[0081] 104：以所述训练图像集130中的所述农田图像110和对应的所述标准分割农田图像120作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及

[0082] 105：以所述测试图像集140中的所述农田图像110和对应的所述标准分割农田图像120对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神
经网络模型的参数进行优化。

[0083] 进一步地，在所述步骤102和所述步骤103之间进一步包括：

[0084] 106：将所述农田图像110和对应的所述标准分割农田图像120转化为单通道灰度图像；和

[0085] 107：分别对所述农田图像110和对应的所述标准分割农田图像120进行预处理，用于进行图像扩增处理，以增加图像的多样性。

[0086] 其中在所述步骤101中，进一步包括：

[0087] 1011：获取所述至少一农田的至少一视频；

[0088] 1012：按照帧数提取所述视频中的图像；

[0089] 1013：剔除不满足预设条件的图像；

[0090] 优选的，在本优选实施例中，所获取的所述至少一农田的所述至少一视频的长度是30s。优选的，所获取的所述至少一农田的所述视频的数量是多个，并且分别位于所述至
少一农田的多个角度获取。进一步地，所获取的所述至少一农田的所述视频是在一天中的
不同时间点所获取，以供降低一天当中光线的变化对农田图像分割的影响，提高农田图像
分割的精确度。优选的，所述至少一农田中所种植的主要作物是水稻和蔬菜。

[0091] 在所述步骤1013中，在按照帧数获取所述视频中的所述农田图像110后，剔除不满足预设条件的图像，比如模糊图像、无分割目标的图像等，以供提高所述农田图像110的精
度，有利于提高农田图像分割的精度。

[0092] 在所述步骤102，通过图像标注工具为每一所述农田图像110制作对应的所述标准分割农田图像120，以供获取每一所述农田图像110所对应的所述标准分割农田图像120。本
领域的技术人员应当理解的是，在本发明的另一些优选实施方式中，还能够通过其他的方
式获取所述农田图像110所对应的所述标准分割农田图像120，只要能够达到本发明的发明
目的，获取所述农田图像110所对应的所述标准分割农田图像120的具体方式不应当构成对
本发明的限制。

[0093] 优选的，在本优选实施例中，所述图像标注工具为每一所述农田图像110制作对应的所述标准分割农田图像120时，所使用的标注数据分为三类，分别是背景、农田以及障碍
物。在本发明的另一些优选实施例中，所述图像标注工具为每一所述农田图像110制作对应
的所述标准分割农田图像120时，所使用的标注数据分为十一类，分别是田埂、农田、收割
机、人、收割后的农田、天空、建筑、道路、树木、电线杆以及无效，对标注数据进一步细化，以供提高不同类别的检测精度。

[0094] 可以理解的是，由于在卷积网络计算损失时需要的标签图像是单通道灰度图像，因此将所述农田图像110和所述标准分割农田图像120转化为单通道灰度图像，以便于所述
卷积网络计算损失。

[0095] 在所述步骤107中，为了增加所述农田图像110和所述标准分割农田图像120的图像多样性，提高模型的泛化能力，避免模型出现过拟合现象，对所述农田图像110和所述分
割农田图像120进行预处理。具体的，随所述农田图像110和所述标准分割农田图像120的预
处理的方法是采用翻转、平移、缩放、加噪声等方法分别对所述农田图像110和所述标准分
割农田图像120进行图像数据扩增处理，以供增加图像训练数据的多样性。

[0096] 在所述步骤103中，将扩增处理后的所述农田图像110和对应的所述标准分割农田图像120按照8：2的比例划分为所述训练图像集130和所述测试图像及140。本领域的技术人
员应当理解的是，在本发明的另一些优选实施例中，还能够按照其他的比例比如7:3、6:4等
将所述农田图像110和所述标准分割农田图像120分割为所述训练图像集130和所述测试图
像集140，只要能够达到本发明的发明目的，所述训练图像及130和所述测试图像集140的分
割比例不应当构成对本发明的限制。

[0097] 在所述步骤104中，以所述训练图像集130中的所述农田图像110和对应的所述标准分割农田图像120作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型，其
中所述卷积神经网络是ENet网络，将所述训练图像集130中的所述农田图像110数据和对应
的所述标准分割农田图像120作为卷积神经网络的输入，训练网络模型参数。

[0098] 优选的，所述ENet网络的激活函数使用prelu激活函数，其中所述ai是可学习参数。

[0099] 参考下表1，其显示有本发明所使用的卷积神经网络模型的详细结构表，优选的，在本优选实施例中，所使用的卷积神经网络模型是ENet网络。

[0100] 表1

[0101]

[0102] 在所述步骤105中，以所述测试图像集140中的所述农田图像110和对应的所述标准分割农田图像120对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田
图像的卷积神经网络模型的参数进行优化中，将所述测试图像集140中的所述农田图像110
和对应的所述标准分割农田图像120数据输入所获得的所述基于农田图像的卷积神经网络
模型中进行验证，同时根据验证的结果不断地调整所述基于农田图像的卷积神经网络模型
的超参数，以供实现对所述基于农田图像的卷积神经网络模型的参数进行优化。

[0103] 可以理解的是，在使用所述测试图像集140中的所述农田图像110和对应的所述标准分割农田图像120对所述基于农田图像的卷积神经网络模型进行验证之后得到最终优化
好的所述基于农田图像的卷积神经网络模型，并且能够使用优化好的所述基于农田图像的
卷积神经网络模型对真实农田图像进行测试，测试所述基于农田图像的卷积神经网络模型
对真实农田图像的分割效果。

[0104] 进一步地，在获取所述至少一农田的所述农田图像110之后，需要将所述农田图像110的大小缩放至统一的一预设尺寸，以便于所述农田图像110的后续处理。

[0105] 在所述步骤105中，在使用所述测试图像集140中的所述农田图像110和所述标准分割农田图像120对所述基于农田图像的卷积神经网络模型进行验证时，当验证结果不满
足一预设精度条件，比如图像分割误差超过预设条件，则修改所述基于农田图像的卷积神
经网络模型的网络结构，使用所述训练图像集130中的所述农田图像110和对应的所述标准
分割农田图像120对修改网络结构后的卷积神经网络重新构建基于农田图像的卷积神经网
络模型。当验证结果满足所述预设精度条件时，结束。

[0106] 在本发明的第二优选实施例中，在所述步骤104，以所述训练图像130中的所述农田图像110和对应的所述标准分割农田图像120作为卷积神经网络的输入，构建基于农田图
像的卷积神经网络模型中进一步包括：

[0107] 1041：将所述训练图像集130中的所述农田图像110和对应的所述标准分割农田图像120分别转化为多种不同分辨率大小的图像；

[0108] 1042：将多种不同分辨率大小的图像分别经过多个独立的网络得到相应的特征图；

[0109] 1043：缩放多个特征图为同一分辨率大小的图像，并将缩放后的多个特征图像融合为一融合图；以及

[0110] 1044：将所述融合图作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型。

[0111] 优选的，在所述步骤1041中，将所述训练图像集130中的所述农田图像110和对应的所述标准分割农田图像120分别转化为三种不同分辨率的图像，分别是全分辨率480*
640、半分辨率240*320以及四分之三分辨率360*480。

[0112] 相应的，在所述步骤1042中，全分辨率480*640图像采用改进的ENet网络得到相应的特征图，半分辨率240*320和四分之三分辨率360*480的图像使用ENet网络得到相应的特
征图，其中在使用ENet得到半分辨率240*320和四分之三分辨率360*480的图像相应的特征
图时，只使用ENet网络的下采样部分，对下采样部分得到的特征图进行八倍上采样得到原
始输入分辨率大小特征图。

[0113] 在所述步骤1043中，缩放多个特征图为同一分辨率大小的图像，并将缩放后的多个特征图融合为一融合图，在融合多个所述特征图像时采用最大值的方法，即Fi＝max(Xi,
Yi,Zi)。将融合特征图像所得到的融合图输入最终的softmax层计算，softmax函数如下，
其中pl是概率。

[0114] 在本发明的第三优选实施例中，其中在所述步骤104，以所述训练图像集130中的所述农田图像110和对应的所述标准分割农田图像120作为卷积神经网络的输入，构建基于
农田图像的卷积神经网络模型，在所述第三优选实施例中，对所述ENet网络进行修改，替换
所述ENet网络上采样过程中所有的Upsampling层为Deconvolution层。

[0115] 在本发明的第四优选实施例中，其中在所述步骤104，以所述训练图像集130中的所述农田图像110和对应的所述标准分割农田图像120作为卷积神经网络的输入，构建基于
农田图像的卷积神经网络模型，在所述第四优选实施例中，对所述ENet网络中所有的合并
层后加一层卷积核大小为(1,1)的卷集层。

[0116] 在本发明的第五优选实施例中，其中在所述步骤105，以所述测试图像集140中的所述农田图像110和对应的所述标准分割农田图像120对所述基于农田图像的卷积神经网
络模型进行验证，对所述基于农田图像的卷积神经网络模型的参数进行优化，在所述第五
优选实施例中，对优化后的网络模型参数进行处理，合并BatchNorm层参数，融合到卷积层
中，以供提高模型的测试速度。具体的实施方式是，卷积权重：W，卷积偏置：B，卷积层运算：
W*X+B，BN层中均值：μ，方差：σ，缩放因子：γ，偏移：β，一个较小数(防止分母为0)
BN层和卷积层合并后：
Wmerged＝W×αBmerged＝B×α+(β-μ×α)。

[0117] 参考下表2，其显示有合并BN层到卷积层后的效果比较(图片的分辨率大小是480*640)，通过下表能够得知合并BN层到卷积层后检测速度明显提升。

[0118] 表2

[0119]模型 CPU前向时间 GPU前向时间
ENet(合并前) 876.509ms 73.106ms
ENet(合并后) 698.995ms 11.3344ms
提升 20.3％ 85.1％

[0120] 在本发明的第六优选实施例中，在所述步骤105，以所述测试图像集140中的所述农田图像110和对应的所述标准分割农田图像120对所述基于农田图像的卷积神经网络模
型进行验证，对所述基于农田图像的卷积神经网络模型的参数进行优化，在所述第六优选
实施例中，在优化的网络模型后加高斯条件随机场进行处理，以供进一步细化边界分割的
效果。

[0121] 根据本发明的另一方面，本发明进一步提供一基于农田图像的卷积神经网络模型构建系统200，其包括：

[0122] 一图像获取单元21，其用于获取至少一农田的一组农田图像110；

[0123] 一图像分割单元22，其用于分割所述农田图像110以获得相应的标准分割农田图像120；

[0124] 一网络模型构建单元23，所述网络模型构建单元23用于基于所述农田图像110和对应的所述标准分割农田图像120构建相应的基于农田图像的卷积神经网络模型。

[0125] 进一步地，所述基于农田图像的卷积神经网络构建系统200进一步包括一图像转化单元24，所述图像转化单元24被可工作地连接于所述图像获取单元21和所述图像分割单
元22，所述图像转化单元24用于将所述农田图像110和对应的所述标准分割农田图像120转
化为相应的单通道灰度图像，以便于后续卷积网络计算损失。

[0126] 所述基于卷积神经网络的农田图像分割系统进一步包括一图像扩增单元25，所述图像扩增单元25被可工作地连接于所述图像获取单元21和所述图像分割单元22，所述图像
扩增单元25用于对所述农田图像110和对应的所述标准分割农田图像120进行扩增处理，以
供增加图像的多样性。

[0127] 具体的，所述图像扩增单元25能够采用翻转、平移、缩放、以及加噪声等方法分别对所述农田图像110和对应的所述标准分隔农田图像120进行扩增处理，以供增加所述农田
图像110和对应的所述标准分隔农田图像120的多样性，提高模型的泛化能力，避免模型出
现过拟合的现象。

[0128] 进一步地，所述基于农田图像的卷积神经网络模型构建系统200进一步包括一图像划分单元26，所述图像划分单元26分别被可工作地连接于所述图像获取单元21和所述图
像分割单元22，所述图像划分单元26用于将所述农田图像110和对应的所述标准分割农田
图像120按照一预设比例划分为所述训练图像集130和所述测试图像集140。优选的，所述图
像划分单元26将所述农田图像110和对应的所述标准分割农田图像120按照8:2的比例划分
为所述训练图像集130和所述测试图像集140。所述网络模型构件单元23用于基于所述训练
图像集130和所述测试图像集140构建相应的基于农田图像的卷积神经网络模型。

[0129] 所述网络模型构建单元23进一步包括一进一步包括一模型建立模块231和一模型优化模块232，所述模型建立模块231用于基于所述训练图像集130建立基于农田图像的卷
积神经网络模型，所述模型优化模块232用于基于所述测试图像集140对所述模型优化模块
232所建立的所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷
积神经网络模型的参数进行优化。

[0130] 参考说明书附图9，在本发明所提供的所述基于农田图像的卷积神经网络模型构建系统200的一变形实施方式被阐述，所述基于农田图像的卷积神经网络模型构建系统200
进一步包括一多分辨率转化单元27，所述多分辨率转化单元27分别被可工作地连接于所述
图像获取单元21和所述图像分割单元22，所述多分辨率转化单元27用于将所述农田图像
110和对应的所述标准分割农田图像120转化为多个具有不同分辨率的图像，优选的，所述
多分辨率转化单元27用于将所述农田图像110和对应的所述标准分割农田图像120分别转
化为三种不同分辨率的图像，分别是全分辨率480*640、半分辨率240*320以及四分之三分
辨率360*480。

[0131] 相应的，在所述步骤1042中，全分辨率480*640图像采用改进的ENet网络得到相应的特征图，半分辨率240*320和四分之三分辨率360*480的图像使用ENet网络得到相应的特
征图，其中在使用ENet得到半分辨率240*320和四分之三分辨率360*480的图像相应的特征
图是，只使用ENet网络的下采样部分，对下采样部分得到的特征图进行八倍上采样得到原
始输入分辨率大小特征图。

[0132] 在所述步骤1063中，缩放多个特征图为同一分辨率大小的图像，并将缩放后的多个特征图融合为一融合图，在融合多个所述特征图像时采用最大值的方法，即Fi＝max(Xi,
Yi,Zi)。将融合特征图像所得到的融合图输入最终的softmax层计算，softmax函数如下，
其中pl是概率。

[0133] 根据本发明的另一方面，本发明进一步提供一农田图像分割方法300，其包括：

[0134] 301：获取一农田的一实时图像；和

[0135] 302：将所述实时图像输入所述基于农田图像的卷积神经网络模型，以获取所述实时图像对应的一实时分割图像。

[0136] 其中所述基于农田图像的卷积神经网络模型的构建方法包括：

[0137] 101：获取至少一农田的一组农田图像110；

[0138] 102：获取每一所述农田图像110对应的一标准分割农田图像120；

[0139] 103：将所述农田图像110和对应的所述标准分割农田图像120划分为一训练图像集130和一测试图像集140；

[0140] 104：以所述训练图像集130中的所述农田图像110和对应的所述标准分割农田图像120作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及

[0141] 105：以所述测试图像集140中的所述农田图像110和对应的所述标准分割农田图像120对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神
经网络模型的参数进行优化。

[0142] 根据本发明的另一方面，本发明进一步提供一基于农田图像的卷积神经网络模型，所述基于农田图像的卷积神经网络模型的构建方法包括：

[0143] 101：获取至少一农田的一组农田图像110；

[0144] 102：获取每一所述农田图像110对应的一标准分割农田图像120；

[0145] 103：将所述农田图像110和对应的所述标准分割农田图像120划分为一训练图像集130和一测试图像集140；

[0146] 104：以所述训练图像集130中的所述农田图像110和对应的所述标准分割农田图像120作为卷积神经网络的输入，构建基于农田图像的卷积神经网络模型；以及

[0147] 105：以所述测试图像集140中的所述农田图像110和对应的所述标准分割农田图像120对所述基于农田图像的卷积神经网络模型进行验证，对所述基于农田图像的卷积神
经网络模型的参数进行优化。

[0148] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任
一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技
术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。

[0149] 本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在
实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

标题	发布/更新时间	阅读量
一种镍基高温合金表面渗铝方法和产品及镍基高温合金表面铝铬硅固体粉末渗铝剂	2020-05-13	713
超像素框架下基于均值-均方差暗通道的单幅图像去雾方法	2020-05-15	707
基于卷积神经网络和先验信息的图像去雾方法	2020-05-08	667
一种带气振与抽气装置的模芯	2020-05-14	297
用户分层数据的展示方法及装置	2020-05-14	198
一种旋转类机械产品剩余寿命预测系统	2020-05-11	940
一种改善氧化锆粉体陶瓷性能的复合添加剂	2020-05-14	871
一种油田多相计量混输装置及其使用方法	2020-05-14	271
交通工程用污水泵	2020-05-11	647
一种烟气二次净化系统	2020-05-13	549

基于农田图像的卷积神经网络构建方法及其系统

基于农田图像的卷积神经网络构建方法及其系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：