首页 / 专利库 / 农用化学品和农药 / 目标害虫 / 一种基于分级预测卷积神经网络的害虫图像分类方法

一种基于分级预测卷积神经网络害虫图像分类方法

阅读:32发布:2020-05-16

专利汇可以提供一种基于分级预测卷积神经网络害虫图像分类方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于分级预测 卷积神经网络 的 害虫 图像分类方法,与 现有技术 相比解决了害虫图像分类正确率低的 缺陷 。本发明包括以下步骤:对训练图像进行收集和预处理;对图像样本数据进行标注;训练基于分级预测卷积神经网络的分类模型;对待测图像进行预处理;基于分级模型自动进行害虫图像分类。本发明采用了分级预测 框架 ,先预测图像的分割结果然后再结合整体图像,共同进行最终的分类预测。,下面是一种基于分级预测卷积神经网络害虫图像分类方法专利的具体信息内容。

1.一种基于分级预测卷积神经网络害虫图像分类方法,其特征在于,包括以下步骤:
11)对训练图像进行收集和预处理,收集若干幅图像作为训练图像,所有训练图像均进行大小归一化处理,将其处理为256×256像素,得到若干个训练样本;
12)对图像样本数据进行标注,对样本图片内容进行人工标注,标注出图像分割边界、类别和害虫种类,将图像分割成害虫、作物、背景三类,结合训练样本作为训练样本数据集合;
13)训练基于分级预测卷积神经网络的分类模型,训练基于分级预测卷积神经网络的分类模型,将训练样本作为输入,完成神经网络分类模型的训练;所述的训练基于分级预测卷积神经网络的分类模型包括以下步骤:
131)训练基于FCNN的图像分割网络模型;
设置层数为7层的全卷积网络层,输入训练样本,使用人工标注的病虫、作物、背景分割结果作为学习标注,利用深度学习框架Caffe进行网络模型的训练,输出为能够对害虫图像进行分割的全卷积神经网络模型;
所述的训练基于FCNN的图像分割网络模型包括以下步骤:
1311)构建7层全卷积网络结构,每层卷积网络的大小如下:
第一层卷积核大小为11×11,特征图个数为96;第二层卷积核为5x5,特征图个数为
256;第三、四、五层卷积核均为3×3,特征图个数分别为384、384、256;第六、七层卷积核均为1×1,特征图个数分别为512、3;
1312)最后一个卷积层的输出大小为27×27×3,其中27×27是图像二维空间大小,3是分割类的数目,任意27×27位置上的3个目标值根据其每个位置感受野所属的害虫、作物还是背景来定,如果感受野中包括不止一个类别,使用占最多像素个数的那个类别来作为标注;
1313)针对27×27的每个位置,在3个类别上进行softmax操作,最终损失函数为在27×
27位置上的softmax损失之和L,其计算公式如下:
其中 为位置(h,w)上的标注分割类别,M为分割类别
的数目,等于3;
1314)基于网络和目标函数的定义,输入训练样本数据,基于随机梯度下降算法进行模型训练优化;
132)训练基于CNN的图像分类模型,
设置层数为8层的卷积分类网络,将根据训练好的分割模型分割后获得的害虫、作物、背景三幅图像,加上未分割的整体图像,总共四幅图像作为输入,人工标注的害虫分类结果作为学习标注,利用深度学习框架Caffe进行网络模型的训练,输出图像分类模型;
14)对待测图像进行预处理,将待测的害虫图像按256×256像素进行归一化处理,得到新的待测图像;
15)基于分级模型自动进行害虫图像分类,将处理后的待测图像输入经过训练的分级预测卷积神经网络模型中,进行害虫图像种类的自动识别。
2.根据权利要求1所述的一种基于分级预测卷积神经网络的害虫图像分类方法,其特征在于,所述的基于分级模型自动进行害虫图像分类包括以下步骤:
21)将待测图像输入到训练好FCNN分割模型中,获得图像中害虫、作物、背景的分割预测结果;
22)根据分割预测结果对原始图像进行分割,得到三幅新图像:害虫图像、作物图像、背景图像;
23)将待测图像和分割得到的害虫图像、作物图像、背景图像共四幅图像作为输入,输入到训练完成的基于CNN的分类模型中,预测得到可能性最大的分类作为分类结果输出。
3.根据权利要求1所述的一种基于分级预测卷积神经网络的害虫图像分类方法,其特征在于,所述的训练基于CNN的图像分类模型包括以下步骤:
31)构建4个5层的全卷积特征提取网络,分别对全图像、害虫图像、作物图像、背景图像进行卷积提取特征;
其卷积层的配置前四层一致,其卷积核大小分别为11、5、3、3,特征图个数分别为96、
256、384、384;在最后一层卷积上,卷积核大小均为3,全图像特征图个数为256,害虫图像为
96,作物图像48,背景图像12;
32)构建三层的全连接分类网络,使用特征提取的卷积网络输出作为输入,构建3层的分类网络,第一层和第二层的大小设置为4096,第三层分类层的大小是害虫种类的个数82;
33)针对最后一层的输出,进行82个值的softmax操作,学习目标损失函数定义如下:
其中 f(k)为最优一层第k位置上的值, 为输入图片标注害虫类
别对应的位置,K为分割类别的数目,这里是82;
34)基于网络和目标函数的定义,输入训练样本数据,基于随机梯度下降算法进行模型训练优化。

说明书全文

一种基于分级预测卷积神经网络害虫图像分类方法

技术领域

[0001] 本发明涉及预测分类技术领域,具体来说是一种基于分级预测卷积神经网络的害虫图像分类方法。

背景技术

[0002] 害虫是农作物生长中的大敌,在农作物整个生长期内都有发生,可造成农作物大量减产。现行的害虫识别、分类工作主要是依靠少数植保专家和农技人员来完成的。但害虫种类繁多,每一位植保专家穷其所能也只能识别部分害虫。越来越多的迹象表明,对害虫分类需求的增多与害虫分类专家相对较少的矛盾已日益加剧。当今在模式识别领域,基于深度学习的学习算法成为众多学者研究的热点,在计算机视觉领域被广泛应用,如人脸识别、图像分类、图像分割等,并取得了较好的效果。然而,应用在害虫图像自动分类方法及系统则出现识别率不高、鲁棒性较差的问题,这也是由于害虫样本的多样性、特征复杂度所导致的。
[0003] 因此,如何针对害虫的样本标签,利用有监督的神经网络技术实现害虫识别已经成为急需解决的技术问题。

发明内容

[0004] 本发明的目的是为了解决现有技术中害虫图像分类正确率低的缺陷,提供一种基于分级预测卷积神经网络的害虫图像分类方法来解决上述问题。
[0005] 为了实现上述目的,本发明的技术方案如下:
[0006] 一种基于分级预测卷积神经网络的害虫图像分类方法,包括以下步骤:
[0007] 对训练图像进行收集和预处理,收集若干幅图像作为训练图像,所有训练图像均进行大小归一化处理,将其处理为256×256像素,得到若干个训练样本;
[0008] 对图像样本数据进行标注,对样本图片内容进行人工标注,标注出图像分割边界、类别和害虫种类,将图像分割成害虫、作物、背景三类,结合训练样本作为训练样本数据集合;
[0009] 训练基于分级预测卷积神经网络的分类模型,训练基于分级预测卷积神经网络的分类模型,将训练样本作为输入,完成神经网络分类模型的训练;
[0010] 对待测图像进行预处理,将待测的害虫图像按256×256像素进行归一化处理,得到新的待测图像;
[0011] 基于分级模型自动进行害虫图像分类,将处理后的待测图像输入经过训练的分级预测卷积神经网络模型中,进行害虫图像种类的自动识别。
[0012] 所述的训练基于分级预测卷积神经网络的分类模型包括以下步骤:
[0013] 训练基于FCNN的图像分割网络模型;
[0014] 设置层数为7层的全卷积网络层,输入训练样本,使用人工标注的病虫、作物、背景分割结果作为学习标注,利用深度学习框架Caffe进行网络模型的训练,输出为能够对害虫图像进行分割的全卷积神经网络模型;
[0015] 训练基于CNN的图像分类模型,
[0016] 设置层数为8层的卷积分类网络,将根据训练好的分割模型分割后获得的害虫、作物、背景三幅图像,加上未分割的整体图像,总共四幅图像作为输入,人工标注的害虫分类结果作为学习标注,利用深度学习框架Caffe进行网络模型的训练,输出图像分类模型。
[0017] 所述的基于分级模型自动进行害虫图像分类包括以下步骤:
[0018] 将待测图像输入到训练好FCNN分割模型中,获得图像中害虫、作物、背景的分割预测结果;
[0019] 根据分割预测结果对原始图像进行分割,得到三幅新图像:害虫图像、作物图像、背景图像;
[0020] 将待测图像和分割得到的害虫图像、作物图像、背景图像共四幅图像作为输入,输入到训练完成的基于CNN的分类模型中,预测得到可能性最大的分类作为分类结果输出。
[0021] 所述的训练基于FCNN的图像分割网络模型包括以下步骤:
[0022] 构建7层全卷积网络结构,每层卷积网络的大小如下:
[0023] 第一层卷积核大小为11x11,特征图个数为96;第二层卷积核为5x5,特征图个数为256;第三、四、五层卷积核均为3x3,特征图个数分别为384、384、256;第六、七层卷积核均为
1x1,特征图个数分别为512、3;
[0024] 最后一个卷积层的输出大小为27x27x3,其中27x27是图像二维空间大小,3是分割类的数目,任意27X27位置上的3个目标值根据其每个位置感受野所属的害虫、作物还是背景来定,如果感受野中包括不止一个类别,使用占最多像素个数的那个类别来作为标注;
[0025] 针对27X27的每个位置,在3个类别上进行softmax操作,最终损失函数为在27X27位置上的softmax损失之和L,其计算公式如下:
[0026]
[0027] 其中 为位置(h,w)上的标注分割类别,M为分割类别的数目,等于3;
[0028] 基于网络和目标函数的定义,输入训练样本数据,基于随机梯度下降算法进行模型训练优化。
[0029] 所述的训练基于CNN的图像分类模型包括以下步骤:
[0030] 构建4个5层的全卷积特征提取网络,分别对全图像、害虫图像、作物图像、背景图像进行卷积提取特征;
[0031] 其卷积层的配置前四层一致,其卷积核大小分别为11、5、3、3,特征图个数分别为96、256、384、384;在最后一层卷积上,卷积核大小均为3,全图像特征图个数为256,害虫图像为96,作物图像48,背景图像12;
[0032] 构建三层的全连接分类网络,使用特征提取的卷积网络输出作为输入,构建3层的分类网络,第一层和第二层的大小设置为4096,第三层分类层的大小是害虫种类的个数82;
[0033] 针对最后一层的输出,进行82个值的softmax操作,学习目标损失函数定义如下:
[0034]
[0035] 其中 f(k)为最优一层第k位置上的值,为输入图片标注害虫类别对应的位置,K为分割类别的数目,这里是82;
[0036] 基于网络和目标函数的定义,输入训练样本数据,基于随机梯度下降算法进行模型训练优化。
[0037] 有益效果
[0038] 本发明的一种基于分级预测卷积神经网络的害虫图像分类方法,与现有技术相比采用了分级预测框架,先预测图像的分割结果然后再结合整体图像,共同进行最终的分类预测。本发明所述的方法拥有比现有技术更加丰富的特征表达和去噪能,根据分割图像进行初级预测分割,重点关注害虫信息,减少了噪声干扰,为预测提供了更加丰富和更有针对性的特征。附图说明
[0039] 图1为本发明的方法顺序图。

具体实施方式

[0040] 为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
[0041] 如图1所示,本发明所述的一种基于分级预测卷积神经网络的害虫图像分类方法,包括以下步骤:
[0042] 第一步,对训练图像进行收集和预处理。收集若干幅图像作为训练图像,所有训练图像均进行大小归一化处理,将其处理为256×256像素,得到若干个训练样本。
[0043] 第二步,对图像样本数据进行标注。对样本图片内容进行人工标注,标注出图像分割边界、类别和害虫种类,将图像分割成害虫、作物、背景三类,结合训练样本作为训练样本数据集合。在此,图像被分割成害虫、作物、背景三类,并结合后续的标注共同作为模型训练的数据。
[0044] 第三步,训练基于分级预测卷积神经网络的分类模型。训练基于分级预测卷积神经网络的分类模型,将训练样本作为输入,完成神经网络分类模型的训练。其包括以下步骤:
[0045] (1)训练基于FCNN的图像分割网络模型。图像分割模型是整个分级预测网络中的第一级,所以需要先完成该模型的训练,对输入图像进行分割预测后,才能通过预测结果结合原始输入图像得到在第二级的分类网络中各个输入,如害虫图像、作物图像、背景图像。
[0046] 设置层数为7层全卷积网络层,输入训练样本,使用人工标注的病虫、作物、背景分割结果作为学习标注,利用深度学习框架Caffe进行网络模型的训练,输出为能够对害虫图像进行分割的全卷积神经网络模型。
[0047] A、构建7层全卷积网络结构,每层卷积网络的大小如下:
[0048] 第一层卷积核大小为11x11,特征图个数为96;第二层卷积核为5x5,特征图个数为256;第三、四、五层卷积核均为3x3,特征图个数分别为384、384、256;第六、七层卷积核均为
1x1,特征图个数分别为512、3。
[0049] B、最后一个卷积层的输出大小为27x27x3,其中27x27是图像二维空间大小,3是分割类的数目,最后一层设置为3的原因是害虫图像分割是分割成3类,当然可以根据需求设置成更多的类。任意27X27位置上的3个目标值根据其每个位置感受野所属的害虫、作物还是背景来定,如果感受野中包括不止一个类别,使用占最多像素个数的那个类别来作为标注。
[0050] C、为了能够最终得到每个位置所属的类别,即获得分类预测结果,针对27X27的每个位置,在3个类别上进行softmax操作,最终损失函数为在27X27位置上的softmax损失之和L,其计算公式如下:
[0051]
[0052] 其中 为位置(h,w)上的标注分割类别,M为分割类别的数目,等于3。
[0053] D、基于网络和目标函数的定义,输入训练样本数据,按传统的随机梯度下降算法进行模型训练优化。
[0054] (2)训练基于CNN的图像分类模型。目前,图像分类的最高平是基于CNN的深度学习算法,因此这里也采用了CNN网络,并根据当前任务进行适当优化。具体网络设计与训练流程如下:
[0055] 设置层数为8层的卷积分类网络,将根据训练好的分割模型分割后获得的害虫、作物、背景三幅图像,加上未分割的整体图像,总共四幅图像作为输入,人工标注的害虫分类结果作为学习标注,利用深度学习框架Caffe进行网络模型的训练,输出图像分类模型。
[0056] A、构建4个5层的全卷积特征提取网络,分别对全图像、害虫图像、作物图像、背景图像进行卷积提取特征。这里用4个卷积网络分别对四幅图像进行独立特征提取操作,设置5层的卷积是与目前最优水平的分类网络一致,并且从实验结果看,确实5层的卷积在效率和效果的平衡上能达到最优;
[0057] 其卷积层的配置前四层一致,其卷积核大小分别为11、5、3、3,特征图个数分别为96、256、384、384;在最后一层卷积上,卷积核大小均为3,全图像特征图个数为256,害虫图像为96,作物图像48,背景图像12。
[0058] B、构建三层的全连接分类网络,使用特征提取的卷积网络输出作为输入,构建3层的分类网络,第一层和第二层的大小设置为4096,第三层分类层的大小是害虫种类的个数82。
[0059] C、针对最后一层的输出,进行82个值的softmax操作,学习目标损失函数定义如下:
[0060]
[0061] 其中 f(k)为最优一层第k位置上的值,为输入图片标注害虫类别对应的位置,K为分割类别的数目,这里是82。
[0062] D、基于网络和目标函数的定义,输入训练样本数据,基于随机梯度下降算法进行模型训练优化。
[0063] 第四步,对待测图像进行预处理。将待测的害虫图像按256×256像素进行归一化处理,得到新的待测图像。
[0064] 第五步,基于分级模型自动进行害虫图像分类。采用分级预测框架将处理后的待测图像输入经过训练的分级预测卷积神经网络模型中,进行害虫图像种类的自动识别。其具体步骤如下:
[0065] (1)先预测图像的分割结果,将待测图像输入到训练好FCNN分割模型中,获得图像中害虫、作物、背景的分割预测结果。
[0066] (2)根据分割预测结果对原始图像进行分割,得到三幅新图像:害虫图像、作物图像、背景图像。
[0067] (3)结合整体图像共同进行最终的分类预测,将待测图像和分割得到的害虫图像、作物图像、背景图像共四幅图像作为输入,输入到训练完成的基于CNN的分类模型中,预测得到可能性最大的分类作为分类结果输出。
[0068] 以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈