首页 / 专利库 / 人工智能 / 人工智能 / 机器学习 / 人工神经网络 / 前馈神经网络 / 深度神经网络 / 卷积神经网络 / 一种结合显著性区域的卷积神经网络的花卉图像分类方法

一种结合显著性区域的卷积神经网络的花卉图像分类方法

阅读:314发布:2024-02-12

专利汇可以提供一种结合显著性区域的卷积神经网络的花卉图像分类方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种结合显著性区域的 卷积神经网络 的花卉图像分类方法,在卷积神经网络提取花卉图像的全局特征的 基础 上,加入Itti-Koch视觉注意计算模型计算得到花卉图像的显著性区域,再使用卷积神经网络在花卉图像显著性区域上提取显著性区域特征,将全局特征与显著性区域特征相融合,用于花卉图像的精细分类。本发明提出的一种结合显著性区域的卷积神经网络的花卉图像分类方法克服了卷积神经网络直接在原始图像上提取特征时背景复杂性的影响,具有较强的实用性。,下面是一种结合显著性区域的卷积神经网络的花卉图像分类方法专利的具体信息内容。

1.一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,按照如下步骤实现:
步骤S1:采用基于Itti-Koch视觉注意模型计算花卉原始图像对应的花卉图像显著图;
步骤S2:计算花卉图像显著性区域;
步骤S3:在所述花卉原始图像、所述花卉图像显著性区域上分别训练卷积神经网络;
步骤S4:通过采用完成训练的卷积神经网络,分别对所述花卉原始图像和所述花卉图像显著性区域提取特征;
步骤S5:进行特征融合;
步骤S6:对图像进行分类。
2.根据权利要求1所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,在所述步骤S1中,所述花卉图像显著图计算包括如下步骤:
步骤S11:提取所述花卉原始图像的视觉特征;
步骤S12:根据所述视觉特征计算花卉图像显著图。
3.根据权利要求2所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,在所述步骤S11中,还包括如下步骤:
步骤S111:统一所述花卉原始图像的尺寸,采用9级高斯金字塔算法对所述花卉原始图像进行采样,并采样为尺度0至尺度8,共9个尺度;
步骤S112:在每个尺度上对应提取视觉特征图,包括:颜色特征、亮度特征和方向特征;
步骤S113:对提取的所有视觉特征图进行center-surround 操作。
4.根据权利要求3所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,在所述步骤S12中,还包括如下步骤:
步骤S121:将各个视觉特征图的尺寸分别通过差值调整为与所述高斯金字塔算法中第四层图像的尺寸相同;
步骤S122:将每个视觉特征图中的像素相加;
步骤S123:利用归一化算子 对每个视觉特征图进行归一化,获取亮度显著图、颜色显著图和方向显著图;
步骤S124:通过对所述亮度显著图、颜色显著图和方向显著图进行叠加,得到所述花卉图像显著图。
5.根据权利要求1所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,在所述步骤S2中,还包括如下步骤:
步骤S21:对所述花卉图像显著图进行闭运算操作;
步骤S22:将所述花卉图像显著图与所述花卉原始图像进行交运算,得到所述花卉图像显著性区域。
6.根据权利要求1所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,在所述步骤S3中,分别将所述花卉原始图像、所述花卉图像显著性区域与对应的花卉类别作为训练集,采用小于预设值的不同随机数对所述卷积神经网络进行权值初始化,经过前向传播和反向传播两个阶段,直至所述卷积神经网络中每一层的权值参数确定,完成所述卷积神经网络训练。
7.根据权利要求1或6所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,所述卷积神经网络包括5个卷积层,2个全连接层,卷积操作采用 7×7 的卷积核,滑动窗口的步长设置为2;激活函数采用ReLU;池化操作采用最大池化,池化单元为 
3×3,池化单元的移动步长为2。
8.根据权利要求1所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,在所述步骤S4中,通过上分支的卷积神经网络对所述花卉原始图像进行特征学习提取,得到花卉图像的全局特征;通过下分支的卷积神经网络对所述花卉图像显著性区域进行特征学习提取,得到花卉图像的主体特征。
9.根据权利要求8所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,所述特征学习提取包括:将图像尺寸统一处理成 224×224 ,根据RGB色彩空间把图像划分为三个平面;通过所述卷积神经网络的第一层,在特征空间重构后获得96张特征图,每张特征图的尺寸为 55×55;将第一层的96幅特征图输入第二层,得256张尺寸为
27×27的特征图;第三层和第四层都得到384张尺寸大小为13×13的特征图;第五层得到
256张尺寸为 6×6的特征图;第六层的全连接层将第五层输出的特征图进行全相连,输出6×6×256=9216维向量,对其池化操作后得到一个4096维的向量。
10.根据权利要求8所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法,其特征在于,在所述步骤S5中,通过使用全连接层将上、下两个分支的特征进行串联

说明书全文

一种结合显著性区域的卷积神经网络的花卉图像分类方法

技术领域

[0001] 本发明涉及图像分类领域,特别是一种结合显著性区域的卷积神经网络的花卉图像分类方法。

背景技术

[0002] 伴随着计算机科学技术的飞速发展,通过移动电话照相机等终端设备可以很便捷地拍摄各种花卉图像,但对花卉图像的分类和识别并不是很容易做到,通常需要在专家指导下才有可能正确地识别和分类。花卉图像精细分类是图像分类研究范围中最重要的方向之一。
[0003] 在图像分类中, 传统的方法包含基于词袋 (Bag of words, BOW) 的方法和基于图像分割的方法等。这些方法虽然在一些应用中取得了很好的效果, 但在准确性方面仍存在较大提升空间。随着深度学习的兴起, 人们将深度学习应用于图像分类中,并在许多应用中取得明显好于传统方法的结果。另一方面,视觉注意机制是基于人的视觉系统对视觉信息进行选择和过滤,将注意集中在感兴趣的目标上,从而达到快速定位识别目标过程。Itti和Koch最早建立了视觉注意计算模型。Itt-Koch视觉注意模型计算花卉图像显著图的流程和人类的视觉神经系统寻找图像中感兴趣目标的过程非常符合。因此,该模型能够找到花卉像中内容丰富的显著性区域。

发明内容

[0004] 本发明的目的在于提供一种结合显著性区域的卷积神经网络的花卉图像分类方法,以克服现有技术中存在的缺陷
[0005] 为实现上述目的,本发明的技术方案是:一种结合显著性区域的卷积神经网络的花卉图像分类方法,按照如下步骤实现:步骤S1:采用基于Itti-Koch视觉注意力模型计算花卉原始图像对应的花卉图像显著图;
步骤S2:计算花卉图像显著性区域;
步骤S3:在所述花卉原始图像、所述花卉图像显著性区域上分别训练卷积神经网络;
步骤S4:通过采用完成训练的卷积神经网络,分别对所述花卉原始图像和所述花卉图像显著性区域提取特征;
步骤S5:进行特征融合;
步骤S6:对图像进行分类。
[0006] 在本发明一实施例中,在所述步骤S1中,所述花卉图像显著图计算包括如下步骤:步骤S11:提取所述花卉原始图像的视觉特征;
步骤S12:根据所述视觉特征计算花卉图像显著图。
[0007] 在本发明一实施例中,在所述步骤S11中,还包括如下步骤:步骤S111:统一所述花卉原始图像的尺寸,采用9级高斯金字塔算法对所述花卉原始图像进行采样,并采样为尺度0至尺度8,共9个尺度;
步骤S112:在每个尺度上对应提取视觉特征图,包括:颜色特征、亮度特征和方向特征;
步骤S113:对提取的所有视觉特征图进行center-surround 操作。
[0008] 在本发明一实施例中,在所述步骤S12中,还包括如下步骤:步骤S121:将各个视觉特征图的尺寸分别通过差值调整为与所述高斯金字塔算法中第四层图像的尺寸相同;
步骤S122:将每个视觉特征图中的像素相加;
步骤S123:利用归一化算子 对每个视觉特征图进行归一化,获取亮度显著图、颜色显著图和方向显著图;
步骤S124:通过对所述亮度显著图、颜色显著图和方向显著图进行叠加,得到所述花卉图像显著图。
[0009] 在本发明一实施例中,在所述步骤S2中,还包括如下步骤:步骤S21:对所述花卉图像显著图进行闭运算操作;
步骤S22:将所述花卉图像显著图与所述花卉原始图像进行交运算,得到所述花卉图像显著性区域。
[0010] 在本发明一实施例中,在所述步骤S3中,分别将所述花卉原始图像、所述花卉图像显著性区域与对应的花卉类别作为训练集,采用小于预设值的不同随机数对所述卷积神经网络进行权值初始化,经过前向传播和反向传播两个阶段,直至所述卷积神经网络中每一层的权值参数确定,完成所述卷积神经网络训练。
[0011] 在本发明一实施例中,所述卷积神经网络包括5个卷积层,2个全连接层,卷积操作采用 7×7 的卷积核,滑动窗口的步长设置为2;激活函数采用ReLU;池化操作采用最大池化,池化单元为 3×3,池化单元的移动步长为2。
[0012] 在本发明一实施例中,在所述步骤S4中,通过上分支的卷积神经网络对所述花卉原始图像进行特征学习提取,得到花卉图像的全局特征;通过下分支的卷积神经网络对所述花卉图像显著性区域进行特征学习提取,得到花卉图像的主体特征。
[0013] 在本发明一实施例中,所述特征学习提取包括:将图像尺寸统一处理成 224×224 ,根据RGB色彩空间把图像划分为三个平面;通过所述卷积神经网络的第一层,在特征空间重构后获得96张特征图,每张特征图的尺寸为55×55;将第一层的96幅特征图输入第二层,得256张尺寸为27×27的特征图;第三层和第四层都得到384张尺寸大小为13×13的特征图;第五层得到256张尺寸为6×6的特征图;第六层的全连接层将第五层输出的特征图进行全相连,输出6×6×256=9216维向量,对其池化操作后得到一个4096维的向量。
[0014] 在本发明一实施例中,在所述步骤S5中,通过使用全连接层将上、下两个分支的特征进行串联
[0015] 相较于现有技术,本发明具有以下有益效果:本发明提出的一种结合显著性区域的卷积神经网络的花卉图像分类方法,在卷积神经网络提取花卉图像的全局特征的基础上,加入Itti-Koch视觉注意计算模型计算得到花卉图像的显著性区域,再使用卷积神经网络在花卉图像显著性区域上提取显著性区域特征,将全局特征与显著性区域特征相融合,用于花卉图像的精细分类,该方法克服了卷积神经网络直接在原始图像上提取特征时背景复杂性的影响,具有较强的实用性。附图说明
[0016] 图1为本发明一实施例中结合显著性区域的卷积神经网络结构框架图。
[0017] 图2为本发明一实施例中花卉图像显著图的计算流程图

具体实施方式

[0018] 下面结合附图,对本发明的技术方案进行具体说明。
[0019] 本发明提供一种结合显著性区域的卷积神经网络的花卉图像分类方法,具体包括以下步骤:步骤S1:针对花卉原始图像,基于Itti-Koch视觉注意力模型计算花卉图像显著图;步骤 S2:计算花卉图像显著性区域;
步骤S3:在花卉图像原图、花卉图像显著性区域上分别训练卷积神经网络。
[0020] 步骤S4:利用训练好的卷积神经网络分别对花卉图像的原图和显著性区域提取特征。
[0021] 步骤S5:特征融合。
[0022] 步骤S6:对图像进行分类。
[0023] 进一步地,在本实施例中,步骤S1具体包括以下步骤:步骤S11:视觉特征提取;
步骤S111:统一花卉图像的尺寸,采用9级高斯金字塔算法将花卉图像采样为尺度0至尺度8共9个尺度;
步骤S112:在每个尺度的花卉图像上提取颜色特征、亮度特征和方向特征等多种视觉特征图;
步骤S113:提取的所有特征图进行center-surround 操作;
步骤S12:计算显著图;
步骤S121:利用差值将各个特征图分别调整为与高斯金字塔结构中第四层图像尺寸相同;
步骤S122:将每个特征图中对应像素相加;
步骤S123:利用归一化算子 对特征显著图进行归一化;
步骤S124:亮度显著图、颜色显著图和方向显著图进行叠加,就可以得到最终的显著图。
[0024] 进一步地,步骤S2具体包含以下步骤:步骤S21:对步骤S1得到的显著图进行闭运算操作;
步骤S22:将显著图与原始图像进行交运算,得到图像的显著性区域。
[0025] 进一步地,在本实施例中,步骤S3具体包括:分别使用花卉原始图像、花卉原始图像对应的显著性区域与对应的花卉类别作为训练集,采用较小的不同随机数对网络进行权值初始化,经过前向传播和反向传播两个阶段,直至网络结构中每一层的权值参数确定,卷积神经网络训练完成。
[0026] 进一步地,在本实施例中,卷积神经网络具体结构为:5个卷积层,2个全连接层,卷积操作采用7×7 的卷积核,滑动窗口的步长设置为2;激活函数采用ReLU;池化操作采用最大池化,池化单元为3×3,池化单元的移动步长为2。
[0027] 进一步地,在本实施例中,上下两分支的卷积神经网络进行训练时,均采用均值为0,方差为0.01的高斯分布来进行权值初始化的操作。第二层、第四层、第五层这三个卷积层和网络的全连接层的神经元的偏置量用常量1进行初始化,其余各层的神经元用常量0进行初始化。网络训练时其他一些重要的参数设定如表1所示 。
[0028] 表1 网络训练时参数设定进一步地,在本实施例中,步骤S4具体过程为:上分支的卷积神经网络对花卉原始图像进行特征学习提取,得到花卉图像的全局特征,下分支的卷积神经网络对花卉图像显著性区域进行特征学习提取,得到花卉图像的主体特征。
[0029] 进一步地,特征提取具体过程为:对图像行预处理:将尺寸统一处理成224×224,根据RGB色彩空间把花卉图像划分为三个平面。通过第一个卷积层在特征空间重构后获得96张特征图,每张特征图的尺寸为55×55。将第一个卷积层的96幅特征图输入第二个卷积层,可得256张尺寸为27×27的特征图。第三个卷积层和第四个卷积层都得到384张尺寸大小为13×13的特征图。第五个卷积层得到256张尺寸为6×6的特征图。第六层的全连接层将第五个卷积层输出的特征图进行全相连,输出6×6×256=9216维向量,对其池化操作后得到一个4096维的向量。
[0030] 进一步地,步骤S5具体过程为:使用全连接层将上下两个分支的特征进行串联。
[0031] 以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈