基于深度学习的鱼类细粒度分类方法

阅读:2发布:2021-04-08

专利汇可以提供基于深度学习的鱼类细粒度分类方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 深度学习 的鱼类细粒度分类方法,包括将获取的图像进行预处理,使用 深度神经网络 进行特征提取,构建特征金字塔网络进行区域提议,对提议出的区域进行裁剪和特征提取,随后一方面利用提取出的特征做一次分类,将该分类的准确率作为监督 信号 输入到区域提议网络,另一方面将该特征与全图特征融合送入全连接层做分类,输出最终的分类结果。本发明解决了现有物体分类技术在做细粒度分类任务时,由于环境复杂、类别间细微的类间差异和较大的类内差异造成的准确率较低的问题,该方法在复杂背景下对鱼类图像进行细粒度分类时,识别时间短,识别准确率高,无需额外标签信息,适宜于推广应用。,下面是基于深度学习的鱼类细粒度分类方法专利的具体信息内容。

1.一种基于深度学习的鱼类细粒度分类方法,包括以下步骤:
S1:将获取的拍摄图像进行预处理;
S2:使用深度神经网络对预处理后的图像进行特征提取,利用可变卷积为深度神经网络中的卷积层选取合适的采样点,得到特征图;
S3:构建特征金字塔网络作为区域提议网络,在该网络中的每一个特征尺度上设置锚,将步骤S2输出的特征图输入特征金字塔网络,计算每一个锚对应的局部区域的信息量;
S4:取信息量最大的至少四个局部区域进行上采样,输入步骤S2中的深度神经网络,对提取出的区域进行特征提取,输出特征图;
S5:将步骤S2与步骤S4中输出的特征图连接在一起,使用全连接层进行类别的预测,利用标签信息计算损失函数并反向传播,更新区域提议网络参数;
S6:使用搜集好的训练数据集训练出步骤S1到步骤S5构建的网络模型的网络权重参数,采用训练好网络权重参数的网络模型对图像进行分类,输出结果。
2.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法,其特征在于,将步骤S4输出的特征图输入全连接层,对输入图像的类别进行预测,计算深度神经网络对正确类别的信息量并降序排列,通过区域提议网络的损失函数促使步骤S3中的区域的排序与此处的排序顺序一致,为区域提议网络提供监督信号
3.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法,其特征在于,在步骤S1中,预处理的具体步骤包括:
S1.1:采用双边线性插值将原始图像的尺寸调整到600*600;
S1.2:从插值后的图像中随机裁剪出448*448的图像
S1.3:对步骤S1.2得到的图像进行z-score标准化。
4.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法,其特征在于,步骤S2的具体步骤包括:
S2.1:在深度神经网络resnet-50中的第五个卷积模块的a,b,c三个卷积层的前端分别加入一个卷积层,该卷积层对上一层输出的特征图做卷积操作,输出特征图上每个采样点对应的偏移量,在第五个卷积模块的a,b,c三个卷积层中的采样点为原采样点经偏移后的位置
S2.2:在确定了采样点的偏移量后,第五个卷积模块的a,b,c三个卷积层输出的特征图上的每一个点的值由公式 计算,式中,x为输入的特征图,
y为输出的特征图,R为普通卷积的感受野,p0是输出特征图上的点,pn为普通卷积上的采样点,Δpn为偏移量,w(pn)为采样点上的权重。
5.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法,其特征在于,步骤S3的具体步骤包括:
经步骤S2输入图像被32倍降采样,输出的特征图大小为14*14,在特征金字塔网络中自底向上采用三层3*3的卷积层,步长分别为1、2、2,由此产生14*14、7*7和4*4三个特征尺度,与之对应,锚的尺寸分别取48、96和192,在每个尺度上锚的长宽比取值为1:1,2:3和3:2,横向连接采用1*1的卷积层。
6.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法,其特征在于,步骤S4的具体步骤包括:
S4.1:依据步骤S3输出的每个锚的信息量筛选出信息量最大的至少四个局部区域,采用双边线性插值将局部图像的尺寸调整至224*224;
S4.2:将步骤S4.1输出的局部图像输入到resnet-50网络中做特征提取,输出特征图。
7.根据权利要求2所述的基于深度学习的鱼类细粒度分类方法,其特征在于,为区域提议提供监督信号的具体步骤包括:
首先,将特征图输入全连接层,输出类别与信息度,将分类类别与标签一致的输出按照信息量大小降序排列;
其次,定义区域提议网络的损失函数为 式中,I表示步骤S3输
出的信息量,C表示全连接层输出的信心度,f(x)为非增函数,定义f(x)=max(1-x,0),这样促使区域提议中认为的信息量大的区域用于分类时能够正确分类,且分类信息量大,由此在不添加额外标签信息的情况下为区域提议网络提供弱监督信号。

说明书全文

基于深度学习的鱼类细粒度分类方法

技术领域

[0001] 本发明涉及图像处理、及其视觉、神经网络技术领域,特别是涉及一种基于深度学习的鱼类细粒度分类方法。

背景技术

[0002] 细粒度图像分类(Fine-Grained Categorization),又被称作子类别图像分类(Sub-Category Recognition),是近年来计算机视觉模式识别等领域一个非常热的研究课题。其目的是对粗粒度的大类别进行更加细致的子类划分,但由于子类别间细微的类间差异和较大的类内差异,较之普通的图像分类任务,细粒度图像分类难度更大。对鱼类的细粒度分类在渔业中具有很大的商业应用价值。与传统的人工识别方式相比较,基于深度学习的鱼类细粒度分类方法具有巨大的优势,在速度和准确率方面要远超人类的工作效率,尤其是在人们随着工作时间的增加而处于疲劳状态下,人们不单单分类的速度降低,准确率也要自然而然的降低。人类在处理机械式的繁琐工作时天然的无法战胜机器,为了追求资源配置的合理优化,将人类从此类工作中解放出来并投入到其他工作势在必然,细粒度分类这项技术就伴随着人类的这种诉求诞生出来。
[0003] 自从2015年深度学习占领各大图像处理比赛榜首之后,从AlexNet,VGG,InceptionNet到ResNet,通过卷积神经网络构建的深度学习在分类上的准确率越来越高。现在的图像处理大部分使用的方法都是深度学习。神经网络通过很多的神经元构建成一层一层的网络,通过激活层来使得模型有很强的非线性拟合的能。设计者只需要将图像和标签输入,模型便会自动的学习特征提取与结果映射。神经网络本质上是矩阵相乘与非线性的组合,通过很多很多的滤波核,来过滤对结果最为有用的特征而抑制对结果没有用的特征,来进行学习与分类。
[0004] 现有技术在复杂背景下进行鱼类图像细粒度分类时主要采用两种方法,一种是采用基于先验的传统分类算法,另一种是基于学习的分类算法。基于先验的分类算法往往无法有效解决鱼类细粒度分类任务上类内差距大、类间差距小所带来的难点,因此造成分类精度低,无法满足应用要求。而基于学习的细粒度分类算法能够取得较好的分类精度,但同时也面临识别时长、识别的准确率低、需要额外标签信息的问题,由此增加了时间和人力成本,降低了捕鱼业的工作效率与效益。
[0005] 因此亟需提供一种基于深度学习的鱼类细粒度分类方法来解决上述技术问题。

发明内容

[0006] 本发明所要解决的技术问题是提供一种基于深度学习的鱼类细粒度分类方法,能够在复杂背景下对鱼类图像进行准确地细粒度分类,识别时间短。
[0007] 为解决上述技术问题,本发明采用的一个技术方案是:提供一种基于深度学习的鱼类细粒度分类方法,包括以下步骤:
[0008] S1:将获取的拍摄图像进行预处理;
[0009] S2:使用深度神经网络对预处理后的图像进行特征提取,利用可变卷积为深度神经网络中的卷积层选取合适的采样点,得到特征图;
[0010] S3:构建特征金字塔网络作为区域提议网络,在该网络中的每一个特征尺度上设置锚,将步骤S2输出的特征图输入特征金字塔网络,计算每一个锚对应的局部区域的信息量;
[0011] S4:取信息量最大的至少四个局部区域进行上采样,输入步骤S2中的深度神经网络,对提取出的区域进行特征提取,输出特征图;
[0012] S5:将步骤S2与步骤S4中输出的特征图连接在一起,使用全连接层进行类别的预测,利用标签信息计算损失函数并反向传播,更新区域提议网络参数;
[0013] S6:使用搜集好的训练数据集训练出步骤S1到步骤S5构建的网络模型的网络权重参数,采用训练好网络权重参数的网络模型对图像进行分类,输出结果。
[0014] 在本发明一个较佳实施例中,将步骤S4输出的特征图输入全连接层,对输入图像的类别进行预测,计算深度神经网络对正确类别的信息量并降序排列,通过区域提议网络的损失函数促使步骤S3中的区域的排序与此处的排序顺序一致,为区域提议网络提供监督信号
[0015] 在本发明一个较佳实施例中,在步骤S1中,预处理的具体步骤包括:
[0016] S1.1:采用双边线性插值将原始图像的尺寸调整到600*600;
[0017] S1.2:从插值后的图像中随机裁剪出448*448的图像
[0018] S1.3:对步骤S1.2得到的图像进行z-score标准化。
[0019] 在本发明一个较佳实施例中,步骤S2的具体步骤包括:
[0020] S2.1:在深度神经网络resnet-50中的第五个卷积模块的a,b,c三个卷积层的前端分别加入一个卷积层,该卷积层对上一层输出的特征图做卷积操作,输出特征图上每个采样点对应的偏移量,在第五个卷积模块的a,b,c三个卷积层中的采样点为原采样点经偏移后的位置
[0021] S2.2:在确定了采样点的偏移量后,第五个卷积模块的a,b,c三个卷积层输出的特征图上的每一个点的值由公式 计算,式中,x为输入的特征图,y为输出的特征图,R为普通卷积的感受野,p0是输出特征图上的点,pn为普通卷积上的采样点,Δpn为偏移量,w(pn)为采样点上的权重。
[0022] 在本发明一个较佳实施例中,步骤S3的具体步骤包括:
[0023] 经步骤S2输入图像被32倍降采样,输出的特征图大小为14*14,在特征金字塔网络中自底向上采用三层3*3的卷积层,步长分别为1、2、2,由此产生14*14、7*7和4*4三个特征尺度,与之对应,锚的尺寸分别取48、96和192,在每个尺度上锚的长宽比取值为1:1,2:3和3:2,横向连接采用1*1的卷积层。
[0024] 在本发明一个较佳实施例中,步骤S4的具体步骤包括:
[0025] S4.1:依据步骤S3输出的每个锚的信息量筛选出信息量最大的至少四个局部区域,采用双边线性插值将局部图像的尺寸调整至224*224;
[0026] S4.2:将步骤S4.1输出的局部图像输入到resnet-50网络中做特征提取,输出特征图。
[0027] 进一步的,为区域提议提供监督信号的具体步骤包括:
[0028] 首先,将特征图输入全连接层,输出类别与信息度,将分类类别与标签一致的输出按照信息量大小降序排列;
[0029] 其次,定义区域提议网络的损失函数为 式中,I表示步骤S3输出的信息量,C表示全连接层输出的信心度,f(x)为非增函数,定义f(x)=max(1-x,0),这样促使区域提议中认为的信息量大的区域用于分类时能够正确分类,且分类信息量大,由此在不添加额外标签信息的情况下为区域提议网络提供弱监督信号。
[0030] 本发明的有益效果是:
[0031] (1)本发明解决了现有物体分类技术在做细粒度分类任务时,由于环境复杂、类别间细微的类间差异和较大的类内差异造成的准确率较低的问题,通过将获取的图像进行预处理,使用深度神经网络进行特征提取,构建特征金字塔网络进行区域提议,对提议出的区域进行裁剪和特征提取,随后一方面利用提取出的特征做一次分类,将该分类的准确率作为监督信号输入到区域提议网络,另一方面将该特征与全图特征融合送入全连接层做分类,输出最终的分类结果;
[0032] (2)本发明在复杂背景下对鱼类图像进行细粒度分类时,识别时间短,识别准确率高,无需额外标签信息,适宜于推广应用。附图说明
[0033] 图1是本发明基于深度学习的鱼类细粒度分类方法一较佳实施例的流程图
[0034] 图2是所述深度卷积网络中可变卷积的原理图;
[0035] 图3是所述区域提议网络的结构图。

具体实施方式

[0036] 下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
[0037] 请参阅图1,本发明实施例包括:
[0038] 一种基于深度学习的鱼类细粒度分类方法,包括以下步骤:
[0039] S1:将获取的拍摄图像进行预处理;预处理的具体步骤包括:
[0040] S1.1:采用双边线性插值将原始图像的尺寸调整到600*600;
[0041] S1.2:从插值后的图像中随机裁剪出448*448的图像块;
[0042] S1.3:对步骤S1.2得到的图像进行z-score标准化。
[0043] S2:使用深度神经网络对预处理后的图像进行特征提取,利用可变卷积为深度神经网络中的卷积层选取合适的采样点,得到特征图;
[0044] 优选的,所述深度神经网络采用resnet-50网络,在resnet-50网络引入可变卷积,结合图2,将步骤S1.3得到的图像输入到引入可变卷积的resnet-50网络中做特征提取,输出特征图,具体步骤包括:
[0045] S2.1:在深度神经网络resnet-50中的第五个卷积模块的a,b,c三个卷积层(conv5_a,b,c)的前端分别加入一个卷积层,该卷积层对上一层输出的特征图做卷积操作,输出特征图上每个采样点对应的偏移量,在conv5_a,b,c中的采样点为原采样点经偏移后的位置;
[0046] S2.2:在确定了采样点的偏移量后,conv5_a,b,c输出的特征图上的每一个点的值由公式 计算,式中,x为输入的特征图,y为输出的特征图,R为普通卷积的感受野,p0是输出特征图上的点,pn为普通卷积上的采样点,Δpn为偏移量,w(pn)为采样点上的权重。
[0047] S3:构建特征金字塔网络作为区域提议网络,在该网络中的每一个特征尺度上设置锚,将步骤S2输出的特征图输入特征金字塔网络,计算每一个锚对应的局部区域的信息量;
[0048] 结合图3,经步骤S2输入图像被32倍降采样,输出的特征图大小为14*14,在特征金字塔网络中自底向上采用三层3*3的卷积层,步长分别为1、2、2,由此产生14*14、7*7和4*4三个特征尺度,与之对应,锚的尺寸分别取48、96和192,在每个尺度上锚的长宽比取值为1:1,2:3和3:2,横向连接采用1*1的卷积层。将步骤S2输出的特征图输入构建好的特征金字塔网络,计算出每个anchor(锚)区域的信息量并降序输出。
[0049] S4:取信息量最大的至少四个局部区域进行上采样,输入步骤S2中的深度神经网络,对提取出的区域进行特征提取,输出特征图;本实施例中,选取信息量最大的四个局部区域进行上采样;具体步骤包括:
[0050] S4.1:依据步骤S3输出的每个锚的信息量筛选出信息量最大的四个局部区域,采用双边线性插值将局部图像的尺寸调整至224*224;
[0051] S4.2:将步骤S4.1输出的局部图像输入到resnet-50网络(与步骤S2中resnet-50共用网络参数)中做特征提取,输出特征图。
[0052] S5:将步骤S4输出的特征图输入全连接层,对输入图像的类别进行预测,计算引入可变卷积的resnet-50分类网络对正确类别的信息量并降序排列,通过区域提议网络的损失函数促使步骤S3中的区域的排序(信息量大小排序)与此处的排序(正确分类的信息量大小排序)顺序一致,为区域提议网络提供监督信号;具体步骤包括:
[0053] S5.1:将特征图输入全连接层,输出类别与信息度,将分类类别与标签一致的输出按照信息量大小降序排列,其中,所述标签为人为预先定义;
[0054] S5.2:定义区域提议网络的损失函数为 式中,I表示步骤S3输出的信息量,C表示全连接层输出的信心度,f(x)为非增函数,定义f(x)=max(1-x,0),这样促使区域提议中认为的信息量大的区域用于分类时能够正确分类,且分类信息量大,由此在不添加额外标签信息的情况下为区域提议网络提供弱监督信号。
[0055] S6:将步骤S2与步骤S4中输出的特征图连接在一起,使用全连接层进行类别的预测,利用标签信息计算损失函数并反向传播,更新区域提议网络参数;
[0056] S6.1:步骤S2输出的特征图为整张图像的特征图,步骤S4输出的特征图为信息量大的局部区域的特征图,将这两部分特征图连接在一起,输入全连接层做预测,输出分类类别;全连接层的分类损失函数采用交叉熵损失函数,即 式中,C表示分类函数,R表示区域提议网络筛选出的区域,X表示整张图片。
[0057] S6.2:利用标签信息与网络的输出计算总的损失函数Ltotal=LI+λ·L2,式中λ为超参数,按照实验经验一般取λ=1,随后进行反向传播,更新网络参数;
[0058] S7:使用搜集好的训练数据集训练出步骤S1到步骤S6构建的网络模型的网络权重参数,采用训练好网络权重参数的网络模型对图像进行分类,输出结果。
[0059] 以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈