首页 / 专利库 / 人工智能 / 线性分类器 / 基于深度学习的水果质量检测系统及方法

基于深度学习质量检测系统及方法

阅读:1050发布:2020-09-03

专利汇可以提供基于深度学习质量检测系统及方法专利检索,专利查询,专利分析的服务。并且基于 深度学习 的 水 果 质量 检测系统及方法,主要根据水果表面 颜色 、纹理、形状、大小来综合判断水果质量以完成分级,整个检测系统由水果传送系统,计算机 视觉识别系统 ,分级系统组成。相比于传统的水果检测系统,本系统具有深度学习的鲜明特点,主要体现在水果 图像处理 方面,通过对 卷积神经网络 算法 的网络结构以及卷积神经网络训练过程的详细分析,构建了基于卷积神经网络的水果 图像识别 系统,相比于一般的神经网络算法,具有结构简单、训练参数少和适应性强等特点。,下面是基于深度学习质量检测系统及方法专利的具体信息内容。

1.基于深度学习质量检测系统,其特征在于,包括:滑道、导向杆装置、传输机(4)、红外线传感器(5)、拍摄装置、灯光装置、上位机和分级装置;
所述滑道包括斜面滑道(1)和平面滑道(2),所述斜面滑道(1)斜向30°摆置于架上,斜面滑道(1)两侧安装有挡板(6),所述平面滑道(2)的两端分别对接斜面滑道(1)和传输机(4),使得水果能够在重的作用下从斜面滑道(1)滑至传输机(4);
所述导向杆装置包括两根导向杆(3),两根导向杆(3)用螺丝固定在滑道的相对两侧,导向杆(3)之间形成的上开口与滑道等宽,下开口靠拢,通过旋转螺丝可控制下开口的大小;
所述传输机(4)摆置于钢架上,使水果匀速向前滚动,传输机(4)的中部设有拍摄区;
所述红外线传感器(5)位于传输机(4)头部两侧的对称位置,在拍摄区的前面,用于向上位机传输感应信号,进而触发拍摄装置;
所述拍摄装置包括第一相机(13)和四个第二相机(14)(15)(16)(17),所述第一相机(13)固定在可升降的第一支座(8)上,所述第一支座(8)安装在传输机(4)一侧的滑杆(7)上,第一相机(13)的镜头与传输机(4)机面垂直,向下对准拍摄中心;围绕拍摄中心安装有四个第二相机(14)(15)(16)(17),所述第二相机(14)(15)(16)(17)固定在位于传输机(4)两侧的第二支座(9)(10)(11)(12)上,相邻的两个第二支座(9)(10)(11)(12)互成90°,第二相机(14)(15)(16)(17)的镜头与传输机(4)机面平行;
所述灯光装置包括平面光源(18)和四个点光源(19)(20)(21)(22),所述平面光源(18)位于第一相机(13)上方,照射区域向下覆盖整个拍摄区;四个点光源(19)(20)(21)(22)围绕四个第二相机(14)(15)(16)(17)安装在镜头外部,用于侧面打光;
所述上位机位于传输机(4)下部,上位机内预设卷积神经网络算法,对拍摄装置拍摄的图像进行特征参数提取和分类,自动检测水果特征并输出质量判断结果;
所述分级装置包括收集滑道(25)和水果收集箱(24),所述收集滑道(25)两端分别对接传输机(4)和水果收集箱(24),收集滑道(25)的两侧相对地安装有两个轴转动拨片(23),初始位置时两个轴转动拨片(23)之间有一定的夹,轴转动拨片(23)受上位机的控制,按照检测结果控制开闭,使水果滚入相应的水果收集箱(24)中,水果经过后再控制轴转动拨片(23)回到初始位置。
2.如权利要求1所述的基于深度学习的水果质量检测系统,其特征在于:所述传输机
(4)采用黑色吸光材质传输带。
3.如权利要求1所述的基于深度学习的水果质量检测系统,其特征在于:所述平面光源(18)采用LED环形光源,所述点光源(19)(20)(21)(22)采用LED点光源。
4.采用如权利要求1所述的基于深度学习的水果质量检测系统的检测方法,其特征在
于,包括如下步骤:
根据所要检测水果的种类,调节导向杆(3)的下开口大小,保证水果可以依次通过;
将待测水果放置于拍摄区,启动拍摄装置进行拍摄,根据成像清晰度及所占视野的位
置及比例,适当调节第一支座(8)和第二支座(9)(10)(11)(12);
启动整个系统,将水果先从斜面滑道(1)口由静止下滑,在重力作用下,从斜面滑道(1)下滑经过平面滑道(2)的导向杆(3)后到达传输机(4);
水果经过红外线传感器(5),上位机得到感应信号,经过相机视野中心位置时,上位机控制第一相机(13)和四个第二相机(14)(15)(16)(17)同时拍照,得到一个水果正面图和四个零件侧面图;
相机从传输接口将这些图片传输给上位机,上位机中已训练好的卷积神经网络对图片
进行处理,提取水果特征,得出检测结果;
根据检测结果上位机控制分级装置的轴转动拨片(23),使水果滚入相应的水果收集箱(24),完成分级。
5.如权利要求4所述的基于深度学习的水果质量检测系统的检测方法,其特征在于:所述卷积神经网络对水果特征的提取过程如下:
1)输入卷积神经网络的图片为28×28大小的预处理图,输入层后为卷积层C1,卷积层
C1通过卷积核与输入图像进行卷积得到特征平面,卷积核大小为5×5,特征平面上每个神经元与原图像5×5大小的局部感受视野连接,卷积核移动步长为1个像素,卷积层C1的特征平面大小为24×24,在C1中使用6个不同的卷积核与输入图像进行卷积,得到6种不同的特征平面图,同一张特征平面图上的所有神经元共享一个卷积核,卷积之后的结果通过
Sigmoid激活函数将神经非线性化;
2)卷积层C1后的采样层S1由6个特征平面组成,采样层S1对上一层特征图进行局部平
均和二次特征提取,特征平面上的每个神经元与上一层2X2大小的互不重合的邻域连接,进行均值采样,最终每个平面的大小为12×12;
3)采样层S1后的卷积层C2中,卷积核数目增加至12个,大小为5×5,每个特征图是连接到S1中所有6个或几个特征图的,所以C2层有12个大小为8×8的特征图;
4)卷积层C2后的采样层S2对上一层4×4大小邻域进行均值采样,输出12个4×4大小的
特征平面;
5)采样层S2后的全连接层F1将上一层12个4×4大小的二维平面展开成1×192大小的
一维向量并输入Softmax分类器,输出层一共有2个神经元,表示水果质量的好与坏两种结果,分类器将提取到的特征向量映射到输出层的2个神经元上,实现水果质量的分类。
6.如权利要求5所述的基于深度学习的水果质量检测系统的检测方法,其特征在于:对于图片的输入,先对原图像进行目标与背景分割,然后进行灰度化、统一分辨率,最后输入到卷积神经网络。

说明书全文

基于深度学习质量检测系统及方法

技术领域

[0001] 本发明属于产品质量检测领域,具体涉及一种基于深度学习的水果质量检测系统及方法。

背景技术

[0002] 近年来,随着信息技术的发展,水果质量检测已成为当前农业领域发展的关键技术。但是,传统水果图像识别方法已经无法满足现代化产业发展需求,还需对水果图像识别进行深入研究,从而提高其图像识别的精度及效率。传统的方法利用人工设计的方法对特定的分类任务进行特征的提取,由此引起的计算成本较大,这样的方法方法相当地耗费人和财力,并且分类任务具有高度的相关性,一旦改变了应用场景,就无法进行与之对应的迁移学习。
[0003] 针对这种情况,需要设计一种深度学习算法,即让图像能够自适应环境的变换,自动去学习图像特征,而不是人为地设计特征,在训练的过程中不需要额外的人工干预。
[0004] 深度学习让计算机模仿人的视觉机理,通过无监督的训练方式从目标中自动学习最本质的特征。深度学习中的卷积神经网络算法,它能够学习大量的输入与输出之间的映射关系,用已知的模式对卷积网络加以训练,网络就具有输入输出对之间的映射能力。即从输入层输入一张水果图像,经过隐含层的图像处理算法,我们就能够从输出层直接获得我们所需要的水果质量判断结果。
[0005] 卷积神经网络选用前向传播计算输出值,反向传播调整权重和偏置的方法。相比于一般的传统神经网络,CNN 在图像识别方面显示出较大的优势:1、使图像直接作为网络的输入,避免了复杂的预处理过程;
2、它的权值共享网络结构降低了网络模型的复杂度,减少了权值的数量;
3、卷积神经网络不需要手动设计提取特征,可以直接将图片作为输入,隐式地学习多层次特征,进而实现分类,相比目前常用的人工设计特征然后利用各分类器,具有明显的优势。

发明内容

[0006] 本发明针对现有技术中的不足,提供一种基于深度学习的水果质量检测系统及方法,它可实现全自动检测,从样本录入到产品检测,无需人工干预。
[0007] 为实现上述目的,本发明采用以下技术方案:基于深度学习的水果质量检测系统,其特征在于,包括:滑道、导向杆装置、传输机、红外线传感器、拍摄装置、灯光装置、上位机和分级装置;
所述滑道包括斜面滑道和平面滑道,所述斜面滑道斜向30°摆置于架上,斜面滑道两侧安装有挡板,所述平面滑道的两端分别对接斜面滑道和传输机,使得水果能够在重力的作用下从斜面滑道滑至传输机;
所述导向杆装置包括两根导向杆,两根导向杆用螺丝固定在滑道的相对两侧,导向杆
之间形成的上开口与滑道等宽,下开口靠拢,通过旋转螺丝可控制下开口的大小;
所述传输机摆置于钢架上,使水果匀速向前滚动,传输机的中部设有拍摄区;
所述红外线传感器位于传输机头部两侧的对称位置,在拍摄区的前面,用于向上位机
传输感应信号,进而触发拍摄装置;
所述拍摄装置包括第一相机和四个第二相机,所述第一相机固定在可升降的第一支座
上,所述第一支座安装在传输机一侧的滑杆上,第一相机的镜头与传输机机面垂直,向下对准拍摄中心;围绕拍摄中心安装有四个第二相机,所述第二相机固定在位于传输机两侧的第二支座上,相邻的两个第二支座互成90°,第二相机的镜头与传输机机面平行;
所述灯光装置包括平面光源和四个点光源,所述平面光源位于第一相机上方,照射区
域向下覆盖整个拍摄区;四个点光源围绕四个第二相机安装在镜头外部,用于侧面打光;
所述上位机位于传输机下部,上位机内预设卷积神经网络算法,对拍摄装置拍摄的图
像进行特征参数提取和分类,自动检测水果特征并输出质量判断结果;
所述分级装置包括收集滑道和水果收集箱,所述收集滑道两端分别对接传输机和水果
收集箱,收集滑道的两侧相对地安装有两个轴转动拨片,初始位置时两个轴转动拨片之间有一定的夹,轴转动拨片受上位机的控制,按照检测结果控制开闭,使水果滚入相应的水果收集箱中,水果经过后再控制轴转动拨片回到初始位置。
[0008] 为优化上述技术方案,采取的具体措施还包括:所述传输机采用黑色吸光材质传输带。
[0009] 所述平面光源采用LED环形光源,所述点光源采用LED点光源。
[0010] 进一步地,本发明还提出了采用如上所述的基于深度学习的水果质量检测系统的检测方法,其特征在于,包括如下步骤:根据所要检测水果的种类,调节导向杆的下开口大小,保证水果可以依次通过;
将待测水果放置于拍摄区,启动拍摄装置进行拍摄,根据成像清晰度及所占视野的位
置及比例,适当调节第一支座和第二支座;
启动整个系统,将水果先从斜面滑道口由静止下滑,在重力作用下,从斜面滑道下滑经过平面滑道的导向杆后到达传输机;
水果经过红外线传感器,上位机得到感应信号,经过相机视野中心位置时,上位机控制第一相机和四个第二相机同时拍照,得到一个水果正面图和四个零件侧面图;
相机从传输接口将这些图片传输给上位机,上位机中已训练好的卷积神经网络对图片
进行处理,提取水果特征,得出检测结果;
根据检测结果上位机控制分级装置的轴转动拨片,使水果滚入相应的水果收集箱,完
成分级。
[0011] 所述卷积神经网络对水果特征的提取过程如下:1)输入卷积神经网络的图片为28×28大小的预处理图,输入层后为卷积层C1,卷积层
C1通过卷积核与输入图像进行卷积得到特征平面,卷积核大小为5×5,特征平面上每个神经元与原图像5×5大小的局部感受视野连接,卷积核移动步长为1个像素,卷积层C1的特征平面大小为24×24,在C1中使用6个不同的卷积核与输入图像进行卷积,得到6种不同的特征平面图,同一张特征平面图上的所有神经元共享一个卷积核,卷积之后的结果通过
Sigmoid激活函数将神经非线性化;
2)卷积层C1后的采样层S1由6个特征平面组成,采样层S1对上一层特征图进行局部平
均和二次特征提取,特征平面上的每个神经元与上一层2X2大小的互不重合的邻域连接,进行均值采样,最终每个平面的大小为12×12;
3)采样层S1后的卷积层C2中,卷积核数目增加至12个,大小为5×5,每个特征图是连接到S1中所有6个或几个特征图的,所以C2层有12个大小为8×8的特征图;
4)卷积层C2后的采样层S2对上一层4×4大小邻域进行均值采样,输出12个4×4大小的
特征平面;
5)采样层S2后的全连接层F1将上一层12个4×4大小的二维平面展开成1×192大小的
一维向量并输入Softmax分类器,输出层一共有2个神经元,表示水果质量的好与坏两种结果,分类器将提取到的特征向量映射到输出层的2个神经元上,实现水果质量的分类。
[0012] 对于图片的输入,先对原图像进行目标与背景分割,然后进行灰度化、统一分辨率,最后输入到卷积神经网络。
[0013] 本发明的有益效果是:1、在水果图像处理方面,具有深度学习的特点,经过无监督的神经网络训练后,卷积神经网络算法能够自动从水果图像中学习特征参数,进行一系列的卷积、采样、分类运算。输入一张水果图像,经过已经训练好的隐含层的算法处理,直接可以得到水果质量的判断结果;
2、比传统的水果质量检测的特征参数更加丰富,从而使质量检测更加准确。本检测系统从水果的颜色,纹理,大小,形状来进行综合的质量判断,避免了因为单一检测参数检测失误而造成水果质量的错误分级,提高了水果检测的质量要求;
3、在拍摄图片时,难以避免因光照太强造成水果表面反光和传输带产生阴影的问题,本检测系统采用的LED环形灯源直径略大于水果直径,采用这种分散柔和的光源,极大的减小了反光效果。
附图说明
[0014] 图1是本发明系统的俯视图。
[0015] 图2是本发明系统的侧视图。
[0016] 图3是本发明系统的立体图。
[0017] 图4是本发明的卷积神经网络架构图。
[0018] 附图标记如下:斜面滑道1,平面滑道2,导向杆3,传输机4,红外线传感器5,挡板6,滑杆7,第一支座8,第二支座9、10、11、12,第一相机13,第二相机14、15、16、17,平面光源18,点光源19、20、21、22,轴转动拨片23,水果收集箱24,收集滑道25。

具体实施方式

[0019] 现在结合附图对本发明作进一步详细的说明。
[0020] 如图1到图3所示的基于深度学习的水果质量检测系统,包括以下结构:滑道:斜面滑道1斜向30°摆置于钢架上,无初始速度的水果可只在重力的作用下向滑
板底端滑动,使水果获得一个向前滚动的速度,为了确保水果到达传输机4后能随着传输机
4匀速运动,角度设定为30°,挡板6安装在斜面滑道1两侧,防止水果滚出滑道;平面滑道2摆置于钢架上,对接斜面滑道1,上安装导向杆3;
导向杆装置:两根导向杆3用螺丝固定在滑道两侧,导向杆3有一定高度,上开口与平面滑道2等宽,下开口相互靠拢,针对不同种类水果通过旋转螺丝控制下开口大小,一方面保证水果先后依次通过,另一方面用于矫正水果滚动的方向,使其尽可能的通过相机视野中心,减小偏移量;
传输机4:摆置于钢架上,用于调整水果速度,使之匀速向前滚动,有利于相机采集图片,采用黑色吸光材质传输带,避免拍摄时形成阴影。事先测试在不同速度下滚动的水果,根据照相机拍摄的速度和所拍图片的清晰度,确定合适的转动速度,选择功率合适的电机
[0021] 红外线传感器5:位于传输机4的头部两侧的对称位置,固定在传输机4两侧的支架上,在拍摄区的前面,距离拍摄区有一定距离,用于感应水果的位置,向上位机传输感应信号,上位机计算时间间隔控制照相机拍摄。
[0022] 拍摄装置:拍摄中心位于传输机4的中心区域,第一相机13固定在可升降的第一支座8上,镜头与传输机面垂直,使摄像头向下对准拍摄中心区域,第一支座8安装在传输机4一侧的滑杆7上,通过松动螺丝使支座上下可滑动,从而调整相机高度;若干第二相机14、15、16、17安装于平行传输机4且互成90°的第二支座9、10、11、12上。
[0023] 灯光装置:平面光源18采用环形LED灯,位于顶部相机上方的支座上,进行顶部打光,照射区域能够覆盖整个拍摄区,有足够的亮度且不会造成强烈的反光效果,向下对准拍摄区;若干点光源19、20、21、22采用LED小型光源,围绕4个照相机安装在外部镜头上,进行侧面打光,角度互成90°。
[0024] 上位机:位于传输机4下部,连接红外线传感器5、相机和轴转动拨片23,能接受红外线传感器5的感应信号,触发相机拍照和控制分级装置的拨片摆动。上位机内部预设深度学习的卷积神经网络算法,对输入的水果图像进行特征提取,获得水果质量的检测结果。
[0025] 分级装置:收集滑道25上部与传输机4对接,下部与水果收集箱24连接,在两条分滑道头部分道处,分别安装一个轴转动方式的拨片,开始时两个拨片有一定的夹角,轴转动拨片23与上位机连接,上位机根据质量检测结果来控制滑道拨片的转动,当水果经过后,再控制拨片回到原位。
[0026] 首先根据所要检测水果的种类,调节导向杆3的下端开口大小,保证水果可以依次通过。调整第一支座8和第二支座9、10、11、12,使镜头对准拍摄中心区域。开启平面光源18和点光源19、20、21、22,平面光源18为LED环形灯,照射范围足够完全覆盖相机最大视野,正好对准拍摄区域,它安装在滑杆7上固定。点光源19、20、21、22围绕第二相机14、15、16、17安装在镜头外部。
[0027] 斜面滑道1斜向30°摆置于钢架上,挡板6位于滑道两侧,防止水果离开滑道。水果在重力的作用下沿斜面滑道1由静止下滑,水果先经过平面滑道2板面上游的导向杆3的上开口,从下开口出,保证每次只通过一个。
[0028] 红外线传感器5位于检测点前面的某处传输机面两侧对称位置,水果从平面滑道2滚动到传输机4上,经过红外线传感器5时,传感器产生感应,将信号传送给上位机,然后上位机控制相机进行拍摄,使水果恰好经过相机视野中心。
[0029] 第一相机13安装于第一支座8上,镜头与传输机面垂直,拍摄高度可随支座调节。第二相机14、15、16、17分别成90°角平置于第二支座9、10、11、12上。当相机接收到上位机传来的信号,立进行拍摄,获取到5副图像通过传输接口传输给上位机。
[0030] 上位机中预先设计的卷积神经网络算法对图像进行特征参数提取和分类,最终输出水果质量的一个判断结果,上位机根据结果对分级装置的拨片进行控制,使水果滚入相应的收集箱中。
[0031] 分级装置由收集滑道25、轴转动拨片23、水果收集箱24组成。初始位置时两个拨片之间有一定夹角,当上位机获得水果检测结果后,控制相应的拨片向下摆动,引导水果向相应的收集箱滚动,水果经过后,上位机就控制拨片回到原位置。
[0032] 水果质量检测系统的运作过程为:首先,运行相机软件,将某种标准水果置于相机视野中心位置,根据拍摄图像的真实度和清晰度及所占视野的位置及比例,对相机支座进行适当的调整。然后水果从斜面滑道1在重力作用下由静止下滑,经过平面滑道2的导向装置后到达传输机4,经过红外线传感器5,产生感应信号传输给上位机,经过相机视野中心位置时,上位机控制相机进行拍摄。五台相机同时拍照,得到一个水果正面图和四个零件侧面图。相机从传输接口将这些图片传输给上位机,上位机中已训练好的卷积神经网络算法对图片进行处理得出检测结果,最后上位机根据检测结果控制分级装置的拨片,使水果滚入相应的水果收集箱24,完成分级。样品录完以后,用同样的方法对水果进行检测,上位机将检测的数据与样本数据进行对比得出质量检测结果。
[0033] 卷积神经网络的训练过程分为两个阶段:第一个阶段是数据由低层次向高层次传播的阶段,即前向传播阶段;另外一个阶段是,当前向传播得出的结果与预期不相符时,将误差从高层次向底层次进行传播训练的阶段,即反向传播阶段。
[0034] 对于图片的输入,需要先对原图像进行目标与背景分割,然后进行灰度化、统一分辨率,最后输入到卷积神经网络。由于训练卷积神经网络的根本目的是提取不同水果的特征,而背景不是目标的一部分,对水果识别来说并不提供任何有用的信息,反而对特征的提取造成干扰,所以去除背景噪声后,网络结构会更加简单,同时也利于网络对特征的学习。
[0035] 卷积神经网络对水果特征的提取过程如下:1、输入网络的图片为28×28大小的预处理图,卷积神经网络的输入层后为卷积层,卷
积层通过卷积核与输入图像进行卷积得到特征平面,卷积核大小为5×5。如图4,特征平面上每个神经元与原图像5×5大小的局部感受视野连接,卷积核移动步长为1个像素,因此卷积层C1的特征平面大小为24×24。在C1中使用了6个不同的卷积核与输入图像进行卷积,得到6种不同的特征平面图,同一张特征图上的所有神经元共享一个卷积核。卷积之后的结果并非直接存储到C1层特征图中,而是通过激活函数将神经非线性化,从而使网络具有更强的特征表达能力,激活函数选择Sigmoid函数。
[0036] 2、卷积层C1后的采样层S1由6个特征平面组成,采样层对上一层特征图进行局部平均和二次特征提取。特征平面上的每个神经元与上一层2X2大小的互不重合的邻域连接,进行均值采样,最终每个平面的大小为12×12。
[0037] 3、为了提升分类准确率,增加第二层的卷积核数目为12个,大小仍为5×5。所以C2层有12个大小为8×8的特征图。但需要注意的是,C2层中的每个特征图是连接到S1中的所有6个或者几个特征图的。这种不完全的连接方式不仅破坏了网络的对称性,而且使C2与S1之间的连接数量能够保持在合理的范围之内,借助这种连接机制来实现对不同特征的提取。
[0038] 4、采样层S2与S1层操作一样,对上一层4×4大小邻域进行均值采样,输出12个4×4大小的特征平面。
[0039] 5、全连接层F1将上一层12个4×4大小的二维平面展开成一个1×192大小的一维向量输入Softmax分类器,输出层一共有两个神经元,表示水果质量的好与坏两种结果,分类器将提取到的特征向量映射到输出层的两个神经元上实现分类。
[0040] 需要注意的是,发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
[0041] 以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈