一种苹果内外品质在线无损检测方法专利检索-无损检测材料测试专利检索查询-专利查询网

一种苹果内外品质在线无损检测方法

阅读：438发布：2020-05-08

专利汇可以提供一种苹果内外品质在线无损检测方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种苹果内外品质在线无损检测方法，应用苹果内外品质在线无损检测系统，系统包括：苹果外部品质检测单元、苹果内部品质检测单元、控制和数据处理单元及果托，控制和数据处理单元包括工控机，苹果外部品质检测单元包括：上部外观检测单元和下部外观检测单元，上部外观检测单元、苹果内部品质检测单元、下部外观检测单元依次固定在传送带两侧的固定架上，果托放置在传送带上，用于放置苹果，所述苹果内外品质在线无损检测系统布置于黑箱中；本发明利用机器视觉和可见光- 近红外透射光谱，基于图像处理、深度学习和光谱分析技术来检测苹果果径、着色度、表面缺陷、霉心病、糖度，实现了产线上苹果内外品质全面快速无损检测理论与方法。，下面是一种苹果内外品质在线无损检测方法专利的具体信息内容。

权利要求

1.一种苹果内外品质在线无损检测系统，其特征在于，包括：苹果外部品质检测单元、苹果内部品质检测单元(2)、控制和数据处理单元及果托，所述控制和数据处理单元包括工控机(7)，所述苹果外部品质检测单元包括：上部外观检测单元(3)和下部外观检测单元(1)，所述上部外观检测单元(3)、苹果内部品质检测单元(2)、下部外观检测单元(1)依次固定在传送带两侧的固定架上，所述果托放置在传送带上，用于放置苹果，所述苹果内外品质在线无损检测系统布置于黑箱中；
所述上部外观检测单元(3)用于实现苹果果径、苹果上半部的着色度和表面缺陷的检测，上部外观检测单元(3)是一个长方体中空的盒子，上部外观检测单元(3)的底部固定在传送带两侧的固定架上，上部外观检测单元(3)前、后侧面底部均设有能容纳果托通过的开口，上部外观检测单元(3)包括：4个工业相机(4)、2个无影灯(6)、1对光电开关(5)，其中3个工业相机(4)固定安装在上部外观检测单元(3)内部的侧上方，用于采集苹果的上表面图像，1个工业相机(4)固定安装于上部外观检测单元(3)内部的正上方，用于采集苹果的俯视图，2个无影灯(6)分别安装在上部外观检测单元(3)内部的两侧，用于作为上部外观检测单元(3)的光源，1对光电开关(5)设置在上部外观检测单元(3)的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达上部外观检测单元(3)并将信号传输至工控机(7)，工控机(7)触发工业相机(4)采集图像，工业相机(4)用于采集图像，并将采集的图像传输给工控机(7)；
所述苹果内部品质检测单元(2)用于实现苹果糖度、霉心病的检测，苹果内部品质检测单元(2)是一个长方体中空的盒子，苹果内部品质检测单元(2)的底部固定在传送带两侧的固定架上，苹果内部品质检测单元(2)的前、后侧面底部均设有能容纳果托通过的开口，苹果内部品质检测单元(2)的内部分为两层空间结构，苹果内部品质检测单元(2)包括：可见/近红外光谱仪套件(9)，6个卤素灯(10)，1对光电开关(5)，4个风扇(8)，位于下部的第一层空间结构用于安装6个卤素灯(10)、4个风扇(8)和1对光电开关(5)，位于上部的第二层空间结构用于安装可见/近红外光谱仪套件(9)和工控机(7)，6个卤素灯(10)安装在第一层空间结构两侧的支架上，用于作为苹果内部品质检测单元(2)的光源，其中2个风扇(8)安装于第一层空间结构的正上方，另外2个风扇(8)安装于第一层空间结构的一侧，用于对苹果内部品质检测单元(2)进行散热，1对光电开关(5)设置在苹果内部品质检测单元(2)的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达苹果内部品质检测单元(2)并将信号传输至工控机(7)，工控机(7)触发可见/近红外光谱仪套件(9)采集光谱数据，可见/近红外光谱仪套件(9)用于采集光谱数据，并将光谱数据传输给工控机(7)；
所述下部外观检测单元(1)用于实现苹果下半部的着色度和表面缺陷的检测，下部外观检测单元(1)由两个长方体中空的盒子构成，两个长方体中空的盒子之间通过连接架(13)连接，两个长方体中空的盒子的底部分别固定在传送带两侧的固定架上，下部外观检测单元(1)包括：3个工业相机(4)、2个无影灯(6)、1对光电开关(5)、吸盘(12)、气缸(11)，3个工业相机(4)固定安装在下部外观检测单元(1)内部的侧下方，用于采集苹果的下表面图像，2个无影灯(6)分别固定安装在下部外观检测单元(1)内部的两侧，用于作为下部外观检测单元(1)的光源，1对光电开关(5)设置在下部外观检测单元(1)的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达下部外观检测单元(1)并将信号传输至工控机(7)，工控机(7)触发工业相机(4)采集图像，工业相机(4)用于采集图像，并将采集的图像传输给工控机(7)，
气缸(11)设置在连接架(13)的中部，用于作为苹果吸起和放下的驱动动力，吸盘(12)悬挂连接架(13)上，吸盘(12)用于将苹果吸起；
工控相机(7)用于接收采集的图像和光谱数据，并对其进行分析处理。
2.如权利要求1所述的苹果内外品质在线无损检测系统，其特征在于，所述可见/近红外光谱仪套件(9)包括：光谱仪、光纤、可调透镜和USB数据线，所述光纤一端的探头安装于苹果下方，在探头末端设置可调透镜，可调透镜用于高效收集透射光谱，透射光谱经光传输至光谱仪，光谱仪通过USB数据线与工控机(7)连接，用于对各波段光谱进行接收和处理，并将处理后的结果传输至工控机(7)。
3.如权利要求2所述的苹果内外品质在线无损检测系统，其特征在于，所述光谱仪采用USB2000+光纤光谱仪。
4.如权利要求1所述的苹果内外品质在线无损检测系统，其特征在于，所述卤素灯(10)为50W的卤素灯。
5.一种苹果内外品质在线无损检测方法，应用上述权利要求1-4任一权利要求所述的苹果内外品质在线无损检测系统，其特征在于，包括：苹果果径检测方法、苹果着色度检测方法、苹果表面缺陷检测方法和苹果糖度、霉心病检测方法，
所述苹果果径为苹果最大横截面直径，所述苹果果径检测方法包括：图像采集、图像分割、轮廓提取、果径计算；
所述图像采集是通过上部外观检测单元(3)中的正上方的工业相机(4)采集苹果的俯视图，并将苹果的俯视图传输给工控机(7)，工控机(7)接收到苹果的俯视图后，首先将RGB颜色空间转化为HSI颜色空间，然后利用OpenCV中的inRange函数进行图像分割，对分割的图像采用数学形态学的方法进行处理，首先进行开运算然后进行闭合运算，去除图像分割后小面积的噪声，得到苹果的二值化图像，然后采用逐像素遍历法来提取苹果轮廓，通过对苹果的二值图像进行遍历寻找阈值变化明显的点并将其记录下来，最后利用曲线将这些点描绘出来，找到经过该轮廓中心距离最大的两个点，根据事先用标定板标定的工业相机(4)内外参数将图像中的像素距离转换为实际距离，得到苹果的果径信息；
所述苹果着色度为苹果表面红色像素点总面积占苹果表面总像素总面积的比，所述苹果着色度检测方法，包括以下步骤：
首先通过上部外部检测单元(3)内部侧上方的3个工业相机(4)和下部外观检测单元(1)内部侧下方的3个工业相机(4)进行苹果表面图像的采集，然后将采集的图像传输给工控机(7)，工控机(7)接收采集的图像，并对6幅图像进行去重拼接处理，然后将处理后的图像的RGB分量通过OpenCV转换为HSI彩色模型中的HSI分量，完成转换后基于色彩三原色的成色规律，通过OpenCV对苹果样本图像HSI彩色模型的H分量进行色彩像素点的识别与提取，得到苹果表皮的色度分布直方图，最后通过计算苹果整个表面的红色像素点总面积占整个表面像素点总面积的百分比得到苹果的红色着色度；
所述苹果表面缺陷检测方法为首先通过上部外部检测单元(3)的4个工业相机(4)和下部外观检测单元(1)的3个工业相机(4)进行苹果表面图像的采集，然后将采集的图像传输给工控机(7)，工控机(7)接收采集的图像，然后通过缺陷识别模型进行缺陷识别；
所述苹果糖度检测方法为首先通过苹果果径检测方法获取苹果的果径信息，然后通过苹果内部品质检测单元(2)中的可见/近红外光谱仪套件(9)采集苹果的光谱数据，若苹果的果径≥80cm，则将光谱数据输入果径≥80cm的糖度分析模型，通过果径≥80cm的糖度分析模型进行糖度结果的输出，若苹果的果径＜80cm，则将光谱数据输入果径＜80cm的糖度分析模型，通过果径＜80cm的糖度分析模型进行糖度结果的输出；
所述苹果霉心病检测方法为首先通过苹果果径检测方法获取苹果的果径信息，然后通过苹果内部品质检测单元(2)中的可见/近红外光谱仪套件(9)采集苹果的光谱数据，若苹果的果径≥80cm，则将采集的光谱数据输入果径≥80cm的霉心病判别模型，通过果径≥
80cm的霉心病判别模型进行霉心病检测结果的输出，若苹果的果径＜80cm，则将采集的光谱数据输入果径＜80cm的霉心病判别模型，通过果径＜80cm的霉心病判别模型进行霉心病检测结果的输出。
6.如权利要求5所述的苹果内外品质在线无损检测方法，其特征在于，HSI彩色模型中H、S、I的转换公式为：
7.如权利要求5所述的苹果内外品质在线无损检测方法，其特征在于，缺陷识别模型的建立具体包括以下步骤：
(1)准备2000个实验样品，2000个实验样品构成实验样本，其中1500个实验样品有缺陷，剩余500个实验样品无缺陷，缺陷包括：疤痕、磕碰、腐烂、枝叶膜、苦痘病，(2)打标签，利用labelImg 软件进行缺陷类型标记，生成.xml格式标签文件，(3)转换label格式，并生成训练集和测试集；将.xml格式标签文件转换成YOLO所需要的格式，随机将实验样本中的1600个样品作为训练集，400个样品作为测试集，(4)在YOLO v3.0软件中训练缺陷识别模型并进行测试。
8.如权利要求5所述的苹果内外品质在线无损检测方法，其特征在于，果径≥80cm的霉心病判别模型的建立包括以下步骤：
(1)准备实验样品，实验样品构成实验样本，并用标签对实验样品进行逐个标记，其中果径≥80cm的300个样品作为建模样本集，其中霉心病的苹果145个，健康苹果155个，训练集样本为225个样品，其中健康苹果115个，霉心病苹果110个，测试集样本为75个样品，其中健康苹果40个，霉心病苹果35个，
(2)在运动的传送带上使用USB2000+光纤光谱仪分别对建模样本集中的每个样品进行透射光谱采集，每个样品需进行3次透射光谱采集实验，取3次数据的平均值作为样品的光谱数据，在采集光谱过程中，采集参数设置为：平均扫描次数为5，平滑点数为5，积分时间为
100ms，
(3)光谱数据预处理：首先采用多元散射校正对采集光谱数据进行预处理，增强光谱与数据之间的相关性；其次对光谱数据进行[0,1]的归一化处理，提高模型收敛速度和模型精度；最后采用主成分分析法，对高维光谱数据进行降维处理，选择累计贡献率90％以上的8个主成分作为模型输入的特征变量；
(4)建立霉心病检测模型：采用支持向量机的算法构建霉心病判别模型，然后利用测试集样本进行样本测试，建模中参数寻优是通过matlab寻优，将最合适的参数在C++文件中进行了定义。
9.如权利要求8所述的苹果内外品质在线无损检测方法，其特征在于，果径<80cm的霉心病判别模型与果径≥80cm的霉心病判别模型建立方法相同，果径＜80cm的样本及分布同果径≥80cm的样本。
10.如权利要求5所述的苹果内外品质在线无损检测方法，其特征在于，果径≥80cm的糖度分析模型的建立包括以下步骤：
(1)准备实验样品，实验样品均为健康的苹果，实验样品构成实验样本，并用标签对实验样品进行逐个标记，其中果径≥80cm的155个样品作为建模样本集，其中训练集样本为
115个样品，测试集样本为40个样品，
(2)在运动的传送带上使用USB2000+光纤光谱仪分别对每个样品进行透射光谱采集，每个样品需进行3次透射光谱采集实验，取3次数据的平均值作为样品的光谱数据，在采集光谱过程中，采集参数设置为：平均扫描次数为5，平滑点数为5，积分时间为100ms，(3)糖度化学测定：将采集光谱后的健康苹果样品上标好位置的果肉切下并榨汁，取2-
3滴榨取的果汁，滴于数字式折射仪的测试位置，对健康苹果样品进行糖度的测定，取健康苹果样品直径位置上3个不同标记处的平均值作为糖度标准值，
(4)光谱数据预处理：首先采用多元散射校正对采集的光谱数据进行预处理，增强光谱与数据之间的相关性，其次对光谱数据进行[0,1]的归一化处理，提高模型收敛速度和模型精度；最后采用主成分分析法，对高维光谱数据进行降维处理，选择累计贡献率90％以上的
8个主成分作为模型输入的特征变量；
(5)建立糖度分析模型：用偏最小二乘回归的算法构建糖度分析模型，构建糖度分析模型时结合糖度标准值，建模中参数寻优是通过matlab寻优，将最合适的参数在C++文件中进行了定义；
所述果径＜80cm的糖度分析模型和果径≥80cm的糖度分析模型的建立方法相同，果径＜80cm的样本及分布同果径≥80cm的样本。

说明书全文

一种苹果内外品质在线无损检测方法

技术领域

[0001] 本发明属于农产品检测技术领域，涉及一种基于机器视觉和可见/近红外光谱的苹果内外品质无损检测方法，具体是苹果的果径、着色度、表面缺陷、糖度、霉心病的检测方法，检测结果可以作为苹果分级的依据。

背景技术

[0002] 我国是世界上苹果产出和消费大国，近几年随着人们生活水平的提高以及苹果产量的增长，尤其是果品公司需要在苹果采摘季收购大量的苹果进行存储，由于传统的人工分级方法对苹果的检验方法存在耗时、成本高、主观性强以及无法判别内部品质的缺点传统的人工分级的方法越来越不能满足要求。近年来，随着机器视觉和光谱技术的发展，人们开始采用机器视觉对苹果的外观进行检测，以及根据光谱的特征对苹果的内部品质进行检测，但是，目前国内关于苹果的品质在线无损检测装置基本上包含果径、着色度、表面缺陷、糖度，没有集成霉心病检测功能到装置中去。

发明内容

[0003] 针对现有技术中存在的缺陷，本发明的目的在于提供一种在线无损检测苹果内外部品质的方法，采用机器视觉和可见/近红外光谱技术，分成2个功能单元，完成苹果的果径、着色度、表面缺陷、糖度和霉心病的在线无损检测，为苹果的分级提供依据。

[0004] 为达到以上目的，本发明采取的技术方案是：

[0005] 一种苹果内外品质在线无损检测系统，包括：苹果外部品质检测单元、苹果内部品质检测单元2、控制和数据处理单元及果托，所述控制和数据处理单元包括工控机7，所述苹果外部品质检测单元包括：上部外观检测单元3和下部外观检测单元1，所述上部外观检测单元3、苹果内部品质检测单元2、下部外观检测单元1依次固定在传送带两侧的固定架上，所述果托放置在传送带上，用于放置苹果，所述苹果内外品质在线无损检测系统布置于黑箱中；

[0006] 所述上部外观检测单元3用于实现苹果果径、苹果上半部的着色度和表面缺陷的检测，上部外观检测单元3是一个长方体中空的盒子，上部外观检测单元3的底部固定在传送带两侧的固定架上，上部外观检测单元3前、后侧面底部均设有能容纳果托通过的开口，上部外观检测单元3包括：4个工业相机4、2个无影灯6、1对光电开关5，其中3个工业相机4固定安装在上部外观检测单元3内部的侧上方，用于采集苹果的上表面图像，1个工业相机4固定安装于上部外观检测单元3内部的正上方，用于采集苹果的俯视图，2个无影灯6分别安装在上部外观检测单元3内部的两侧，用于作为上部外观检测单元3的光源，1对光电开关5设置在上部外观检测单元3的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达上部外观检测单元3并将信号传输至工控机7，工控机7触发工业相机4采集图像，工业相机4用于采集图像，并将采集的图像传输给工控机7；

[0007] 所述苹果内部品质检测单元2用于实现苹果糖度、霉心病的检测，苹果内部品质检测单元2是一个长方体中空的盒子，苹果内部品质检测单元2的底部固定在传送带两侧的固定架上，苹果内部品质检测单元2的前、后侧面底部均设有能容纳果托通过的开口，苹果内部品质检测单元2的内部分为两层空间结构，苹果内部品质检测单元2包括：可见/近红外光谱仪套件9，6个卤素灯10，1对光电开关5，4个风扇8，位于下部的第一层空间结构用于安装6个卤素灯10、4个风扇8和1对光电开关5，位于上部的第二层空间结构用于安装可见/近红外光谱仪套件9和工控机7，6个卤素灯10安装在第一层空间结构两侧的支架上，用于作为苹果内部品质检测单元2的光源，其中2个风扇8安装于第一层空间结构的正上方，另外2个风扇8安装于第一层空间结构的一侧，用于对苹果内部品质检测单元2进行散热，1对光电开关5设置在苹果内部品质检测单元2的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达苹果内部品质检测单元2并将信号传输至工控机7，工控机7触发可见/近红外光谱仪套件9采集光谱数据，可见/近红外光谱仪套件9用于采集光谱数据，并将光谱数据传输给工控机
7；

[0008] 所述下部外观检测单元1用于实现苹果下半部的着色度和表面缺陷的检测，下部外观检测单元1由两个长方体中空的盒子构成，两个长方体中空的盒子之间通过连接架13连接，两个长方体中空的盒子的底部分别固定在传送带两侧的固定架上，下部外观检测单元1包括：3个工业相机4、2个无影灯6、1对光电开关5、吸盘12、气缸11，3个工业相机4固定安装在下部外观检测单元1内部的侧下方，用于采集苹果的下表面图像，2个无影灯6分别固定安装在下部外观检测单元1内部的两侧，用于作为下部外观检测单元1的光源，1对光电开关5设置在下部外观检测单元1的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达下部外观检测单元1并将信号传输至工控机7，工控机7触发工业相机4采集图像，工业相机4用于采集图像，并将采集的图像传输给工控机7，

[0009] 气缸11设置在连接架13的中部，用于作为苹果吸起和放下的驱动动力，吸盘12悬挂连接架13上，吸盘12用于将苹果吸起；

[0010] 工控相机7用于接收采集的图像和光谱数据，并对其进行分析处理。

[0011] 在上述方案的基础上，所述可见/近红外光谱仪套件9包括：光谱仪、光纤、可调透镜和USB数据线，所述光纤一端的探头安装于苹果下方，在探头末端设置可调透镜，可调透镜用于高效收集透射光谱，透射光谱经光传输至光谱仪，光谱仪通过USB数据线与工控机7连接，用于对各波段光谱进行接收和处理，并将处理后的结果传输至工控机7。

[0012] 在上述方案的基础上，所述光谱仪采用USB2000+光纤光谱仪。

[0013] 在上述方案的基础上，所述卤素灯10为50W的卤素灯。

[0014] 一种苹果内外品质在线无损检测方法，应用上述的苹果内外品质在线无损检测系统，包括：苹果果径检测方法、苹果着色度检测方法、苹果表面缺陷检测方法和苹果糖度、霉心病检测方法，

[0015] 所述苹果果径为最大横径即苹果最大横截面直径，所述苹果果径检测方法包括：图像采集、图像分割、轮廓提取、果径计算；

[0016] 所述图像采集是通过上部外观检测单元3中的正上方的工业相机4采集苹果的俯视图，并将苹果的俯视图传输给工控机7，工控机7接收到苹果的俯视图后，首先将RGB颜色空间转化为HSI颜色空间，然后利用OpenCV中的inRange函数进行图像分割，对分割的图像采用数学形态学的方法进行处理，首先进行开运算然后进行闭合运算，去除图像分割后小面积的噪声，得到苹果的二值化图像，然后采用逐像素遍历法来提取苹果轮廓，通过对苹果的二值图像进行遍历寻找阈值变化明显的点并将其记录下来，最后利用曲线将这些点描绘出来，找到经过该轮廓中心距离最大的两个点，根据事先用标定板标定的工业相机4内外参数将图像中的像素距离转换为实际距离，得到苹果的果径信息；

[0017] 所述苹果着色度为苹果表面红色像素点总面积占苹果表面总像素总面积的比，所述苹果着色度检测方法，包括以下步骤：

[0018] 首先通过上部外部检测单元3内部侧上方的3个工业相机4和下部外观检测单元1内部侧下方的3个工业相机4进行苹果表面图像的采集，然后将采集的图像传输给工控机7，工控机7接收采集的图像，并对6幅图像进行去重拼接处理，然后将处理后的图像的RGB分量通过OpenCV转换为HSI彩色模型中的HSI分量，完成转换后基于色彩三原色的成色规律，通过OpenCV对苹果样本图像HSI彩色模型的H分量进行色彩像素点的识别与提取，得到苹果表皮的色度分布直方图，最后通过计算苹果整个表面的红色像素点总面积占整个表面像素点总面积的百分比得到苹果的红色着色度；在HSI彩色模型中，I分量与彩色信息无关，同时在图像采集的过程中，光源的强度和纯度一定，从而样本图像的I和S分量是固定的，所以提取彩色图像特征只需要H分量的特征；

[0019] 所述苹果表面缺陷检测方法为首先通过上部外部检测单元3的4个工业相机4和下部外观检测单元1的3个工业相机4进行苹果表面图像的采集，然后将采集的图像传输给工控机7，工控机7接收采集的图像，然后通过缺陷识别模型进行缺陷识别；

[0020] 所述苹果糖度检测方法为首先通过苹果果径检测方法获取苹果的果径信息，然后通过苹果内部品质检测单元2中的可见/近红外光谱仪套件9采集苹果的光谱数据，若苹果的果径≥80cm，则将光谱数据输入果径≥80cm的糖度分析模型，通过果径≥80cm的糖度分析模型进行糖度结果的输出，若苹果的果径＜80cm，则将光谱数据输入果径＜80cm的糖度分析模型，通过果径＜80cm的糖度分析模型进行糖度结果的输出；

[0021] 所述苹果霉心病检测方法为首先通过苹果果径检测方法获取苹果的果径信息，然后通过苹果内部品质检测单元2中的可见/近红外光谱仪套件9采集苹果的光谱数据，若苹果的果径≥80cm，则将采集的光谱数据输入果径≥80cm的霉心病判别模型，通过果径≥80cm的霉心病判别模型进行霉心病检测结果的输出，若苹果的果径＜80cm，则将采集的光谱数据输入果径＜80cm的霉心病判别模型，通过果径＜80cm的霉心病判别模型进行霉心病检测结果的输出。

[0022] 在上述方案的基础上，HSI彩色模型中H、S、I的转换公式为：

[0023]

[0024] 在上述方案的基础上，缺陷识别模型的建立具体包括以下步骤：

[0025] (1)准备2000个实验样品，2000个实验样品构成实验样本，其中1500个实验样品有缺陷，剩余500个实验样品无缺陷，缺陷包括：疤痕、磕碰、腐烂、枝叶膜、苦痘病，[0026] (2)打标签，利用labelImg 软件进行缺陷类型标记，生成.xml格式标签文件，[0027] (3)转换label格式，并生成训练集和测试集；将.xml格式标签文件转换成YOLO所需要的格式，随机将实验样本中的1600个样品作为训练集，400个样品作为测试集，[0028] (4)在YOLO v3.0软件中训练缺陷识别模型并进行测试。

[0029] 在上述方案的基础上，果径≥80cm的霉心病判别模型的建立包括以下步骤：

[0030] (1)准备实验样品，实验样品构成实验样本，并用标签对实验样品进行逐个标记，其中果径≥80cm的300个样品作为建模样本集，其中霉心病的苹果145个，健康苹果155个，训练集样本为225个样品，其中健康苹果115个，霉心病苹果110个，测试集样本为75个样品，其中健康苹果40个，霉心病苹果35个，

[0031] (2)在运动的传送带上使用USB2000+光纤光谱仪分别对建模样本集中的每个样品进行透射光谱采集，每个样品需进行3次透射光谱采集实验，取3次数据的平均值作为样品的光谱数据，在采集光谱过程中，采集参数设置为：平均扫描次数为5，平滑点数为5，积分时间为100ms，

[0032] (3)光谱数据预处理：首先采用多元散射校正(Multiple Scattering Correction，MSC)对采集光谱数据进行预处理，增强光谱与数据之间的相关性；其次对光谱数据进行[0,1]的归一化处理，提高模型收敛速度和模型精度；最后采用主成分分析法(Principal Component Analysis，PCA)，对高维光谱数据进行降维处理，选择累计贡献率90％以上的8个主成分作为模型输入的特征变量；

[0033] (4)建立霉心病检测模型：采用支持向量机(Support Vector Machine，SVM)的算法构建霉心病判别模型，然后利用测试集样本进行样本测试，建模中参数寻优是通过matlab寻优，将最合适的参数在C++文件中进行了定义。

[0034] 在上述方案的基础上，果径<80cm的霉心病判别模型与果径≥80cm的霉心病判别模型建立方法相同，果径＜80cm的样本及分布同果径≥80cm的样本。

[0035] 在上述方案的基础上，果径≥80cm的糖度分析模型的建立包括以下步骤：

[0036] (1)准备实验样品，实验样品均为健康的苹果，实验样品构成实验样本，并用标签对实验样品进行逐个标记，其中果径≥80cm的155个样品作为建模样本集，其中训练集样本为115个样品，测试集样本为40个样品，

[0037] (2)在运动的传送带上使用USB2000+光纤光谱仪分别对每个样品进行透射光谱采集，每个样品需进行3次透射光谱采集实验，取3次数据的平均值作为样品的光谱数据，在采集光谱过程中，采集参数设置为：平均扫描次数为5，平滑点数为5，积分时间为100ms，[0038] (3)糖度化学测定：将采集光谱后的健康苹果样品上标好位置的果肉切下并榨汁，取2-3滴榨取的果汁，滴于数字式折射仪(PAL-BX/ACID5，ATAGO)的测试位置，对健康苹果样品进行糖度的测定，取健康苹果样品直径位置上3个不同标记处的平均值作为糖度标准值，[0039] (4)光谱数据预处理：首先采用多元散射校正(Multiple Scattering Correction，MSC)对采集的光谱数据进行预处理，增强光谱与数据之间的相关性，其次对光谱数据进行[0,1]的归一化处理，提高模型收敛速度和模型精度；最后采用主成分分析法(Principal Component Analysis，PCA)，对高维光谱数据进行降维处理，选择累计贡献率90％以上的8个主成分作为模型输入的特征变量；

[0040] (5)建立糖度分析模型：用偏最小二乘回归(Partial least squares regression，PLS)的算法构建糖度分析模型，构建糖度分析模型时结合糖度标准值，建模中参数寻优是通过matlab寻优，将最合适的参数在C++文件中进行了定义。

[0041] 在上述方案的基础上，所述果径＜80cm的糖度分析模型和果径≥80cm的糖度分析模型的建立方法相同，果径＜80cm的样本及分布同果径≥80cm的样本。

[0042] 工作原理：苹果果柄朝上放置于果托中，当光电开关5感应装有苹果的果托到达上部外观检测单元3时，光电开关5将苹果到达信号传输至工控机7，工控机7触发4个工业相机4采集苹果不同位置的4幅图像，并将采集的图像传输给工控机7进行分析，上部外观检测单元3检测完成后，苹果继续向前运动，当光电开关5感应到装有苹果的果托到达苹果内部品质检测单元2时，光电开关5将苹果到达信号传输至工控机7，工控机7触发可见/近红外光谱仪套件9采集光谱数据，并将光谱数据传输给工控机7进行分析，苹果内部品质检测单元2检测完成后，苹果继续向前运动至下部外观检测单元1，下部外观检测单元1首先通过吸盘12将传送至此的苹果吸起悬空，当光电开关5感应到苹果到达的信号后，将信号传输至工控机
7，工控机7触发3个工业相机4采集苹果侧下方不同位置的3幅图像，并将采集的图像传输至工控机7进行分析，图像采集完毕，吸盘12缓慢将苹果降至果托中，最后，工控机7融合机器视觉检测的苹果外观品质信息和可见/近红外检测的苹果内部品质信息，进行结果输出。

[0043] 本发明的有益效果：

[0044] 本发明利用机器视觉和可见光-近红外透射光谱，基于图像处理、深度学习和光谱分析技术来检测苹果果径、着色度、表面缺陷、霉心病、糖度，实现了产线上苹果内外品质全面快速无损检测理论与方法，后续可以根据检测结果对苹果进行分级，在苹果入库时不仅能够按级存储还能及时准确的分拣出发病苹果，防止存储期间霉心病病菌的大面积传染。同时该发明成果可扩展应用于其它果品内外品质的在线快速无损检测。
附图说明

[0045] 本发明有如下附图：

[0046] 图1苹果内外品质在线无损检测布局框架图；

[0047] 图2上部外观检测单元内部结构图；

[0048] 图3内部品质检测单元内部结构图；

[0049] 图4下部外观检测单元内部结构图。

[0050] 图中：1-下部外观检测单元；2-苹果内部品质检测单元；3-上部外观检测单元；4-工业相机；5-光电开关；6-无影灯；7-工控机；8-风扇；9-可见/近红外光谱仪套件；10-卤素灯；11-气缸；12-吸盘；13-连接架。

具体实施方式

[0051] 以下结合附图1-4对本发明作进一步详细说明。

[0052] 图1示出了本发明苹果内外品质在线无损检测布局框架，包括：苹果外部品质检测单元、苹果内部品质检测单元2、控制和数据处理单元及果托，所述控制和数据处理单元包括工控机7，其中苹果外部品质检测单元包括上部外观检测单元3和下部外观检测单元1，所述上部外观检测单元3、苹果内部品质检测单元2、下部外观检测单元1依次固定在传送带两侧的固定架上，所述果托放置在传送带上，用于放置苹果，所有检测单元都布置于黑箱中。上部外观检测单元3如图2所示，用于实现苹果果径、苹果上半部的着色度和表面缺陷的检测，上部外观检测单元3是一个长方体中空的盒子，上部外观检测单元3的底部固定在传送带两侧的固定架上，上部外观检测单元3前、后侧面底部均设有能容纳果托通过的开口，包含：4个工业相机4、2个无影灯6，1对光电开关5，其中3个工业相机4固定安装在上部外观检测单元3内部的侧上方，用于采集苹果的上表面图像，1个工业相机4固定安装于上部外观检测单元3内部的正上方，用于采集苹果的俯视图，2个无影灯6分别安装在上部外观检测单元
3内部的两侧，用于作为上部外观检测单元3的光源，1对光电开关5设置在上部外观检测单元3的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达上部外观检测单元3并将信号传输至工控机7，工控机7触发工业相机4采集图像，工业相机4用于采集图像，并将采集的图像传输给工控机7；

[0053] 苹果内部品质检测单元2如图3所示，用于实现苹果糖度、霉心病的检测，苹果内部品质检测单元2是一个长方体中空的盒子，苹果内部品质检测单元2的底部固定在传送带两侧的固定架上，苹果内部品质检测单元2的前、后侧面底部均设有能容纳果托通过的开口，苹果内部品质检测单元2的内部分为两层空间结构，包含：可见/近红外光谱仪套9，6个50W卤素灯10，1对光电开关5，4个风扇8，位于下部的第一层空间结构用于安装6个卤素灯10、4个风扇8和1对光电开关5，位于上部的第二层空间结构用于安装可见/近红外光谱仪套件9和工控机7，6个卤素灯10安装在第一层空间结构两侧的支架上，用于作为苹果内部品质检测单元2的光源，其中2个风扇8安装于第一层空间结构的正上方，另外2个风扇8安装于第一层空间结构的一侧，用于对苹果内部品质检测单元2进行散热，1对光电开关5设置在苹果内部品质检测单元2的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达苹果内部品质检测单元2并将信号传输至工控机7，工控机7触发可见/近红外光谱仪套件9采集光谱数据，可见/近红外光谱仪套件9用于采集光谱数据，并将光谱数据传输给工控机7；

[0054] 下部外观检测单元1如图4所示，用于实现苹果下半部的着色度和表面缺陷的检测，下部外观检测单元1由两个长方体中空的盒子构成，两个长方体中空的盒子之间通过连接架13连接，两个长方体中空的盒子的底部分别固定在传送带两侧的固定架上，包含：3个工业相机4，2个无影灯6，1对光电开关5，吸盘12、气缸11，3个工业相机4固定安装在下部外观检测单元1内部的侧下方，用于采集苹果的下表面图像，2个无影灯6分别固定安装在下部外观检测单元1内部的两侧，用于作为下部外观检测单元1的光源，1对光电开关5设置在下部外观检测单元1的底部两侧，固定于传送带两侧的固定架上，用于感应苹果到达下部外观检测单元1并将信号传输至工控机7，工控机7触发工业相机4采集图像，工业相机4用于采集图像，并将采集的图像传输给工控机7，

[0055] 气缸11设置在连接架13的中部，用于作为苹果吸起和放下的驱动动力，吸盘12悬挂连接架13上，吸盘12用于将苹果吸起；

[0056] 工控相机7用于接收采集的图像和光谱数据，并对其进行分析处理。

[0057] 在上述方案的基础上，所述可见/近红外光谱仪套件9包括：光谱仪、光纤、可调透镜和USB数据线，所述光纤一端的探头安装于苹果下方，在探头末端设置可调透镜，可调透镜用于高效收集透射光谱，透射光谱经光传输至光谱仪，光谱仪通过USB数据线与工控机7连接，用于对各波段光谱进行接收和处理，并将处理后的结果传输至工控机7。

[0058] 在上述方案的基础上，所述光谱仪采用USB2000+光纤光谱仪。

[0059] 工作原理：苹果果柄朝上放置于果托中，当光电开关5感应装有苹果的果托到达上部外观检测单元3时，光电开关5将苹果到达信号传输至工控机7，工控机7触发4个工业相机4采集苹果不同位置的4幅图像，并将采集的图像传输给工控机7进行分析，上部外观检测单元3检测完成后，苹果继续向前运动，当光电开关5感应到装有苹果的果托到达苹果内部品质检测单元2时，光电开关5将苹果到达信号传输至工控机7，工控机7触发可见/近红外光谱仪套件9采集光谱数据，并将光谱数据传输给工控机7进行分析，苹果内部品质检测单元2检测完成后，苹果继续向前运动至下部外观检测单元1，下部外观检测单元1首先通过吸盘12将传送至此的苹果吸起悬空，当光电开关5感应到苹果到达的信号后，将信号传输至工控机
7，工控机7触发3个工业相机4采集苹果侧下方不同位置的3幅图像，并将采集的图像传输至工控机7进行分析，图像采集完毕，吸盘12缓慢将苹果降至果托中，最后，工控机7融合机器视觉检测的苹果外观品质信息和可见/近红外检测的苹果内部品质信息，进行结果输出。

[0060] 一种苹果内外品质在线无损检测方法，应用上述的苹果内外品质在线无损检测系统，包括：苹果果径检测方法、苹果着色度检测方法、苹果表面缺陷检测方法和苹果糖度、霉心病检测方法，

[0061] 所述苹果果径为最大横径即苹果最大横截面直径，所述苹果果径检测方法包括：图像采集、图像分割、轮廓提取、果径计算；

[0062] 所述图像采集是通过上部外观检测单元3中的正上方的工业相机4采集苹果的俯视图，并将苹果的俯视图传输给工控机7，工控机7接收到苹果的俯视图后，首先将RGB颜色空间转化为HSI颜色空间，然后利用OpenCV中的inRange函数进行图像分割，对分割的图像采用数学形态学的方法进行处理，首先进行开运算然后进行闭合运算，去除图像分割后小面积的噪声，得到苹果的二值化图像，然后采用逐像素遍历法来提取苹果轮廓，通过对苹果的二值图像进行遍历寻找阈值变化明显的点并将其记录下来，最后利用曲线将这些点描绘出来，找到经过该轮廓中心距离最大的两个点，根据事先用标定板标定的工业相机4内外参数将图像中的像素距离转换为实际距离，得到苹果的果径信息；

[0063] 所述苹果着色度为苹果表面红色像素点总面积占苹果表面总像素总面积的比，所述苹果着色度检测方法，包括以下步骤：

[0064] 首先通过上部外部检测单元3内部侧上方的3个工业相机4和下部外观检测单元1内部侧下方的3个工业相机4进行苹果表面图像的采集，然后将采集的图像传输给工控机7，工控机7接收采集的图像，并对6幅图像进行去重拼接处理，然后将处理后的图像的RGB分量通过OpenCV转换为HSI彩色模型中的HSI分量，完成转换后基于色彩三原色的成色规律，通过OpenCV对苹果样本图像HSI彩色模型的H分量进行色彩像素点的识别与提取，得到苹果表皮的色度分布直方图，最后通过计算苹果整个表面的红色像素点总面积占整个表面像素点总面积的百分比得到苹果的红色着色度；在HSI彩色模型中，I分量与彩色信息无关，同时在图像采集的过程中，光源的强度和纯度一定，从而样本图像的I和S分量是固定的，所以提取彩色图像特征只需要H分量的特征；

[0065] 所述苹果表面缺陷检测方法为首先通过上部外部检测单元3的4个工业相机4和下部外观检测单元1的3个工业相机4进行苹果表面图像的采集，然后将采集的图像传输给工控机7，工控机7接收采集的图像，然后通过缺陷识别模型进行缺陷识别；

[0066] 所述苹果糖度检测方法为首先通过苹果果径检测方法获取苹果的果径信息，然后通过苹果内部品质检测单元2中的可见/近红外光谱仪套件9采集苹果的光谱数据，若苹果的果径≥80cm，则将光谱数据输入果径≥80cm的糖度分析模型，通过果径≥80cm的糖度分析模型进行糖度结果的输出，若苹果的果径＜80cm，则将光谱数据输入果径＜80cm的糖度分析模型，通过果径＜80cm的糖度分析模型进行糖度结果的输出；

[0067] 所述苹果霉心病检测方法为首先通过苹果果径检测方法获取苹果的果径信息，然后通过苹果内部品质检测单元2中的可见/近红外光谱仪套件9采集苹果的光谱数据，若苹果的果径≥80cm，则将采集的光谱数据输入果径≥80cm的霉心病判别模型，通过果径≥80cm的霉心病判别模型进行霉心病检测结果的输出，若苹果的果径＜80cm，则将采集的光谱数据输入果径＜80cm的霉心病判别模型，通过果径＜80cm的霉心病判别模型进行霉心病检测结果的输出。

[0068] 在上述方案的基础上，HSI彩色模型中H、S、I的转换公式为：

[0069]

[0070] 在上述方案的基础上，缺陷识别模型的建立具体包括以下步骤：

[0071] (1)准备2000个实验样品，2000个实验样品构成实验样本，其中1500个实验样品有缺陷，剩余500个实验样品无缺陷，缺陷包括：疤痕、磕碰、腐烂、枝叶膜、苦痘病，[0072] (2)打标签，利用labelImg软件进行缺陷类型标记，生成.xml格式标签文件，[0073] (3)转换label格式，并生成训练集和测试集；将.xml格式标签文件转换成YOLO所需要的格式，随机将实验样本中的1600个样品作为训练集，400个样品作为测试集，[0074] (4)在YOLO v3.0软件中训练缺陷识别模型并进行测试。

[0075] 在上述方案的基础上，果径≥80cm的霉心病判别模型的建立包括以下步骤：

[0076] (1)准备实验样品，实验样品构成实验样本，并用标签对实验样品进行逐个标记，其中果径≥80cm的300个样品作为建模样本集，其中霉心病的苹果145个，健康苹果155个，训练集样本为225个样品，其中健康苹果115个，霉心病苹果110个，测试集样本为75个样品，其中健康苹果40个，霉心病苹果35个，

[0077] (2)在运动的传送带上使用USB2000+光纤光谱仪分别对建模样本集中的每个样品进行透射光谱采集，每个样品需进行3次透射光谱采集实验，取3次数据的平均值作为样品的光谱数据，在采集光谱过程中，采集参数设置为：平均扫描次数为5，平滑点数为5，积分时间为100ms，

[0078] (3)光谱数据预处理：首先采用多元散射校正(Multiple Scattering Correction，MSC)对采集光谱数据进行预处理，增强光谱与数据之间的相关性；其次对光谱数据进行[0,1]的归一化处理，提高模型收敛速度和模型精度；最后采用主成分分析法(Principal Component Analysis，PCA)，对高维光谱数据进行降维处理，选择累计贡献率90％以上的8个主成分作为模型输入的特征变量；

[0079] (4)建立霉心病检测模型：采用支持向量机(Support Vector Machine，SVM)的算法构建霉心病判别模型，然后利用测试集样本进行样本测试，建模中参数寻优是通过matlab寻优，将最合适的参数在C++文件中进行了定义。

[0080] 在上述方案的基础上，果径<80cm的霉心病判别模型与果径≥80cm的霉心病判别模型建立方法相同，果径＜80cm的样本及分布同果径≥80cm的样本。

[0081] 在上述方案的基础上，果径≥80cm的糖度分析模型的建立包括以下步骤：

[0082] (1)准备实验样品，实验样品均为健康的苹果，实验样品构成实验样本，并用标签对实验样品进行逐个标记，其中果径≥80cm的155个样品作为建模样本集，其中训练集样本为115个样品，测试集样本为40个样品，

[0083] (2)在运动的传送带上使用USB2000+光纤光谱仪分别对每个样品进行透射光谱采集，每个样品需进行3次透射光谱采集实验，取3次数据的平均值作为样品的光谱数据，在采集光谱过程中，采集参数设置为：平均扫描次数为5，平滑点数为5，积分时间为100ms，[0084] (3)糖度化学测定：将采集光谱后的健康苹果样品上标好位置的果肉切下并榨汁，取2-3滴榨取的果汁，滴于数字式折射仪(PAL-BX/ACID5，ATAGO)的测试位置，对健康苹果样品进行糖度的测定，取健康苹果样品直径位置上3个不同标记处的平均值作为糖度标准值，[0085] (4)光谱数据预处理：首先采用多元散射校正(Multiple Scattering Correction，MSC)对采集的光谱数据进行预处理，增强光谱与数据之间的相关性，其次对光谱数据进行[0,1]的归一化处理，提高模型收敛速度和模型精度；最后采用主成分分析法(Principal Component Analysis，PCA)，对高维光谱数据进行降维处理，选择累计贡献率90％以上的8个主成分作为模型输入的特征变量；

[0086] (5)建立糖度分析模型：用偏最小二乘回归(Partial least squares regression，PLS)的算法构建糖度分析模型，构建糖度分析模型时结合糖度标准值，建模中参数寻优是通过matlab寻优，将最合适的参数在C++文件中进行了定义。

[0087] 在上述方案的基础上，所述果径＜80cm的糖度分析模型和果径≥80cm的糖度分析模型的建立方法相同，果径＜80cm的样本及分布同果径≥80cm的样本。

[0088] 需要说明的是，实验样本中的样品为山东省烟台市栖霞苹果。

[0089] 本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

标题	发布/更新时间	阅读量
一种用于检测装备在毁灭性碰撞时承载能力的原位无损检测方法	2020-05-11	49
基于视觉显著性的HEVC优化算法	2020-05-08	495
一种SLM成型炮钢的力学性能无损检测方法	2020-05-08	622
一种A940钢单面焊双面成型焊接方法	2020-05-08	388
一种基于超声波声速的管道泄漏定位方法及装置	2020-05-08	391
一种鲜肉新鲜度K值的THz光谱快速无损检测方法	2020-05-08	866
基于机器视觉的钙钛矿薄膜质量在线检测装置及方法	2020-05-08	970
一种基于光谱技术玉米霉变的快速检测方法	2020-05-08	493
一种轨道板离缝的无损检测方法	2020-05-08	830
一种钢管自动化水膜法无损检测用带监控耦合的超声横波斜探头	2020-05-08	661

一种苹果内外品质在线无损检测方法

一种苹果内外品质在线无损检测方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：