技术领域
[0001] 本
发明涉及食品
无损检测和
数据处理，尤其涉及一种基于
卷积神经网络 (Convolutional Neural Networks，CNN)模型的食品高光谱信息分析系统与方法。
背景技术
[0002] 高光谱成像技术同时采集样本的图像与光谱信息，是近年来应用于食品无损检测领域的一项新兴技术。图像信息可以反映样本的大小、形状、
缺陷等外部品质特征，由于成分不同对光谱吸收也不同，在某个特定
波长下图像对某个缺陷会有较显著的反映。
[0003] CN200610097857公布了一种通过对农畜产品的高光谱图像进行特征提取，然后与专家库中的数据相对照进行综合判别的方法；CN201310409795公布了一种对桃果实高光谱图像进行独立主成分ICA分析，建立基于Fisher的反射和半反射高光谱模型的检测桃果实冷害的装置和方法；CN201310463530公布了一种基于高光谱图像的过熟蓝靛果果实识别方法，依次采用逐步向前变量选择法和线性判别分析法建立判别过熟果与适熟果
像素的函数模型；CN201310141349 公布了一种通过建立鱼肉嫩度与特征波长的多元线性回归模型的高光谱检测方法。
[0004] 以上高光谱分析中常用到模型均是针对小样本，从统计学习理论(SLT) 的
基础上发展起来的，需要人为提取光谱图像的特征图。然而，这种模型在大样本下的泛化性表现并不理想。近年来，
深度学习算法和
大数据运算平台的发展为高光谱分析的研究开辟了一种新的思路。CNN通过卷积操作将光谱特征转变成为更高层次的描述。经过足够多的转换组合和足够大的样本训练，非常复杂的非线性模型也可以被学习。CNN模型可以很好的解决传统的化学计量学方法不擅长建立大样本下食品高光谱非线性模型的难题。
发明内容
[0005] 为了克服
现有技术的不足，本发明提供了一种基于CNN的食品高光谱信息分析系统与方法，实现了对食品高光谱样本缺陷的无损检测与分类
[0006] 所述系统改进了现有商用高光谱仪配套的数据处理平台，除了已有的CPU、内存、
存储器等标准配置以外，增加了用于
加速CNN运算的GPU阵列。具体的，一种基于CNN的食品高光谱信息分析系统，包括：
[0007] 预处理模
块，提供图像增强工具和
阈值分割工具，用于对食品样本的高光谱数据进行预处理，去除采集过程中产生的背景噪声。具体为，对原始数据进行Gamma校正，采用非线性函数(指数函数)对图像的灰度值进行变换，并且选择合适的阈值，对增强后的灰度图像进行阈值分割，得到食品高光谱的二值图像。将二值图像与原始图像相乘，可以得到去除背景后的食品高光谱图像。
[0008] 数据管理模块，提供数据存储及检索工具和数据集构建工具。所述数据存储工具将预处理后的高光谱数据保存到
指定路径下的分类文件夹中，并以链表形式在
数据库中记录设备信息和采集信息，包括：仪器设备型号，扫描速度，扫描时间，
分辨率，灵敏度，样本批次，波长，缺陷类型以及采集时间。同时，将以上信息作为高光谱图像数据的属性添加到数据库中。所述数据检索工具，包含以下三种检索方式：(1)可
选定波长范围或某一特定波长；(2)可设定间隔波段数；(3)可按属性
信息检索。所述数据集构建工具可以按照检索信息和设定比例，将数据随机分为训练集和测试集，同时根据缺陷类型为样本设定标签值。
[0009] CNN模型构建模块，提供可供调用的开源CNN模型或定制CNN模型。根据检测样本的形态差异选择适合的CNN模型，对缺陷类型做定性分析。所述形态差异主要指样本的形状大小，具体的，比如对于小麦、玉米这类小样本，选用 LeNet-5模型；而对于苹果、梨这类大样本，则采用VGG模型；用户也可以针对不同的需求，通过prototxt文件
修改网络的每一层行为，自定义新的CNN 模型。具体的，包括可设定
输入层图像尺寸、卷积层数、
池化层数、卷积核尺寸等模型参数。
[0010] CNN模型优化模块，提供CNN参数调整工具和CNN模型加速工具。通过不断调整模型的学习率、
迭代次数、学习率衰减系数等参数，可以得到针对具体检测对象的最佳模型，从而提高检测
精度。并且支持使用GPU对CNN模型进行加速，可设定挂载GPU卡的数目。
[0011] 一种基于CNN的食品高光谱信息分析方法，包括以下步骤：
[0012] S1)通过高光谱成像仪采集食品样本的高光谱数据
[0013] S2)对高光谱数据进行预处理操作
[0014] S3)实验员凭视觉经验对食品样本进行区分，确定数据的分类标签，构建
训练数据集和测试集
[0015] S4)根据所选食品样本的形态大小，建立不同结构的CNN模型
[0016] S5)利用步骤S3)得到的训练数据集的分类标签和预处理后训练集食品样本的高光谱数据，对建立的CNN模型进行训练
[0017] S6)针对需要检测的缺陷类型，利用步骤S5)获得的CNN模型对待测食品样本的相应的缺陷指标进行检测，得到待测集食品样本的缺陷类型；
[0018] S7)调整模型参数，得到针对具体检测对象的最佳模型。
[0019] 所述步骤S2)的预处理，具体地，通过采用图像增强和阈值分割方法对食品样本的高光谱图像去除背景。
[0020] 所述步骤S4)中建立CNN模型，具体地，在实际检测过程中，根据检测样本的形态差异选择适合的CNN模型，通过该模型对待测样本的缺陷类型进行区分，包括调用开源
框架中CNN模型和定制CNN模型。
[0021] 所述步骤S7)中，调整模型参数，具体地，通过逐步调整模型的学习率、迭代次数、学习率衰减系数等参数，优化网络模型，最终得到训练速度快、分类效果好的网络模型。
[0022] 与现有的技术进行对比，本发明的优势是：
[0023] 面对食品行业数据体量巨大、种类繁多的高光谱大数据时,传统的数据预处理、奇异样本筛选、多元校正和模型转移技术的分析能
力将大打折扣。因此，必须发展以大数据算法为基础的新型光谱分析技术。新的算法能够在短时间内对TB甚至PB级别的高光谱数据进行分析后输出结果，满足了大数据快速、实时分析的需求。
[0024] 本发明采用基于CNN的高光谱信息分析系统与方法对食品进行缺陷检测，不仅分析速度快，而且在检测分析前不需要对食品进行化学处理，检测后不会产生化学污染。用户可以不受高光谱采集仪器提供的配套分析
软件中
固化模型的限制，在实际检测过程中，可以根据检测样本的数据特点，选择合适的CNN 模型，并寻找最优参数，得到针对具体检测食品对象的最佳检测模型，提高模型的检测精度。
附图说明
[0025] 图1是基于CNN的食品高光谱信息分析系统
框图[0026] 图2是基于CNN的食品高光谱信息分析系统的运作流程框图
[0027] 图3是基于CNN的食品高光谱信息分析方法的流程框图
[0028] 图4是CNN的模型优化结果图
具体实施方式
[0029] 下面结合附图和
实施例，对本发明作进一步详细说明，但本发明的实施方式不限于此。
[0030] 本实施例中所述基于CNN的食品高光谱信息分析系统除了已有的CPU、内存、存储器以外，增加了用于高光谱图像数据处理的GPU阵列。所述GPU阵列由4路Nvidia公司的GTX1080显卡组成。
[0031] 所述基于CNN的食品高光谱信息分析系统包括四个部分，分别是数据管理模块102、预处理模块103、CNN模型构建模块104和CNN模型优化模块105，如图1所示。
[0032] 所述预处理模块用于对样本光谱数据进行预处理，包括：图像增强工具106 和阈值分割工具107。具体为，对原始数据进行Gamma校正，采用非线性函数 (指数函数)对图像的灰度值进行变换，并且选择合适的阈值，对增强后的灰度图像进行阈值分割，得到食品高光谱的二值图像。将二值图像与原始图像相乘，可以得到去除背景后的食品高光谱图像。并且通过将处理后的图片保存到指定路径下的对应分类的文件夹中，从而记录处理后的图片的波段及分类等信息。
[0033] 所述数据管理模块用于将高光谱仪采集的数据进行管理，包括：数据存储及检索工具108和数据集构建工具109。所述数据存储及检索工具将预处理后的高光谱数据的路径以链表形式进行存储，并且获取上传图片的时间，以时间和分类对图片进行命名，可以防止图片重名。同时将波长、缺陷类型作为图片的附属信息添加到数据库中。然后可以对数据库中的数据通过以下方式进行检索：(1)可选定波长范围或某一特定波长(例如：挑选特定波峰或波谷处的光谱数据)；(2)可设定间隔波段数(例如：每间隔5个波段挑选一组光谱数据)； (3)可按
属性信息检索(例如：上传时间、标签信息等)。所述数据集构建工具可以按照检索信息将检索到的数据按照一定比例(例如：3:1或4:1等)随机分为训练集和测试集，同时根据缺陷类型为样本设定标签值。
[0034] 所述CNN模型构建模块针对检测的缺陷类型建立定性分析模型，通过该模型对待测样本的缺陷类型进行区分，包括调用深度学习的开源框架中提供的 CNN模型110或定制CNN模型111，可设定网络参数(输入层图像尺寸、卷积层数、池化层数、卷积核尺寸等)。
[0035] 所述CNN模型优化模块包含CNN参数调整工具112和CNN模型加速工具113，通过不断调整模型参数(学习率、迭代次数、学习率衰减系数等)得到针对具体检测对象的最佳模型，从而提高检测精度，并且支持使用GPU对CNN模型进行加速，设定挂载GPU卡的数目。
[0036] 本实施例中所述系统的具体运作流程如图2所示，包括以下步骤：
[0037] 1)对系统进行初始化。
[0038] 2)检测MySQL数据库连接是否正常，如果正常则进行下一步操作，否则提示未成功连接，重新连接MySQL数据库，重复此操作。
[0039] 所述检测MySQL数据库连接是否正常，具体为，首先通过Qt调用“QSqlDatabase::addDatabase”函数创建一个数据库连接，其调用格式为“dbconn＝QSqlDatabase::
addDatabase("QMYSQL")”，其中QMYSQL为所选数据库的类型。通过调用“dbconn.open”函数连接到数据库，其调用格式为“dbconn.open(m_strUserName,m_strPassword)”其中m_strUserName为用户名，m_strPassword为用户密码。如果函数返回值为1，则表示数据库连接成功；如果函数返回值为0，则表示数据库没有连接成功，需要重新连接数据库。数据库成功连接后，可以执行数据的导入导出操作。
[0040] 3)选择是否导入新数据，如没有新数据导入，则进行下一步操作，否则执行图像预处理，导入数据库，重复此操作。
[0041] 所述图像预处理，具体为，对原始数据进行Gamma校正，采用非线性函数 (指数函数)对图像的灰度值进行变换，并且选择合适的阈值，对增强后的灰度图像进行阈值分割，得到食品高光谱的二值图像。将二值图像与原始图像相乘，可以得到去除背景后的食品高光谱图像。并且通过将处理后的图片保存到指定路径下的对应分类的文件夹中，从而记录处理后的图片的波段及分类等信息。
[0042] 所述导入数据库，具体为，使用Qt调用“insert into images(Image) values()”语句用来向数据库中导入高光谱数据，其中images为数据库的表名。高光谱数据的路径以链表形式进行存储，并且获取上传图片的时间，以时间和分类对图片进行命名，可以防止图片重名。同时将仪器信息、扫描方式、波长、缺陷类型等作为图片的附属信息添加到数据库中。
[0043] 4)数据检索
[0044] 所述数据检索，具体为，使用Qt调用“select*from data where name＝’i’”来选择数据库中特定行，或通过组合条件“select*from data where name＝‘i’and table＝’j’”来进行查询；i、j具体为对数据库中数据的检索方式：1)选定波长范围或某一特定波长；2)设定间隔波段数；3) 按属性信息检索(例如：上传时间、标签信息等)。
[0045] 5)构建数据集
[0046] 所述构建数据集，具体为，可以按照检索信息将检索到的数据按照一定比例(如：3:1或4:1等)随机分为训练集和测试集，同时根据步骤3)中存储的缺陷类型为样本设定标签值(如：完整粒为0、破损粒为1等)。
[0047] 6)检测Caffe的Python
接口是否正常，如果正常则进行下一步操作，否则修改Makefile.config文件，重复此操作。
[0048] 所述修改Makefile.config文件，具体为，修改“PYTHON_INCLUDE”，添加Python相应的路径，使其能够找到Python.h以及numpy/arrayobject.h文件；修改“PYTHON_LIB”、“INCLUDE_DIRS”和“LIBRARY_DIRS”，添加相应的路径，使Python能够找到对应的依赖项；取消对“WITH PYTHON LAYER：＝1”的注释，将Caffe链接到Python libs，支持Python编写的层。
[0049] 7)检测Qt的Python接口是否正常，如果正常则进行下一步操作，否则修改Python路径，重复此操作。
[0050] 所述Qt的Python接口，其调用格式为，“QProcess：：execute(“python path+filename”)”，其中“path+filename”为所调Python文件的路径和文件名。
[0051] 8)根据食品样本的外部特征选择合适的CNN模型。
[0052] 所述外部特征主要指样本的形状大小，具体的，比如对于小麦、玉米这类小样本，选用LeNet-5模型；而对于苹果、梨这类大样本，则采用VGG模型；用户也可以针对不同的需求，自定义新的CNN模型。
[0053] 9)检测CUDA环境是否安装正常，如果正常则进行下一步操作，否则重新安装CUDA Toolkit，重复此操作。
[0054] 10)使用GPU对所选CNN模型进行加速，可根据实际需求选择挂载的GPU 数量，本实施例中，可选定挂载GPU数量为1～4。
[0055] 11)对所选CNN模型进行训练和测试，并显示最后的测试结果。
[0056] 12)调整模型参数，得到针对具体检测对象的最佳模型。
[0057] 所述调整模型参数，具体地，通过逐步调整模型的学习率、迭代次数、学习率衰减系数等参数，优化网络，最终得到训练速度快、分类效果好的网络模型。
[0058] 本实施例中，使用基于CNN的食品高光谱信息分析方法对三种不同形态的样本进行检测，分别采用了三种方案，检测方法的步骤如图3所示：
[0059] 方案一、针对形态较小的样本，以小麦不完善粒检测为例，样品尺寸为28 像素点*28像素点。
[0060] (1)数据预处理：针对获取的493～1106nm范围内的116个波段的正常粒 (486个)、黑胚粒(100个)、虫蚀粒(100个)、破损粒(100个)样本进行预处理。
[0061] 为了实现小麦
种子的单粒识别，需要将种子图像从背景中分割出来。选择样本与背景区分明显的波段下，先对原始数据进行Gamma校正，采用非线性函数(指数函数)对图像的灰度值进行变换，并且选择合适的阈值，对增强后的灰度图像进行阈值分割，得到小麦粒的二值图像。将二值图像与116个波段的所有原始图像相乘，可以得到去除背景后的小麦高光谱图像，然后分别将处理后的小麦高光谱图像裁剪为28*28的单粒小麦高光谱图像，最终得到完整粒小麦高光谱图像56376张，黑胚粒小麦高光谱图像11600张，虫蚀粒小麦高光谱图像11600张，破损粒小麦高光谱图像11600张。
[0062] (2)构建数据集：对116个波段的小麦图像每隔4个波段选取一个特征波段，共得到24个特征波段；分别对完整粒、黑胚粒、虫蚀粒和破损粒小麦各特征波段下的高光谱图像，按照3:1划分为CNN网络的训练集和测试集；并且对其设置标签值，正常粒小麦标签值为0，不完善粒(黑胚粒、虫蚀粒或破损粒)小麦标签值为1。
[0063] (3)CNN模型构建：本方案选用LeNet-5结构对小麦高光谱图像进行分类。其中，LeNet-5模型共有7层：5C-2S-5C-2S-4C-NN，其中n(5、2、5等)表示卷积层或池化层核尺寸n*n，C、S分别表示卷积层和池化层，NN表示两个全连接层，输入图片大小为28*28，则结构参数可以表示为如下表1所示：
[0064] 表1 LeNet-5结构参数
[0065]层名 类型名 特征图数目 特征图尺寸 核尺寸
I 输入 1 28*28 —
C1 卷积层1 20 24*24 5*5
S1 池化层1 20 12*12 2*2
C2 卷积层2 50 8*8 5*5
S2 池化层2 50 4*4 2*2
C3 卷积层3 500 1*1 4*4
[0066] (4)模型训练与模型测试：使用步骤(2)得到的训练集数据对CNN网络进行训练，其中包括完整粒小麦高光谱图像42282张，黑胚粒小麦高光谱图像8700张，虫蚀粒小麦高光谱图像8700张，破损粒小麦高光谱图像8700张，最终得到一个小麦高光谱图像的分类器模型，通过对该分类器的输出结果与标签集数据进行对比，可以得到最终的分类结果409(正常粒或不完善粒)。并且可以使用训练得到的分类器模型对测试集数据进行分类，包括完整粒小麦高光谱图像14094张，黑胚粒小麦高光谱图像2900张，虫蚀粒小麦高光谱图像2900 张，破损粒小麦高光谱图像2900张，同样的将输出结果与其标签集数据进行对比，最终得到测试集的分类结果(正常粒或不完善粒)。
[0067] (5)参数调整：卷积神经网络是一种基于误差梯度下降的前馈型神经网络，然而在梯度下降算法中的学习率很难确定。如果学习率过大，就会跳过全局最小值，从而无法得到最优解。如果学习率过小，卷积神经网络容易陷入局部最优，也无法得到最优解。为了提高CNN模型的准确率，本实施例通过不断调整学习率，研究代价函数和迭代次数之间的关系，分别建立学习率为0.005，0.01， 0.015，0.02，0.03，0.05，迭代次数为2000，4000，6000，8000，10000，的二分类模型，通过实验，如图4所示，当学习率为0.01，迭代次数为10000 次时，黑胚粒的识别准确率基本都在94％以上，其中在波段为493nm和1106nm 时，识别准确率更是达到98％；虫蚀粒的识别准确率基本都在95％以上，其中在波段为493nm时识别准确率达到97.3％；破损粒的识别准确率也基本全部达到92％。
[0068] 方案二、针对形态较大的样本，以苹果早期碰伤检测为例，样品尺寸为224 像素点*224像素点。
[0069] 本方案除模型构建外其他步骤同方案一。选择附近超市的箱装红富士苹果作为实验样本，利用GaiaSorter高光谱成像仪进行扫描获取苹果的光谱数据，并在系统中进行数据预处理，建立完好苹果和碰伤苹果的CNN模型，并根据建立的模型对苹果早期碰伤进行有效的检测。
[0070] 本方案选用VGG模型对苹果高光谱图像进行分类。其中，VGG模型共有21 层：3CC-2S-3CC-2S-3CCC-2S-3CCC-2S-3CCC-2S-NNN，其中n(3、2、3、2等) 表示卷积层或池化层核尺寸n*n，C、S分别代表卷积层和池化层，CC表示两个卷积层，CCC表示三个卷积层，NNN表示三个全连接层，输入图片大小为224*224，则结构参数可以表示为如表2所示：
[0071] 表2 VGG结构参数
[0072]层名 类型名 特征图数目 特征图尺寸 核尺寸
I 输入 1 224*224 —
Conv1_1 卷积层1-1 64 224*224 3*3
Conv1_2 卷积层1-2 64 224*224 3*3
S1 池化层1 64 112*112 2*2
Conv2_1 卷积层2-1 128 112*112 3*3
Conv2-2 卷积层2-2 128 112*112 3*3
S2 池化层2 128 56*56 2*2
Conv3_1 卷积层3-1 256 56*56 3*3
Conv3_2 卷积层3-2 256 56*56 3*3
Conv3_3 卷积层3-3 256 56*56 3*3
S3 池化层3 256 28*28 2*2
Conv4_1 卷积层4-1 512 28*28 3*3
Conv4_2 卷积层4-2 512 28*28 3*3
Conv4_3 卷积层4-3 512 28*28 3*3
S4 池化层4 512 14*14 2*2
Conv5_1 卷积层5-1 512 14*14 3*3
Conv5_2 卷积层5-2 512 14*14 3*3
Conv5_3 卷积层5-3 512 14*14 3*3
S5 池化层5 512 7*7 2*2
[0073] 方案三、针对处理不同类型样本的需求，用户可以自定义新的CNN模型。本方案除模型构建外其他步骤同方案一。
[0074] 使用Caffe框架自定义新的CNN模型，可以通过修改prototxt文件实现。主要包括修改网络模型文件中的输入层、卷积层、池化层、全连接层、激活函数以及loss层。
[0075] 所述网络模型文件，定义了网络的每一层行为。
[0076] 所述卷积层，首先命名卷积层的名称convN，其中N为卷积层的层数；然后设置层类型，学习率的调整参数，以及卷积层的参数，包括输出单元数，卷积核大小，步长，以及权重的初始化方法。
[0077] 所述池化层，首先对池化层命名poolN，其中N为池化层的层数；然后设置层类型，以及池化层的参数，包括池化方式，卷积核的大小，步长。
[0078] 所述全连接层，首先对全连接层命名ipN，其中N为全连接层的层数；然后设置层类型，以及全连接层的参数，包括输出
节点数、权重初始化方法。
[0079] 所述激活函数，主要用来选择激活函数的类型。
[0080] 所述loss层，主要用来选择误差的传播方式。
[0081] 上述实施例仅用以说明本发明的技术方案，但本发明的实施方式并不受所述实施例的限制，其依然可以对上述实施例所记载的技术方案进行修改，或者对其中的部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
