技术领域
[0001] 本
发明涉及计算机
图像处理领域，尤其涉及一种基于视觉特征融合的打叶质量检测方法。
背景技术
[0002] 近年来，消费者对
卷烟产品质量日益关注，这对打叶复烤提出了更高的质量要求。合理的
叶片结构是提高卷烟产品质量的关键，控制大片率、提高中片率、降低叶中含梗率，已经成为了目前卷烟生产对片烟结构的新要求。因此，打叶质量的检测是卷烟生产的一道重要工序。
[0003] 现有的检测设备多为是人工抽检，人工调整打叶机筐栏尺寸、打辊转速、
风选风速以及
温度和
水分。由于烟叶品种的不同及受流量、水分等的影响，人工控制无法及时地反馈每一台打叶机的工作状态以及各风分器的风分效率，不能及时地调整打叶机的控制参数及风选风机的运转速度等。从现场取样、离线检测、信息获取、生产指导、设备调节等整个环节耗时较长，反馈速度慢，严重制约了整个工艺生产的自动化水平。
[0004] 现有的打叶质量在线检测方法利用可见光和
X射线成像原理，对打叶复烤生产线中的每一个打叶机风分的烟叶进行取样称重，并且对烟叶进行连续成像，通过图像处理和分析，获取当前叶片尺寸、叶中含梗量分布数据，调节打叶机、风分器的控制参数以满足加工工艺要求。
[0006] 1)X射线存在
辐射，对人有伤害，也会对片烟结构造成伤害；
[0007] 2)所用方法效率不够高，检测
精度有限。
[0008] 因此，本领域的技术人员致
力于开发一种基于视觉特征融合的打叶质量检测方法。
发明内容
[0009] 有鉴于
现有技术的上述缺陷，本发明所要解决的技术问题是在不对人和片烟造成伤害的前提下，高精度高效率地进行打叶质量的在线检测。
[0010] 为实现上述目的，本发明提供了一种基于视觉特征融合的打叶质量检测方法，包括以下步骤：
[0011] 步骤1：片烟摊薄，将打叶后的烟叶进行平摊，确保烟叶重叠率小于
阈值；
[0012] 步骤2：片烟图像获取，对摊薄的烟叶进行实时拍摄，获取对应的片烟图像；
[0013] 步骤3：图像预处理，对片烟图像进行预处理；
[0015] 步骤5：构建片烟结构图像样本库；
[0016] 步骤6：采用卷积耦合神经网络获取深度特征；
[0017] 步骤7：特征融合，将步骤5和步骤6获得的特征向量进行
降维，将降维到合适长度的两组向量进行融合；
[0018] 步骤8：片烟结构识别，以步骤7获得的融合向量为输入，构建分类器对样本库图像进行分类；
[0019] 步骤9：片烟结构统计；
[0020] 步骤10：重复上述步骤直至所有烟叶识别完成。
[0021] 进一步地，步骤1中阈值设定为2％。
[0022] 进一步地，步骤2中采用高
分辨率相机对摊薄的烟叶进行实时拍摄。
[0023] 进一步地，步骤3中图像预处理方法包括
白平衡、二值化、归一化。
[0024] 进一步地，步骤4中特征向量包括
颜色、纹理、形态。
[0025] 进一步地，包括烟叶和叶梗的颜色、纹理、形态。
[0026] 进一步地，提取烟叶、叶梗的颜色特征，采用的方法包括1-3阶颜色矩。
[0027] 进一步地，提取烟叶、叶梗的纹理特征，采用的方法包括局部二值模式LBP(Local Binary Pattern)。
[0028] 进一步地，提取烟叶、叶梗的形态特征，采用的方法包括HALC(Higher-order Local Auto-Correlation)。
[0029] 进一步地，步骤5中，根据片烟的不同结构、烟叶的不同部位、烟叶的不同来源、不同类型片烟结构的平均
密度，构建片烟结构图像样本库。
[0030] 片烟结构上分为叶片、碎末、叶梗等三种结构。
[0031] 片烟部位上分为上部烟、中部烟和下部烟三种。
[0032] 另外根据烟叶的理化特性不同，对不同来源地的烟叶进行区分，获得对应的典型图像以及对应的平均密度，构成片烟结构图像样本库。
[0033] 不同类型片烟结构的平均密度由经验和统计得到。
[0034] 进一步地，步骤6配置为：构建卷积耦合神经网络，采用已标定的图像
数据库为训练样本进行预训练，采用迁移学习方法，以初步训练好的网络参数为初始值，对构建的片烟结构样本图像库进行训练，获得针对该图像库的分类网络，将训练好的CNN(Convolution-coupled neural network)模型输出作为深度特征，并通过全连接层调整输出向量的长度。
[0035] 构建卷积耦合神经网络，采用的系统包括GoogleNet、Inseption-V3。
[0036] 进一步地，步骤7中进行降维的方法包括主成分分析法，将降维到合适长度的两组向量进行融合的方法包括
串联、并联以及经多层
感知机连接。
[0037] 进一步地，适合图像样本库的特征融合方式可以通过比较优化，融合后的特征向量长度可以调整。
[0038] 进一步地，步骤8中，以步骤7获得的融合向量为输入，构建分类器对样本库图像进行分类，所构建的分类器包括
支持向量机、softmax，分类器参数经由样本库图像训练获得。
[0039] 进一步地，步骤9中，根据片烟结构的分类结果，计算烟片面积，将其归为大叶、中叶和小叶三类，计算叶梗长度，将其归为长梗和短梗两类，根据对应分类的密度，获得该张图片的片烟结构统计信息。
[0040] 本发明使用深度特征与传统人选特征融合的方法用于打叶质量在线检测，至少拥有以下三个优势：
[0041] 1、无损地实现了打叶质量在线检测，所用方法对人和烟叶没有损害。
[0042] 2、实现特征优势互补，能够同时利用卷积耦合神经网络的高层语义抽象信息以及片烟图像中的丰富颜色、纹理、形状的局部细节特征，弥补单个特征属性的不足。
[0043] 3、通过深度特征和人工特征的组合提取，能够减少训练所需的卷积耦合神经网络层数，避免过拟合情况发生，同时还减少了网络模型的计算负担，提高了检测精度。
[0044] 本发明通过获取片烟图像，代替人工对片烟结构进行分类与统计，检测过程避免了对人和烟叶的辐射损害，提高了测量精度和效率。
[0045] 以下将结合
附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0047] 图2是本发明建立和训练分类器模型的流程图。
具体实施方式
[0048] 以下参考
说明书附图介绍本发明的多个优选
实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
[0049] 在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
[0050] 如图1所示，一种基于视觉特征融合的打叶质量在线检测方法，包括以下完整步骤：
[0051] 片烟结构图像数据集采集：将片烟结构图片分成不同类别，包括叶片、碎末、叶梗三种不同片烟结构，上部烟、中部烟和下部烟三种不同部位来源，以及不同4种产地来源烟叶共计36类，每种类型各取100张图片，将图像分别存入带标签名的文件夹中，图片数量总计3600张；
[0052] 为保证
图像采集质量，首先要将片烟摊薄，将打叶后的烟叶进行平摊，确保烟叶重叠率小于阈值。本实施例中，阈值取2％，具有较好的效果；
[0053] 图像预处理：对获取到的图像进行预处理，去除图像边框区域，删除无用图像，在特征提取之前先随机打乱数据集；
[0054] 颜色特征提取：在HSV颜色空间下提取图像的三阶颜色矩颜色特征，对图像进行HSV颜色空间转换；而后将整张图片均匀分成25个不重叠的子
块；
[0055] 然后提取每块子块区域的三阶颜色矩，包括：
[0056] 一阶矩(均值)：
[0057]
[0058] 二阶矩(方差)：
[0059]
[0060] 三阶矩(斜度)：
[0061]
[0062] 这里的Ai,j代表第j个
像素的i个颜色分量值，N代表图像中所有像素个数特征；最后串接25个子区域的颜色矩特征成为图像的整体颜色矩特征，特征维数为225(25×9)维。
[0063] 形状特征提取：在RGB空间转换的灰色图像和HSV颜色空间的H(
色调，这是因为S、V通道对关照变化比较敏感)分量中提取图像的高阶局部自相关(HLAC)特征作为图像的形状特征，高阶局部自相关函数定义为：
[0064]
[0065] 其中，ai为图像模板范围内的位移向量，r为当前像素点的向量，f为实值函数，在2
二值图像中表示0或者1，灰度图像中表该像素点的灰度值。选取计算范围w为3×3区域，并且选择计算阶数为N＝0,1,2。那么可以得到35种高阶局部自相关模式，特征维数为1750(35×25×2)维。
[0066] 纹理特征提取：在
RGB颜色空间下提取图像的LBP纹理直方图纹理特征，像素点(xc，yc)的LBP值可以表示为：
[0067]
[0068] 其中gc是中心点像素(xc，yc)的灰度值，P表示等间隔分布的邻域点个数，gp对应的是中心点附近像素点的灰度值。图像纹理特征提取是在RGB颜色空间下提取图像的统一局部二进
制模式的纹理直方图作为纹理特征，首先将图像均匀分割成为100个不重叠的子块图像，而后分别提取每个子块的纹理直方图，最后按照顺序串联各区域特征形成整张完整图像的纹理特征，总计5900(59×100)维。
[0069] 提取图像
卷积神经网络(CNN)特征：先对图像进行归一化处理；然后将训练集数据作为输入馈送至建立的包含5层卷积层的CNN网络进行训练，训练收敛之后得到模型权重参数，输入新的数据并以此提取深度网络模型中的softmax分类层前的全连接层作为图像的深度特征。
[0070] 这里所述的CNN模型类似VGG网络，只是模型的卷积层数更少，卷积核个数也较少。都是采用尺寸为3×3的卷积核，2×2的最大
池化。输入图像尺寸为400×400，5层卷积层分别包含32、32、32、64、64个卷积核，每层后都做最大池化，最后接两层全连接层，包含的神经元个数分别为256个(在其后加入了0.25的dropout丢失参数)和36个(36种分类)。
[0071] CNN特征以及传统特征融合：将前述步骤提取的颜色、形状、纹理的传统特征以及CNN特征进行归一化处理，而后对深度特征和传统特征进行融合获得新特征。融合特征时采用多层感知机网络进行特征融合，目的是为了使得融合的特征之间更好的消除特征之间不同差距的影响。该基于深度的融合步骤如下：
[0072] 1、分别提取三种传统特征，颜色矩、LBP、HLAC特征，然后将每种特征分别进行归一化，以便后面的特征融合。
[0073] 2、将训练集的四种类型的特征进行串接，而后使用串接合并的特征建立三层多层感知机网络，在softmax层前的全连接层神经元个数为512个，待模型训练完成之后，分别对训练集、测试集提取神经元个数为512个的全连接层(在该层后加入了0.5比率的dropout参数)作为融合之后的特征提取器。
[0074] 分类器设计：采用支持向量机为分类器，选取的核函数为sigmoid核函数：K(x,y)＝tanh(axT+c)。并求取训练集中所有图像的融合特征对支持向量机进行训练，得到适合于训练样本的分类器。具体流程如图2所示。
[0075] 10折交叉验证：将样本集各类样本按照9：1比例随机
抽取构成训练集和验证集两组，针对训练集，按照上述过程对获得对应的深度网络、融合特征和分类器，并在验证集上测试分类器效果。重复10次上述随机实验，综合评价
算法性能，最终确定各阶段的最优参数。
[0076] 获取摊平后烟叶的图像，进行图像预处理，提取颜色、纹理和形态特征，并将图像送入构建的深度网络中，获得对应的深度特征，然后进行特征融合，将融合后的特征送入分类器中，获得分类结果，根据像素大小区分大叶、中叶和小叶，以及长梗和短梗，获得整张图片的片烟结构统计结果。
[0077] 重复上述步骤，直至取样烟叶完全测试完成，统计各图结果，获得该次取样的最终统计结果。
[0078] 以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多
修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的
基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由
权利要求书所确定的保护范围内。
