一种谷物收集装置以及基于U-Net网络的谷物含杂破碎状态
实时监测系统和方法
技术领域
[0001] 本
发明涉及
联合收割机工作性能和
图像分割领域，具体地说，基于U-Net网络的谷物含杂破碎状态实时监测方法和系统。
背景技术
[0002] 联合收割机作业时，当出现凹板间隙过大、脱离滚筒转速过快等异常工作参数，会导致谷物破碎；而当
风机转速过慢，分风板
角度不当等情况下，谷物中则会掺杂大量枝梗、茎秆等杂质。而谷物破碎率及杂质率是衡量谷物
质量的两个重要参数指标。
[0003] 国外
农业机械研发的装置和检测模
块大多集成多模块批量生产，价格昂贵，不利于我国精准农业的普及。国内学者对谷物含杂率和破碎率的研究大多都是在实验室进行的，仅有少数的学者研究出实时监测的装置和处理方法，但在收集谷物样品时取样不够充分，释放谷物不够快速，且运用传统图像分割的方法，存在谷物和杂质误识别和误分割的情况。例如：采用K-Means
算法与分
水岭算法结合进行图像分割，再利用BP神经网络模型识别杂余、破碎籽粒，但是分水岭算法存在过分割现象，而且算法复杂，BP神经网络的计算量大耗时长。
发明内容
[0004] 针对
现有技术中存在的问题，本发明提供了一种谷物收集装置以及基于U-Net网络的谷物含杂破碎状态实时监测方法和系统，提高谷物和杂质的分割
精度。
[0005] 本发明采用如下技术方案：
[0006] 一种谷物收集装置，包括顶端固定在出粮口
支架上的
采样盒，所述采样盒的盒体为漏斗状，且盒体底端设计成倾斜状，靠近出粮口处的采样盒侧面设有转动板，转动板转动时能与采样盒侧面上的卡扣扣住，转动板由步进
电机控制。
[0007] 基于U-Net网络的谷物含杂破碎状态实时监测系统，包括上述的谷物收集装置和ARM处理器，所述ARM处理器与谷物收集装置、
图像采集装置、显示屏
信号连接，还与上位机通讯；所述ARM处理器调用改进U-Net网络结合含水率，得到谷物含杂率和破碎率。
[0008] 上述技术方案中，所述改进U-Net网络是在U-Net网络卷积后加入Dropout，且
修改滤波器个数。
[0009] 上述技术方案中，所述改进U-Net网络对图像采集装置采集的谷物图像分割后，得到的破碎谷物的
像素a、完好谷物的像素b、茎秆枝梗的像素c。
[0010] 上述技术方案中，所述谷物含杂率 所述谷物破碎率 其中v是1克谷物对应像素，u是1克枝梗茎秆杂质对应
像素。
[0011] 基于U-Net网络的谷物含杂破碎状态实时监测方法，图像采集装置采集的谷物图像发送给ARM处理器，ARM处理器处理后得到的破碎谷物的像素a、完好谷物的像素b、茎秆枝梗的像素c，结合上位机发送的含水率，得到谷物含杂率和破碎率。
[0012] 本发明的有益效果为：
[0013] 1、本发明设计的谷物含杂破碎状态实时监测系统可以在联合收割机工作时，通过控制步进电机转速方向带动采样盒的转动板实时收集释放谷物，采样盒的结构设计和安装方式可以充分地收集出粮口的谷物，转动板的圆孔与采样盒上方的卡扣设计，使采样盒闭合收集谷物的过程更稳定。采样盒底部倾斜坡度，样品谷物可以从盒中更快速地流出，步进电机的
电压和
电流小，近似其他模块的电流电压值，集中供电更为安全。
[0014] 2、本发明提出的改进U-Net网络结构简单，相比较传统图像分割，最大化保留了完整谷物、破碎谷物、枝梗茎秆杂质的信息，对不同光照条件拍摄到的图片鲁棒性较好；类别标签平滑正则化网络模型，提升模型的适应能
力，能够提升分类精度。
[0015] 3、本发明将含杂率和破碎率实时显示在显示屏上，以便工作人员调整凹板间隙、喂入搅龙转速等其他性能参数；另外，保存含杂率、破碎率方便离线后进一步研究分析，为建立控制机构运动模型提供有力的数据
支撑。
[0016] 4、本发明整个系统装置安装方便，操作简单，只要通过一块ARM处理器就能控制工作。
附图说明
[0017] 图1为本发明基于U-Net网络的谷物含杂破碎状态实时监测系统结构示意图；
[0018] 图2为本发明谷物收集装置安装示意图，图2(a)为谷物收集装置安装示意图，图2(b)为谷物收集装置的步进电机安装细节图；
[0020] 图4为本发明改进U-Net网络结构图。
[0021] 图中标记说明：1-相机，2-图像摄取室，3-
光源，4-透明亚克力板，5-步进电机，6-倾斜薄板，7-安装支架A，8-卡扣，9-
丝杆，10-转动板，11-入粮口，12-出粮口，13-安装支架B，14-
联轴器。
具体实施方式
[0022] 下面结合附图对本发明的技术方案作进一步说明。
[0023] 如图1所示，基于U-Net网络的谷物含杂破碎状态实时监测系统，包括谷物收集装置、图像采集装置和显示装置，图像采集装置包括相机1和光源3，显示装置选用显示屏，显示屏安装在
驾驶室内，且与ARM处理器相连，实时显示当前谷物含杂率和破碎率数据。
[0024] ARM处理器位于收割机驾驶室，控制步进电机5的正转反转、相机1的图像拍摄
频率，ARM处理器实时处理相机1采集到的谷物图像，调用U-Net网络进行图像分割，在显示屏上显示保存谷物含杂率和破碎率，并由CAN总线与上位机通讯；相机1采集的图像以及ARM处理器的处理结果实时进行本地保存。
[0025] 所述CAN总线与上位机通讯，是通过ARM处理器的CAN总线外设接收上位机的含水率，计算出含杂率破碎率再发送到上位机。首先ARM处理器的CAN
控制器进入复位模式，初始化CAN通讯使用的GPIO引脚，设置波特率、工作模式、中断，其中：
[0026]
[0027] 其中，Tq为总线上的各个通信
节点1个时间片长度，N为每一个数据位占据Tq的个数；初始化完毕，退出复位模式，设置滤波器。
[0028] CAN控制器接收含水率数据，即CAN接收上位机的报文，接收报文的方式有查询控制接收和中断控制方式；CAN控制器发送含杂率、破碎率数据到上位机，设置待发送的报文，包括报文的ID、扩展ID、IDE位及RTR位、DLC段、报文数据段的内容。当收到发送报文的
请求，周期查询发送
缓冲器状态，若发送缓冲器被
锁定，CAN控制器将等待，直到发送缓冲器被释放；若发送缓冲器被释放，CAN控制器将报文写入发送缓冲器并置位命令寄存器中的发送请求TR标志，最后启动发送报文。
[0029] 图2是谷物收集装置安装示意图，包括采样盒、步进电机5，采样盒顶端通过安装支架A7固定在出粮口12支架上，采样盒顶端为入粮口11，粮食抛洒方向正对采样盒入粮口11；所述采样盒的盒体为漏斗状，且盒体底端设计成倾斜状，即由倾斜薄板6和盒体侧面封闭而成，靠近出粮口12处的采样盒侧面设有转动板10，转动板10上端的长度大于采样盒侧面的空缺处，保证转动板10上的圆孔可以与采样盒侧面上的卡扣8扣住，转动板10通过丝杆9固定在采样盒上，丝杆9靠近采样盒的端部与联轴器14固定，联轴器14还与步进电机5的电机轴固定，步进电机5通过安装支架B13固定在采样盒上；所述转动板10受步进电机5控制，初始化GPIO并设置为步进电机5的控制引脚，确定步进电机5的励磁方式，驱动每一拍，控制引脚输出时序控制转动方向，设置每一拍延迟时间控制转速；步进电机5反转带动转动板10翻转至竖直
位置，采样盒侧面板打开，盒子底部的谷物沿倾斜薄板的坡度快速流出；当采样盒内谷物释放完毕，ARM处理器控制步进电机5正转一定角度，转动板10转动到盒体侧面，圆孔扣住侧面
箱体卡扣8，这一过程闭合采样盒，重复采样。
[0030] 采样盒内部靠近入粮口11处设有封闭的图像摄像室2，图像摄像室2的底部采用透明亚克力板4，其余侧面与采样盒盒体材料相同，图像摄像室2侧面上设有光源3，光源3过
导线与外部电源相连，图像摄像室2顶端固定有相机1，相机1的触发信号由ARM处理器控制。
[0031] 基于U-Net网络的谷物含杂破碎状态实时监测方法，包括如下步骤：
[0032] S1：将谷物收集装置通过盒体上的四个安装支架A7与收割机出粮口12支架固定，控制转动板10上与卡扣8扣住，打开光源3；当收割机出粮口12有谷物抛洒出来时，入粮口11可以最大限度地收集到谷物，谷物沿着盒体侧面流入采样盒内，通过经验参数可以计算出谷物累积到透明亚克力板4的时间，ARM处理器触发相机1拍摄当前谷物的图像。
[0033] S2：利用改进的U-Net网络(在ARM处理器中)对谷物图像进行分割，计算出分割的茎秆枝梗、破碎谷物和完好谷物的像素，得到谷物含杂率和破碎率；
[0034] S2.1：对原始U-Net网络进行改进
[0035] 原始U-Net网络由
输入层、卷积层、
池化层、上采样层、
输出层组成，原始结构容易出现过拟合的情况，鲁棒性和泛化能力表现也不太理想，因此本发明提出在卷积后加入Dropout改善网络的正则化。
[0036] 如图4所示，改进的U-Net网络设计结构左右对称，共11个卷积层、2个最大池化层、2个上采样层、11个RELU层，2次裁剪和复制，左侧是收缩路径，主要有4个卷积层和2个池化层，右侧是扩展路径，主要有5个卷积层和2个上采样层。
[0037] 第一个模块包含Conv_1，卷积核3*3，滤波器32个，1个RELU层，1个Dropout；Conv_1，卷积核3*3，滤波器32个，1个RELU层；1个最大池化层，卷积核2*2，滤波器32个；
[0038] 第二个模块包含Conv_3，卷积核3*3，滤波器64个，1个RELU层，1个Dropout；Conv_4，卷积核3*3，滤波器64个，1个RELU层；1个最大池化层，卷积核2*2，滤波器64个；
[0039] 第三个模块包含Conv_5，卷积核3*3，滤波器64个，1个RELU层，1个Dropout；Conv_6，卷积核3*3，滤波器64个，1个RELU层；
[0040] 第四个模块包含1个上采样层，卷积核2*2，滤波器128个；Conv_7，卷积核3*3，滤波器192个，1个RELU层，1个Dropout；Conv_8，卷积核3*3，滤波器64个，1个RELU层；
[0041] 第五个模块包含1个上采样层，卷积核2*2，滤波器64个；Conv_9，卷积核3*3，滤波器96个，1个RELU层，1个Dropout；Conv_10，卷积核3*3，滤波器32个，1个RELU层；
[0042] 第六个模块包含1个Conv_11，卷积核1*1，滤波器3个，1个RELU层。
[0043] 其中Conv_4特征信息复制
叠加到Conv_7，Conv_2特征信息复制叠加到Conv_9。输出层采用Softmax作为激活函数，具体为：
[0044]
[0045] 其中：Z[L]为输出层向量，σ为K维实向量。
[0046] S2.2：训练改进U-Net网络
[0047] 如图3所示，S2.2.1：数据准备
[0048] 谷物图像分成训练集和测试集，将已有的每张谷物图像任意取不同区域裁剪成800*800尺寸，对训练集进行图像预处理，按照破碎谷物、完好谷物、茎秆枝梗手工打好类别标签，并对数据归一化处理。其中图像预处理主要包括图像增强和灰度变换、自适应直方图均衡化等操作，图像增强包括图像翻转、扭曲、平移、随机加入噪声等。
[0050] 将S2.2.1中训练集数据送入改进的U-Net网络，使用Adam
优化算法提高网络学习效率优化训练结果，设置参数：初始学习率、训练批次大小、学习率下降系数、最大
迭代次数、Dropout值，不断更新权重、参数，以类别标签正则化LSR交叉熵作为损失函数，具体为：
[0051]
[0052] 其中：yi,k为真实值的概率；ε为平滑参数，本
实施例ε＝0.1；u(k)为k个类别标签的先验分布，本发明假设类别标签为均匀分布， pi,k为第i个样本预测为第k个类别标签值的概率；
[0053] 当记录的训练损失值Loss不再下降停止训练，输入测试集验证网络可靠性，最终保存训练好的U-Net网络。
[0054] Adam优化算法的步长更新函数，具体为：
[0055]
[0056] 其中：α为初始学习率； 为梯度均值；为梯度方差；β为常数，常取10-8。
[0057] S2.2.3：测试
[0058] 将测试集数据送入已经训练好的U-Net网络，验证改进U-Net网络的合理性，并保存。
[0059] 最后，将相机1采集到的谷物图像送入训练好的改进U-Net网络进行图像分割。
[0060] S2.3：多次进行S2.2，直到损失函数不再下降，得到的破碎谷物的像素a、完好谷物的像素b、茎秆枝梗的像素c，结合当前谷物含水率d(上位机通过CAN总线发送)得到谷物含杂率和破碎率，显示在显示屏上，同时发送给上位机并保存本地，具体为：
[0061]
[0062]
[0063] 其中：v为1克谷物对应像素，u为1克枝梗茎秆杂质对应像素。
[0064] S3：谷物含杂率和破碎率显示在显示屏上时，驾驶员根据含杂率和破碎率调整联合收割机的凹板间隙、脱粒滚筒转速以及风机转速。
[0065] 所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
