一种铁精粉分割方法及分割装置
技术领域
[0001] 本
发明涉及
矿石筛选技术领域，特别是指一种铁精粉分割方法及分割装置。
背景技术
[0002] 铁精粉是一种生成球团矿的原料，其含铁量决定着铁精粉的
质量。在国内，矿粉在我国资源丰富，储量大，却有很多颗粒小，品种复杂的矿石混杂在其中，导致我国的矿粉资源虽然产量丰富，但是质量不尽如人意，会影响成球性和成分的
稳定性。因此，国内不少企业采用的矿粉大多是进口的，但是随着需求的扩大，对于进口矿的数量越来越多。由于铁矿资源有限，原料的供应不足，不得不转向国内市场。同时我国
钢铁行业向着高质量、精加工方向发展，作为原料的铁精粉的质量必须要适应该种变化。
[0003] 传统的铁精粉品味分析技术一般使用化学或者物理方法，时间、人
力成本都比较高。
深度学习是应用广泛并且新颖的一种
机器学习方法，也是一种高效的
算法，利用从不同层次提取的特征作为识别的
基础从而得到所属分类，可以有效解决传统铁精粉耗时、耗力等缺点，同时还能很好的保证以较低的成本达到较高的准确率和减少维护成本。
[0004] 由于铁精粉和混在其中的其他矿石形状、
颜色、纹理、体积有诸多相似之处，有一些用肉眼都是很难分辨的；另外，有些铁精粉和矿石的体积非常小，以及呈现在图片里的面积所占的
像素极其少，属于小目标。加之，小目标由于所含的信息少，容易在
池化以及卷积的过程中忽略所含有的信息，同时现有语义分割方法对于边缘特征(由于边缘
定位不准确)和小目标信息的提取相对比较困难，所以对于边缘像素点以及小面积的像素点的分类的准确性较大范围内部像素点的分类准确性要差，不利于完整的提取出铁精粉这个目标物体。
发明内容
[0005] 本发明要解决的技术问题是提供一种铁精粉分割方法及分割装置，以解决
现有技术所存在的铁精粉和混在其中的其他矿石之间的特征差异小、目标体积过小或边缘定位不准确，导致无法完整准确地提取铁精粉的问题。
[0006] 为解决上述技术问题，本发明
实施例提供一种铁精粉分割方法，包括：
[0007] 获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
[0008] 建立基于注意力机
制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
[0009] 利用获取的训练样本集训练分割网络SegNet；
[0010] 利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。
[0011] 进一步地，在利用获取的训练样本集训练分割网络SegNet之前，所述方法还包括：
[0012] 对获取的铁精粉图像及对应的标注图进行一致的分割处理；
[0013] 对分割处理后的铁精粉图像及对应的标注图进行图像增强处理。
[0014] 进一步地，图像增强处理包括：旋转、翻转、放大、缩小、平移中的一种或多种。
[0015] 进一步地，所述分割网络SegNet包括：
编码器以及基于注意力机制模块的
解码器；
[0016] 所述编码器，用于对输入图像进行卷积、批量归一化和池化处理，提取特征图；
[0017] 所述解码器，用于对编码器输出的特征图提取空间注意力特征、上
采样、提取通道注意力特征、对提取的空间注意力特征和通道注意力特征进行拼接、卷积和批量归一化处理，并输出铁精粉图像每个像素点的类别。
[0018] 进一步地，所述解码器包括：第一注意力机制模块、与第一注意力机制模块相连的第一卷积归一化模块、与第一卷积归一化模块相连的第二注意力机制模块、与第二注意力机制模块相连的第二卷积归一化模块、与第二卷积归一化模块相连的第三注意力机制模块、与第三注意力机制模块相连的第三卷积归一化模块、与第三卷积归一化模块相连的第四注意力机制模块、与第四注意力机制模块相连的第四卷积归一化模块、与第四卷积归一化模块相连的分类器模块；
[0019] 其中，每个注意力机制模块包括：空间注意力单元、与空间注意力单元相连的上采样层、与上采样层相连的通道注意力单元、与通道注意力单元相连的拼接单元；
[0020] 每个卷积归一化模块包括：若干个由卷积层和批量归一化层相连的网络结构，其中，每个卷积层后面紧跟一个线性整流函数ReLU。
[0021] 进一步地，所述空间注意力单元，用于对接收到的相邻批量归一化层输出的特征图进行卷积和逆卷积操作，将逆卷积结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图做卷积操作后进行相加，将相加结果经过线性整流函数ReLU、卷积、sigmoid和上采样操作后，将上采样结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图做乘法，并对乘法结果执行卷积、批量归一化操作，提取空间注意力特征，其中，sigmoid表示双曲正切S型函数。
[0022] 进一步地，所述通道注意力单元，用于对上采样层的输出结果进行卷积操作，利用全局池化层做卷积结果进行压缩操作，根据压缩结果，利用两个全连接层建模通道间的相关性并通过调整矩阵的维度和形状的操作恢复特征维度，对恢复维度的特征图和卷积结果做乘法，提取通道注意力特征。
[0023] 进一步地，所述利用获取的训练样本集训练分割网络SegNet包括：
[0024] 利用获取的训练样本集训练分割网络SegNet，并以最小化分割网络SegNet的损失函数为目标函数，优化分割网络SegNet。
[0025] 进一步地，分割网络SegNet的损失函数为：
[0026]
[0027] 其中，Lfl表示损失值；α表示平衡因子；γ表示调节因子；y’表示预测输出值；y表示训练样本的标签。
[0028] 本发明实施例还提供一种铁精粉分割装置，包括：
[0029] 获取模块，用于获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
[0030] 建立模块，用于建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
[0031] 训练模块，用于利用获取的训练样本集训练分割网络SegNet；
[0032] 分割模块，用于利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。
[0033] 本发明的上述技术方案的有益效果如下：
[0034] 上述方案中，为了获取小目标所含有的特征以及更多的与其他矿石有差异的特征信息，在原分割网络SegNet的基础上增加了通道注意力，并为了获取更多的边缘信息以及更好的定位目标物体，在原分割网络SegNet的基础上增加了空间注意力，这样，利用利用训练好的基于空间注意力和通道注意力的分割网络SegNet，能够将铁精粉从获取的传送过程中的待分割铁精粉图像中完整准确地提取出来，从而提高铁精粉提取
精度和工作效率，并达到生成高质量球团矿原料的目的。
附图说明
[0035] 图1为本发明实施例提供的铁精粉分割方法的流程示意图；
[0036] 图2为本发明实施例提供的基于注意力机制模块的分割网络SegNet的结构示意图；
[0037] 图3为本发明实施例提供的空间注意力单元的工作流程示意图；
[0038] 图4为本发明实施例提供的通道注意力单元的工作流程示意图；
[0039] 图5为本发明实施例提供的铁精粉分割装置的结构示意图。
具体实施方式
[0040] 为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0041] 本发明针对现有的铁精粉和混在其中的其他矿石之间的特征差异小、目标体积过小或边缘定位不准确，导致无法完整准确地提取铁精粉的问题，提供一种铁精粉分割方法及分割装置。
[0042] 实施例一
[0043] 如图1所示，本发明实施例提供的铁精粉分割方法，包括：
[0044] S101，获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
[0045] S102，建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
[0046] S103，利用获取的训练样本集训练分割网络SegNet；
[0047] S104，利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。
[0048] 本发明实施例所述的铁精粉分割方法，为了获取小目标所含有的特征以及更多的与其他矿石有差异的特征信息，在原分割网络SegNet的基础上增加了通道注意力，并为了获取更多的边缘信息以及更好的定位目标物体，在原分割网络SegNet的基础上增加了空间注意力，这样，利用利用训练好的基于空间注意力和通道注意力的分割网络SegNet，能够将铁精粉从获取的传送过程中的待分割铁精粉图像中完整准确地提取出来，从而提高铁精粉提取精度和工作效率，并达到生成高质量球团矿原料的目的。
[0049] 本实施例中，SegNet为用于
图像分割的深度卷积编码器-解码器架构。
[0050] 在前述铁精粉分割方法的具体实施方式中，进一步地，在利用获取的训练样本集训练分割网络SegNet之前，所述方法还包括：
[0051] 对获取的铁精粉图像及对应的标注图进行一致的分割处理；
[0052] 对分割处理后的铁精粉图像及对应的标注图进行图像增强处理。
[0053] 本实施例中，首先可以通过高清的工业相机获取传送过程中的铁精粉图像，然后选取部分铁精粉图像，通过领域专家进行人工标注，得到选取的铁精粉图像的标注图，将选取的铁精粉图像和对应的标注图作为训练样本集；将其他的铁精粉图像作为测试样本集，所述测试样本集用于测试训练好的分割网络SegNet分割的准确度。
[0054] 本实施例中，假设，获取的原始铁精粉图像大小为2592*1944，设置图像分割后的尺寸为256*256，同时对每张训练样本图像对应的标注图也做一致的分割处理。
[0055] 本实施例中，图像增强处理包括：旋转、翻转、放大、缩小、平移中的一种或多种；例如，随机旋转图像一定
角度，改变图像内容的朝向；沿着
水平或者垂直方向翻转图像；按照一定的比例放大或者缩小图像；在图像平面上对图像进行平移。
[0056] 在前述铁精粉分割方法的具体实施方式中，进一步地，所述分割网络SegNet包括：编码器(encoder)以及基于注意力机制模块的解码器(encoder)；
[0057] 所述编码器，用于对输入图像进行卷积、批量归一化和池化处理，提取特征图；
[0058] 所述解码器，用于对编码器输出的特征图提取空间注意力特征、上采样、提取通道注意力特征、对提取的空间注意力特征和通道注意力特征进行拼接、卷积和批量归一化处理，并输出铁精粉图像每个像素点的类别。
[0059] 本实施例中，在encoder中进行特征的提取，decoder用于对提取的特征进行分析处理。
[0060] 本实施例中，如图2所示，先对encoder进行简要说明：
[0061] 1)encoder包括：5个卷积归一化模块(1、2、3、4、5)和4个最大池化层max pool(1、2、3、4)，每个卷积归一化模块包括：若干个由卷积层(conv)和批量归一化层(BN)相连的网络结构，每个卷积层后面紧跟一个线性整流函数(Rectified Linear Unit,ReLU)，其中，ReLU为一种激活函数；
[0062] 2)卷积归一化模块1、2各包括2个由卷积层和批量归一化层相连的网络结构；卷积归一化模块3、4、5各包括3个由卷积层和批量归一化层相连的网络结构；因此，encoder一共有13个卷积层；
[0063] 3)卷积归一化模块1与最大池化层1相连，最大池化层1与卷积归一化模块2相连，卷积归一化模块2与最大池化层2相连，最大池化层2与卷积归一化模块3相连，卷积归一化模块3与最大池化层3相连，最大池化层3与卷积归一化模块4相连，卷积归一化模块4与最大池化层4相连，最大池化层4与卷积归一化模块5相连；
[0064] 4)卷积层用于对图像进行特征提取，批归一化层用于缓解深层网络中“梯度弥散”的问题，池化层可以逐步减少网络训练参数及避免分割网络SegNet过拟合。由于encoder中卷积和池化的操作，逐渐增加特征通道的数量，逐渐减小特征图的大小，目的是为了提取到更为准确的特征。
[0065] 本实施例中，如图2所示，对decoder进行简要说明：
[0066] 1)decoder包括：第一注意力机制模块、与第一注意力机制模块相连的第一卷积归一化模块、与第一卷积归一化模块相连的第二注意力机制模块、与第二注意力机制模块相连的第二卷积归一化模块、与第二卷积归一化模块相连的第三注意力机制模块、与第三注意力机制模块相连的第三卷积归一化模块、与第三卷积归一化模块相连的第四注意力机制模块、与第四注意力机制模块相连的第四卷积归一化模块、与第四卷积归一化模块相连的分类器模块(conv+softmax)；也就是说，decoder包括4个注意力机制模块(第一、第二、第三、第四)、4个卷积归一化模块(第一、第二、第三、第四)和1个分类器模块，其中，每个卷积归一化模块包括：若干个由卷积层和批量归一化层相连的网络结构，每个卷积层后面紧跟一个线性整流函数ReLU；
[0067] 2)每个注意力机制模块包括：空间注意力(Spatial Attention)单元、与空间注意力单元相连的上采样层(upsampling)、与上采样层相连的通道注意力(Channel-wise Attention)单元、与通道注意力单元相连的拼接单元(concatenate)，因此，decoder使用4个上采样层；
[0068] 本实施例中，Spatial Attention可以增加空间特征的提取，Channel-wise Attention可以增加通道特征的提取。在每一个上采样层前加入Spatial Attention单元，每一个上采样层后加入Channel-wise Attention单元，紧接着通过拼接单元把空间注意力单元和通道注意力单元提取的特征进行拼接，传送给之后的卷积层；这样就可以使该网络能够获得更多的上下文信息，使得分割结果更加准确。需要注意的是，进行拼接的两个特征图的尺寸和通道数量需要一致；
[0069] 3)第一、第二、第三卷积归一化模块各包括3个由卷积层和批量归一化层相连的网络结构；第四卷积归一化模块包括2个由卷积层和批量归一化层相连的网络结构；因此，encoder一共有11个卷积层；
[0070] 4)上采样层逐层上采样到设置的特征大小，在decoder中，每一次上采样后，特征通道数量都会减半，特征图的大小都会加倍，这样可以恢复原
分辨率大小的图像。
[0071] 5)分类器模块由一个conv和softmax组成，用于对第四卷积归一化模块的输出进行处理，产生非线性变换，输出铁精粉图像每个像素点的类别。
[0072] 在前述铁精粉分割方法的具体实施方式中，进一步地，如图3所示，所述空间注意力单元，用于对接收到的相邻批量归一化层输出的特征图(y)进行卷积和逆卷积(ConvTranspose)操作，将逆卷积结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图(z)做卷积操作后进行相加(add)，将相加结果经过线性整流函数ReLU、卷积、双曲正切S型函数(sigmoid)和上采样操作提取更多的特征后，将上采样结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图(z)做乘法(Multiply)，也就是将权重加到每个特征上，可以使图片局部的重要信息能够通过变换而被提取出来；然后对乘法结果执行卷积、批量归一化操作，提取空间注意力特征。
[0073] 在前述铁精粉分割方法的具体实施方式中，进一步地，如图4所示，所述通道注意力单元，用于对上采样层的输出结果(y)进行卷积操作，利用全局池化层做卷积结果进行压缩操作，根据压缩结果，利用全连接层(dense)1、全连接层2建模通道间的相关性并通过调整矩阵的维度和形状(Reshape)的操作恢复特征维度(即：先通过全连接层1将特征维度降低到输入的1/16，然后经过ReLU激活后再通过全连接层2、Reshape操作升回到原来的维度)，输出和输入特征同样数目的权重，对恢复维度的特征图和卷积结果做乘法，将权重加权到每个通道的特征上，提取通道注意力特征。这样做可以使提取的通道注意力特征具有更多的非线性，从而更好地拟合通道间复杂的相关性，同时极大地减少了参数量和计算量。
[0074] 在前述铁精粉分割方法的具体实施方式中，进一步地，所述利用获取的训练样本集训练分割网络SegNet包括：
[0075] 利用获取的训练样本集训练分割网络SegNet，并以最小化分割网络SegNet的损失函数为目标函数，优化分割网络SegNet。
[0076] 本实施例中，分割网络SegNet的损失函数为：
[0077]
[0078] 其中，y表示铁精粉标识。
[0079] 其中，Lfl表示损失值；α表示平衡因子，用来平衡正负样本本身的数量比例不均；γ表示调节因子，使得分割网络更关注于困难的、错分的样本；y’表示分割网络SegNet的预测输出值，y’的取值在0-1之间；y表示训练样本的标签，1表示铁精粉样本，0表示背景样本。
[0080] 本实施例中，正样本是指属于某一类别的样本，负样本是指不属于某一类别的样本，此时正样本就是铁精粉样本，负样本就是背景样本。
[0081] 本实施例中，α和γ均为可以调节的超参数，y'为分割网络SegNet的预测结果，其值介于(0-1)之间，当y＝1时，y'趋于1，表示容易识别的正样本，它对权重的贡献趋于0；当y＝0时，y'趋于0，表示容易识别的负样本，它对权重的贡献趋于0。因此，损失函数Lfl能够解决类别
不平衡的问题，不仅降低了背景类的权重，还降低了容易识别的正样本/负样本(easy positive/negative)的权重。
[0082] 本实施例中，可以使用优化器随机梯度下降(stochastic gradient descent，SGD)优化分割网络SegNet，其中，学习率为0.1，学习率衰减值(decay)的值设为1e-4，动量参数(momentum)的值为0.9，momentum表示要在多大程度上保留原来的更新方向，这个值在0-1之间。
[0083] 本实施例中，对待分割铁精粉图像，先对其进行分割、图像增强处理，然后再利用训练好的模型对图像增强后的待分割铁精粉图像进行分割，输出每个像素点的类别，其中，类别用0、1表示，0表示背景，1表示铁精粉。
[0084] 实施例二
[0085] 本发明还提供一种铁精粉分割装置的具体实施方式，由于本发明提供的铁精粉分割装置与前述铁精粉分割方法的具体实施方式相对应，该铁精粉分割装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述铁精粉分割方法具体实施方式中的解释说明，也适用于本发明提供的铁精粉分割装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
[0086] 如图5所示，本发明实施例还提供一种铁精粉分割装置，包括：
[0087] 获取模块11，用于获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
[0088] 建立模块12，用于建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
[0089] 训练模块13，用于利用获取的训练样本集训练分割网络SegNet；
[0090] 分割模块14，用于利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。
[0091] 本发明实施例所述的铁精粉分割装置，为了获取小目标所含有的特征以及更多的与其他矿石有差异的特征信息，在原分割网络SegNet的基础上增加了通道注意力，并为了获取更多的边缘信息以及更好的定位目标物体，在原分割网络SegNet的基础上增加了空间注意力，这样，利用利用训练好的基于空间注意力和通道注意力的分割网络SegNet，能够将铁精粉从获取的传送过程中的待分割铁精粉图像中完整准确地提取出来，从而提高铁精粉提取精度和工作效率，并达到生成高质量球团矿原料的目的。
[0092] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0093] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
