技术领域
[0001] 本
发明属于
计算机视觉技术领域，具体涉及一种基于压缩卷积神经网络的加热金属图像的多标签分类方法。
背景技术
[0002] 现代建筑业和材料技术的推动使得数量众多金属部件应用于
家用电器。在火灾现场，金属部件通常会保留下来，在火灾中受热的金属部件表面留有物理和化学变化所导致的特殊痕迹。金属部件表面的痕迹受加热
温度，加热时间，冷却模式等条件因素的影响，不同的条件因素的组合导致不同的
氧化金属表面的反应。这些因素在火灾事故分析科学中非常重要，因为可以把这些因素作为可靠指标分析火的
位置，来源和火势等情况。由于火灾现场情况复杂多变，难以完完整整地模拟复现。而基于加热金属图像的分类识别则以较小的时间和经济代价为火灾的具体情况提供很大程度上的模拟复现，帮助火灾事故专家模拟并分析火灾的发生原因，火灾的火势等具体情况。传统的方法是专家使用自身的物理和化学知识来对比现场的金属图像和相关加热金属图像。这种方法有很多缺点：专家进行定性分析，每个专家自身的评判标准和知识
水平不同，判断结果具有主观性，偏远的地区不能提供相应研究条件，使用的局限程度太高。耗费大量经济成本，分析和自动化处理程度较低，处理和分析得出结果的时间太长。随着计算机视觉技术的发展，自动/半自动加热金属
图像分析和处理取得了长足的发展进步。计算机辅助加热金属
图像识别分类系统的效率和
稳定性可为专家提供正确的辅助指导。
[0003] 现有的加热金属图像自动分类技术主要使用计算机视觉和
机器学习技术处理和分析图像。一些有代表性的工作包括采用基于加热金属图像的金属类型，加热方式，加热温度，加热时间，冷却选择模式，冷却湿度和放置持续时间来描述图像的特征，然后使用监督或者无监督的机器学习方法构造分类器。这些方法在较高的水平上构建了加热金属图像的特征表示。然而选取的网络模型需要执行的
硬件环境要求严格，处理速度较慢，不利于推广使用，且每次都只能预测图像的某一属性，还需要行业专家的大量参与。随着
深度学习技术的发展进步，深度学习领域的目标检测和目标识别技术得到了快速的发展，无论是检测的速度还是准确度都得到了很大的提升，同时具有很强的特征提取能
力。其中压缩卷积神经网络的深度学习模型占用存储空间小，训练所需的时间更少。同时采用多标签分类的方法大大提高了训练模型的效率和预测结果的全面性，图像识别率准确度降低相对较小，适用于实时实用，便于在于移动或嵌入式设备上实现场景。
[0004] 因此，针对目前深度学习领域的现状，由于加热金属图像本身分类识别的复杂性，急需要一种可以更快速更准确全面分类识别加热金属图像的方法。
发明内容
[0005] 本发明要解决的技术问题是针对上述
现有技术的不足，提供一种基于压缩卷积神经网络模型的加热金属图像的多标签分类方法。能够在较短时间内对加热金属图像得出多标签分类预测结果，提升加热金属图像预测结果的全面性和效率，并具有更好的易用性和鲁棒性，为加热金属图像分类识别技术可以应用在实际场景奠定一定的
基础。
[0006] 为解决上述技术问题，本发明所采取的技术方案是：一种基于压缩卷积神经网络的加热金属图像的多标签分类方法，包括以下步骤：
[0007] 步骤1、获取加热金属图像，组成训练集和验证数据集，并对训练集中加热金属图像进行预处理，将训练集和验证集中的图像转换为统一大小，并把每幅热金属图像的多标签属性值和该幅加热金属图像数据对应保存在同一文件中，并为每个文件编号；
[0008] 所述预处理方法为：对
训练数据集的加热金属图像，使用随机水平、垂直、翻转、图片倾斜的增强操作，扩大训练数据集图片数量为原来的四倍；
[0009] 所述多标签属性值为七个属性值，用来描述加热金属图像的特征。这七个属性值分别是：金属类型，加热方式，冷却方式，加热时长，
相对湿度，放置时长，加热温度。其中金属类型有两类分别为
镀锌
钢和
冷轧钢；加热模式有六种分别为
真空加热、
马弗炉加热、
汽油燃烧器加热、炭炉加热，纸加热和木加热；冷却方式有两种分别为自然冷却和强制冷却；加热时长有四种分别为八分钟、十五分钟，四十分钟和四十五分钟；相对湿度有两种分别为65％和85％；放置时长有三种分别为二十四小时，三十六小时和四十八小时；加热温度为四种分别为400℃、600℃，800℃和1000℃。
[0010] 所述多标签属性值的七个属性，对于每幅加热金属图像，需要按照统一顺序排列，并对多标签属性值使用one-hot进行编码；
[0011] 步骤2、基于深度学习技术的思想，设计应用图像分类的压缩卷积神经网络模型
框架。
[0012] 步骤2.1、设置压缩卷积神经网络模型的输入参数和输出参数，包括输入加热金属图像的数据格式，模型预测结果的输出。去掉压缩卷积神经网络模型的最后一层，设置最后一层的激活函数为sigmoid函数，设置压缩卷积神经网络模型的损失函数为二元交叉熵损失函数；
[0013] 步骤2.2、使用sigmoid激活函数作为压缩卷积神经网络模型最后一层进行多标签分类；用一组一维向量表示加热金属图像的七个属性，每个属性对应多个类别；
[0014] sigmoid函数如下公式所示：
[0015]
[0016] 其中，x是神经网络模型的最后一层的未经激活的输出值，e-x表示对自变量x取自然指数e的-x幂次，S(x)代表对自变量x进行施加对应法则，将自变量映射到0～1之间。
[0017] 对于训练过程，训练模型的损失函数是二元交叉熵损失函数：
[0018] 二元交叉熵损失函数如下公式所示：
[0019]
[0020] 其中y是加热金属图片对应的真实多标签属性值，y的值域为[0,1] 是压缩卷积神经网络模型预测的多标签属性值，值域为[0,1]， 表示对 取对数， 表示对 取对数, 表示对 和y施加对应法则。
[0021] 采用Adamax优化
算法对二元交叉熵损失函数进行优化，如下公式所示：
[0022] mt＝μ*mt-1+(1-μ)*gt
[0023] nt＝max(v*nt-1,|gt|)
[0024]
[0025]
[0026]
[0027] 其中，μ和v是动量因子，取值范围为[0,1)，μt和vt指的是在时间步长下它们的取值，η是学习率，gt是依赖于当前批次的梯度，|gt|表示对gt取绝对值。max(v*nt-1,|gt|)表示取v*nt-1和|gt|这两者中的最大值。mt，nt分别是对梯度的一阶矩估计和二阶矩估， 分别是对mt，nt的校正，这样可以近似为对期望的无偏估计，ε是一个非0的极小的正数用来保证分母非0。
[0028] 步骤3、使用压缩卷积神经网络模型及步骤1中训练集对应的文件进行模型训练，得到用于加热金属图像的自动分类模型；
[0029] 步骤3.1、从步骤1中训练集对应的文件中，提取加热金属图像的图像数据和图像对应的多标签属性值；
[0030] 步骤3.2、将训练集分成k个批次，并确定每个批次的大小batchsize，即一个批次加热金属图像数据的数量；
[0031] 步骤3.2、将加热金属图像数据和对应多标签属性值输入到压缩卷积神经网络模型中，采用随机初始化方法来初始化压缩卷积神经模型网络参数，通过压缩卷积神经网络中的设定的batchsize数量对加热金属图像数据进行特征提取，使用批量
梯度下降法对压缩卷积神经网络进行正向传播训练得到预测加热金属图像的多标签属性值
[0032] 步骤3.3、将压缩卷积神经网络模型的输出通过步骤2中激活函数S(x)分类器对加热金属图像进行分类，使用步骤2中定义的二元交叉熵损失函数 计算模型预测输出的多属性分类标签 和真实的多标签属性值y的差异；
[0033] 步骤3.4、若 的值大于ε，则使用Adamax
优化算法进行梯度回传以调整压缩卷积神经网络各层的参数，调整模型参数公式如下：
[0034]
[0035] 其中θt是更新后的模型参数，θt-1是更新之前的模型参数，nt是对梯度的二阶矩估，是对mt的校正，x是一个非0的极小的正数用来保证分母非0。
[0036] 若 的值小于等于ε，则观察验证数据集上预测分类的准确度在下一轮
迭代减去上一轮迭代的差值。
[0037] 步骤3.5、若差值小于等于0，停止模型训练保存最优的加热金属图像的自动分类模型，即用于加热金属图像的自动分类模型，若差值大于0，随机更改当前批次的梯度，继续使用Adamax优化算法迭代优化模型参数，转到步骤3.4；
[0038] 步骤4、使用得到的用于加热金属图像的自动分类模型，对验证数据集中的加热金属图像的进行预测，得到加热金属图像预测分类。
[0039] 在验证数据集中，选择一个文件，提取加热金属图像作为测试图像，输入到加热金属图像的自动分类模型中，得到输出预测的多属性标签值；
[0040] 有益技术效果：
[0041] 本发明提供一种基于压缩卷积神经网络网络的加热金属图像的多标签分类方法。与传统的方法比较，本发明可以有效利用深度学习特征的特征提取能力以及泛化能力，提高加热金属图像检测识别的准确度。而且压缩网络的深度学习模型占用存储空间小，对硬件的性能要求低，训练所需的时间更少。采用多标签分类的方法大大提高了训练模型的效率，图像识别率准确度降低相对较小，便于在于移动或嵌入式设备上实现场景。
附图说明
[0042] 图1本发明
实施例的一种基于压缩卷积神经网络的加热金属图像的多标签分类方法
流程图。
具体实施方式
[0043] 下面结合附图和具体实施实例对发明做进一步说明：本实例以公安局相关技术部
门提供的加热金属图像数据集为例，使用本发明的一种基于压缩卷积神经网络的加热金属图像的多标签分类方法对加热金属图像进行多标签分类。
[0044] 基于压缩卷积神经网络的加热金属图像的多标签分类方法，如图1所示，具体步骤如下：
[0045] 步骤1、获取加热金属图像，本加热金属图像数据集由公安局相关技术部门提供，组成训练集和验证数据集，
抽取10％比例的图像用作训练模型的验证数据集，并对训练集中加热金属图像进行预处理，将训练集和验证集中的图像转换为统一大小，大小转换成300*300
像素，并把每幅热金属图像的多标签属性值和该幅加热金属图像数据对应保存在同一文件中，并为每个文件编号；
[0046] 所述预处理方法为：对训练数据集的加热金属图像，使用随机水平、垂直、翻转、图片倾斜的增强操作，扩大训练数据集图片数量为原来的四倍；使用数据增强的目的是为了让加热金属图像样本更具普遍性；
[0047] 所述多标签属性值为七个属性值，用来描述加热金属图像的特征，这七个属性值分别是：金属类型，加热方式，冷却方式，加热时长，相对湿度，放置时长，加热温度。其中金属类型有两类分别为镀锌钢和冷轧钢；加热模式有六种分别为真空加热、马弗炉加热、汽油燃烧器加热、炭炉加热，纸加热和木加热；冷却方式有两种分别为自然冷却和强制冷却；加热时长有四种分别为八分钟、十五分钟，四十分钟和四十五分钟；相对湿度有两种分别为65％和85％；放置时长有三种分别为二十四小时，三十六小时和四十八小时；加热温度为四种分别为400℃、600℃，800℃和1000℃。
[0048] 所述多标签属性值的七个属性，对于每幅加热金属图像，需要按照统一顺序排列，并对多标签属性值使用one-hot进行编码；按照金属类型，加热方式，冷却方式，加热时长，相对湿度，放置时长，加热温度的先后顺序使用one-hot编码对每张加热金属图像进行编码对应生成一个23位的一维向量。这个23位的一维变量即是加热金属图像的真实多属性标签，把这些加热金属图像的多属性标签值以行的格式存入到文本文件中，同时把图片数据用OpenCV处理成数组格式存入到文本文件中。
[0049] 步骤2、基于深度学习技术的思想，设计应用图像分类的压缩卷积神经网络模型框架。本发明以ShuffleNet为加热金属图像分类识别的压缩网络模型，应用在加热金属图像场景下，实现对加热金属图片的多标签分类识别；
[0050] 步骤2.1、设置压缩网络模型ShuffleNet的输入参数和输出参数，包括输入加热金属图像的数据格式，模型预测结果的输出。去掉网络模型的最后一层，设置最后一层的激活函数为sigmoid函数，设置模型的损失函数为二元交叉熵损失函数；
[0051] 步骤2.2、使用sigmoid激活函数ShuffleNet最后一层进行多标签分类；用一组一维向量表示加热金属图像的七个属性，每个属性对应多个类别；
[0052] sigmoid函数如下公式所示：
[0053]
[0054] 其中，x是神经网络模型的最后一层的未经激活的输出值，e-x表示对自变量x取自然指数e的-x幂次，S(x)代表对自变量x进行施加对应法则，将自变量映射到0，1之间。
[0055] 对于训练过程，训练模型的损失函数是二元交叉熵损失函数：
[0056] 二元交叉熵损失函数如下公式所示：
[0057]
[0058] 其中y是加热金属图片对应的真实多标签属性值，y的值域为[0,1] 是压缩卷积神经网络模型预测的多标签属性值，值域为[0,1]， 表示对 取对数， 表示对 取对数, 表示对 和y施加对应法则。
[0059] 采用Adamax优化算法对二元交叉熵损失函数进行优化，如下公式所示：
[0060] mt＝μ*mt-1+(1-μ)*gt
[0061] nt＝max(v*nt-1,|gt|)
[0062]
[0063]
[0064]
[0065] 其中，μ和v是动量因子,取值范围为[0,1)，μt和vt指的是在时间步长timestep下它们的取值，η是学习率，gt是依赖于当前batch的梯度，|gt|表示对gt取绝对值。max(v*nt-1,|gt|)表示取v*nt-1和|gt|这两者中的最大值。mt，nt分别是对梯度的一阶矩估计和二阶矩估，分别是对mt，nt的校正，这样可以近似为对期望的无偏估计，ε是一个非0的极小的正数用来保证分母非0。
[0066] 在加热金属图像模型训练过程中，是用带多属性标签的加热金属图像数据通过上述损失函数来训练用于加热金属图像多标签分类的模型；
[0067] 步骤3、使用压缩卷积神经网络模型及步骤1中训练集对应的文件进行模型训练，得到用于加热金属图像的自动分类模型；
[0068] 步骤3.1、从步骤1中训练集对应的文件中，提取加热金属图像的图像数据和图像对应的多标签属性值；
[0069] 步骤3.2、将训练集分成k个批次，并确定每个批次的大小batchsize，即一个批次加热金属图像数据的数量；
[0070] 步骤3.2、将加热金属图像数据和对应多标签属性值输入到压缩卷积神经网络模型中，采用随机初始化方法来初始化压缩卷积神经模型网络参数，通过压缩卷积神经网络中的设定的batchsize数量对加热金属图像数据进行特征提取，使用批量梯度下降法对压缩卷积神经网络进行正向传播训练得到预测加热金属图像的多标签属性值
[0071] 步骤3.3、将压缩卷积神经网络模型的输出通过步骤2中激活函数S(x)分类器对加热金属图像进行分类，使用步骤2中定义的二元交叉熵损失函数 计算模型预测输出的多属性分类标签 和真实的多标签属性值y的差异；
[0072] 步骤3.4、若 的值大于ε，则使用Adamax优化算法进行梯度回传以调整压缩卷积神经网络各层的参数，调整模型参数公式如下：
[0073]
[0074] 其中θt是更新后的模型参数，θt-1是更新之前的模型参数，nt是对梯度的二阶矩估，是对mt的校正，x是一个非0的极小的正数用来保证分母非0。
[0075] 若 的值小于等于ε，则观察验证数据集上预测分类的准确度在下一轮迭代减去上一轮迭代的差值。
[0076] 步骤3.5、若差值小于等于0，停止模型训练保存最优的加热金属图像的自动分类模型，即用于加热金属图像的自动分类模型，若差值大于0，随机更改当前批次的梯度，继续使用Adamax优化算法迭代优化模型参数，转到步骤3.4；
[0077] 本实施例中，选取的压缩卷积神经网络为ShuffleNet。在模型训练过程中，超参数的预定义为：初始学习率η＝0.01，训练模型过程中，当预测分类准确度指标每10个批次不增长时，训练模型的学习率衰减η为当前学习率的0.1倍，最大训练轮数epoch＝50，每批次输入图像数据batchsize＝16，每训练轮数包含训练步数step＝200，训练模型的优化算法为Adamax。
[0078] 步骤4、使用得到的用于加热金属图像的自动分类模型，对验证数据集中的加热金属图像的进行预测，得到加热金属图像预测分类。
[0079] 在验证数据集中选择一个文件，提取加热金属图像作为测试图像，输入到加热金属图像的自动分类模型中，模型根据提取出来的图像特征，输出预测得到加热金属图像的多属性标签值；
[0080] 仿真结果：
[0081] 使用数据增强方法处理训练数据集后，ShuffleNet预测加热金属图像分类的准确度由80.7％上升至83.0％，准确度提升效果明显。ShuffleNet多标签分类准确度83.0％和单标签分类准确度84.2％作对比，准确率下降不明显，分类模型预测一张加热金属图像的时间缩短到0.0026秒，预测时间缩短与非压缩卷积神经网络模型ResNet50的0.031秒相比提升明显。
