技术领域
[0001] 本
发明涉及声音
信号的识别技术领域，特别涉及一种基于深度学习及声音识别的机器设备状态监测系统。
背景技术
[0002] 目前，在工厂环境下机器设备的使用过程中，因
温度、湿度、地理
位置等自然因素和人为因素的影响，机器设备容易出现磨损、老化等诸多问题。机器设备状态监测是一个非常复杂的过程，尽管目前有很多关于机器设备状态监测及故障诊断的研究，但由于故障类型较多，故障的发生存在偶然性或随机性，同时又由于机器设备本身的复杂性，使得机器设备状态监测及故障诊断仍然是一个值得探讨的问题。
[0003] 根据系统采用的特征描述和决策方法，现有机器设备状态监测主要是针对机器设备故障诊断展开，概括起来分为两大类：基于系统数学模型的故障诊断方法和基于非模型的故障诊断方法。基于系统数学模型的故障诊断方法是通过构造观测器估计出系统输出，然后将它与输出的测量值比较，从中取得故障信息。基于非模型的故障诊断方法有基于可测
信号处理的故障诊断方法、基于故障诊断
专家系统的诊断方法、故障
模式识别的故障诊断方法、基于故障树的故障诊断方法和基于
人工神经网络的故障诊断方法等。但是现有故障诊断技术及方法存在如下几点问题：
[0004] (1)生产中用到的重大机器设备或价值昂贵的大机组，当出现故障时，不便于接近检查或不能解体检查。
[0005] (2)对安全性要求高的机器设备，不仅维修比较困难，且维修成本较高。
[0006] (3)对生产的重要性、人身安全、环境保护、社会影响等方面考虑不足。
[0007] (4)在分析处理数据的时候，多数诊断方法采用各种独立模型去解诀问题，此方法需要将各种模型很好的结合起来，在不同的问题中需要考虑多种情况，因此具有一定的局限性。
[0008] (5)对复杂系统的机器设备故障诊断目前还难以有很好的远程诊断方法去完全解决。
[0009] 由于机器设备运行时会发出声音，且运行状态不同，声音也存在着差异，因此，本发明通过
传感器采集机器设备及其关键零部件的声音数据，对其进行人工标记形成声音样本库，然后进行预处理，再经过特征提取，送入预设的神经网络模型中，通过神经网络模型对声音的识别判断机器的运行状态，同时实时采集的数据也经过预处理及特征提取送入神经网络模型进行声音识别，最后结合人工经验，对识别结果进行综合判断，并对
声音信号进行重新标记形成新的样本，使声音样本库不断增大，提高神经网络模型的识别率。本发明不仅可以实时监测机器设备运行状态，将机器运行状态显示出来，同时在机器设备或其关键零部件发生故障或处于危险状态时发出报警信号，通知设备管理员及时进行维护，提高工作效率，减少经济损失。
发明内容
[0010] 本发明的目的在于针对工厂流
水线上的机器设备，提供一种基于深度学习及声音识别的机器设备状态监测系统，以弥补传统机器设备运行状态及故障监测的不足。
[0011] 为解决上述技术，本发明所采取的技术方案是：一种基于深度学习及声音识别的机器设备状态监测系统，包括：训练
数据采集模
块、人工标记模块、声音样本库、预处理、特征提取、神经网络模型、实时数据采集模块、状态识别模块、识别结果模块、人工经验模块、状态显示模块和报警模块。
训练数据采集模块和人工标记模块相连，人工标记模块分别与声音样本库和识别结果模块相连，声音样本库和预处理相连，预处理分别与实时数据采集模块及特征提取相连，特征提取与神经网络模型相连，神经网络模型与状态识别模块相连，状态识别模块与识别结果模块相连，识别结果模块分别与人工经验模块、人工标记模块、状态显示模块和报警模块相连。
[0012] 所述训练数据采集模块，采用传感器采集工厂生产环境下流水线上运行的机器设备及其关键零部件的声音信号。
[0013] 所述人工标记模块，是设备维修人员或机器故障专家根据自身经验通过声音信号对机器设备及其关键零部件的运行状态进行判断，包括是否正常运行和老化程度。其中是否正常运行包括：正常运行和已发生故障；老化程度包括：良好、中等、危险。
[0014] 所述声音样本库为经过人工标记的声音信号。
[0015] 所述预处理包括滤波、A/D转换、预加重、分
帧加窗和端点检测。
[0016] 所述滤波采用FIR
滤波器滤除信号中的非音频成分，最大限度提高
输入信号的
信噪比。
[0017] 所述A/D转换是将
模拟信号转变为
数字信号。
[0018] 所述预加重是对信号的高频部分加重，增强声音信号的高频
分辨率，便于后面进行谱分析。选择一阶FIR高通
数字滤波器来进行预加重处理，其传递函数为H(z)＝1-az-1，0.9＜a＜1.0。
[0019] 所述分帧加窗是将声音信号分成很小的时间段，即帧，然后对分帧的声音信号进行加窗处理，主要目的是为了保持声音信号的短时平稳性，减少Gibbs效应。其中帧长设置为20ms，帧移取帧长的1/3。加窗采用汉明窗，其函数表达式如(1)所示，其中N为等于帧长的窗长度。
[0020]
[0021] 所述端点检测用于在声音信号中区分背景噪声和环境噪声，并准确地判断出声音信号的开始点和结束点。
[0022] 所述特征提取用于提取声音信号的特征参数，所述基于深度学习及声音识别的机器设备状态监测系统采用梅尔
频率倒谱系数作为机器设备声音的特征参数。
[0023] 所述神经网络模型采用设计的
卷积神经网络模型，包括4个卷积层、4个
池化层、2个全连接层，
中间层激活函数使用ReLU，最后一层使用softmax，每个卷积层后使用批量归一化(Batch Normalization)
加速训练。优化器使用随机梯度下降(Stochastic Gradient Descent，SGD)，采用Dropout比例分别为0.5，损失函数使用交叉熵(Cross Entropy)，并进行全局平均池化。将经过
数据处理并进行特征提取后的声音数据输入预先设计好的神经网络模型中，对神经网络模型进行训练。将声音数据样本分成三份，分别为训练集，验证集和测试集，其比例是8：1：1，并进行十折交叉验证。在训练集上模型拟合声音数据样本，通过其识别率是否达到所设
阈值判断模型是否达到所需标准，若没有达到所需的标准将返回继续学习，若模型达到所需的标准则通过验证集对神经网络模型进行验证，验证集调整模型的超参数和对模型的能
力进行初步评估，同时根据其识别率是否达到所设阈值判断模型是否达到所需标准，若没有达到阈值要求则将返回继续学习，若达到阈值要求则进行测试；测试集用来评估神经网络模型的泛化能力，若泛化能力达到预设阈值则训练结束，否则返回重新训练。
[0024] 所述状态识别模块是将经过预处理和特征提取的声音样本和实时声音数据送入预设的神经网络模型中，通过神经网络模型识别机器设备及其关键零部件运行状态。
[0025] 所述识别结果模块一方面将状态识别模块的结果输出显示，另一方面判断运行状态的类型，当运行状态为“已经发生故障”或老化程度为“危险”时，将信息发送至报警模块。
[0026] 所述人工经验模块主要是通过专业设备维修人员或机器故障专家对识别结果进行综合分析，判断神经网络模型识别结果是否与自身经验判断相符，并对结果进行综合分析后反馈回人工标记模块，使声音样本库不断增加，即增加神经网络模型的训练数据，进而提高神经网络模型的对机器设备及其关键零部件运行状态识别的正确率。
[0027] 所述状态显示模块负责显示识别结果模块识别的运行状态，包括监测的所有机器设备及其关键零部件的运行状态及其对应位置，同时对已发生故障或处于高危的机器及其关键零部件突出显示。
[0028] 所述报警模块负责接收识别结果模块发出的报警信号并发出警报，以此通知维修人员采取相应的措施。
[0029] 本发明具有以下有益效果及优点：
[0030] (1)采用传感器采集机器设备及其关键零部件运行时的声音信号，对声音信号进行远程处理，从而对机器故障进行远程诊断，不需要维修人员接近或解体检查机器设备，因而智能性及安全性较高；
[0031] (2)本发明不仅可以监测机器设备运行状态及其老化程度，同时可以识别机器设备是否发生故障，减少由于机器故障停工造成的经济损失；
[0032] (3)利用神经网络对声音样本库进行训练，建立声音样本库，同时结合人工经验对识别结果重新标记，形成新的声音样本，使声音样本库不断扩大，并进一步对神经网络模型进行训练，从而使所设计神经网络模型更加完善，识别结果更加精准，为机器设备监控提供了良好的条件。
附图说明
[0033] 图1为本发明中一种基于深度学习及声音识别的机器设备状态监测系统
框图。
[0034] 图2为本发明中使用的声音预处理框图。
[0035] 图3位本发明中的神经网络模型训练
流程图。
[0036] 1、训练数据采集模块；2、人工标记模块；3、声音样本库；4、预处理；401、滤波；402、A/D转换；403、预加重；404、分帧加窗；405、端点检测；5、特征提取；6、神经网络模型；7、实时数据采集模块；8、状态识别模块；9、识别结果模块；10、人工经验模块；11、状态显示模块；12、报警模块。
具体实施方式
[0038] 如图1所示，本发明一种基于深度学习及声音识别的机器设备状态监测系统，包括：训练数据采集模块1、人工标记模块2、声音样本库3、预处理4、特征提取5、神经网络模型6、实时数据采集模块7、状态识别模块8、识别结果模块9、人工经验模块10、状态显示模块11和报警模块12。训练数据采集模块1和人工标记模块2相连，人工标记模块2分别与声音样本库3和识别结果模块9相连，声音样本库2和预处理4相连，预处理4分别与实时数据采集模块
7及特征提取5相连，特征提取5与神经网络模型6相连，神经网络模型6与状态识别模块8相连，状态识别模块8与识别结果模块9相连，识别结果模块9分别与人工经验模块10、人工标记模块2、状态显示模块11和报警模块12相连。
[0039] 所述训练数据采集模块1，采用传感器采集工厂生产环境下流水线上运行的机器设备及其关键零部件的声音信号。
[0040] 所述人工标记模块2，是设备维修人员或机器故障专家根据自身经验通过声音信号对机器设备及其关键零部件的运行状态进行判断，包括是否正常运行和老化程度。其中是否正常运行包括：正常运行和已发生故障；老化程度包括：良好、中等、危险。
[0041] 所述声音样本库3为经过人工标记的声音信号。
[0042] 所述预处理4包括滤波401、A/D转换402、预加重403、分帧加窗404和端点检测405。
[0043] 所述滤波401采用FIR滤波器滤除信号中的非音频成分，最大限度提高输入信号的信噪比；
[0044] 所述A/D转换402是将模拟信号转变为数字信号；
[0045] 所述预加重403是对信号的高频部分加重，增强声音信号的高频分辨率，便于后面进行谱分析。选择一阶FIR高通数字滤波器来进行预加重处理，其传递函数为H(z)＝1-az-1，0.9＜a＜1.0；
[0046] 所述分帧加窗404是将声音信号分成很小的时间段，即帧，然后对分帧的声音信号进行加窗处理，主要目的是为了保持声音信号的短时平稳性，减少Gibbs效应。其中帧长设置为20ms，帧移取帧长的1/3。加窗采用汉明窗，其函数表达式如(2)所示，其中N为等于帧长的窗长度；
[0047]
[0048] 所述端点检测405是在声音信号中，为了区分背景噪声和环境噪声，准确地判断出声音信号的开始点和结束点而设置。
[0049] 所述特征提取5主要是提取声音信号的特征参数，本发明采用
梅尔频率倒谱系数作为机器设备声音的特征参数。
[0050] 所述神经网络模型6采用设计的卷积神经网络模型，包括4个卷积层、4个池化层、2个全连接层，中间层激活函数使用ReLU，最后一层使用softmax，每个卷积层后使用批量归一化(Batch Normalization)加速训练。优化器使用随机梯度下降(Stochastic Gradient Descent，SGD)，采用Dropout比例分别为0.5，损失函数使用交叉熵(Cross Entropy)，并进行全局平均池化。将经过预处理4并进行特征提取5后的声音数据输入预先设计好的神经网络模型6中，对神经网络模型6进行训练。将声音数据样本分成三份，分别为训练集，验证集和测试集，其比例是8：1：1，并进行十折交叉验证。在训练集上模型拟合声音数据样本，通过其识别率是否达到所设阈值判断模型是否达到所需标准，若没有达到所需的标准将返回继续学习，若模型达到所需的标准则通过验证集对神经网络模型6进行验证，验证集调整模型的超参数和对模型的能力进行初步评估，同时根据其识别率是否达到所设阈值判断模型是否达到所需标准，若没有达到阈值要求则将返回继续学习，若达到阈值要求则进行测试；测试集用来评估神经网络模型6的泛化能力，若泛化能力达到预设阈值则训练结束，否则返回重新训练。
[0051] 所述状态识别模块8是将经过预处理4和特征提取5的声音样本3和实时声音数据送入预设的神经网络模型6中，通过神经网络模型6识别机器设备及其关键零部件运行状态。
[0052] 所述识别结果模块9一方面将状态识别模块8的结果输出显示，另一方面判断运行状态的类型，当运行状态为“已经发生故障”或老化程度为“危险”时，将信息发送至报警模块12。
[0053] 所述人工经验模块10主要是通过专业设备维修人员或机器故障专家对识别结果进行综合分析，判断神经网络模型6识别结果是否与自身经验判断相符，并对结果进行综合分析后反馈回人工标记模块2，使声音样本库3不断增加，即增加神经网络模型6的训练数据，进而提高神经网络模型6的对机器设备及其关键零部件运行状态识别的正确率。
[0054] 所述状态显示模块11负责显示识别结果模块9识别的运行状态，包括监测的所有机器设备及其关键零部件的运行状态及其对应位置，同时对已发生故障或处于高危的机器及其关键零部件突出显示。
[0055] 所述报警模块12负责接收识别结果模块9发出的报警信号并发出警报，以此通知维修人员采取相应的措施。
[0056] 本发明一种基于人工经验及声音识别的机器设备故障诊断方法的工作过程为分为以下几步：
[0057] (1)首先利用声音传感器采集工作状态下机器及其关键零部件的声音信号，通过专业设备维修人员或机器故障专家根据自身经验对声音信号进行人工标记，标记出声音信号的类型，所述声音信号的类型主要是机器设备及其关键零部件的运行状态：包括是否正常运行和老化程度。其中是否正常运行包括：正常运行和已发生故障；老化程度包括：良好、中等、危险。这样可以预测出机器设备何时何处发生何种故障，对故障进行预先的准备，
预防事故的发生，避免损失或将损失降到最低。然后将经过人工标记的声音信号形成声音样本库3。
[0058] (2)对声音样本库3进行预处理4和特征提取5，所述预处理4包括滤波401、A/D转换402、预加重403、分帧加窗404和端点检测405，如图2所示；所述特征提取5采用梅尔频率倒谱系数作为机器设备声音的特征参数。
[0059] (3)声音样本经过预处理4后被送入训练后的神经网络模型6中；所述神经网络模型6的训练如图3所示，将数据样本分成三份，分别为训练集，验证集和测试集，其比例是8：1：1，并进行十折交叉验证，分别判断所设神经网络模型6是否达到所设阈值要求，若达到阈值则进行下一步验证和测试，否则返回继续训练。
[0060] (4)传感器实时采集机器设备及其关键零部件的声音信号，将声音信号进行预处理4和特征提取5，通过训练后的神经网络模型6进行状态识别，专业设备维修人员或机器故障专家根据自身经验和神经网络识别结果对机器设备及其关键零部件工作状态进行综合判断。由于前期工作中机器设备故障的数据有限，在样本数据较少时很难训练出较好的神经网络模型6，因此状态识别结果模块9的识别结果可能存在偏差，将经过预处理4和特征提取5的实时数据输入到训练后的神经网络模型6进行状态识别，通过人工经验进行验证判断，并对其进行标记形成新的声音样本加入原来的声音样本库3，随着声音样本数据的不断增加，训练的神经网络模型6也将会越来越稳定，得到的监测结果也会更准确。
[0061] 以上所述内容，仅为本发明较好的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换都应涵盖在本发明的保护范围之内。
