基于CNNs的元件安装检测方法、装置、电子设备及存储介质
阅读：656发布：2020-05-11
专利汇可以提供基于CNNs的元件安装检测方法、装置、电子设备及存储介质专利检索，专利查询，专利分析的服务。并且本 发明 提供一种基于CNNs的元件安装检测方法，包括：(a)以一预设 频率 获取 采样 数据，所述采样数据对应待测元件的各种安装状态；(b)根据一预设规则对所述采样数据进行切分，以过滤掉噪音 信号 ；(c)对切分后的采样数据进行人工分类，以获得待导入数据；(d)将所述待导入数据导入至一 卷积神经网络 架构进行模型训练，并形成相应的模型文件；(e)将训练好的模型文件下载至一检测引擎中；以及(f)再次获取采样数据，所述检测引擎根据再次获取的采样数据及所述模型文件返回相应的检测结果。本发明的安装检测方法可实现高性能的快速识别和及时响应。本发明还提供一种基于CNNs的元件安装检测装置、 电子 设备及存储介质。，下面是基于CNNs的元件安装检测方法、装置、电子设备及存储介质专利的具体信息内容。
1.一种基于卷积神经网络(Convolutionalneuralnetworks，CNNs)的元件安装检测方法，其特征在于，所述方法包括：
(a)以一预设频率获取采样数据，所述采样数据对应待测元件的各种安装状态；
(b)根据一预设规则对所述采样数据进行切分，以过滤掉噪音信号；
(c)对切分后的采样数据进行人工分类，以获得待导入数据；
(d)将所述待导入数据导入至一卷积神经网络架构进行模型训练，并形成相应的模型文件，其中，所述卷积神经网络架构包括卷积层及全连接层，所述卷积层用以从所述待导入数据中抽取特征，所述全连接层用以对抽取后的特征进行多元分类；
(e)将训练好的模型文件下载至一检测引擎中；以及
(f)再次获取采样数据，所述检测引擎根据再次获取的采样数据及所述模型文件返回相应的检测结果。
2.如权利要求1所述的方法，其特征在于：所述采样数据至少包括电流大小及/或电流持续时间。
3.如权利要求1所述的方法，其特征在于：所述卷积神经网络架构还包括最大池化层及扁平层，所述最大池化层用以降低所述卷积层的输出维度，所述扁平层用以在特征输出至所述全连接层前将多维数组转换为相同数量的一维向量。
4.如权利要求1所述的方法，其特征在于：在执行步骤(c)前，所述方法还包括：
基于经验算法对切分后的采样数据进行初步分类，以获得过渡数据。
5.如权利要求1所述的方法，其特征在于：所述方法还包括根据所述检测结果输出相应的报警信号或提示信号。
6.如权利要求1所述的方法，其特征在于：在执行步骤(d)的模型训练前，所述方法还包括对所述待导入采样数据进行预处理的步骤，所述预处理步骤至少包括：
通过插值缩放和填充的方法将所述待导入数据的长度规整到一预设长度；及对所述待导入数据中的正样本数量及负样本数量进行调整，以使训练偏向于负样本。
7.如权利要求6所述的方法，其特征在于：对所述待导入数据中的正样本数量及负样本数量进行调整包括：
利用过采样的方法，根据已有的负样本生成邻近样本，以增加所述负样本的数量；或根据所述待导入数据中正样本及负样本的分布情况调整所述正样本数据及负样本数据的权重，以使训练偏向于负样本数据。
8.如权利要求1所述的方法，其特征在于：在执行步骤(e)前，所述方法还包括对所述训练模型进行优化的步骤，所述优化步骤包括：
采用保存点(Checkpoint)和Early Stopping(早停法)的方式监控训练过程，并自动选择训练过程中获得的较优模型；
将默认模型(FP32)裁剪优化到FP16、INT8；或/及
将步骤(f)中再次获取到的采样数据作为训练样本，再次导入至所述卷积神经网络架构，以优化所述模型文件。
9.一种基于卷积神经网络(Convolutionalneuralnetworks，CNNs)的元件安装检测装置，其特征在于，所述装置包括：
获取模块，用以以一预设频率获取采样数据，所述采样数据对应待测元件的各种安装状态；
切分模块，用以根据一预设规则对所述采样数据进行切分，以过滤掉噪音信号；
第一分类模块，用以对切分后的采样数据进行人工分类，以获得待导入数据；
训练模块，用以将所述待导入数据导入至一卷积神经网络架构进行模型训练，并形成相应的模型文件，其中，所述卷积神经网络架构包括卷积层及全连接层，所述卷积层用以从所述待导入数据中抽取特征，所述全连接层用以对抽取后的特征进行多元分类；
下载模块，用以将训练好的模型文件下载至一检测引擎中，所述检测引擎用以当所述获取模块再次获取采样数据时，根据再次获取到的采样数据及所述模型文件返回相应的检测结果。
10.如权利要求9所述的装置，其特征在于：所述装置还包括提示模块，用以根据所述检测结果输出相应的报警信号或提示信号。
11.如权利要求9所述的装置，其特征在于：所述装置还包括第二分类模块，用以基于经验算法对切分后的采样数据进行初次分类，以获得过渡数据，并将所述过渡数据传输至所述第一分类模块。
12.如权利要求9所述的装置，其特征在于：所述装置还包括预处理模块，用以：
通过插值缩放和填充的方法将所述待导入数据的长度规整到一预设长度；及对所述待导入数据中的正样本数量及负样本数量进行调整，以使训练偏向于负样本。
13.如权利要求12所述的装置，其特征在于：所述对所述待导入数据中的正样本数量及负样本数量进行调整包括：
利用过采样的方法，根据已有的负样本生成邻近样本，以增加所述负样本的数量；或根据所述待导入数据中正样本及负样本的分布情况调整所述正样本数据及负样本数据的权重，以使训练偏向于负样本数据。
14.如权利要求9所述的装置，其特征在于：所述装置还包括优化模块，用以：
采用保存点(Checkpoint)和Early Stopping(早停法)的方式监控训练过程，并自动选择训练过程中获得的较优模型；
将默认模型(FP32)裁剪优化到FP16、INT8；或/及
将再次获取到的采样数据作为训练样本，再次导入至所述卷积神经网络架构，以优化所述模型文件。
15.一种电子设备，其特征在于，所述电子设备包括：
处理器；以及
存储器，所述存储器中存储有卷积神经网络架构，所述存储器中还存储有计算机程序指令，所述计算机程序指令由所述处理器运行并执行如权利要求1-8中任一项所述的基于卷积神经网络的元件安装检测方法。
16.如权利要求15所述的电子设备，其特征在于：所述电子设备为智能手机、平板电脑、膝上型便捷计算机、嵌入式电脑、台式计算机中的任意一种或服务器。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机可读存储介质计算机程序被处理器执行时实现如权利要求1-8中任一项所述的基于卷积神经网络的元件安装检测方法。
基于CNNs的元件安装检测方法、装置、电子设备及存储介质
技术领域
背景技术
[0002] 在组装生产领域，通常需要对产线上的各元件的安装进行有效的监测与诊断，以降低或减少元件安装不到位所带来的损失及危害。目前常用的检测方式为人工检测。然而，由于检测数量较多，导致人工检测效率低下，且无法及时响应。
发明内容
[0003] 有鉴于此，有必要提供一种能快速识别且及时响应的基于CNNs的元件安装检测方法、装置、电子设备及计算机可读存储介质。
[0004] 本发明的实施例提供一种基于CNNs的元件安装检测方法，所述方法包括：
[0007] (c)对切分后的采样数据进行人工分类，以获得待导入数据；
[0008] (d)将所述待导入数据导入至一卷积神经网络架构进行模型训练，并形成相应的模型文件，其中，所述卷积神经网络架构包括卷积层及全连接层，所述卷积层用以从所述待导入数据中抽取特征，所述全连接层用以对抽取后的特征进行多元分类；
[0009] (e)将训练好的模型文件下载至一检测引擎中；以及
[0010] (f)再次获取采样数据，所述检测引擎根据再次获取的采样数据及所述模型文件返回相应的检测结果。
[0011] 作为一种优选方案，所述采样数据至少包括电流大小及/或电流持续时间。
[0012] 作为一种优选方案，所述卷积神经网络架构还包括最大池化层及扁平层，所述最大池化层用以降低所述卷积层的输出维度，所述扁平层用以在特征输出至所述全连接层前将多维数组转换为相同数量的一维向量。
[0013] 作为一种优选方案，在执行步骤(c)前，所述方法还包括：
[0015] 作为一种优选方案，所述方法还包括根据所述检测结果输出相应的报警信号或提示信号。
[0016] 作为一种优选方案，在执行步骤(d)的模型训练前，所述方法还包括对所述待导入采样数据进行预处理的步骤，所述预处理步骤至少包括：
[0017] 通过插值缩放和填充的方法将所述待导入数据的长度规整到一预设长度；及[0018] 对所述待导入数据中的正样本数量及负样本数量进行调整，以使训练偏向于负样本。
[0019] 作为一种优选方案，对所述待导入数据中的正样本数量及负样本数量进行调整包括：
[0020] 利用过采样的方法，根据已有的负样本生成邻近样本，以增加所述负样本的数量；或
[0021] 根据所述待导入数据中正样本及负样本的分布情况调整所述正样本数据及负样本数据的权重，以使训练偏向于负样本数据。
[0022] 作为一种优选方案，在执行步骤(e)前，所述方法还包括对所述训练模型进行优化的步骤，所述优化步骤包括：
[0023] 采用保存点(Checkpoint)和Early Stopping(早停法)的方式监控训练过程，并自动选择训练过程中获得的较优模型；
[0024] 将默认模型(FP32)裁剪优化到FP16、INT8；或/及
[0025] 将步骤(f)中再次获取到的采样数据作为训练样本，再次导入至所述卷积神经网络架构，以优化所述模型文件。
[0026] 本发明的实施例还提供一种基于CNNs的元件安装检测装置，所述装置包括：
[0027] 获取模块，用以以一预设频率获取采样数据，所述采样数据对应待测元件的各种安装状态；
[0028] 切分模块，用以根据一预设规则对所述采样数据进行切分，以过滤掉噪音信号；
[0029] 第一分类模块，用以对切分后的采样数据进行人工分类，以获得待导入数据；
[0030] 训练模块，用以将所述待导入数据导入至一卷积神经网络架构进行模型训练，并形成相应的模型文件，其中，所述卷积神经网络架构包括卷积层及全连接层，所述卷积层用以从所述待导入数据中抽取特征，所述全连接层用以对抽取后的特征进行多元分类；
[0031] 下载模块，用以将训练好的模型文件下载至一检测引擎中，所述检测引擎用以当所述获取模块再次获取采样数据时，根据再次获取到的采样数据及所述模型文件返回相应的检测结果。
[0032] 作为一种优选方案，所述装置还包括提示模块，用以根据所述检测结果输出相应的报警信号或提示信号。
[0033] 作为一种优选方案，所述装置还包括第二分类模块，用以基于经验算法对切分后的采样数据进行初次分类，以获得过渡数据，并将所述过渡数据传输至所述第一分类模块。
[0034] 作为一种优选方案，所述装置还包括预处理模块，用以：
[0035] 通过插值缩放和填充的方法将所述待导入数据的长度规整到一预设长度；及[0036] 对所述待导入数据中的正样本数量及负样本数量进行调整，以使训练偏向于负样本。
[0037] 作为一种优选方案，所述对所述待导入数据中的正样本数量及负样本数量进行调整包括：
[0038] 利用过采样的方法，根据已有的负样本生成邻近样本，以增加所述负样本的数量；或
[0039] 根据所述待导入数据中正样本及负样本的分布情况调整所述正样本数据及负样本数据的权重，以使训练偏向于负样本数据。
[0040] 作为一种优选方案，所述装置还包括优化模块，用以：
[0041] 采用保存点(Checkpoint)和Early Stopping(早停法)的方式监控训练过程，并自动选择训练过程中获得的较优模型；
[0042] 将默认模型(FP32)裁剪优化到FP16、INT8；或/及
[0043] 将再次获取到的采样数据作为训练样本，再次导入至所述卷积神经网络架构，以优化所述模型文件。
[0044] 本发明的实施例还提供一种电子设备，所述电子设备包括：
[0045] 处理器；以及
[0048] 本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机可读存储介质计算机程序被处理器执行时实现上述所述的基于卷积神经网络的元件安装检测方法。
[0050] 图1为本发明较佳实施方式中基于CNNs的元件安装检测方法的流程图。
[0051] 图2为图1所示步骤S5的子步骤流程图。
[0052] 图3为图1所示步骤S7的子步骤流程图。
[0053] 图4为图1所示基于CNNs的元件安装检测方法的应用场景示意图。
[0054] 图5为本发明较佳实施方式中基于CNNs的元件安装检测装置的功能框图。
[0055] 图6为本发明较佳实施方式中电子设备的功能框图。
[0056] 主要元件符号说明
[0057] 基于卷积神经网络的元件安装检测装置 100获取模块 101
切分模块 102
第一分类模块 103
第二分类模块 104
训练模块 105
下载模块 106
提示模块 107
预处理模块 108
优化模块 109
电子设备 200
存储器 201
处理器 202
计算机程序 203
切分模块 102
第一分类模块 103
第二分类模块 104
训练模块 105
下载模块 106
提示模块 107
预处理模块 108
优化模块 109
电子设备 200
存储器 201
处理器 202
计算机程序 203
[0058] 如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
[0059] 下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0060] 请参阅图1，图1是本发明较佳实施例中基于卷积神经网络(Convolutional neural networks，CNNs)的元件安装检测方法的流程图。该方法用以对电子元件的安装进行检测。可以理解，根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。可以理解，在本实施例中，以所述电子元件为螺丝为例，对所述方法进行具体说明。
[0061] 步骤S1，以一预设频率获取采样数据，所述采样数据对应待测元件的各种安装状态。
[0062] 可以理解，在本实施例中，可通过一电动螺丝刀对螺丝进行安装。因此，步驟S1中，可通过所述预设频率从所述电动螺丝刀获取所述螺丝的采样数据。
[0064] 可以理解，在本实施例中，所述采样数据对应于所述螺丝的各种安装状态。例如，所述采样数据可分别代表螺丝打入正常或ok、所述电动螺丝刀空转、所述螺丝打斜、所述螺丝打毛等情况。
[0065] 可以理解，在本实施例中，当执行步骤S1时，可在电动螺丝刀的工作过程中，以所述预设频率采集所述采样数据。也就是说，所述预设频率可与所述电动螺丝刀的工作流程周期一致。当然，在其他实施例中，也可根据具体情况设定所述预设频率。
[0066] 步骤S2，根据一预设规则对所述采样数据进行切分，以过滤掉噪音信号。
[0067] 可以理解，在本实施例中，所述预设规则可以根据所述采样数据中电流的大小及/或电流的持续时间进行设定。例如，所述预设规则可以设定为当连续预设数量的样本(例如三个样本)的电流值均大于某一预设值(例如50毫安(mA))时开始进行采样数据的采集，然后再当连续预设数量的样本(例如三个样本)的电流值均小于某一预设值(例如50毫安(mA))时，停止数据的采集，进而完成对采样数据的切分，以有效过滤掉噪音信号。当然，在其他实施例中，也可根据具体情况设定所述预设规则。
[0068] 步骤S4，对切分后的采样数据进行人工分类，以获得待导入数据。
[0069] 可以理解，步骤S4中，所述人工分类是指人工根据实际的螺丝打入情况，例如螺丝打入ok、螺丝刀空转、螺丝打斜、螺丝打毛等，来判断电流波形，进而对所述采样数据进行分类。例如，可将所述采样数据分成正常以及若干异常状态(例如空转、错误等)。可以理解，在本实施例中，当根据电流波形将所述采样数据分成正常以及若干异常状态后，可提取各电流波形中的数据，例如电流大小及/或电流持续时间，以作为待导入数据。也就是说，所述待导入数据包括正常以及若干异常状态的电流大小及/或电流持续时间。
[0070] 步骤S6，将所述待导入数据导入至一卷积神经网络架构进行模型训练，并形成相应的模型文件。可以理解，卷积神经网络(Convolutional Neural Networks,CNNs)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks,SIANN)。
[0071] 在本实施例中，所述卷积神经网络架构包括卷积层及全连接层，所述卷积层用以从所述待导入数据中抽取特征。所述全连接层用以对抽取后的特征进行多元分类。
[0072] 可以理解，在本实施例中，所述卷积神经网络架构还包括最大池化层及扁平层。所述最大池化层用以降低所述卷积层的输出维度，所述扁平层用以在特征输出至所述全连接层前将多维数组转换为相同数量的一维向量。所述一维向量可以为一个数组。
[0073] 当然，在其他实施例中，当正样本数量及负样本数量都是一维向量时，则所述扁平层可省略。
[0074] 步骤S8，将训练好的模型文件下载至一检测引擎中。
[0075] 步骤S9，重复步骤S1，以再次获取采样数据，所述检测引擎根据再次获取的采样数据及所述模型文件返回相应的检测结果。
[0076] 可以理解，在其他实施例中，所述方法在执行步骤S4之前，还包括一初步分类步骤，即步骤S3。
[0077] 步骤S3，基于经验算法对切分后的采样数据进行初步分类，以获得过渡数据。
[0078] 可以理解，所述经验算法会根据不同的场景有所不同。在本实施例中，即电动螺丝刀的应用场景中，所述经验算法可以为根据电动螺丝刀的电流值高低来对切分后的采样数据进行初步分类。例如，当所述电流值中高于某一预设阀值的波峰出现2次，则可初步分类为“ok”。当所述电流值中高于某一预设阀值的波峰仅出现一次，可初步分类为“空转”。其他电流情况，则均初步分类为“NG”。
[0079] 显然，在本实施例中，所述经验算法可以对数据进行初步分类，有利于降低在步骤S4中二次人工分类的工作量。同时，当执行完初步分类后，再根据所述初步分类的结果进行二次人工分类，可有效纠正初次分类的错误。
[0080] 可以理解，在其他实施例中，所述方法在执行步骤S6之前，还包括一对所述待导入采样数据进行预处理的步骤，即步骤S5。
[0081] 步骤S5，对所述待导入数据进行预处理。
[0082] 可以理解，请一并参阅图5，所述步骤S5具体包括以下子步骤：
[0083] 子步骤S51，通过插值缩放和填充的方法将所述待导入数据的长度规整到一预设长度。
[0084] 可以理解，由于采集到的数据长短不一，因此在进行模型训练之前，通常需要将所述数据均规整到一合适的预设长度，进而有效提高模型训练的效率。
[0085] 子步骤S52，对所述待导入数据中的正样本数量及负样本数量进行调整，以使训练偏向于负样本。
[0086] 可以理解，在本实施例中，所述正样本可以理解为对应螺丝打入ok的情况。所述负样本可以理解为对应螺丝刀空转、螺丝打斜、螺丝打毛等异常情况。
[0087] 可以理解，在本实施例中，由于采集的数据中，通常正样本的数量远远大于负样本的数量。因此，若直接将所述待导入数据进行训练，则有可能导致负样本训练不足而识别率低，因此需要对待导入数据中的正样本数量及负样本数量进行调整，以弥补数据的不平衡。
[0088] 可以理解，在本实施例中，可通过以下方式对所述待导入数据中的正样本数量及负样本数量进行调整。
[0089] 方式一：利用过采样的方法，根据已有的负样本生成邻近样本，以增加所述负样本的数量。
[0090] 方式二：根据所述待导入数据中正样本及负样本的分布情况调整所述正样本数据及负样本数据的权重，以使训练偏向于负样本数据。
[0091] 可以理解，在其他实施例中，所述方法在执行步骤S8之前，即在将训练好的模型文件下载至所述检测引擎前，还包括一对所述模型文件进行优化的步骤，即步骤S7。
[0092] 步骤S7，对所述训练模型进行优化。
[0093] 可以理解，在本实施例中，请一并参阅图3，所述步骤S7具体包括以下子步骤：
[0094] 子步骤S71，采用保存点(Checkpoint)和Early Stopping(早停法)的方式监控训练过程，并自动选择训练过程中获得的较优模型。
[0095] 可以理解，本实施例中，步骤S6执行的模型训练基本上是标准的神经网络训练过程，其采用交叉熵损失函数(Cross Entropy Error Function)以及RMSProp优化算法做梯度下降。训练用的数据(例如采集到的采样数据)按照一定比例切分为训练集和验证集。训练过程中使用训练集，每个步骤皆会得到一个临时模型，即保存点(Checkpoint)。通过验证这个临时模型在验证集上的表现，可以得到该保存点(Checkpoint)的损失值。当当前步骤获得比上一个步骤更小的损失值的时候，便存下该保存点(Checkpoint)。当训练过程中连续N个步骤都没有再获得改善时，即采用最近的一个保存点(Checkpoint)作为最终的模型。整个过程便称为Early Stopping(早停法)。
[0096] 子步骤S72，将默认模型(FP32)裁剪优化到FP16、INT8。
[0097] 可以理解，在子步骤S72中，可通过OpenVINO，TensorRT等工具，将默认模型裁剪优化到FP16、INT8。相对于默认的FP32，通过上述子步骤，可实现在树莓派等低计算力的设备上获得更好的性能。
[0098] 子步骤S73，将步骤S9中再次获取到的采样数据作为训练样本，再次导入至所述卷积神经网络架构，以优化所述模型文件。
[0099] 可以理解，子步骤S73中，通过将再次获取到的采样数据作为训练样本，再次导入至所述卷积神经网络架构中，可增加所述待导入数据中的正样本数量或负样本数量，即有效增加训练样本，进而优化或获得更好效果的模型文件。
[0100] 可以理解，在其他实施例中，所述方法还包括步骤S10。
[0101] 步骤S10，根据所述检测结果输出相应的报警信号或提示信号。
[0102] 也就是说，根据检测结果可以采取不同的对应措施。例如，在本实施例中，所述方法可以用来在产线上检测操作工在安装螺丝的时候是否出现异常并给出警告，以减少因螺丝安装异常导致的品质问题。所述方法还可以用来检测产线电动螺丝刀的运行情况，并针对设备异常情况进行预警。当然，所述方法也可以连续收集每个操作工的操作记录，以评估每个人员的技能情况。
[0103] 可以理解，在其他实施例中，对于不同的螺丝刀型号及同型号螺丝刀采用不同扭矩参数的情况，由于电流值序列特征不同，因此可根据需要重复上述步骤S1-S7，以生成不同的模型文件。
[0104] 请一并参阅图4，下面以对螺丝的安装进行检测为例，对所述元件安装检测方法进行进一步说明。
[0105] 首先，当利用一电动螺丝刀对螺丝进行安装时，通过所述电动螺丝刀采集所述螺丝的采样数据。接着，以一定的预设频率从所述电动螺丝刀获取所述螺丝的采样数据。其中所述采样数据分别对应所述螺丝的各种安装状态，例如“OK”、“空转”、“错误”等。按一预设规则对所述采样数据进行切分，以过滤掉噪音信号。再对所述切分后的采样数据进行初次分类及二次人工分类，进而获得相应的待导入电流。其中，在初次分类时，可基于经验算法将采集的采样数据以及波形分类为正常以及若干异常状态，例如，空转、错误等。由于初次分类的结果准确率不高，则再利用手工进行二次分类。一般，有经验的使用者可以基于采集程序生成的波形图来判别类型并归类。接下来，将所述待导入数据导入至一卷积神经网络架构进行模型训练，并形成相应的模型文件。将训练好的模型文件下载至一检测引擎中。再次获取螺丝的采样数据，所述检测引擎根据再次获取的采样数据及所述模型文件返回相应的检测结果，并输出相应的报警信号或提示信号至其他系统，例如伺服器。
[0106] 其中，在正常情况下，由于正常数据远远多于异常数据，因此通常需要对原始数据自动加权或其他处理，例如数据规整化后再进行训练。
[0107] 可以理解，请一并参阅图5，本发明另一实施例还提供一种基于卷积神经网络(Convolutional neural networks，CNNs)的元件安装检测装置100。所述装置100包括获取模块101、切分模块102、第一分类模块103、训练模块105及下载模块106。
[0108] 其中，所述获取模块101用于以一预设频率获取采样数据，所述采样数据对应待测元件的各种安装状态。
[0109] 可以理解，在本实施例中，可通过一电动螺丝刀对螺丝进行安装。因此，所述获取模块101可通过所述预设频率从所述电动螺丝刀获取所述螺丝的采样数据。
[0110] 可以理解，在本实施例中，所述采样数据为电流数据。当然，在其他实施例中，所述采样数据不局限于电流数据，其还可以为电压数据或其他类型的数据。
[0111] 可以理解，在本实施例中，所述采样数据对应于所述螺丝的各种安装状态。例如，所述采样数据可分别代表螺丝打入正常或ok、所述电动螺丝刀空转、所述螺丝打斜、所述螺丝打毛等情况。
[0112] 可以理解，在本实施例中，可在电动螺丝刀的工作过程中，以所述预设频率采集所述采样数据。也就是说，所述预设频率可与所述电动螺丝刀的工作流程周期一致。当然，在其他实施例中，也可根据具体情况设定所述预设频率。
[0113] 所述切分模块102用以根据一预设规则对所述采样数据进行切分，以过滤掉噪音信号。
[0114] 可以理解，在本实施例中，所述预设规则可以根据所述采样数据中电流的大小及/或电流的持续时间进行设定。例如，所述预设规则可以设定为当连续预设数量的样本(例如三个样本)的电流值均大于某一预设值(例如50毫安(mA))时开始进行采样数据的采集，然后再当连续预设数量的样本(例如三个样本)的电流值均小于某一预设值(例如50毫安(mA))时，停止数据的采集，进而完成对采样数据的切分，以有效过滤掉噪音信号。当然，在其他实施例中，也可根据具体情况设定所述预设规则。
[0115] 所述第一分类模块103用以利用人工对切分后的采样数据进行人工分类，以获得待导入数据。
[0116] 可以理解，所述人工分类是指人工根据实际的螺丝打入情况，例如螺丝打入ok、螺丝刀空转、螺丝打斜、螺丝打毛等，来判断电流波形，进而对所述采样数据进行分类。例如，可将所述采样数据分成正常以及若干异常状态(例如空转、错误等)。
[0117] 可以理解，在本实施例中，当根据电流波形将所述采样数据分成正常以及若干异常状态后，可提取各电流波形中的数据，例如电流大小及/或电流持续时间，以作为待导入数据。也就是说，所述待导入数据包括正常以及若干异常状态的电流大小及/或电流持续时间。
[0118] 所述训练模块105用以将所述待导入数据导入至一卷积神经网络架构进行模型训练，并形成相应的模型文件。
[0119] 可以理解，卷积神经网络(Convolutional Neural Networks,CNNs)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks,SIANN)。
[0120] 在本实施例中，所述卷积神经网络架构包括卷积层及全连接层，所述卷积层用以从所述待导入数据中抽取特征。所述全连接层用以对抽取后的特征进行多元分类。
[0121] 可以理解，在本实施例中，所述卷积神经网络架构还包括最大池化层及扁平层。所述最大池化层用以降低所述卷积层的输出维度，所述扁平层用以在特征输出至所述全连接层前将多维数组转换为相同数量的一维向量。所述一维向量可以为一个数组。
[0122] 当然，在其他实施例中，当所述正样本数量及负样本数量都是一维向量时，则所述扁平层可省略。
[0123] 所述下载模块106用以将训练好的模型文件下载至一检测引擎中。如此，当再次获取采样数据时，所述检测引擎可根据再次获取的采样数据及所述模型文件返回相应的检测结果。
[0124] 可以理解，在其他实施例中，所述装置100还包括第二分类模块104、提示模块107、预处理模块108以及优化模块109。
[0125] 其中，所述第二分类模块104用以基于经验算法对切分后的采样数据进行初步分类，以获得过渡数据。
[0126] 可以理解，所述经验算法会根据不同的场景有所不同。在本实施例中，即电动螺丝刀的应用场景中，所述经验算法可以为根据电动螺丝刀的电流值高低来对切分后的采样数据进行初步分类。例如，当所述电流值中高于某一预设阀值的波峰出现2次，则可初步分类为“ok”。当所述电流值中高于某一预设阀值的波峰仅出现一次，可初步分类为“空转”。其他电流情况，则均初步分类为“NG”。
[0127] 显然，在本实施例中，所述经验算法可以对数据进行初步分类，有利于降低在第一分类模块103中二次人工分类的工作量。同时，当执行完初步分类后，再根据所述初步分类的结果进行二次人工分类，进而可有效纠正初次分类的错误。
[0128] 所述提示模块107用以根据检测结果输出相应的报警信号或提示信号。
[0129] 也就是说，根据检测结果可以采取不同的对应措施。例如，在本实施例中，所述装置可以用来在产线上检测操作工在安装螺丝的时候是否出现异常并给出警告，以减少因螺丝安装异常导致的品质问题。所述装置还可以用来检测产线电动螺丝刀的运行情况，并针对设备异常情况进行预警。当然，所述装置也可以连续收集每个操作工的操作记录，以评估每个人员的技能情况。
[0130] 所述预处理模块108用以对所述待导入采样数据进行预处理。其中，在本实施例中，可通过以下方式对所述待导入采样数据进行预处理。
[0131] 方式1：通过插值缩放和填充的方法将所述待导入数据的长度规整到一预设长度。
[0132] 可以理解，由于采集到的数据长短不一，因此在进行模型训练之前，通常需要将所述数据均规整到一合适的预设长度，进而有效提高模型训练的效率。
[0133] 方式2：对所述待导入数据中的正样本数量及负样本数量进行调整，以使训练偏向于负样本。
[0134] 可以理解，在本实施例中，所述正样本可以理解为对应螺丝打入ok的情况。所述负样本可以理解为对应螺丝刀空转、螺丝打斜、螺丝打毛等异常情况。
[0135] 可以理解，在本实施例中，由于采集的数据中，通常正样本的数量远远大于负样本的数量。因此，若直接将所述待导入数据进行训练，则有可能导致负样本训练不足而识别率低，因此需要对待导入数据中的正样本数量及负样本数量进行调整，以弥补数据的不平衡。
[0136] 可以理解，在本实施例中，可通过以下方式对所述待导入数据中的正样本数量及负样本数量进行调整。
[0137] 方式一：利用过采样的方法，根据已有的负样本生成邻近样本，以增加所述负样本的数量。
[0138] 方式二：根据所述待导入数据中正样本及负样本的分布情况调整所述正样本数据及负样本数据的权重，以使训练偏向于负样本数据。
[0139] 所述优化模块109用以对所述训练模型进行优化。具体地，所述优化模块109可通过以下方式对所述训练模型进行优化。
[0140] 方式一：采用保存点(Checkpoint)和Early Stopping(早停法)的方式监控训练过程，并自动选择训练过程中获得的较优模型。
[0141] 可以理解，本实施例中，所述训练模块105执行的模型训练基本上是标准的神经网络训练过程，其采用交叉熵损失函数(Cross Entropy Error Function)以及RMSProp优化算法做梯度下降。训练用的数据(例如采集到的采样数据)按照一定比例切分为训练集和验证集。训练过程中使用训练集，每个步骤皆会得到一个临时模型，即保存点(Checkpoint)。通过验证这个临时模型在验证集上的表现，可以得到该保存点(Checkpoint)的损失值。当当前步骤获得比上一个步骤更小的损失值的时候，便存下该保存点(Checkpoint)。当训练过程中连续N个步骤都没有再获得改善时，即采用最近的一个保存点(Checkpoint)作为最终的模型。整个过程便称为Early Stopping(早停法)。
[0142] 方式二：将默认模型(FP32)裁剪优化到FP16、INT8。
[0143] 可以理解，在方式二中，可通过OpenVINO，TensorRT等工具，将默认模型裁剪优化到FP16、INT8。相对于默认的FP32，通过上述子步骤，可实现在树莓派等低计算力的设备上获得更好的性能。
[0144] 方式三：将再次获取到的采样数据作为训练样本，再次导入至所述卷积神经网络架构，以优化所述模型文件。
[0145] 可以理解，方式三中，通过将再次获取到的采样数据作为训练样本，再次导入至所述卷积神经网络架构中，可增加所述待导入数据中的正样本数量或负样本数量，即有效增加训练样本，进而优化或获得更好效果的模型文件。
[0146] 可以理解，请一并参阅图6，本发明另一实施例还提供一种电子设备200。所述电子设备200包括存储器201、处理器202以及存储在所述存储器201中并可在所述处理器202上运行的计算机程序203。
[0147] 所述电子设备200可以为智能手机、平板电脑、膝上型便捷计算机、嵌入式电脑、台式计算机中的任意一种或服务器等。本领域技术人员可以理解，所述示意图仅仅是电子设备200的示例，并不构成对电子设备200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
[0148] 所述处理器202用以执行所述计算机程序203时实现上述基于卷积神经网络(Convolutional neural networks，CNNs)的元件安装检测方法实施例中的步骤，例如图1所示的步骤S1-S10。或者，所述处理器202执行所述计算机程序203时实现上述基于卷积神经网络(Convolutional neural networks，CNNs)的元件安装检测装置100实施例中各模块/单元的功能，例如图5中的获取模块101、切分模块102、第一分类模块103、第二分类模块104、训练模块105、下载模块106、提示模块107、预处理模块108以及优化模块109。
[0149] 示例性的，所述计算机程序203可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器201中，并由所述处理器202执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序203在所述电子设备200中的执行过程。例如，所述计算机程序203可以被分割成图5中的获取模块101、切分模块102、第一分类模块103、第二分类模块
104、训练模块105、下载模块106、提示模块107、预处理模块108以及优化模块109。
104、训练模块105、下载模块106、提示模块107、预处理模块108以及优化模块109。
[0150] 所述处理器202可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器202也可以是任何常规的处理器等，所述处理器202是所述电子设备200的控制中心，利用各种接口和线路连接整个电子设备200的各个部分。
[0151] 所述存储器201可用于存储所述计算机程序203和/或模块/单元.所述处理器202通过运行或执行存储在所述存储器201内的计算机程序和/或模块/单元，以及调用存储在存储器201内的数据，实现所述电子设备200的各种功能。所述存储器201可主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。存储数据区可存储根据电子设备200的使用所创建的数据(比如视频数据、音频数据、电话本等)等。此外，存储器201可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0152] 所述电子设备200集成的模块/单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0153] 在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0154] 另外，在本发明各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0155] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
[0156] 最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于AR的主设备检修大数据快速建模系统 | 2020-05-08 | 855 |
| 面向海量非结构化文本的知识图谱自动构建方法及系统 | 2020-05-11 | 397 |
| 短视频制作系统、方法、电子设备及可读存储介质 | 2020-05-08 | 92 |
| 一种电商商品搜索方法和装置以及设备 | 2020-05-11 | 194 |
| 一种自主学习的业务风控规则引擎系统及风险评估方法 | 2020-05-08 | 340 |
| 基于建筑模型生成平面轮廓图的方法、系统和存储介质 | 2020-05-11 | 806 |
| 一种车辆综合应用管理系统 | 2020-05-11 | 407 |
| 分布式物联网设备管理方法及装置 | 2020-05-08 | 903 |
| 一种物联网数据处理方法及装置、设备、存储介质 | 2020-05-11 | 162 |
| 一种实时电影生产技术 | 2020-05-11 | 681 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈