技术领域
[0001] 本
发明涉及图像生成技术领域，特别涉及一种螺栓图像合成方法，还涉及一种螺栓图像合成装置、设备以及计算机可读存储介质。
背景技术
[0002] 伴随着我国经济的快速发展，电
力系统作为经济发展的
基础保障和先决条件，其安全和稳定问题日益显著。螺栓是输电线路中极其重要且大量存在的部件，起到固定金具等作用，由于
风吹日晒等自然条件的影响，螺栓容易产生
缺陷，如销子脱落、
螺母松动等，需要对其进行检修。
[0003] 随着
深度学习技术的进步，利用智能的手段对螺栓缺陷诊断进行研究已经逐步展开。众所周知，深度学习中的网络模型一般涉及的权重参数众多，需要充足的样本进行训练，在训练样本不足的情况下很容易出现欠拟合的情况。然而由于输电线路所处的外部环境复杂多样，输电线路上的部件的种类繁多，对螺栓目标特征的提取存在较强的干扰。且由于电力系统的极其特殊性，标注成本极其高昂，若想构建百万计的航拍输电线路绝缘子图像仍需要时间，需要探索更为完备且具有公信力的构建方法。
[0004] 因此扩充数据集是实现目标检测和识别等操作的重要前提，但是，到目前为止，全球没有公开的螺栓数据集，如果直接用人工的方式大量采集，不仅工作量极大，而且效率极低，因此利用已有的少量电力航拍图像来再生螺栓样本迫在眉睫。
发明内容
[0005] 本发明的目的在于克服
现有技术的不足，提供一种基于深度卷积生成式对抗网络的螺栓图像合成方法，旨在解决对螺栓图像检测和识别的数据不足的问题，通过提取样本的特征加入先验知识，指导模型更好的生成图像，同时可以生成256×256的螺栓图像；本发明的另一目的是提供一种螺栓合成装置、设备以及计算机可读存储介质，也具有上述有益效果。
[0006] 本发明的目的是通过以下技术方案来实现的：
[0007] 一种螺栓图像合成方法，包括：
[0008] S1、螺栓数据集构建：
[0009] 收集训练BIGN模型的样本，利用聚类
算法对构建的螺栓
数据库图像按照形态和缺陷类型，分别构建正常螺栓和销子缺失图像；
[0010] S2、PCA特征提取：
[0011] 通过PCA对数据的协方差矩阵的特征进行分解，提取螺栓本身的主要特征，所述螺栓本身的主要特征包括边缘轮廓和
螺纹特征；利用PCA提取的主要特征约束生成器的输入，指导螺栓样本生成；
[0012] S3、BIGN网络架构选择：
[0013] 使用构建的螺栓图像库训练BIGN网络，螺栓图像库训练BIGN网络是基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成；通过生成器G和判别器D的转置卷积和微步幅卷积，消除由于
像素空间的不均匀
覆盖导致的棋盘格伪影；
[0014] S4、BIGN网络损失函数构造：
[0015] 在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器，将真假螺栓样本混合利用
图灵测试消弱判别器的能力；
[0016] S5、生成器和判别器训练：
[0017] 设置超参数k，每训练完k次判别网络后在进行一次生成器的训练；生成器G的学习率设为0.0002，判别器设置为0.0001，使用Adam Optimizer进行
加速训练；
[0018] 从噪声分布Py中，随机选取m个样本{y(1)，...，y(m)}，从训练样本的概率分布Pdata中，随机选取m个训练样本{x(1)，...，x(m)}，设判别器的参数为θd，根据随机梯度来
修改判别器的参数：
[0019]
[0020] 从噪声分布Py中，随机选取m个样本{y(1)，...，y(m)}，设生成器的参数为θg，根据随机梯度来修改判别器的参数：
[0021]
[0022] 判别器进行图片真实度概率判断，当判别器输出概率值趋近于0.5时，训练完成；
[0023] S6、螺栓样本生成：
[0024] 使用训练好的BIGN网络，从噪声分布Py中选取多个输入噪声，通过BIGN网络的生成器中，生成多张螺栓图像。
[0025] 进一步的，在步骤S1中，还包括对图像数据的预处理，具体为：
[0026] 从电力航拍图像中收集训练BIGN模型的数据，通过从航拍图像中人工裁剪得到，对少量的数据通过对图像的几何变换和旋转操作进行预处理。
[0027] 进一步的，在步骤S2中，还包括PCA通过对数据的协方差矩阵的特征进行分解，提取螺栓主要特征的过程，具体包括：
[0028] 设定xi∈Rn×1(i＝1,2,…,m)是集合X的m个样本，样本均值记为 则样本的协方差矩阵C'表示为：
[0029]
[0030] 矩阵C'的
特征向量pi构成了集合X的n维特征空间P，集合X的样本空间中每个样本xi向特征空间P中投影可以得到投影系数并构造一个低维
图像空间z：
[0031]
[0032] 将其转换成统计分布的参数，即均值和方差，使用这个两个参数从分布中随机
采样一个元素，将其作为生成器的输入。
[0033] 进一步的，在步骤S3中，还包括生成器G和判别器D转置卷积和微步幅卷积的过程，具体包括：
[0034] 生成器G生成服从真实数据分布的假样本，判别器D是一个二分类器，用来评估这个假样本是真实图像的概率，产生的概率值反作用到生成器G来帮助其继续训练，直到最后生成判别器D无法辨真假的假样本；
[0035] 生成器G的输入是低维的图像空间z，网络的第一层实际是一个全连接层，将其映射一个8×8×1024维的向量，从第二层开始，使用转置卷积做上采样，逐渐减少通道数，最后得到的输出为256×256×3，即输出一个三通道的宽和高都为256的图像；卷积核为4×4，步幅为2，激活函数除了最后一层都使用ReLU函数，而最后一层使用tanh函数，每个卷积后面都加入批归一化层，判别器D与生成器G过程相反，最后输出二分类的概率值。
[0036] 进一步的，在步骤S4中，还包括在BIGN网络损失函数构造的具体内容，具体为：
[0037] 选取BIGN网络的损失函数：
[0038]
[0039]
[0040]
[0041] xr代表真实样本，Pdata是真实样本的概率分布，D(xr)表示xr通过判别网络判断其为真实样本的概率，xf是经过生成器生成的样本，Pg是生成样本的概率分布，D(xf)表示生成样本通过判别网络后，判断其为真实样本的概率，E()代表期望函数。
[0042] 一种螺栓图像合成装置，包括：
[0043] 螺栓数据集构建模
块，用于收集训练BIGN模型的数据，利用
聚类算法对构建的螺栓数据库图像按照形态和缺陷类型，分别构建正常螺栓和销子缺失图像；
[0044] PCA特征提取模块，用于通过PCA对数据的协方差矩阵的特征进行分解，提取螺栓本身的主要特征，所述螺栓本身的主要特征包括边缘轮廓以及螺纹特征；利用PCA提取的特征约束生成器的输入，指导螺栓样本更好的生成；
[0045] BIGN网络架构选择模块，用于使用构建的螺栓图像库训练BIGN网络，螺栓图像库训练BIGN网络是基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成；通过生成器G和判别器D的转置卷积和微步幅卷积成被步长大小整除的
内核大小，消除由于像素空间的不均匀覆盖导致的棋盘格伪影；
[0046] BIGN网络损失函数构造模块，用于在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器，将真假螺栓样本混合利用图灵测试消弱判别器的能力；
[0047] 生成器和判别器训练模块，用于设置超参数k，每训练完k次判别网络后在进行一次生成器的训练；G的学习率设为0.0002，判别器设置为0.0001，使用Adam Optimizer进行加速训练；从噪声分布Py中，随机选取m个样本{y(1)，...，y(m)}，从训练样本的概率分布Pdata中，随机选取m个训练样本{x(1)，...，x(m)}，设判别器的参数为θd，根据随机梯度来修改判别器的参数：
[0048]
[0049] 从噪声分布Py中，随机选取m个样本{y(1)，...，y(m)}，设生成器的参数为θg，根据随机梯度来修改判别器的参数：
[0050]
[0051] 判别器进行图片真实度概率判断，当判别器输出概率值趋近于0.5时，训练完成；
[0052] 螺栓样本生成模块，用于使用训练好的BIGN网络，从噪声分布Py中选取多个输入噪声，通过BIGN网络的生成器中，生成多张螺栓图像。
[0053] 一种螺栓图像合成设备，包括：
[0055] 处理器，用于执行所述计算机程序时实现如上述任意一种螺栓图像合成方法的步骤。
[0056] 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一种螺栓图像合成方法的步骤。
[0057] 本发明的有益效果是：
[0058] 本发明首先构建螺栓
训练数据库，然后利用PCA对样本进行主成分分析，提取螺栓的螺纹等特征，使用提取的先验知识指导BIGN网络生成图像，该网络的损失函数中加入了相对均值
鉴别器，能够进一步平衡生成器和判别器的能力，同
时针对生成图像中的棋盘效应，使用转置卷积和微步幅卷积代替传统的反卷积和卷积，可以生成256×256的螺栓图像，解决现有人工采集工作量繁琐、效率低的问题。
[0059] 本发明所提供的一种螺栓图像合成装置、设备以及计算机可读存储介质，也具有上述有益效果，在此不再赘述。
附图说明
[0060] 图1为本发明的流程示意图；
[0061] 图2为本发明
实施例2中经过转置卷积层生成的螺栓样本结果图；
[0062] 图3为本发明经过微步幅卷积层生成的图片真假分类样本结果图；
[0063] 图4为本发明销子缺失的螺栓图像生成结果；
[0064] 图5为本发明所提供的一种螺栓图像生成装置的示意图；
[0065] 图6为本发明所提供的一种螺栓图像生成设备的结构示意图。
具体实施方式
[0066] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本
说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0067] 需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0068] 在阐述本
申请技术内容之前，对本申请中的部分名词进行详细解释。BIGN为螺栓图像生成网络(Bolt-Image-Generative-Networks,BIGN)，GAN为生成式对抗网络(Generative Adversarial Networks,GAN)，PCA为主成分分析技术(Principal components analysis，PCA)，Adam Optimizer为优化器。
[0069] 实施例1：
[0070] 本实施例提供一种螺栓图像合成方法，请参阅附图1所示，其方法的整个流程如下：
[0071] 一种螺栓图像合成方法，包括：
[0072] S1、螺栓数据集构建：
[0073] 收集训练BIGN模型的样本，利用聚类算法对构建的螺栓数据库图像按照形态和缺陷类型，分别构建正常螺栓和销子缺失图像；
[0074] S2、PCA特征提取：
[0075] 通过PCA对数据的协方差矩阵的特征进行分解，提取螺栓本身的主要特征，所述螺栓本身的主要特征包括边缘轮廓和螺纹特征；利用PCA提取的主要特征约束生成器的输入，指导螺栓样本生成；
[0076] S3、BIGN网络架构选择：
[0077] 使用构建的螺栓图像库训练BIGN网络，螺栓图像库训练BIGN网络是基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成；通过生成器G和判别器D的转置卷积和微步幅卷积，消除由于像素空间的不均匀覆盖导致的棋盘格伪影；
[0078] S4、BIGN网络损失函数构造：
[0079] 在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器，将真假螺栓样本混合利用图灵测试消弱判别器的能力；
[0080] S5、生成器和判别器训练：
[0081] 设置超参数k，每训练完k次判别网络后在进行一次生成器的训练；生成器G的学习率设为0.0002，判别器设置为0.0001，使用Adam Optimizer进行加速训练；
[0082] 从噪声分布Py中，随机选取m个样本{y(1)，...，y(m)}，从训练样本的概率分布Pdata中，随机选取m个训练样本{x(1)，...，x(m)}，设判别器的参数为θd，根据随机梯度来修改判别器的参数：
[0083]
[0084] 从噪声分布Py中，随机选取m个样本{y(1)，...，y(m)}，设生成器的参数为θg，根据随机梯度来修改判别器的参数：
[0085]
[0086] 判别器进行图片真实度概率判断，当判别器输出概率值趋近于0.5时，训练完成；
[0087] S6、螺栓样本生成：
[0088] 使用训练好的BIGN网络，从噪声分布Py中选取多个输入噪声，通过BIGN网络的生成器中，生成多张螺栓图像。
[0089] 进一步的，在步骤S1中，还包括对图像数据的预处理，具体为：
[0090] 从电力航拍图像中收集训练BIGN模型的数据，通过从航拍图像中人工裁剪得到，对少量的数据通过对图像的几何变换和旋转操作进行预处理。
[0091] 进一步的，在步骤S2中，还包括PCA通过对数据的协方差矩阵的特征进行分解，提取螺栓主要特征的过程，具体包括：
[0092] 设定xi∈Rn×1(i＝1,2,…,m)是集合X的m个样本，样本均值记为 则样本的协方差矩阵C'表示为：
[0093]
[0094] 矩阵C'的特征向量pi构成了集合X的n维特征空间P，集合X的样本空间中每个样本xi向特征空间P中投影可以得到投影系数并构造一个低维图像空间z：
[0095]
[0096] 将其转换成统计分布的参数，即均值和方差，使用这个两个参数从分布中随机采样一个元素，将其作为生成器的输入。
[0097] 进一步的，在步骤S3中，还包括生成器G和判别器D转置卷积和微步幅卷积的过程，具体包括：
[0098] 生成器G生成服从真实数据分布的假样本，判别器D是一个二分类器，用来评估这个假样本是真实图像的概率，产生的概率值反作用到生成器G来帮助其继续训练，直到最后生成判别器D无法辨真假的假样本；
[0099] 生成器G的输入是低维的图像空间z，网络的第一层实际是一个全连接层，将其映射一个8×8×1024维的向量，从第二层开始，使用转置卷积做上采样，逐渐减少通道数，最后得到的输出为256×256×3，即输出一个三通道的宽和高都为256的图像；卷积核为4×4，步幅为2，激活函数除了最后一层都使用ReLU函数，而最后一层使用tanh函数，每个卷积后面都加入批归一化层，判别器D与生成器G过程相反，最后输出二分类的概率值。
[0100] 进一步的，在步骤S4中，还包括在BIGN网络损失函数构造的具体内容，具体为：
[0101] 选取BIGN网络的损失函数：
[0102]
[0103]
[0104]
[0105] xr代表真实样本，Pdata是真实样本的概率分布，D(xr)表示xr通过判别网络判断其为真实样本的概率，xf是经过生成器生成的样本，Pg是生成样本的概率分布，D(xf)表示生成样本通过判别网络后，判断其为真实样本的概率，E()代表期望函数。
[0106] 本实施例提供的螺栓图像合成方法，首先构建螺栓训练数据库，然后利用PCA对样本进行主成分分析，提取螺栓的螺纹等特征，使用提取的先验知识指导BIGN网络生成图像，该网络的损失函数中加入了相对均值鉴别器，能够进一步平衡生成器和判别器的能力，同时针对生成图像中的棋盘效应，使用转置卷积和微步幅卷积代替传统的反卷积和卷积，可以生成256×256的螺栓图像。
[0107] 实施例2：
[0108] 本实施例在实施例1的基础上，输入低维度的噪声Z经过5个转置卷积层，生成256×256，通道数为3的螺栓样本，如图2所示，将256×256×3的样本放入D中，同样经过5个微步幅卷积层，然后经过一个Sigmoid激活函数，得出图片真假的分类结果，如图3所示。
[0109] 实施例3：
[0110] 本实施例在实施例1的基础上，利用提取的特征作为先验知识输入BIGN网络中，从结果发现，本发明可以有效地挖掘出螺栓图像特征，从而生成更好的螺栓图像，边缘更加清晰，本身的螺纹也不模糊，如图4，其中图4是生成的缺销子螺栓样本。
[0111] 实施例4：
[0112] 本实施例提供一种螺栓图像合成装置，请参阅附图5所示，该装置可以包括：
[0113] 螺栓数据集构建模块10，用于收集训练BIGN模型的数据，利用聚类算法对构建的螺栓数据库图像按照形态、缺陷类型，分别构建正常螺栓和销子缺失图像；
[0114] PCA特征提取模块20，用于通过PCA对数据的协方差矩阵的特征进行分解，提取螺栓本身的主要特征，所述螺栓本身的主要特征包括边缘轮廓以及螺纹特征；利用PCA提取的特征约束生成器的输入，指导螺栓样本更好的生成；
[0115] BIGN网络架构选择模块30，用于使用构建的螺栓图像库训练BIGN网络，螺栓图像库训练BIGN网络是基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成；通过生成器G和判别器D的转置卷积和微步幅卷积成被步长大小整除的内核大小，消除由于像素空间的不均匀覆盖导致的棋盘格伪影；
[0116] BIGN网络损失函数构造模块40，用于在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器，将真假螺栓样本混合利用图灵测试消弱判别器的能力；
[0117] 生成器和判别器训练模块50，用于设置超参数k，每训练完k次判别网络后在进行一次生成器的训练；G的学习率设为0.0002，判别器设置为0.0001，使用Adam Optimizer进行加速训练；从噪声分布Py中，随机选取m个样本{y(1)，...，y(m)}，从训练样本的概率分布Pdata中，随机选取m个训练样本{x(1)，...，x(m)}，设判别器的参数为θd，根据随机梯度来修改判别器的参数：
[0118]
[0119] 从噪声分布Py中，随机选取m个样本{y(1)，...，y(m)}，设生成器的参数为θg，根据随机梯度来修改判别器的参数：
[0120]
[0121] 判别器进行图片真实度概率判断，当判别器输出概率值趋近于0.5时，训练完成；
[0122] 螺栓样本生成模块60，用于使用训练好的BIGN网络，从噪声分布Py中选取多个输入噪声，通过BIGN网络的生成器中，生成多张螺栓图像。
[0123] 对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。
[0124] 实施例5：
[0125] 本实施例提供一种螺栓图像合成设备，请参阅附图6所示，该设备包括：
[0126] 存储器1，用于存储计算机程序；
[0127] 处理器2，用于执行所述计算机程序时可实现如上述任意一种螺栓图像合成方法的步骤。
[0128] 对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。
[0129] 实施例6：
[0130] 本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时可实现如上述任意一种螺栓图像合成方法的步骤。
[0131] 该计算机可读存储介质可以包括：U盘、移动
硬盘、
只读存储器(Read-Only Memory，ROM)、
随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0132] 对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
[0133] 以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明
专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干
变形和改进，这些都属于本发明的保护范围。
