技术领域
[0001] 本
发明涉及
激光焊接技术领域，特别是涉及一种基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质。
背景技术
[0002] 激光焊接是利用激光的
辐射能量来实现有效焊接的工艺。其工作原理是通过特定的方式来机理激光活性截止，使其在
谐振腔中往复震荡，从而形成受辐射
激光束。当光束与
工件接触时，其能量被工件吸收，在
温度达到材料熔点时进行焊接。焊接方式中深
熔焊由于输入能量较大，使材料
汽化，形成大量
等离子体，熔池前端出现匙孔现象。由于激光焊接速度快，激光功率、焊接速度、保护气流等工艺参数会
对焊接工件的效果有很大的影响，可能会出现凹陷、爆裂、
驼峰等焊接缺陷。因而如何在快速的焊接过程中提高焊接的
质量，工艺参数的调节十分重要。
[0003] 发明201710361486.5提出一种基于
光谱信息的激光焊接缺陷的在线诊断方法，通过采集等离子体信息的方法确定特征蒲县，再通过特征谱线计算光致等离子体的
电子温度以获得电子温度时域图。重复上述方法采集不同工艺参数下的电子温度时域图，进而获得SPC控制图。在焊接过程中，通过判断时域图中的各点是否超出SPC控制图的上下限来判断缺陷是都存在。发明201710003780.9提出一种基于声光
信号监测的双光束激光焊接过程缺陷控制方法，即采用过程监测手段获取不稳定过程信号特征信息，针对此特征信息判断识别缺陷
位置等信息，最后通过补焊等途径修复未熔合缺陷。发明201811021307.4提出一种基于
机器学习的激光焊接在线缺陷识别方法和装置，在不变的工艺参数下，对数据进行采集。先通过人工方式进行特征提取，再将特征输入前向传播网络结构，并通过损失函数将反馈权重通过后向传播网络结构更新参数，得到一种能识别是否有焊接缺陷的模型。
[0004] 而
现有技术所提供的激光焊接缺陷识别的方法存在下述缺点：(1)虽能判断缺陷的存在，不能判断缺陷的类型；(2)通过人工方式对特征提取，可能出现数据清洗过度的问题，影响识别效果的准确性；(3)所得模型大都具有单一性，未能泛化于较多的工艺参数；(4)未能充分利用不同数据之间的关联信息。
[0005] 综上所述可以看出，如何提高激光焊接缺陷识别的准确率是目前有待解决的问题。
发明内容
[0006] 本发明的目的是提供一种基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质，以解决现有技术中所提供的激光焊接缺陷识别方法准确率较低的问题。
[0007] 为解决上述技术问题，本发明提供一种基于多模态融合网络的激光焊接缺陷识别方法，包括：分别对预先在激光焊接过程中采集到的光电图像集、
正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
[0008] 优选地，所述分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注前包括：
[0009] 搭建激光焊接平台，在激光焊接过程中利用光辐射检测装置采集光
电信号，并将采集到的光电信号转换为二维光电图像集；
[0010] 在激光焊接过程中，利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，并将所述焊接熔池动态视频转换为RGB数据，得到正面焊接图像集与侧面焊接图像集。
[0011] 优选地，所述分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注包括：
[0012] 利用基于
深度学习框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注。
[0013] 优选地，所述利用基于Tenser flow训练框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注包括：
[0014] 当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；
[0015] 当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；
[0016] 当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。
[0017] 优选地，所述利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练前包括：
[0018] 利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集分别对初始单通道激光焊接缺陷识别网络模型进行训练，得到训练完成的第一激光焊接缺陷识别网络模型、第二激光焊接缺陷识别网络模型以及第三激光焊接缺陷识别网络模型；
[0019] 其中，所述初始单通道激光焊接缺陷识别网络模型包括五个卷积层、三个全连接层；
[0020] 对所述第一激光焊接缺陷识别网络模型、所述第二激光焊接缺陷识别网络模型以及所述第三激光焊接缺陷识别网络模型进行融合，得到所述基于多模态融合的激光焊接缺陷识别模型。
[0021] 本发明还提供了一种基于多模态融合网络的激光焊接缺陷识别装置，包括：
[0022] 标注模
块，用于分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；
[0023] 训练模块，用于利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；
[0024] 识别模块，用于利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
[0025] 优选地，所述标注模块前还包括：
[0026] 采集模块，用于搭建激光焊接平台，在激光焊接过程中利用光辐射检测装置采集光电信号，并将采集到的光电信号转换为二维光电图像集；
[0027] 拍摄模块，用于在激光焊接过程中，利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，并将所述焊接熔池动态视频转换为RGB数据，得到正面焊接图像集与侧面焊接图像集。
[0028] 优选地，所述标注模块具体用于：
[0029] 利用基于深度学习框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注。
[0030] 本发明还提供了一种基于多模态融合网络的激光焊接缺陷识别设备，包括：
[0031]
存储器，用于存储
计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
[0032] 本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
[0033] 本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法，首先对在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注。然后，利用完成缺陷标注的所述光电图像集、所述正面焊接图像集以及所述侧面焊接图像对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练。最后，利用完成训练的基于多模态融合的激光焊接缺陷识别模型进行训练。本发明为了解决现有技术中未能充分利用不同数据之间的关联信息的缺点，利用多模态融合网络将不同模态的焊接信息进行融合，从而学到不同模态下不同焊接信息之间的关联信息，实现模型对不同工艺参数的下焊接缺陷的准确识别。
附图说明
[0034] 为了更清楚的说明本发明
实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035] 图1为本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法的第一种具体实施例的
流程图；
[0036] 图2为初始单通道激光焊接缺陷识别网络模型的结构示意图；
[0037] 图3为基于多模态融合的激光焊接缺陷识别模型的结构示意图；
[0038] 图4为本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法的第二种具体实施例的流程图；
[0039] 图5为本发明实施例提供的一种基于多模态融合网络的激光焊接缺陷识别装置的结构
框图。
具体实施方式
[0040] 本发明的核心是提供一种基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质，通过多模态融合网络挖掘激光焊接过程中采集到的不同数据之间的关联信息，提高激光焊接缺陷识别的准确率及焊接质量。
[0041] 为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042] 请参考图1，图1为本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法的第一种具体实施例的流程图；具体操作步骤如下：
[0043] 步骤S101：分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；
[0044] 在本实施例中，可以依据深度学习框架(例如caffe、tenser flow)的标注格式对所述光电图像集、所述正面焊接图像集以及所述侧面焊接图像集进行缺陷标注。若图像中不存在缺陷则标注0，若存在驼峰缺陷则标注为1，若存在凹陷缺陷则标注2等。
[0045] 步骤S102：利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；
[0046] 在对所述基于多模态融合的激光焊接缺陷识别模型进行训练前，首先分别对所述光电图像集、所述正面焊接图像集及侧面焊接图像集这三大类图像数据进行初步训练，得到初始化参数较好的模型。
[0047] 利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集分别对初始单通道激光焊接缺陷识别网络模型进行训练，得到训练完成的第一激光焊接缺陷识别网络模型、第二激光焊接缺陷识别网络模型以及第三激光焊接缺陷识别网络模型。
[0048] 所述初始单通道激光焊接缺陷识别网络模型的结构如图2所示，包括五个卷积层及三个全连接层。三种不同数据的初始化学习率α＝0.01，并根据bath size与数据集的大小，选择合适的
迭代次数。当train loss与test loss都呈下降趋势并趋于稳定时，模型初始化训练完成。
[0049] 对所述第一激光焊接缺陷识别网络模型、所述第二激光焊接缺陷识别网络模型以及所述第三激光焊接缺陷识别网络模型进行融合，得到所述基于多模态融合的激光焊接缺陷识别模型，如图3所示。所述基于多模态融合的激光焊接缺陷识别模型的卷积层的权重置零，及此时网络所提取的图像特征的权重为初始化训练时所得的较好权重。利用Concat函数实现三个卷积网络融合，一并输入到全连接层。此时选择较小学习率α＝0.001进行fin tune，以学得不同模态间的关联特征。当网络的train loss与test loss都呈下降趋势并趋于稳定时，模型训练完成。训练结果表明，所述多模态融合网络模型可以提升初始化模型的训练
精度。在进行模型测试时发现，凹陷、爆裂及无缺陷的识别效果较好，这三类的识别正确率在95％以上。证明该模型能有效识别
焊缝缺陷。且在激光焊接过程中应用时，在线识别效果良好。
[0050] 步骤S103：利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
[0051] 本实施例所提供的方法，利用多模态融合网络将不同模态的焊接信息进行融合，从而学到不同模态下不同焊接信息之间的关联信息，实现模型对不同工艺参数的下焊接缺陷的准确识别。
[0052] 基于上述实施例，在本实施例中，搭建激光焊接平台后，在激光焊接过程中利用光辐射检测装置采集光电信号；利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，以便获取光电图像集、正面焊接图像集及侧面焊接图像集。请参考图4，图4为本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法的第二种具体实施例的流程图；具体操作步骤如下：
[0053] 步骤S401：搭建激光焊接平台，在激光焊接过程中利用光辐射检测装置采集光电信号，并将采集到的光电信号转换为二维光电图像集；
[0054] 步骤S402：在激光焊接过程中，利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，并将所述焊接熔池动态视频转换为RGB数据，得到正面焊接图像集与侧面焊接图像集；
[0055] 步骤S403：利用基于深度学习框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注；
[0056] 当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。
[0057] 步骤S404：利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集分别对初始单通道激光焊接缺陷识别网络模型进行训练，得到训练完成的第一激光焊接缺陷识别网络模型、第二激光焊接缺陷识别网络模型以及第三激光焊接缺陷识别网络模型；
[0058] 步骤S405：对所述第一激光焊接缺陷识别网络模型、所述第二激光焊接缺陷识别网络模型以及所述第三激光焊接缺陷识别网络模型进行融合，得到所述基于多模态融合的激光焊接缺陷识别模型；
[0059] 步骤S406：利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；
[0060] 步骤S407：利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
[0061] 本实施例所提供的基于多模态融合网络的激光焊接缺陷识别方法，融合了不同模态的特征，识别精度更高；模型泛化能
力好，适用于多种工艺参数；可对缺陷类型进行分类。本实施例所提供的方法，可以挖掘一维信号与不同空间维度的二维图像之间的关联特征，在激光焊接过程噪声大，激光
蒸汽遮盖焊缝、缺陷间差别不明显等情况下，更好的识别焊接缺陷；并且可以及时调整焊接工艺参数，提高了焊接质量。
[0062] 请参考图5，图5为本发明实施例提供的一种基于多模态融合网络的激光焊接缺陷识别装置的结构框图；具体装置可以包括：
[0063] 标注模块100，用于分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；
[0064] 训练模块200，用于利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；
[0065] 识别模块300，用于利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
[0066] 本实施例的基于多模态融合网络的激光焊接缺陷识别装置用于实现前述的基于多模态融合网络的激光焊接缺陷识别方法，因此基于多模态融合网络的激光焊接缺陷识别装置中的具体实施方式可见前文中的基于多模态融合网络的激光焊接缺陷识别方法的实施例部分，例如，标注模块100，训练模块200，识别模块300，分别用于实现上述基于多模态融合网络的激光焊接缺陷识别方法中步骤S101，S102，和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
[0067] 本发明具体实施例还提供了一种基于多模态融合网络的激光焊接缺陷识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
[0068] 本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
[0069] 本
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0070] 专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及
算法步骤，能够以电子
硬件、计算机
软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0071] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的
软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、
只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、
硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0072] 以上对本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读内存介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明
权利要求的保护范围内。
