技术领域
[0001] 本
发明涉及钢结构检测识别技术，具体是一种正交异性钢桥面板疲劳裂纹智能识别方法。
背景技术
[0002] 正交异性钢桥面板由于其突出的结构和
力学性能优点而被广泛应用于当前的
桥梁设计和建造中。然而由于其结构复杂，使得正交异性钢桥面板在荷载的长期作用下易于产生疲劳裂纹，且疲劳裂纹一旦形成就会不断扩展，直至贯穿整个桥面板结构，严重破坏了结构的完整性及承载能力。目前，正交异性钢桥面板疲劳裂纹的形成呈现出普遍性、早发性、多发性的特征，若不能及时发现并维修
整治，将会降低桥梁的使用寿命，严重时会影响桥上行车行人的生命安全。
[0003] 现今钢桥
缺陷的检测手段众多，但针对正交异性钢桥U肋
焊缝处出现在钢桥顶板的疲劳裂纹检测，当前比较先进的检测技术为
超声波相控阵检测技术，其特点是无需移动
探头，按照一定规则来控制阵列晶片的声发射，即可调节控制焦点的
位置和聚焦的方向。该技术用于缺陷检测时，其检测范围更大，操作更灵活，检测效果更佳。
[0004] 检测疲劳裂纹后需对其进行定性识别，目前正交异性钢桥疲劳裂纹的定性识别主要依靠检测人员依据
超声波扫描图像目视判断，这就要求检测人员必须经过严格的检测培训，且具有丰富的检测经验，能通过不同缺陷的图像特征和同一缺陷的不同扫描图像特征来进行综合定性判断。其缺点是受人的主观因素影响较大，检测效率较低，检测不能全
覆盖，漏检率和误判率较高，可靠性得不到有效保证。
发明内容
[0005] 本发明的目的在于解决目前正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹的定性识别时存在检测效率低，漏检率和误判率较高，可靠性得不到有效保证的问题，提供了一种正交异性钢桥面板疲劳裂纹智能识别方法，其应用时能提高正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹检出率，同时能提升可靠性。
[0006] 本发明的目的主要通过以下技术方案实现：一种正交异性钢桥面板疲劳裂纹智能识别方法，包括依次进行的以下步骤：
[0007] 步骤1、采用超声波相控阵检测仪检测正交异性钢桥，并使用A扫、B扫、C扫及D扫显示成像方式采集正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像；
[0008] 步骤2、将同一缺陷在不同扫描成像方式下所形成的图像编为相同的组号，同一组间的不同图像根据扫描成像方式和组号进行编码；
[0009] 步骤3、根据图像编码规则分别筛选出B扫图像和C扫图像；
[0010] 步骤4、通过加权
算法将筛选出的B扫图像和C扫
图像处理成二维灰度图像；
[0011] 步骤5、基于图像
颜色信息对处理为二维灰度图像的B扫图像和C扫图像进行缺陷
定位和截取；
[0012] 步骤6、将缺陷定位并截取后所有的B扫图像缩放至相同的尺寸，将缺陷定位并截取后所有的C扫图像缩放至相同的尺寸；
[0013] 步骤7、采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的B扫图像和缩放至相同尺寸的C扫图像进行识别，判定出B扫图像中各个编码对应的缺陷图像和C扫图像中各个编码对应的缺陷图像的缺陷类型是否为疲劳裂纹缺陷；
[0014] 步骤8、根据每组的B扫
图像识别结果和C扫图像识别结果输出该组的最终识别结果；其中，每组的B扫图像识别结果和C扫图像识别结果至少有一个为疲劳裂纹缺陷时，则输出最终结果为疲劳裂纹，否则分别输出该组的B扫图像识别结果和C扫图像识别结果。
[0015] 本发明采用超声波相控阵成像技术采集缺陷图像，对采集的同一缺陷的不同图像进行编码，再筛选出识别所用的B扫和C扫缺陷图像，剔除其它不用的图像，然后对采集的图像进行灰度化处理以提高计算速度。在进行灰度处理后，对B扫和C扫图像中的缺陷进行自动定位并截取，对截取后的缺陷图像进行尺寸归一化处理，再采用训练好的Faster R-CNN神经网络模型进行疲劳裂纹识别，综合同一缺陷的B扫和C扫图像识别结果进行判断。本发明在正交异性钢桥面板疲劳裂纹的识别中是一种全新的方法，将超声相控检测缺陷图像的颜色信息用来进行缺陷定位，使得识别结果更为可靠，提高了缺陷的定位
精度；通过B扫和C扫识别结果的综合判断，提高了疲劳裂纹的检出率，降低了错判和漏判的发生率。本发明中每个图像的编码作为该图像的文件名，通过步骤2进行图像编码，以便于步骤3中对B扫图像和C扫图像进行筛选，以及步骤4～步骤7对B扫图像和C扫图像分别处理，保证步骤8能根据同一缺陷的不同成像的识别结果进行综合判断，得出该缺陷是否为疲劳裂纹的结论。
[0016] 本发明通过加权算法将原来的真彩色RGB(R，G，B)图像中的R，G，B统一用灰度值(Gray)替换，形成新的颜色RGB(Gray，Gray，Gray)，用它替换原来的RGB(R，G，B)就处理成需要的二维灰度图了，这有助于提高计算速率。
[0017] 由于图像灰度化处理后缺陷区颜色和非缺陷区颜色对比较为明显，因此本发明利用该特点设计出基于颜色特征的算法对缺陷进行定位。在分析原始扫描图像灰度图后，
发明人发现缺陷的灰度值和非缺陷的灰度值有突变，因而根据这一特征进行定位。
[0018] 本发明通过步骤5缺陷定位截取出来的图片有大有小，尺寸不统一，为保证计算结果的准确度，减小误差并提高计算速度，步骤6中通过尺寸缩放对截取出来的图片实现尺寸的归一化处理。本发明通过缺陷定位，然后截取缺陷图像，能排除大量无关信息，提高计算速度和识别率。
[0019] 本发明采用的Faster R-CNN网络模型是使用神经网络方法对处理好的图像提取图像特征进行
深度学习，得到可用于疲劳裂纹识别的模型。其中，进行深度学习训练和识别验证采集的图像是已知缺陷类型的图像，缺陷包括裂纹、夹渣、气孔、未焊透和未熔合这五种常见类型。
[0020] 进一步的，所述步骤2中编码时A扫、B扫、C扫及D扫四种扫描成像方式分别对应的编号为A、B、C、D，所述步骤3中输入编码中的编号A、B、C、D来筛选B扫图像和C扫图像，剔除A扫图像和D扫图像。本发明通过对文件名进行搜索，若搜索结果为文件名含A或D，则该图像被剔除，并终止识别过程；若搜索结果为文件名含B或C，则该图像进入相应的识别通道。
[0021] 进一步的，所述步骤5具体包括如下步骤：
[0022] 步骤5.1、分别在
水平方向和竖直方向对二维灰度图像进行一阶差分运算，获得各个点的灰度变化值；
[0023] 步骤5.2、对图像上各点的灰度变化值进行搜索，并定位缺陷上下左右边界；
[0024] 步骤5.3、根据边界坐标计算出缺陷各边界的长度，再根据最宽和最长处值截取一个包含缺陷的矩形图像。本发明通过确定截取图像长宽比截取一个矩形区域，矩形区域内的图像为定位的缺陷图像。如此，本发明缺陷定位时截取后同一类图像的长宽比是确定的，因此步骤6中只需要确定一个合适的图像缩放系数进行缩放，就能把一类图像变为统一标准的图像。
[0025] 进一步的，所述步骤5.2定位上下边界时先从图像上方至下方进行查找，首个差分值不为零的点即为定位的缺陷图像上边缘，然后再从图像下方至上方查找，首个不为零的点即为定位的缺陷图像下边缘；所述步骤5.2定位左右边界时先从图像左方至右方进行查找，首个差分值不为零的点即为定位的缺陷图像左边缘，然后再从图像右方至左方查找，首个不为零的点即为定位的缺陷图像右边缘。
[0026] 进一步的，所述Faster R-CNN网络模型的训练包括以下步骤：
[0027] 步骤7.11、采集疲劳裂纹扫描图像样本；
[0028] 步骤7.12、采用ImageNet训练RPN网络并初始化RPN网络中各
卷积神经网络层的权值，之后利用训练好的RPN网络提取训练集上的候选区域；
[0029] 步骤7.13、利用ImageNet初始化Fast R-CNN，将RPN提取得到的特征目标送入Fast R-CNN训练出一个检测网络；
[0030] 步骤7.14、用检测网络训练RPN，固定Fast R-CNN与RPN共用的卷积层参数，只微调RPN独有的卷积层和其它层的相关参数；
[0031] 步骤7.15、保持Fast R-CNN与RPN共享的卷积层参数不变，只训练Fast R-CNN独有的层；
[0032] 步骤7.16、通过
迭代执行步骤7.12～步骤7.15直至训练结束，得到Faster R-CNN识别网络最终模型。
[0033] 进一步的，所述步骤7中疲劳裂纹的识别包括以下步骤：设置裂纹的
置信度阈值，当识别过程中计算出的缺陷置信度高于裂纹的置信度阈值时，判定该缺陷为疲劳裂纹，否则判定为其它类型缺陷。
[0034] 进一步的，所述步骤8之后还包括以下步骤：将最终识别结果放入Faster R-CNN网络模型中进行深度学习，以对模型进行修正。数据量的多少会影响识别模型的精确度，将每次识别后的疲劳裂纹图像放入原有的
数据库中，这样会增加裂纹图像的数量，丰富疲劳裂纹的形式，通过不断的学习训练就会使得识别模型更精确、更可靠。本发明通过不断对疲劳裂纹识别模型进行修正，能进一步提升识别率。本发明应用时，其余的夹渣、气孔、未焊透和未熔合等缺陷都可以通过相同的方法进行识别判断。
[0035] 综上所述，本发明与
现有技术相比具有以下有益效果：
[0036] (1)本发明在疲劳裂纹的识别中是一种全新的方法，将缺陷图像进行编码、筛选，极大提高了图像处理速度；基于超声相控检测缺陷图像的颜色信息进行缺陷定位，提高了缺陷的定位精度；通过B扫和C扫识别结果的综合判断，使得识别结果更为可靠，提高了疲劳裂纹的检出率，降低了错判和漏判的发生率。
[0037] (2)本发明能够快速、准确的判定测得的缺陷是否属于裂纹缺陷，从而帮助运营维护机构更详细的掌握运营钢桥的疲劳性能和安全性。
附图说明
[0038] 此处所说明的附图用来提供对本发明
实施例的进一步理解，构成本
申请的一部分，并不构成对本发明实施例的限定。在附图中：
[0039] 图1为本发明一个具体实施例的
流程图。
具体实施方式
[0040] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
[0041] 实施例：
[0042] 如图1所示，一种正交异性钢桥面板疲劳裂纹智能识别方法，包括依次进行的以下步骤：步骤1、
图像采集；步骤2、图像编码；步骤3、图像筛选和剔除；步骤4、灰度处理；步骤5、缺陷定位和截取；步骤6、图像尺寸归一化；步骤7、采用训练的Faster R-CNN网络模型进行疲劳裂纹识别；步骤8、综合步骤7的识别结果输出最终识别结果。
[0043] 本实施例的步骤1具体包括以下步骤：采用超声波相控阵检测仪检测正交异性钢桥，并使用A扫、B扫、C扫及D扫显示成像方式采集正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像。本实施例的超声波相控阵检测仪采用汕头市超声仪器研究所有限公司的SyncScan16P超声相控阵成像仪器或美国奥林巴斯公司的OmniScan_MX2相控阵二代仪器。其中，A扫、B扫、C扫和D扫为不同显示方式显示的图像。A扫描显示是一种
波形显示，仪器屏幕的横坐标代表声波的传播时间(或距离)，纵坐标代表反射波的幅度。B扫、C扫和D扫显示图像实质上是检测
工件的不同视图，B扫描显示是工件厚度方向的投影图像显示(侧视图)，仪器屏幕的横坐标代表扫查距离，纵坐标代表工件厚度；C扫描显示是工件底面方向的投影图像显示(顶视图)，仪器屏幕的横坐标代表扫查距离，纵坐标代表扫描的宽度。D扫描显示是工件端面方向的投影图像显示，它与B显示类似，其视图与B显示方向垂直若B显示的是侧视图，则D显示的即为前视图。U肋焊缝处出现在钢桥顶板的缺陷检测图像先存储在检测仪中，待检测完成后连接计算机导出所有的缺陷图像。
[0044] A扫描成像是一维显示；B扫描成像是二维显示，是一系列A扫显示的
叠加；C扫描成像是二维显示，成像范围广；D扫成像是二维显示，根据扫查方向的变化，B扫也可形成D扫形成的视图。相对于一维显示，二维显示图像包含更多的缺陷特征信息，且大多数仪器只用A扫、B扫和C扫三种成像方式即可达到扫查目的，所以本实施例选择B扫和C扫两种显示成像方式形成的图像不仅具有代表性，还能达到包含绝大多数的缺陷特征信息，保证识别的精准度和可靠性的目的。
[0045] 本实施例的步骤2具体包括以下步骤：将同一缺陷在不同扫描成像方式下所形成的图像编为相同的组号，同一组间的不同图像根据扫描成像方式和组号进行编码。步骤2中编码时A扫、B扫、C扫及D扫四种扫描成像方式分别对应的编号为A、B、C、D。本实施例的步骤2在进行图像编码时，第一组缺陷检测图像的编码为A1、B1、C1及D1，第二组缺陷检测图像的编码为A2、B2、C2及D2，……，第n组缺陷检测图像的编码为An、Bn、Cn及Dn。
[0046] 本实施例的步骤3具体包括以下步骤：根据图像编码规则分别筛选出B扫图像和C扫图像。步骤3中输入编码中的编号A、B、C、D来筛选B扫图像和C扫图像，剔除A扫图像和D扫图像。因每种成像模式形成的图像包含的缺陷信息不同，图像越多，包含的缺陷信息越多。在人工识别时，为保证判断准确性，需要综合几种扫描图像进行判别。每种仪器所具有的显示模式选择种类不同，不过一般都具有A扫描显示、A+B扫描显示、A+C扫描显示、A+D扫描显示、A+B+C扫描及A+B+C+D扫描显示。在对相控阵检测结果进行分析的时候，一般采用多视图，不管是哪种显示模式，在采集需要的B和C扫描显示图像时，都不可避免会采集A扫描显示图像，且都存储在同一个文件夹。所以本实施例考虑了最复杂的显示模式，即A+B+C+D扫描成像，这就需要对非B扫描成像和非C扫描成像进行剔除，以便降低后续处理的工作量。本实施例根据图像命名特征对图像进行筛选分类和剔除，使筛选的图像进入对应的处理通道。如输入图像后对文件名进行搜索，若搜索结果为文件名含A或D，则该图像被剔除，并终止识别过程；若搜索结果为文件名含B或C，则该图像进入相应的识别通道。
[0047] 本实施例的步骤4具体包括以下步骤：通过加权算法将筛选出的B扫图像和C扫图像处理成二维灰度图像。将彩色图像转化为灰度图像的过程称为图像灰度化。在计算机中，R、G、B每个分量的取值范围都为[0，255]，因此一个
像素点可以有1600多万种取值。特别地，当三个颜色分量的取值相同时原始的彩色图像就变为灰度图像，灰度图像中一个像素点Gray取值的变化范围为[0，255]，相比灰度变化之前，极大地降低了存储空间需求。
[0048] 图像的加权算法计算公式为：
[0049] Gray(x,y)＝ωR*R(x,y)+ωG*G(x,y)+ωB*B(x,y)
[0050] 式中，R、G、B每个分量的取值范围都为[0，255]；Gray取值的变化范围为[0，255]；wR、wG、wB分别为R、G、B的权值，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此有wG>wR>wB，一般情况下，根据经验，当wG＝0.299，wR＝0.587，wB＝0.114时，得到的灰度图像效果最好；其中，(x，y)为图像中像素坐标。
[0051] 本实施例的步骤5包括以下步骤：基于图像颜色信息对处理为二维灰度图像的B扫图像和C扫图像进行缺陷定位。在具体实施时，具体操作步骤为：步骤5.1、分别在水平方向和竖直方向对二维灰度图像进行一阶差分运算，获得各个点的灰度变化值；步骤5.2、对图像上各点的灰度变化值进行搜索，并定位缺陷上下左右边界；步骤5.3、根据边界坐标计算出缺陷各边界的长度，再根据最宽和最长处值截取一个包含缺陷的矩形图像。
[0052] 本实施例步骤5.2定位上下边界时先从图像上方至下方进行查找，首个差分值不为零的点即为定位的缺陷图像上边缘，然后再从图像下方至上方查找，首个不为零的点即为定位的缺陷图像下边缘；所述步骤5.2定位左右边界时先从图像左方至右方进行查找，首个差分值不为零的点即为定位的缺陷图像左边缘，然后再从图像右方至左方查找，首个不为零的点即为定位的缺陷图像右边缘。步骤5.1中，在水平方向上进行一阶差分运算，来找到灰度值突变的部分。对初步提取后得到的图像灰度f(x，y)进行水平方向一阶差分得到g(x，y)，即：
[0053] g(x,y)＝|f(x,y)-f(x,y+1)|
[0054] 其中，(x，y)为图像中像素坐标。缺陷竖直方向定位采用与水平方向上相同的方法从竖直方向上对缺陷图像实行定位，同样对缺陷图像纵向进行一阶差分运算。
[0055] 本实施例的步骤6具体包括以下步骤：将缺陷定位并截取后所有的B扫图像缩放至相同的尺寸，将缺陷定位并截取后所有的C扫图像缩放至相同的尺寸。
[0056] 如果图像尺寸很大，匹配的特征点数量会很多，不仅会使匹配速度变慢，而且匹配准确率也不会有所提高。如果图像尺寸很小，匹配的特征点数量会很少，那么对于区分不同缺陷的关键区域对应的梯度特征点的数量会变少，从而不能很好地区分不同缺陷，降低疲劳裂纹的识别准确率。为保证计算结果的准确度，减小误差并提高计算速度，需要对截取出来的图片进行尺寸的归一化处理，所以这里需要将所有的B扫图像处理为相同尺寸和把所有的C扫图像处理为相同尺寸。本实施例步骤6进行图像尺寸归一化处理时，通过具体实验得出缩放比例。由于截取后同一类图像的长宽比是确定的，因此只需要确定一个合适的图像缩放系数进行缩放，就能把一类图像变为统一标准的图像。其中，此处所述的一类图像分别指从B扫显示成像的灰度图上截取出来的图像和C扫显示成像的灰度图上截取出来的图像，即所有从B扫显示图像的灰度图上截取出来的图像具有相同的长宽比，所有从C扫显示图像的灰度图上截取出来的图像具有相同的长宽比。本实施例在对B扫和C扫图像进行尺寸归一化处理时，确定边界以后，就能根据边界坐标计算出缺陷各边界的长度，将最大边界值作为截取图像的长度值；然后，依据确定的长宽比以及缺陷边界最大值计算截取图像的宽度值；最后，根据最终得到的宽度值和长处值截取一个包含缺陷的矩形图像。其中，长宽比应根据具体情况及试验结果确定。根据边长值求得宽度值的计算公式为W＝L×α，其中，W为宽度值，L为长度值，α为确定的宽长比。
[0057] 本实施例的步骤7具体包括以下步骤：采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的B扫图像和缩放至相同尺寸的C扫图像进行识别，判定出B扫图像中各个编码对应的缺陷图像和C扫图像中各个编码对应的缺陷图像的缺陷类型是否为疲劳裂纹缺陷。步骤7中疲劳裂纹的识别包括以下步骤：设置裂纹的置信度阈值，当识别过程中计算出的缺陷置信度高于裂纹的置信度阈值时，判定该缺陷为疲劳裂纹，否则判定为其它类型缺陷。其中，置信度即某类缺陷的可能性(0～1)，通过缺陷置信度对缺陷进行判断，高于置信度阈值则判定为该类型缺陷，低于置信度阈值则判定为其它类型缺陷。实验时使识别网络最终模型具有最佳缺陷识别率的置信度阈值即为设置的缺陷置信度。
[0058] Faster R-CNN(Faster Region-based Convolutional Neural Network，高速区域神经网络)网络模型的训练包括以下步骤：步骤7.11、采集疲劳裂纹扫描图像样本；步骤7.12、采用ImageNet训练RPN(Region Proposal Networks)网络并初始化RPN网络中各卷积神经网络层的权值，之后利用训练好的RPN网络提取训练集上的候选区域；步骤7.13、利用ImageNet初始化Fast R-CNN(Fast Region-based Convolutional Neural Networks，快速区域神经网络)，将RPN提取得到的特征目标送入Fast R-CNN训练出一个检测网络；步骤
7.14、用检测网络训练RPN，固定Fast R-CNN与RPN共用的卷积层参数，只微调RPN独有的卷积层和其它层的相关参数；步骤7.15、保持Fast R-CNN与RPN共享的卷积层参数不变，只训练Fast R-CNN独有的层；步骤7.16、通过迭代执行步骤7.12～步骤7.15直至训练结束，得到Faster R-CNN识别网络最终模型。
[0059] 本实施例的步骤8具体包括以下步骤：根据每组的B扫图像识别结果和C扫图像识别结果输出该组的最终识别结果；其中，每组的B扫图像识别结果和C扫图像识别结果至少有一个为疲劳裂纹缺陷时，则输出最终结果为疲劳裂纹，否则分别输出该组的B扫图像识别结果和C扫图像识别结果。本实施例在步骤8之后还包括以下步骤：将最终识别结果放入Faster R-CNN网络模型中进行深度学习，以对模型进行修正。
[0060] 本实施例用于对正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹进行定性识别时，能快速且准确的识别正交异性钢桥面板由于疲劳开裂形成的裂纹，能提高正交异性钢桥疲劳裂纹的检出率，同时使可靠性得到有效保证。如此，本领域的检测人员能够更高效、更准确、更合理的对正交异性钢桥疲劳裂纹及其它类型缺陷进行识别判断，降低了缺陷类型的错判和漏判率。
[0061] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
