技术领域
[0001] 本
发明是关于一种工程结构表面裂缝识别与投影修正方法及系统，属于既有工程结构表面裂缝识别领域。
背景技术
[0002] 工程结构表面的裂缝识别是既有工程结构损伤识别的重要内容，在诸多结构状态监测与损伤识别的观测指标中，表面裂缝是
混凝土结构的重要指标之一。工程结构表面裂缝的产生有多种原因，例如支座位移、混凝土收缩徐变、构件
变形和疲劳荷载等。对于混凝土结构，裂缝不仅会影响结构外观、对工程结构使用者造成心理影响，且会导致混凝土保护层对内部
钢筋的保护失效，快速发展的裂缝是工程结构倒塌的前兆。因此，对裂缝指标的识别与监测，是保障结构安全的重要措施之一。
[0003] 目前，应用最广、优势最为明显的裂缝识别方法是数字图像法，数字图像法利用工程结构表面拍摄的照片，经过裂缝有无判断、裂缝提取、裂缝修正与参数计算等过程，得到裂缝的宽度、长度和分布等参数，其中，裂缝有无判断是指判断图像中是否有裂缝，区别于其它类似裂缝的物体；裂缝提取是指在有裂缝的图像中将裂缝提取出，消除背景与噪声的影响；裂缝修正是
指针对不同的成像环境与结构表面形状，修正图像中裂缝的变形，得到裂缝的形态；裂缝参数计算是指利用真实的裂缝形态计算裂缝宽度、长度和分布等参数。
[0004] 在实际工程应用中，现有的基于数字图像法的裂缝损伤识别技术存在诸多不足，主要表现在以下两个方面。首先，工程结构的表面复杂多样，例如桥墩、隧道、核电
安全壳的工程结构表面是曲面的，建筑结构梁、柱的表面棱
角众多，裂缝经常贯穿多个表面，此外，裂缝图像拍摄的过程中难以保障主光轴垂直于裂缝表面，导致裂缝被倾斜拍摄、裂缝形态发生畸变。因此，在计算裂缝参数前，必须完成裂缝的形态修正。
现有技术已有利用图像畸变矫正实现倾斜拍摄等情况下裂缝图像的修正方法，但是，针对复杂的工程结构几何表面，并无可靠的办法。其次，针对大体量工程结构表面的裂缝识别，存在裂缝
定位困难的问题。例如，对核电站安全壳进行打压试验过程中的表面裂缝监测，采用远
距离成像设备获取的结构表面图像，仅包括很小范围内的结构表面，长、宽尺寸小于1米。虽然这样的图像有利于细小裂缝的识别，但是裂缝的相对
位置很难确定，无法实现大面积裂缝的高效检测。
发明内容
[0005] 针对上述问题，本发明的目的是提供一种可靠性高且能够实现大面积裂缝的高效检测的工程结构表面裂缝的识别与投影修正方法及系统。
[0006] 为实现上述目的，本发明采取以下技术方案：一种工程结构表面裂缝识别与投影修正方法，其特征在于，包括以下内容：对多视角图像进行裂缝识别，得到待测工程结构的裂缝宽度特征对；对多视角图像进行多视角几何
三维重建，得到待测工程结构的表面三维点
云模型和各图像拍摄时的空间成像模型；对待测工程结构的表面三维点云模型进行处理，得到待测工程结构的三角形表面模型；根据各图像拍摄时的空间成像模型、待测工程结构的裂缝宽度特征对和三角形表面模型，建立相机
光心、成像平面以及三角形表面模型之间的三维成像关系；根据建立的三维成像关系，对待测工程结构的裂缝宽度特征对进行裂缝投影；根据裂缝投影后的裂缝宽度特征对，识别待测工程结构的裂缝位置和裂缝形态。
[0007] 进一步，所述待测工程结构的裂缝宽度特征对包括裂缝的两边缘线和一
中轴线上若干成对的裂缝特征点。
[0008] 进一步，根据各图像拍摄时的空间成像模型、待测工程结构的裂缝宽度特征对和三角形表面模型，建立相机光心、成像平面以及三角形表面模型之间的三维成像关系，具体过程为：确定相机光心和成像平面在世界
坐标系中的空间位置；计算成像平面中每一裂缝特征点的世界坐标；获取相机与空间成像模型的参数；建立相机光心、成像平面以及三角形表面模型之间的三维成像关系。
[0009] 进一步，所述相机与空间成像模型的参数包括相机感光元件的物理尺寸、相机感光元件在坐标轴方向的
像素点个数、相机镜头的焦距、经过矫正的相机内参矩阵和相机外参矩阵。
[0010] 进一步，所述相机光心、成像平面以及三角形表面模型之间的三维成像关系包括：坐标在像素坐标系与图像坐标系之间的转换关系：
[0011]
[0012] 式中，dx和dy分别为相机感光元件中每一像素点在u和v轴方向的物理尺寸，dx＝M/m，dy＝N/n，m、n为相机感光元件在u、v轴方向的像素点个数，M、N为相机感光元件在u、v轴方向的长度；(u，v)为裂缝宽度特征对中某一裂缝特征点在像素坐标系下的坐标；(x，y)为裂缝宽度特征对中某一裂缝特征点在图像坐标系下的坐标；坐标在图像坐标系与相机坐标系之间的转换关系：
[0013]
[0014] 式中，(xc，yc，zc)为裂缝宽度特征对中某一裂缝特征点在相机坐标系下的坐标；坐标在相机坐标系与世界坐标系之间的转换关系：
[0015] 或
[0016] 式中，(xw，yw，zw)为裂缝宽度特征对中某一裂缝特征点在世界坐标系下的坐标；R和T分别为将点由该相机的相机坐标系转化为世界坐标系的3×3旋转矩阵和3×1平移矩阵；坐标在像素坐标系与世界坐标系之间的转换关系：
[0017]
[0018] 式中，f为相机镜头的焦距；K为经过矫正的相机内参矩阵，且：
[0019]
[0020] 进一步，根据建立的三维成像关系，对待测工程结构的裂缝宽度特征对进行裂缝-1 -1投影，具体过程为：已知世界坐标系下相机光心的坐标为-R T ，由相机光心出发，经成像平面中裂缝宽度特征对的某裂缝特征点p的射线 为：
[0021]
[0022] 根据射线 和三角形表面模型，基于AABB树的射线—三角形相交计算方法，对待测工程结构的裂缝宽度特征对进行裂缝投影，定义射线 与三角形表面模型的第一个交点为裂缝特征点在三维场景中的点，建立三角形表面模型的AABB树，计算射线 与三角形表面模型中单个三角片的交点，该交点即为裂缝投影后裂缝宽度特征对中对应的裂缝特征点。
[0023] 进一步，根据裂缝投影后的裂缝宽度特征对，识别待测工程结构的裂缝位置和裂缝形态，具体过程为：根据裂缝投影后的裂缝宽度特征对，在三角形表面模型中标记出裂缝特征，其中，每一裂缝特征均包括两条裂缝边缘线和一条裂缝中轴线；根据标记出的裂缝特征，识别待测工程结构的裂缝位置和裂缝形态。
[0024] 进一步，该裂缝识别与投影修正方法还包括多视角图像获取的步骤，通过相机对待测工程结构进行多视角拍摄，获取待测工程结构的原始多视角图像，并对待测工程结构的原始多视角图像进行图像预处理，得到待测工程结构的多视角图像。
[0025] 进一步，对多视角图像进行裂缝识别，得到待测工程结构的裂缝宽度特征对，具体过程为：采用
支持向量机、
人工智能方法，并结合
图像处理方法，对多视角图像进行裂缝有无判断，提取待测工程结构的多视角图像中包含裂缝的图像；采用基于数字图像的裂缝识别方法，对多视角图像中包含裂缝的图像依次进行降噪、裂缝提取和边缘识别处理，得到待测工程结构的裂缝宽度特征对。
[0026] 一种工程结构表面裂缝识别与投影修正系统，其特征在于，包括：裂缝宽度特征对获取模
块，用于对多视角图像进行裂缝识别，得到待测工程结构的裂缝宽度特征对；几何三维重建模块，用于对多视角图像进行多视角几何三维重建，得到待测工程结构的表面三维点云模型和各图像拍摄时的空间成像模型；三角形表面模型获取模块，用于对待测工程结构的表面三维点云模型进行处理，得到待测工程结构的三角形表面模型；三维成像关系建立模块，用于根据各图像拍摄时的空间成像模型、待测工程结构的裂缝宽度特征对和三角形表面模型，建立相机光心、成像平面以及三角形表面模型之间的三维成像关系；裂缝投影模块，用于根据建立的三维成像关系，对待测工程结构的裂缝宽度特征对进行裂缝投影；裂缝位置和裂缝形态识别模块，用于根据裂缝投影后的裂缝宽度特征对，识别待测工程结构的裂缝位置和裂缝形态。
[0027] 本发明由于采取以上技术方案，其具有以下优点：1、对获取的多视角图像进行多视角几何三维重建，重建的表面三维点云模型虽然包含结构表面的色彩纹理，但是对于细小的裂缝，表面三维点云模型的点的
密度与均匀度无法达到直接识别裂缝宽度和长度等特征的要求，因此，本发明结合裂缝宽度特征对，再进行裂缝投影以获取准确的裂缝参数，实现工程结构表面的裂缝识别与投影修正；
[0028] 2、对于复杂的工程结构表面，经过拍摄得到的二维图像中结构和裂缝形态均是变形的，本发明对裂缝宽度特征对进行裂缝投影，将裂缝投影至三角形表面模型，可以还原裂缝的真实形态，在此
基础上进行裂缝宽度和长度的识别，可以得到准确的裂缝参数，增加了裂缝修正的可靠性；
[0029] 3、本发明可实现裂缝的精确空间定位，同时，对于大面积裂缝损伤识别，经过多张裂缝图像的裂缝投影，将裂缝标记于统一的三角形表面模型中，还可以实现大面积裂缝的拼接处理；
[0030] 综上，本发明可以广泛应用于民用建筑、工业建构筑物、
桥梁、隧道、路面和核电安全壳等工程结构中。
附图说明
[0032] 图2是本发明方法中建立三维成像关系的原理示意图；
[0033] 图3是本发明方法中基于AABB树的射线—三角形相交模型示意图；
[0034] 图4是本发明方法中裂缝投影的投影结构示意图。
具体实施方式
[0035] 以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。
[0036] 如图1所示，本发明提供的工程结构表面裂缝识别与投影修正方法，包括以下步骤：
[0037] 1)通过相机对待测工程结构进行多视角拍摄，获取待测工程结构的原始多视角图像，其中，待测工程结构的原始多视角图像能够反应完整的结构形态且图像之间互有重合，以满足多视角几何三维重建的要求，拍摄方式可以包括人工拍摄、无人机拍摄或远距离成像设备拍摄，待测工程结构的结构形式包括混凝土结构、钢结构、组合结构和路面
沥青材料等。
[0038] 2)对待测工程结构的原始多视角图像进行图像预处理，移除原始多视角图像中模糊和曝光过度等无法使用的图像，得到待测工程结构的多视角图像，以形成图像库。
[0039] 3)采用支持向量机或人工智能方法，结合图像处理方法，对待测工程结构的多视角图像进行裂缝有无判断，提取待测工程结构的多视角图像中包含裂缝的图像，其中，支持向量机方法、人工智能方法和图像处理方法均为现有技术公开的方法，具体过程在此不做赘述。
[0040] 4)采用基于数字图像的裂缝识别方法，对待测工程结构的多视角图像中包含裂缝的图像依次进行降噪、裂缝提取和边缘识别等处理，得到待测工程结构的裂缝宽度特征对，即包含裂缝的图像中裂缝的边缘像素点坐标，其中，基于数字图像的裂缝识别方法为现有技术公开的裂缝识别方法，具体过程在此不多做赘述。
[0041] 二维数字图像中获取的裂缝体以及裂缝宽度等参数是不准确的，二维数字图像可能存在畸变，倾斜拍摄时物体有近大远小的变形，因此需要通过形态修正完成矫正。本发明将二维数字图像中识别的裂缝的边缘像素点坐标定义为“裂缝宽度特征对”，包括裂缝的两条边缘线和一条中轴线上若干成对的裂缝特征点，这些裂缝特征点的间隔可以预先设定，例如可间隔一个像素
采样一对裂缝特征点，该“裂缝宽度特征对”将用于向三维模型的投影。
[0042] 5)对待测工程结构的多视角图像进行多视角几何三维重建，得到待测工程结构的表面三维点云模型以及各图像拍摄时的空间成像模型，其中，各图像拍摄时的成像模型能够匹配得到各图像拍摄时相机的内参和外参。
[0043] 6)对待测工程结构的表面三维点云模型依次进行抽稀和降噪处理，其中，进行抽稀和降噪处理可以采用现有技术公开的方法，具体过程在此不多做赘述。
[0044] 7)对处理后的表面三维点云模型进行三角形网格化处理，得到待测工程结构的三角形表面模型。
[0045] 8)如图2所示，根据各图像拍摄时的空间成像模型、待测工程结构的裂缝宽度特征对和三角形表面模型，建立相机光心、成像平面以及待测工程结构的三角形表面模型之间的三维成像关系。
[0046] 空间成像模型是指相机光心(Optical center/Camera center)、成像平面(Imaging plane//Camera sensor)、被摄物体、主光轴(Optical axis)在三维空间中的相对位置，相当于确定图像拍摄时的相对成像模型。在重建空间成像模型之前，需要对成像模型中使用的4种不同的坐标系予以说明，如图2所示，包括：像素坐标系(显示为o-x-y)、图像坐标系(显示为op-u-v)、相机坐标系(显示为Oc-Xc-Yc-Zc)和世界坐标系(显示为Ow-Xw-Yw-Zw)，其中，像素坐标系原点位于图像左上角。在4个坐标系中，像素坐标系、图像坐标系与相机坐标系之间存在着由空间成像模型确定的约束关系；世界坐标系是独立的，是为将多相机拍摄下的点统一到同一坐标系中而设定的，一般情况下为简化起见，设定世界坐标系与第一个相机的相机坐标系重合，因此本步骤的具体过程如下：
[0047] 8.1)确定相机光心(图2中的点Oc)和成像平面(图2中的平面o-x-y)在世界坐标系中的空间位置。
[0048] 8.2)计算成像平面中每一裂缝特征点的世界坐标(例如图2中的点p的世界坐标)。
[0049] 8.3)获取相机与空间成像模型的参数，包括相机感光元件的物理尺寸，即图2中u、v轴方向的长度M和N(mm)；相机感光元件在u、v轴方向的像素点个数m和n；相机镜头的焦距f(mm)；经过矫正的相机内参矩阵K；相机外参矩阵[R|T]，其中，R、T分别为将点由该相机的相机坐标系转化为世界坐标系的3×3旋转矩阵和3×1平移矩阵。
[0050] 上述参数中，相机感光元件的物理尺寸和相机感光元件是由相机制造商提供的参数；焦距f与内参矩阵K可以直接采用相机制造商提供的数据，或采用相机畸变矫正得到的参数；相机外参矩阵[R|T]是由相机运动参数估计得到的。
[0051] 8.4)建立相机光心、成像平面以及待测工程结构的三角形表面模型之间的三维成像关系。
[0052] 假设裂缝宽度特征对中的某裂缝特征点在4个坐标系下的坐标分别为像素坐标系(u，v)，图像坐标系(x，y)，相机坐标系(xc，yc，zc)，世界坐标系(xw，yw，zw)，其中，像素坐标系的坐标(u，v)的单位为pixel，其它3个坐标以及相机外参中的平移矩阵的单位为mm，下述推导中，该裂缝特征点在各坐标系下的坐标均采用齐次坐标。
[0053] 对于无畸变或矫正后的线性成像系统，坐标在像素坐标系与图像坐标系之间的转换关系为：
[0054]
[0055] 式中，dx和dy分别为相机感光元件中每一像素点u和v轴方向的物理尺寸(mm/pixel)，dx＝M/m，dy＝N/n，在坐标转化中，dx和dy可用于将像素单位转化为标准长度单位。
[0056] 坐标在图像坐标系与相机坐标系之间的转换关系为：
[0057]
[0058] 坐标在相机坐标系与世界坐标系之间的转换关系为：
[0059]
[0060] 综合上述公式(1)、(2)和(3)，得到：
[0061]
[0062] 式中：
[0063]
[0064] 已知成像平面上的裂缝特征点在相机坐标系下有zc＝f，因此，坐标在像素坐标系与世界坐标系之间的转换关系为：
[0065]
[0066] 9)根据建立的三维成像关系，对待测工程结构的裂缝宽度特征对进行裂缝投影，具体为：
[0067] 已知世界坐标系下相机光心的坐标为-R-1T-1，因此，由相机光心出发，经成像平面中裂缝宽度特征对的某裂缝特征点p的射线 为：
[0068]
[0069] 根据射线 和三角形表面模型，基于AABB树的射线—三角形相交计算方法，对待测工程结构的裂缝宽度特征对进行裂缝投影，其中，射线—三角形相交模型如图3所示。定义射线 与三角形表面模型的第一个交点P为裂缝特征点在三维场景中的点，建立三角形表面模型的AABB树，提高射线与三角形表面模型的相交计算效率，在逐步缩小可能相交的三角片集合后，最终计算射线 与三角形表面模型中单个三角片的交点，该交点即为裂缝投影后裂缝宽度特征对中对应的裂缝特征点。对待测工程结构的裂缝宽度特征对中每一裂缝特征点均进行上述过程即能够得到裂缝投影后的裂缝宽度特征对。
[0070] 10)如图4所示，根据裂缝投影后的裂缝宽度特征对，识别待测工程结构的裂缝位置和裂缝形态，进而能够根据待测工程结构的裂缝位置和裂缝形态，计算得到待测工程结构的裂缝参数，具体为：
[0071] 根据裂缝投影后的裂缝宽度特征对，在三角形表面模型中标记出裂缝特征，其中，每一裂缝特征均包括两条裂缝边缘线和一条裂缝中轴线，如图4所示。标记出的裂缝特征有三个作用：①能够在待测工程结构的整体三维模型中标记出裂缝位置；②能够恢复裂缝的真实形态，同时能够将多张照片中的裂缝拼接完整；③裂缝投影后的裂缝宽度特征对能够用于计算裂缝的真实宽度，裂缝中轴线能够用于计算裂缝的真实长度等裂缝参数，其中，计算前，需要将三角形表面模型的尺寸进行标定，使之尺寸与实际结构的尺寸相同。
[0072] 基于上述一种工程结构表面裂缝识别与投影修正方法，本发明还提供一种工程结构表面裂缝识别与投影修正系统，其特征在于，包括：
[0073] 裂缝宽度特征对获取模块，用于对多视角图像进行裂缝识别，得到待测工程结构的裂缝宽度特征对；
[0074] 几何三维重建模块，用于对多视角图像进行多视角几何三维重建，得到待测工程结构的表面三维点云模型和各图像拍摄时的空间成像模型；
[0075] 三角形表面模型获取模块，用于对待测工程结构的表面三维点云模型进行处理，得到待测工程结构的三角形表面模型；
[0076] 三维成像关系建立模块，用于根据各图像拍摄时的空间成像模型、待测工程结构的裂缝宽度特征对和三角形表面模型，建立相机光心、成像平面以及三角形表面模型之间的三维成像关系；
[0077] 裂缝投影模块，用于根据建立的三维成像关系，对待测工程结构的裂缝宽度特征对进行裂缝投影；
[0078] 裂缝位置和裂缝形态识别模块，用于根据裂缝投影后的裂缝宽度特征对，识别待测工程结构的裂缝位置和裂缝形态。
[0079] 上述各
实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。
