技术领域
[0001] 本
发明属于三维点
云分割领域，具体涉及一种基于
机器人视觉的复杂异形曲面三维分割方法及系统。
背景技术
[0002] 目前工业场景下的复杂异形曲面金属
工件点云分割存在许多难题，一是金属表面经过激光面阵相机照射后，表面容易反光，造成点云
数据采集有
缺陷，无法获取完整点云；二是在工业复杂场景下，对特定目标物体的点云分割存在环境噪音大、背景点复杂繁多难以直接分割的问题；三是复杂异形曲面工件表面难以用函数拟合，常用的随机
采样一致性点云分割
算法无法准确拟合异形曲面，分割效果不理想，四是
深度学习领域处理三维点云数据存在着计算量相比于二维图像有一个维度的增加，训练网络时间非常长，而且类似于PointNet深度学习
框架的神经网络对局部点云的细节特征存在着提取难度大的问题。五是针对复杂曲面点云数据的数据集非常少，使用经典的Shapenet数据集训练出的神经网络存在着对复杂曲面点云分割效果不匹配的问题。
[0003] 针对金属表面容易反光的问题，在采集这样的金属工件的点云数据时，通常做法是给金属表面涂上不易透光的涂料，然而这样会导致金属工件后期表面需要除污工序和工件厚度变化需要进行后期数据再处理等新的问题出现；针对工业环境下的航空
发动机叶片的三维测量，直接使用点云分割算法易产生大量背景噪声点，使点云分割效率降低，准确率下降，需要进行一定的预处理方法将背景点剔除；针对航空发动机叶片等复杂异形曲面，利用传统的RANSAC算法无法准确找到拟合发动机叶片的准确函数模型，无法做到准确的点云分割。
[0004] 故此，如何解决目前工业测量复杂异形曲面自动化程度低，进而实现异形曲面点云的快速精准分割，成了本领域技术人员致
力研究的问题。
发明内容
[0005] 本发明的目的在于避免
现有技术中的不足而提供一种基于机器人视觉的复杂异形曲面三维分割方法及系统，其通过目标范围内的点云直通滤波和点云稀疏化的处理手段，将繁杂的环境背景点云剔除，然后采用一种对称性的神经网络，对预处理后的点云数据集进行网络训练，神经网络将每个局部点的特征和全局坐标结合起来，实现分割的功能。
[0006] 本发明的目的之一通过以下技术方案实现：提供一种基于机器人视觉的复杂异形曲面三维分割方法，包括以下步骤：
[0007] S1、通过三维激光相机采集
机器人手持异形曲面工件的点云数据；
[0008] S2、对采集的点云数据进行直通滤波预处理，以剔除环境背景点云；
[0009] S3、对预处理后的点云数据稀疏化再处理；
[0010] S4、将再处理后的点云数据整合成带标签的点云数据集，且点云数据集分成训练集和测试集两部分；
[0011] S5、将训练集放入神经网络进行训练，使得神经网络的参数调整以符合分割的性能要求；
[0012] S6、调整神经网络参数并将训练好的神经网络用于随机采集的点云数据中测试，并作出性能评估；
[0013] S7、判断分割是否准确，若是，则输出分割结果；反之，返回步骤S5。
[0014] 作为进一步的改进，所述步骤S1采集的点云数据包含从360度方向拍摄的机器人手持异形曲面工件而采集的点云数据。
[0015] 作为进一步的改进，在步骤S2内，对点云数据进行直通滤波预处理是指将三维激光相机扫描所得的空间三维点云数据进行深度距离上的直通滤波，剔除不在工作范围内的背景噪声点云。
[0016] 作为进一步的改进，在步骤S3内，点云数据稀疏化采用VoxelGrid
体素网格
下采样方法，具体表现为：
[0017] S31、读取点云数据，给每个点记录编号ID，存储坐标在
数据库中；
[0018] S32、将空间点分成3D体素网格，体素形成过程如下：
[0019] a)计算最小网格的尺寸：
[0020]
[0021] 式中，xmin,ymin zmin,xmax,ymax,zmax分别表示点云数据沿x轴、y轴和z轴坐标的最小值和最大值，N表示总共采集的点云点数；
[0022] b)计算网格的数量
[0023] 沿x轴的网格数量：Nx＝ceil((xmax-xmin)/S0) (2)
[0024] 沿y轴的网格数量：Ny＝ceil((ymax-ymin)/S0) (3)
[0025] 沿z轴的网格数量：Nz＝ceil((zmax-zmin)/S0) (4)
[0026] 式中，ceil表示上取整函数；
[0027] c)设定点P(x,y,z)属于某一体素网格，其网格编号为(xIDbox,yIDbox,zIDbox)，则xIDbox、yIDbox和zIDbox的表达式分别为：
[0028] xIDbox＝floor((x-xmin)/S0) (5)
[0029] yIDbox＝floor((y-ymin)/S0) (6)
[0030] zIDbox＝floor((z-zmin)/S0) (7)
[0031] 式(5)至(7)中，floor表示下取整函数；
[0032] d)将点P转化至一个维度，则其所属网格的索引值为：
[0033] VoxelID＝xIDbox·Ny·Nz+yIDbox·Nz+zIDbox (8)
[0034] e)建立体素网格编号集保存值VoxelID和其内部所有点的编号，则一个网格内的所有点将会用它们的中心化点来近似：
[0035]
[0036]
[0037]
[0038] 式(9)至(11)中，XNcentrold，YNcentrold,ZNcentrold分别表示体素网格中心化点的横坐标、纵坐标与竖坐标，m表示网格内所有点的数量。
[0039] 作为进一步的改进，步骤S4带标签的点云数据集按照360度均分，其中，80％作为训练用于集训练神经网络的各项参数，20％作为测试集用于测试评估神经网络的参数性能。
[0040] 作为进一步的改进，在步骤S1内，待测量的异形曲面工件适用于航空发动机
涡轮叶片。
[0041] 作为进一步的改进，在步骤S4中，点云数据集的创建采用一种可扩展的点云标注方法对叶片点云做数据标注，给复杂异形曲面叶片点云的
榫头和叶身两部分分别标注不同的标签，以作为数据集训练的参考：
[0042] 1)创建一个标注集An和集合中每个部分的人类标注输入hn，其中n表示
迭代的次数；
[0043] 2)将标注传播到其余的模型中，并计算出预测值fn；
[0044] 3)选择预测的一个子集和所有未经验证的人类标注来验证Vn，并获得这些预测的人类验证Qn；
[0045] 4)通过比较自动预测值fn和人类的验证集Qn来更新形状之间的相似度 和条件随机场的权值λn+1；
[0046] 5)所有模型得到验证后，流程中止。
[0047] 作为进一步的改进，所述步骤S5具体分为如下步骤：
[0048] S51、将训练集直接作为
深度神经网络的输入；
[0049] S52、使用单一变换函数和最大
池化解决点云无序性问题；
[0050] S53、使用中心点的邻域点作为卷积点的卷积核，其中，卷积点的
位置分布采用一种可
变形的方式拟合异形曲面；
[0051] S54、在点卷积的过程中利用点与点之间的几何特征把点云局部细节特征
抽取出来；
[0052] S55、使用Skip Link链接点云局部特征与全局点云特征，提取每个点的新特征便于分割。
[0053] 作为进一步的改进，在步骤S6内，根据神经网络在测试集上输出的逐点实例分割的准确率与平均交并比来评估该神经网络的最终性能。
[0054] 本发明的目的之二通过以下技术方案实现：提供一种基于机器人视觉的复杂异形曲面三维分割系统，应用其上任一项所述的一种基于机器人视觉的复杂异形曲面三维分割方法，所述三维分割系统包括：
[0055] 采集模
块，用于使用三维激光相机在固
定位置对机器人手持的异形曲面工件拍摄点云数据；
[0056] 处理模块，用于对采集模块的点云数据先进行深度范围内的直通滤波，剔除不在工作范围内的背景噪声点云，再对滤波后的工作范围内的点云数据进行稀疏化处理；
[0057] 数据集整合模块，用于对预处理后的点云数据进行数据格式整合，以匹配神经网络的数据输入，整合后的数据集分成训练集和测试集；
[0058] 训练模块，用于通过神经网络和数据集的训练，以得到训练好的深度神经网络；
[0059] 评估模块，用于使用训练模块中训练好的神经网络在测试集上进行网络性能评估；
[0060] 所述采集模块、处理模块、数据集整合模块、训练模块和评估模块依次相连。
[0061] 与现有技术相比，本发明结合自制的复杂异形曲面工件点云数据集与深度学习点云分割网络，将三维点云数据经过滤波与稀疏化预处理后，直接作为深度神经网络的输入，经过单一变换函数和最大池化解决点云无序性问题，然后在点
卷积神经网络的
基础上在点卷积的过程中，利用点与点之间的几何特征把点云局部细节特征抽取出来，再将点云局部细节特征与全局特征结合起来后，提取了每个点的新特征便于分割；最后，根据神经网络再测试集上输出的部分分割准确率和平均交并比来评估该神经网络的最终性能。本发明有效的解决了复杂异形曲面工件在环境复杂的情况下如何去除背景噪声点、减少
数据处理计算量的前期预处理问题，方便了后期对异形曲面工件点云的特征提取与利用，同时在深度神经网络层面采用了单一对称函数和最大池化策略巧妙解决了点云无序性问题，并通过将局部特征和全局特征结合的方法提取点云的新特征提高了点云分割的准确率，并对特定对象诸如航空发动机涡轮叶片等复杂异形曲面的点云分割具有针对性的分割效果。
附图说明
[0062] 利用附图对本发明作进一步说明，但附图中的
实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
[0063] 图1是本发明一种基于机器人视觉的复杂异形曲面三维分割方法的
流程图。
[0064] 图2是本发明一种基于机器人视觉的复杂异形曲面三维分割方法的数据集制作流程图。
[0065] 图3是本发明一种基于机器人视觉的复杂异形曲面三维分割方法的局部点云数据特征卷积流程图。
[0066] 图4是本发明一种基于机器人视觉的复杂异形曲面三维分割方法的深度学习流程图。
[0067] 图5是本发明一种基于机器人视觉的复杂异形曲面三维分割方法的系统流程图。
[0068] 图6是本发明一种基于机器人视觉的复杂异形曲面三维分割系统的模块图。
具体实施方式
[0069] 为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本
申请的实施例及实施例中的特征可以相互组合。
[0070] 本发明提供了一种基于机器人视觉的复杂异形曲面三维分割方法。请参照图1，在本发明中，一种基于机器人视觉的复杂异形曲面三维分割方法，如图1所示，包括如下步骤：
[0071] S1、通过三维激光相机采集机器人手持异形曲面工件的点云数据；优选地，采集的点云数据包含从360度方向拍摄的机器人手持异形曲面工件而采集的点云数据，即沿
机械臂末端工具轴旋转360°，每旋转1°，相机拍摄一次，总计拍摄360份点云数据。需要说明的是，在本步骤中，具体使用Cognex ES-A50003D结构光相机对1.5米远处的机械臂手持异形曲面工件拍照，拍得的点云格式为pcd格式。
[0072] S2、对采集的点云数据进行直通滤波预处理，以剔除环境背景点云；优选地，在该步骤中，对点云数据进行直通滤波预处理是指将三维激光相机扫描所得的空间三维点云数据进行深度距离上的直通滤波，剔除不在工作范围内的背景噪声点云，具体地，采用的是沿Z轴景深方向直通滤波的方法，设定工作范围内1.0m～1.4m。
[0073] S3、对预处理后的点云数据稀疏化再处理；优选地，稀疏化采用的是体素网格(VoxelGrid)下采样的方法，相机采集的初始点云数据中包含3～4万个有效点，VoxelGrid通过输入的点云数据创建三维体素网格，用体素中所有点的
重心来近似显示其他点，在极大的减少了点云数据量的同时又保持了点云的形状特征。
[0074] S4、将再处理后的点云数据整合成带标签的点云数据集，且点云数据集分成训练集和测试集两部分，具体地，将360份已经预处理稀疏化的点云数据整合成异形曲面点云数据集blade_dataSet，其中80％(288份)作为训练集训练神经网络的各项参数，20％(72份)作为测试集，用于测试评估神经网络的参数性能；
[0075] S5、将训练集放入神经网络进行训练，使得神经网络的参数调整以符合分割的性能要求；
[0076] S6、调整神经网络参数并将训练好的神经网络用于随机采集的点云数据中测试，并作出性能评估；
[0077] S7、若分割准确，则输出分割结果；反之，返回步骤S5。
[0078] 本发明针对工业生产环境下的复杂异形曲面工件点云分割问题，在通过三维激光相机获取到异形曲面工件的点云数据后，首先采用点云数据预处理的方法，对采集的原始数据进行环境背景点和噪声点的去除：第一步利用直通滤波的方法去除不在工作范围内的背景点，留下待测量的工件曲面点云和机械手部分点云，第二步采用下采样的方法对工作范围内的工件点云稀疏化处理，预处理部分为数据集的建立提供了保障，极大地减少了环境点对数据处理计算量的损耗；其次，通过深度神经网络分割，将预处理后的点云制作成一个带标签的点云数据集，用于对神经网络的训练与测试，最后做出性能评估，大大提升了深度神经网络的点云分割速度和
质量，满足了工业制造的需求。
[0079] 作为进一步优选的实施方式，本发明中VoxelGrid下采样法的具体流程如下：
[0080] S31、读取点云数据，给每个点记录编号ID，存储坐标在数据库中；
[0081] S32、将空间点分成3D体素网格，体素形成过程如下：
[0082] a)计算最小网格的尺寸：
[0083]
[0084] 式中，xmin,ymin zmin,xmax,ymax,zmax分别表示点云数据沿x轴、y轴和z轴坐标的最小值和最大值，N表示总共采集的点云点数；
[0085] b)计算网格的数量
[0086] 沿x轴的网格数量：Nx＝ceil((xmax-xmin)/S0) (2)
[0087] 沿y轴的网格数量：Ny＝ceil((ymax-ymin)/S0) (3)[0088] 沿z轴的网格数量：Nz＝ceil((zmax-zmin)/S0) (4)
[0089] 式中，ceil表示上取整函数；
[0090] c)设定点P(x,y,z)属于某一体素网格，其网格编号为(xIDbox,yIDbox,zIDbox)，则xIDbox、yIDbox和zIDbox的表达式分别为：
[0091] xIDbox＝floor((x-xmin)/S0) (5)
[0092] yIDbox＝floor((y-ymin)/S0) (6)
[0093] zIDbox＝floor((z-zmin)/S0) (7)
[0094] 式中，floor表示下取整函数；
[0095] d)将点P转化至一个维度，则其所属网格的索引值为：
[0096] VoxelID＝xIDbox·Ny·Nz+yIDbox·Nz+zIDbox (8)
[0097] e)建立体素网格编号集(BoundPoint IDs)保存值VoxelID和其内部所有点的编号，则一个网格内的所有点将会用它们的中心化点来近似：
[0098]
[0099]
[0100]
[0101] 式中，XNcentrold，YNcentrold,ZNcentrold分别表示体素网格中心化点的横坐标、纵坐标与竖坐标，m表示网格内所有点的数量。
[0102] 此外，值得提及的是，本发明实施例提供的一种基于机器人视觉的复杂异形曲面三维分割方法中待测量的异形曲面工件适用于航空发动机涡轮叶片，具体地，该涡轮叶片为金属材质，长22厘米，宽6厘米，厚2毫米，分为榫头和叶身两部分，点云分割的任务即是将榫头和叶身分割开。
[0103] 具体的，在步骤S4中，异形曲面数据集blade_dataSet的创建需要对叶片点云做数据标注，如图2所示，本发明采用一种可扩展的点云标注方法，给复杂异形曲面叶片点云的榫头和叶身两部分分别标注不同的标签，以作为数据集训练的参考：
[0104] 1)创建一个标注集An和集合中每个部分的人类标注输入hn，其中n表示迭代的次数；
[0105] 2)将标注传播到其余的模型中，并计算出预测值fn；
[0106] 3)选择预测的一个子集和所有未经验证的人类标注来验证Vn，并获得这些预测的人类验证Qn；
[0107] 4)通过比较自动预测值fn和人类的验证集Qn来更新形状之间的相似度 和条件随机场(CRF,conditional random field)的权值λn+1；
[0108] 5)所有模型得到验证后，流程中止。
[0109] 需要说明的是，在步骤3)中如果形状sk在当前迭代中被正验证，则 即形状得到确认进行输出；反之则 表示形状未得到确认。
[0110] 同时，作为进一步优选的实施方式，前述步骤S5具体分为如下步骤：
[0111] S51、将训练集直接作为深度神经网络的输入；
[0112] S52、使用单一变换函数和最大池化解决点云无序性问题；
[0113] S53、使用中心点的邻域点作为卷积点的卷积核，其中，卷积点的位置分布采用一种可变形的方式拟合异形曲面；
[0114] S54、在点卷积的过程中利用点与点之间的几何特征把点云局部细节特征抽取出来；
[0115] S55、使用Skip Link链接点云局部特征与全局点云特征，提取每个点的新特征便于分割。
[0116] 此外，在步骤S5内，在最小化交叉熵损失时优选采用动量梯度下降优化器，训练神经网络的
优化算法采用正则化的softmax损失训练方法。
[0117] 具体地，为进一步地阐述深度神经网络分割的上述过程，下面结合相关公式展开论述：
[0118] 在步骤S5中，定义点云上某个点xi∈P∈iN×3及其对应的特征fi∈F∈iN×D，在点x∈R3处的点卷积公式定义为：
[0119]
[0120] 式中，F表示特征函数，g表示核函数，Nx表示点x的邻域。
[0121] 由于点云数据的稀疏性，因此在设计核函数g时，本发明采用一种邻域的方法来实现针对不同点云
密度的一种鲁棒性点云数据处理方法：
[0122] 令Nx＝{xi∈P|||xi-x||≤r},r∈R，一个球形的邻域有助于神经网络学习到有意义的几何特征，其中，r表示球形的半径。
[0123] 核函数g把以x为中心的邻域点的位置作为输入，令yi＝xi-x，则核函数g的定义域为： 转换后网络具有平移不变性。
[0124] 同时，鉴于三维点云数据的点与点之间的特征关系无法通过简单的二维矩阵去抽象获得，而三维点之间的几何关系却能够很准确的表达出隐含的形状关系，因此本发明设计了一种特殊的卷积点核，将中心点yi邻近的点 (K表示卷积核点数的最大值)作为卷积点(Kernel Points)，利用Kernel Points与中心点yi之间的几何关系进行建模，抽象出局部点云的形状信息：
[0125]
[0126] 公式(13)中，hik是一个精简的点关系向量，描述点与点之间低维的几何距离关系，函数A是一个聚合函数，为了保证点云的置换不变性，此处将其定义为一个对称的最大池化(max-pooling)函数，最外层函数 是一个RELU(Rectified Linear Unit,线性整流函数)激活函数，函数M是一个简单的三层
感知机，用于将hik的低维几何距离特征抽象为高维的几何关系特征，其可以拟合任意的连续映射函数且计算量小。需要说明的是，函数M对邻域Nx内的所有点共享，使得其独立于任意不规则的点云，流程如图3所示。其中，hik的表达式如下：
[0127]
[0128] 式中， 表示中心点xi与卷积核点 之间的三维欧氏距离。
[0129] 进一步地，在KPConv(Kernel Point Convolution，卷积核)卷积神经网络中Kernel Points的选取对网络性能的影响很大，针对本发明的作用对象——异形曲面结构的金属工件点云通常是一种薄曲面结构，因此可变形的Kernel Points在本发明中必不可少，此处采用Δ(x)作为位置偏移量对Kernel Points的排列做调整：
[0130]
[0131] 式中，Lfit表示拟合损失函数，惩罚了输入邻域中一个Kernel Point与最近邻域点之间的距离，σ表示Kernel Points的影响距离，其大小取决于点云数据的密度大小，初始化值取2；
[0132]
[0133] 式中，h表示两点之间距离关系的对称函数，
[0134]
[0135] 表示第l个邻域点，Δk(x)表示第k个卷积核点的位置偏移量，Δl(x)表示第l个邻域点的位置偏移量，Lrep表示最小化全局损失函数，用于对所有过近的Kernel Points的距离进行惩罚，避免每个点的影响距离重叠；
[0136] 最小化全局损失函数Lreg将每个Kernel Point的损失函数相加得到一个全局的损失函数：
[0137]
[0138] 通过这些损失函数，网络将生成与输入点云的局部几何图形相匹配的偏移，对局部几何特征的卷积将更加精确。
[0139] 作为本发明的更进一步改进，由于本发明的目标是对异形曲面金属工件点云做实例分割，因此本发明选用KP-FCNN(Kernel Points-Fully Convolutional Networks,完全卷积神经网络)，KP-FCNN优选是一个5层的卷积神经网络，每一层包含2个卷积块。不同于图像卷积，此处采用Kernel Points卷积核对点云做卷积运算、批处理规范化和RELU激活函数特征提取。在
解码器部分使用最邻近的上采样来获得逐点的特征。Skip Links用于在
编码器和解码器之间传递特征，其通常的做法是将局部点集学习到的点特征与全局特征跳跃连接起来映射成一个更高维的特征，便于提升最后的点云分割效果。这些特征被连接到上采样特征，并通过一元卷积(相当于图像中的1×1卷积或者点网络中的共享mlp)进行处理，具体流程如图4所示。
[0140] 同时，在步骤S6中，优选采用图5所示的系统流程对机器人采集的异形曲面点云数据根据神经网络在测试集上输出的逐点实例分割的准确率与平均交并比(mIoU)来评估该神经网络的最终性能。
[0141] 另一方面，本发明还提供了一种基于机器人视觉的复杂异形曲面三维分割系统，应用其上所述的一种基于机器人视觉的复杂异形曲面三维分割方法，所述三维分割系统包括依次相连的采集模块、处理模块、数据集整合模块、训练模块和评估模块，其中，采集模块，用于使用三维激光相机在固定位置对机器人手持的异形曲面工件拍摄点云数据；处理模块，用于对采集模块的点云数据先进行深度范围内的直通滤波，剔除不在工作范围内的背景噪声点云，再对滤波后的工作范围内的点云数据进行稀疏化处理；数据集整合模块，用于对预处理后的点云数据进行数据格式整合，以匹配神经网络的数据输入，整合后的数据集分成训练集和测试集；训练模块，用于通过神经网络和数据集的训练，以得到训练好的深度神经网络；评估模块，用于使用训练模块中训练好的神经网络在测试集上进行网络性能评估。
[0142] 上述三维分割系统显然能够提升效率，增加准确度，并对特定对象诸如航空发动机涡轮叶片等复杂异形曲面的点云分割具有针对性的分割效果。
[0143] 上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。
[0144] 总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。
