技术领域
[0001] 本
发明涉及
人工智能、
计算机视觉测量领域，属于三维测量技术领域，尤其涉及基于图残差神经网络的点云数据拼接方法。
背景技术
[0002] 点云数据的拼接问题是逆向工程、计算机视觉、医学
图像处理等领域的一项重要研究内容。点云数据拼接是将不同视
角下采集到的点云数据进行拼接，使不同视角下的局部点云数据转换到统一
坐标系下，进而可以得到被测实体或场景的完整点云数据。按拼接精确度高低，点云数据拼接可分为粗拼接与细拼接。当前应用最广泛的拼接
算法有
迭代最近点(ICP)算法及其改进算法，ICP算法是一个性能优越的精确拼接算法，但其
精度以及向全局最优的收敛性却在很大程度上依赖于待拼接数据的初始拼接
位置。粗拼接技术可有效解决ICP算法对初始拼接位置的要求，采用
遗传算法和度量准则来优化初始拼接位置，精度较高但效率很低；通过提取几何特征点，再匹配特征点以实现粗拼接，但该方法精度不高，且特征点提取比较耗时；通过引入参考点的方法来实现点云拼接，需要在测量前将标签点贴在目标上，该方法会破坏目标物体的表面信息。
发明内容
[0003] 针对上述点云粗拼接的问题，本发明的目的是提供一种基于图残差神经网络融合的点云拼接方法，可以提高拼接精度与效率且不会破坏目标物体表面信息。
[0004] 本发明提出了一种图残差神经网络，其特征是图残差神经网络由三部分组成，第一部分为图神经网络，对点云数据进行自适应聚类分层；第二部分为残差神经网络，将图神经网络输出的各类点云数据进行特征提取，得到点云特征图；第三部分为反
卷积神经网络，利用残差神经网络提取的点云特征图重构出残差网络的输入。
[0005] 本发明提出了一种基于图残差神经网络融合的点云数据拼接方法，其特征是利用图神经网络将非结构化的点云数据进行自适应聚类分层，然后将每一类的点云
数据处理成大小相同的点云数据，再利用残差神经网络对点云数据进行特征提取，得到点云特征图，然后将两组待拼接的点云特征图进行逐一对比，筛选出成对的相似点云特征图，最后利用反卷积神经网络将反卷积出来的成对相似点云特征图进行模型匹配，从而计算出点云特征图的偏移量，将得到的偏移量作为初始值利用ICP算法进行点云细拼接，即可拼接出完整的点云图像。
[0006] 本发明的创新点：
[0007] 1、本发明在粗拼接阶段，采用图残差神经网络先对点云数据进行自适应聚类分层，然后提取特征，效果明显好于直接对非结构化点云数据进行特征提取。应用该方法进行点云粗拼接不仅准确率更高而且速度也更快。
[0008] 2、本发明中设计的图残差神经网络是一种无监督自适应聚类的方法，其数据集无需类别标注。
附图说明
[0011] 图3是图神经网络结构图。
[0012] 图4是残差/反卷积网络结构图。
具体实施方式
[0013] 下面结合散装堆料的点云拼接对本发明内容进行详细描述。
[0014] 如图1所示，一种基于图残差神经网络融合的点云数据拼接方法，包括以下步骤。
[0015] 步骤1：点云数据的获取
[0016] 点云数据可以通过三维
扫描仪获取，附图2是三维扫描仪安装示意图。利用计算机1控制三维扫描仪3在散装堆料2上方进行不同角度拍摄即可获取具有重叠部分的点云数据。
[0017] 步骤2：对点云数据进行预处理
[0018] 对点云
数据采集过程中会出现一些噪声点。噪声点的存在会对点云的配准产生很大的干扰，影响点云拼接的精确度，所以在对点云数据拼接前先应用最小二乘滤波对点云数据进行去噪处理。
[0019] 步骤3：利用图残差神经网络提取点云数据的特征
[0020] 本发明中的图残差神经网络由三部分组成，第一部分为图神经网络，对点云数据进行自适应聚类分层；第二部分为残差神经网络，将图神经网络输出的各类点云数据进行特征提取，得到点云特征图；第三部分为反卷积神经网络，利用残差神经网络提取的点云特征图重构出残差网络的输入。
[0021] 本发明所使用的图神经网络结构如附图3所示，其中
节点数设定为P个，每个节点的输入是此节点所代表的点在空间中的三维坐标。本
实施例中P取2500，当每次采集的点云数大于2500个时，则选取 2500个点作为图神经网络的输入，之所以可以这样选取是因为点云数据为非结构化的数据。当点云数少于2500个时，将剩余节点的输入设为(0，0，0)最后将此类节点所聚成的类称之为无效类并进行剔除。
[0022] 利用已训练好的图神经网络对步骤2中预处理后的点云数据进行自适应聚类分层，并将类别数设定为n，本实施例中n值取为8。这里所定义的种类是指有效类，即对上述所定义的无效类剔除之后剩余类的个数。当图神经网络的聚类小于8种时，便将各类进行对比，将点云数据量最大的类输入图神经网络再次进行聚类，直到类别数等于或大于8种，当类别数大于8种时，只需要选择包含点云数最多的 8种类别即可，因为这样选择可以最大限度的保留点云的信息。经过以上过程便可将点云数据自适应聚类分层。
[0023] 图神经网络的数据集制作及训练如下：
[0025] 先利用三维扫描仪对多种形态的散装堆料进行不同角度扫描获得Q幅点云，本实施例中Q值取50000，然后对按照步骤2其进行预处理并从每幅点云中筛选出2500个点以适应图神经网络的输入。最后将处理好的50000幅点云，每幅点云中2500个点所对应的三维坐标存储为BinaryCompressed格式供网络训练使用。由于发明中设计的图神经网络为
无监督学习，因此无需为点云数据制作标签。
[0026] (二)图神经网络的训练
[0027] (1)对图神经网络中的连接进行初始化
[0028] (2)在数据集里随机选取q组点云数据，本实施例中q值取500。将500组点云数据作为一批输入图神经网络，进行
无监督学习，对节点的连接关系进行更新。
[0029] (3)当训练次数达到预设值N时结束训练，否则返回第2步再次进行训练。
[0030] 点云数据经过图神经网络自适应聚类分层之后，非结构性的点云将具有一定的结构，为了适应残差/反卷积神经网络的输入，需要将图神经网络输出的每类结构性点云数据按照类别转化为大小w*h*3 的点云数据，本实施例中w值取为20，h值取为20。由于各类别的点数量并不一样多，所以在转化时需要在空缺位置填充0。
[0031] 利用已训练好的残差/反卷积神经网络分别对转化的各类点云数据进行特征提取。
[0032] 残差/反卷积神经网络结构图如附图4。
[0033] 残差/反卷积神经网络的数据集制作及训练过程如下：
[0034] (一)残差/反卷积网络的数据集制作
[0035] 本发明中的残差/反卷积神经网络的训练数据集，需要借助上述已训练好的图神经网络来生成，将R幅点云数据输入已训练好的图神经网络便可得到8种类别的点云数据，每种类别拥有R幅点云数据，本实施例中R值取为50000。最后再对每一幅点云进行维度转换，将其转换成大小为20*20*3的点云数据，以供残差/反卷积网络训练使用。由于本发明中设计的残差/反卷积神经网络为无监督学习，因此无需制作标签。
[0036] (二)残差/反卷积神经网络训练过程
[0037] (1)对网络卷积核、
阈值进行初始化。
[0038] (2)在数据集中随机选取r组数，本实施例中r值取为500，将 500组点云数据作为一批输入网络，经过卷积层、下
采样层、残差
块、反卷积层、上采样层后得到重构点云。
[0039] (3)求出网络的输入点云与重构点云之间的误差，构造的损失函数如下：
[0040]
[0041] 式中r为一次输入网络点云数据的个数
[0042] Yi(x,y)为输入点云在第i层坐标(x，y)处的值
[0043] Ti(x,y)为重构点云在第i层坐标(x，y)处的值
[0044] (4)设置期望值E，当误差大于E时，利用反向传播将误差传回网络对卷积核及阈值进行
修改，然后在进入第二步。当误差等于或小于我们的期望值时，结束训练。
[0045] 步骤4：筛选出两组点云经过卷积后的相似特征图
[0046] 将步骤3中所提取出的两组特征图利用序贯相似性检测算法 (Sequential Similiarity Detection Algorithm，简称SSDA算法)进行逐一对比，提取出m对相似特征图，这些特征图中蕴含的便是两组点云所共有的特征。
[0047] 步骤5：将相似的成对特征图进行反卷积
[0048] 将步骤4中提取出的成对的相似特征图，依照已训练好的卷积核和阈值进行反卷积。最后将每对特征图反卷积的结果进行模型匹配，从而计算出m对特征图所对应的偏移量y1′,y2′,……,ym′。
[0049] 步骤6：点云的偏移量计算
[0050] 点云的偏移量计算步骤可如下表示：
[0051] (1)计算偏移量的平均值
[0052]
[0053] 式中：m为成功匹配成对特征图的个数
[0054] y'k为第k对特征图所计算出的偏移量
[0055] 为两幅点云中m对特征图偏移量的平均值
[0056] (2)去掉过大偏离点
[0057]
[0058] 式中：y'k为第k对特征图所计算出的偏移量
[0059] 为两幅点云中m对特征图偏移量的平均值
[0060] dk为第k对特征图偏移量与平均偏移量的距离
[0061] 去掉dk中最大的2个数据da与db
[0062] (3)得出偏移量
[0063]
[0064] 式中：y'k为第k对特征图所计算出的偏移量
[0065] a,b为最大两个dk所对应的下标
[0066] y为待拼接的两幅点云的偏移量
[0067] 步骤7：点云细拼接
[0068] 将步骤6中计算出的偏移量y作为初始值利用ICP算法进行点云细拼接，即可拼接出完整的点云图像。
[0069] 以上结合散装堆料的点云拼接对本发明进行详细描述。但本发明基于图残差神经网络的点云拼接方法，此点云拼接方法可在异物检测、体积测量、三维重构等多种点云拼接场合应用。
[0070] 上述具体实施方式只是来解释本发明，而不是仅仅局限于该实施方式，对于其他运用该方法的实例都在保护范围之内，例如城市垃圾车装载体积测量、以及测量路面的路面谱、或者凸起部分体积测量等都在本发明精神和
权利要求的保护范围之内，对本发明做出的任何修改和改变，都落入本发明的保护范围。
