一种基于深度学习的点云数据的分块面片重建方法专利检索-计算机辅助设计计算机集成制造制造过程专利检索查询-专利查询网

一种基于 深度学习的点云数据的分块面片重建方法

阅读：315发布：2020-05-08

专利汇可以提供一种基于深度学习的点云数据的分块面片重建方法专利检索，专利查询，专利分析的服务。并且本文提出的发明称为一种基于深度学习的点云数据的分块表面重建方法。本发明公开了一种基于深度学习的从点云重建表面模型方法，该方法利用三维空间中的点云数据分块地生成出SDF(Signed Distance Field，有向距离场)并整合各个块得到完整的SDF，最后采用Marching Cubes 算法得到最后的面片数据。本发明可以在点云数据存在噪声，尤其是法向信息偏差的情况下仍然表现鲁棒，大大地降低了对采集点云数据的方向准确度的要求；在运行时，本发明还可以并行处理，效率高。关于本发明的用途，主要集中在三维物体重建的领域，在数字娱乐中的三维建模，计算机辅助设计等等方面有广泛的应用空间。，下面是一种基于深度学习的点云数据的分块面片重建方法专利的具体信息内容。

权利要求

1.一种基于深度学习的点云数据的分块面片重建方法，其特征在于，包括以下步骤：
步骤一：将三维空间划分成C个N×N×N正方体块区域，N为分辨率，C为正整数；
步骤二：选取正方体块区域点云中距离正方体体心最近的点为圆心，以正方体块区域外接球的半径为半径，构成一个球形区域。
步骤三：以正方体体心为原点建立坐标系，将步骤二中构成的球形区域对应的点云转化为体素。得到的体素中包含了点云在以正方体体心为原点建的立坐标系中的三个轴位置坐标和法向信息。
步骤四：将步骤三中转化好的体素作为预先训练好的三维卷积神经网络的输入，输出对应块区域的有向距离场SDF。
步骤五：将步骤一划分得到的每个正方体块区域通过步骤二至四得到对应的SDF，将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF。融合分块SDF的公式为：
S是正方体块区域的SDF, 表示最终完整的SDF,集合I表示需要融合的SDF集合，D表示的是SDF对应的正方体块区域的中心到当前采样区域中心的距离。
步骤六：使用Marching Cubes 算法对步骤五得到的最终完整的SDF重建得到最后的面片结果。
2.根据权利要求1所述基于深度学习的点云数据的分块面片重建方法，其特征在于，所述步骤一中，划分正方体块区域为不平均的划分，当划分的正方体块区域的点较为密集时，将该块区域继续细分成多个更小的正方体块区域；所述阈值为128或者不大于网络输入体素网格数的1/16。
3.根据权利要求1所述基于深度学习的点云数据的分块面片重建方法，其特征在于，所述步骤四中，预先训练好的三维卷积神经网络通过如下方法训练获得：
(4.1)构建深度卷积神经网络模型：深度卷积神经网络模型由降采样部分，中间连接部分和升采样部分构成。降采样部分由两个残差神经网络块构成，每个残差神经网络块之后都进行最大值池化；中间连接部分是两个残差神经网络块；升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成。整个网络结构中，每一层卷积操作之后都有一个激活函数层，激活函数采用ReLu激活函数。训练采用的损失函数是：
α,β是两个部分损失的权重。Y, 分别表示真值和输出的分块SDF，Δ是拉普拉斯运算符。
(4.2)获取包含法向信息的点云数据，并整体生成SDF，在点云中随机选取点作为圆心，固定尺寸半径搜索区域内的临近点并生成体素，以体素作为深度卷积神经网络模型的输入、再在整体生成的SDF中选取对应区域的SDF作为真值进行训练，获得训练好的深度卷积神经网络模型。
4.根据权利要求3所述基于深度学习的点云数据的分块面片重建方法，其特征在于，所述步骤(4.1)中，α,β分别为0.8,0.2。

说明书全文

一种基于深度学习的点云数据的分块面片重建方法

技术领域

[0001] 本发明属于计算机图形学，人工智能领域，尤其涉及一种基于深度学习的点云数据的分块面片重建方法。

背景技术

[0002] 三维重建在最近几年来的数字娱乐，计算机辅助设计领域有着极其广泛的应用；虚拟现实技术，增强显示技术，三维动画电影，地图成像等等都需要大量的三维模型。若这些三维模型都需要人为设计的话将会耗费巨大人力资源，但目前全自动的基于图片，基于点云等等的三维重建技术都存在各自的缺陷。

[0003] 本发明针对的是利用点云数据的三维面片重建工作。以往的点云三维重建工作都存在着一定的缺陷。例如经典的泊松表面重建方法非常依赖点云的法向信息，若法向信息有噪声就会对生成的结果产生较大的误差。最近提出的DeepSDF(J.J.Park et al.ICCV2019)方法也是基于深度学习的点云三维重建方法，该方法不依赖点云的法向信息，但是这种方法只能针对个别类别的模型，如飞机、沙发等，进行三维重建。

发明内容

[0004] 本发明的目的在于针对现有技术的不足，基于深度学习提供一种高效，高质量的利用点云数据的面片重建方法。

[0005] 本发明的目的是通过如下技术方案实现的：

[0006] 一种基于深度学习的点云数据的分块面片重建方法，包括以下步骤：

[0007] 步骤一：将三维空间划分成C个N×N×N正方体块区域，N为分辨率；

[0008] 步骤二：选取正方体块区域点云中距离正方体体心最近的点为圆心，以正方体块区域外接球的半径为半径，构成一个球形区域。

[0009] 步骤三：以正方体体心为原点建立坐标系，将步骤二中构成的球形区域对应的点云转化为体素。得到的体素中包含了点云在以正方体体心为原点建的立坐标系中的三个轴位置坐标和法向信息。

[0010] 步骤四：将步骤三中转化好的体素作为预先训练好的三维卷积神经网络的输入，输出对应块区域的SDF。

[0011] 步骤五：将步骤一划分得到的每个正方体块区域通过步骤二至四得到对应的SDF，将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF。融合分块SDF的公式为：

[0012]

[0013] S是正方体块区域的SDF, 表示最终完整的SDF,集合I表示需要融合的SDF集合，D表示的是SDF对应的正方体块区域的中心到当前采样区域中心的距离。

[0014] 步骤六：使用Marching Cubes 算法对步骤五得到的最终完整的SDF重建得到最后的面片结果。

[0015] 进一步地，所述步骤一中，划分正方体块区域为不平均的划分，当划分的正方体块区域的点较为密集时，将该块区域继续细分成多个更小的正方体块区域；所述阈值为128或者不大于网络输入体素网格数的1/16。

[0016] 进一步地，所述步骤四中，预先训练好的三维卷积神经网络通过如下方法训练获得：

[0017] (4.1)构建深度卷积神经网络模型：深度卷积神经网络模型由降采样部分，中间连接部分和升采样部分构成。降采样部分由两个残差神经网络块构成，每个残差神经网络块之后都进行最大值池化；中间连接部分是两个残差神经网络块；升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成。整个网络结构中，每一层卷积操作之后都有一个激活函数层，激活函数采用ReLu激活函数。训练采用的损失函数是：

[0018]

[0019] α,β是两个部分损失的权重，值得大小分别为0.8,0.2。Y, 分别表示真值和输出的分块SDF，Δ是拉普拉斯运算符。

[0020] (4.2)获取包含法向信息的点云数据，并整体生成SDF，在点云中随机选取点作为圆心，固定尺寸半径搜索区域内的临近点并生成体素，以体素作为深度卷积神经网络模型的输入、再在整体生成的SDF中选取对应区域的SDF作为真值进行训练，获得训练好的深度卷积神经网络模型。本方法对点云数据的法向量加一定的高斯噪声合成法向带噪声的点集，然后再合成体素，通过这样的方式来减小本发明对点云数据的法向信息的依赖，提高鲁棒性。

[0021] 进一步地，步骤(4.1)中，α,β分别为0.8,0.2。

[0022] 本发明的有益效果是，本发明利用深度学习的强大的拟合能力，根据输入点云对应的体素来生成SDF，避免了复杂的几何操作；并通过分块的SDF的融合来计算整合完整的SDF来提高计算得到的SDF的可靠性。同时本文分块的方法可以对每个单独的块并行处理，因而本发明具有高效率。附图说明

[0023] 图1是本发明中深度卷积神经网络的结构示意图。

[0024] 图2是本发明针对点云数据重建的整体流程示意图。

具体实施方式

[0025] 下面根据附图详细说明本发明。

[0026] 参阅图1，本发明采用的深度卷积神经网络需要以点云转化的体素信息作为输入，输出对应的SDF，因此在训练时本方法准备了匹配的体素信息和SDF作为网络训练的数据集。本方法使用Princeton University开源的A Benchmark for 3D Mesh Segmentation数据集中原本的面片数据计算出对应的包含法向信息的点云数据，并生成对应的SDF。在生成出的点云中随机选取点作为圆心，固定尺寸半径搜索区域内的临近点并生成体素作为深度卷积神经网络的输入数据，然后再在对应的区域中选取SDF作为真值进行训练。

[0027] 图1描述的深度卷积神经网络由降采样部分，中间连接部分和升采样部分构成。降采样部分由两个残差神经网络块构成，每个残差神经网络块之后都进行最大值池化；中间连接部分是两个残差神经网络块；升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成。整个网络结构中，每一层卷积操作之后都有一个激活函数层，本方法采用ReLu激活函数。

[0028] 深度卷积神经网络的训练过程需要设定损失函数，本方法采用的损失函数是：

[0029]

[0030] Y, 分别表示真值和输出的分块SDF，Δ是拉普拉斯运算符。α,β是两个部分损失的权重，值得大小分别为0.8,0.2。第一项表示的真值和网络输出值的平方误差，该项能够使得网络输出的结果接近真值；第二项表示的是真值和网络输出的Laplacian之间的误差，该项强调了网络的结果的梯度和真值梯度的分布，使得生成的SDF在每个单元之间的过渡中能够和真值保持一致的平滑。

[0031] 网络训练完成之后就可以作用于整个三维重建的流水线中，按照本发明阐述的技术方案，本发明需要在针对点云的三维重建过程中完成以下步骤：

[0032] 步骤一：将三维空间划分成C个N×N×N正方体块区域，然后对每一块包含点云中点的正方体区域进行步骤二；对于点云密集的区域，优选地，本方法将该空间进一步细分多个更小的正方体块区域，以保证采集足够多的点云信息来生成的细节面片，通常情况下，正方体块区域的点密度不超过128，或者不大于网络输入体素网格数的1/16；选取的正方体块区域为Ωi,i∈[1,C+c]，c是进一步细分得到的正方体块区域数。

[0033] 步骤二：以选取的正方体块区域Ωi点云中距离正方体体心最近的点云中的点为圆心，以正方体块区域外接球的半径为半径，构成一个球形区域并选取该区域中所有的点云中的点。

[0034] 步骤三：以正方体体心为原点建立坐标系，将对应的点云转化为体素。得到的体素中包含了点云在以正方体体心为原点建的立坐标系中的三个轴位置坐标和法向信息，可以N×N×N×6表示为张量X,X∈R ，N为分辨率。

[0035] 步骤四：将转化好的体素作为预先训练好的三维卷积神经网络的输入，输出对应区域的SDF。

[0036] 步骤五：将步骤一划分得到的每个正方体区域通过步骤二至四得到对应输出的SDF，将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF。融合分块SDF的公式为：

[0037]

[0038] 表示融合后的SDF,集合I表示需要融合的区域中分块的SDF集合，D表示的是分块的SDF中心到当前采样区域中心的距离。即距离越小，权重越高，生成的SDF可靠性越高。

[0039] 步骤六：对SDF使用多分辨率的Marching Cubes算法得到最后的面片结果。如图2流程图最后一步所示，Marching Cubes算法是通过片面匹配的方法将SDF转化为面片数据的算法，多分辨率的Marching Cubes就是可以对不均匀的SDF进行匹配的算法。

[0040] 以上所述为本发明的主要内容，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

标题	发布/更新时间	阅读量
一种基于计算机软件设计的辅助装置	2020-05-11	174
神经操作系统	2020-05-11	145
多人协同设计的方法、装置、设备及计算机可读存储介质	2020-05-11	637
一种图像数据处理方法及其所得像素图像与应用系统	2020-05-11	927
基于成组技术的产品零件分类编码系统构建方法	2020-05-12	162
一种风电叶片腹板模具逆向建模的制作方法	2020-05-08	746
一种基于脑-机接口系统辅助评估视觉定位的方法	2020-05-08	563
一种在电路板上定位感兴趣区域的方法和装置	2020-05-11	980
利用生成技术快速增材设计的框架	2020-05-11	311
一种航空公司商业智能信息管理系统	2020-05-08	261

一种基于深度学习的点云数据的分块面片重建方法

一种基于深度学习的点云数据的分块面片重建方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：