技术领域：
[0001] 本
发明涉及一种基于标记点的实时三维建模的方法，属于基于深度摄像头进行三维建模的
计算机视觉领域。背景技术：
[0002] 目前较为常用的三维建模方式有：基于激光
扫描仪测距进行的建模，基于
立体视觉法的建模以及基于结构光测的深度数据进行的建模。
[0003] 基于激光扫描仪的三维建模方式，通常扫描设备通过不断的对场景或目标物体发射激光，并通过反射光返回的时间来测定目标到设备之间的距离，通过大量高
密度的扫描，得到一组关于场景或目标物体的点
云，由于
采样密度通常非常高，可以通过直接显示三维点云，来显示出物体的形状，也可以通过插值拟合或其他方法，将所获得的点云转换为
三维网格，重构出目标几何来，再完成纹理映射，实现模型的建立，即减小了数据量，同时也可以获得一些基本的结构信息。
[0004] 基于立体视觉法的建模是另外一种常用的
三维重建方法。主要包括直接利用测距器获取距离信息、通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等三种方式。通过模拟人类视觉系统，基于
视差原理获取图像对应点之间的
位置偏差，恢复出三维信息。U.R.Dhond等人提出了基于层次处理的三目立体约束方法。二十世纪90年代末，涌现出诸如图像匹配的前沿
算法、遮挡处理算法等。M.Z.Brown等人总结了2000年到2010年间的三维视觉发展的总体概况，包括遮挡、配准和效率等的相关分析。
D.Scharstein等人比较了现阶段各种算法的性能。Hartley和O.Faugeras提出了基于多
帧的多视图几何方法，来恢复三维物体。Carsten Rother提出一种边恢复摄像机参数边三维重建的方法。
[0005] 基于结构光测的深度数据进行的建模是通过向表面光滑无特征的物体发射具有特征点的光线，依据
光源中的立体信息辅助提取物体的深度信息。具体的过程包括两个步驟，首先利用激光投影仪向目标物体投射可编码的光束，生成特征点；然后根据投射模式与投射光的几何图案，通过三
角测量原理计算摄像机
光心与特征点之间的距离，由此便可获取生成特征点的深度信息，实现模型重建。这种可编码的光束就是结构光，包括各种特定样式的点、线、面等图案。结构光法解决了物体表面平坦、纹理单一、灰度变化缓慢等问题。因为实现简单且
精度较高，所结构光法的应用非常广泛，目前已有多家公司生产了以结构光技术为
基础的
硬件设备，如PrimeSensor公司的PrimeSensor、微软公司的Kinect和华硕公司的Xtion PROLIVE等产品。
[0006] 近年来，随着低价、便携、高效的深度
传感器的出现，基于深度信息的三维重建受到越来越多的研究者的关注。
[0007] 2010年，Henry首先使用Kinect传感器完成了室内空间的重构。不过此时的三维模型还不够精细，表面附着了明虽黑斑
像素点，重建速度也非常缓慢，约为2fps(帧每秒)。这种方法的速度与精度都需要提高。
[0008] 2011年，Microsoft剑桥研究院Newcombe提出了KinectFusion项目。该项目旨在通过移动Kinect传感器，获取点云数据的坐标、法向量，利用
迭代最近点算法完成配准，最后用移动立方体方法生成表面，但此方法不适用于动态建模。
[0009] 2012年，Chatterjee采用Kinect建立了一个几何一致三维模型的系统，该系统采用自适应双边
滤波器来平滑含噪声的
深度图，采用全局
迭代最近点(Iterative Closest Point)：ICP配准方法实现精确和一致的对齐，最后，使用基于符号距离函数的标准流程来构建感兴趣目标的完整三维模型，从而融合对齐扫描。
[0010] 2013年，Chen设计实现了一个GPU辅助计算的Kinect三维重建系统。利用GPU显存和分层数据结构，可以达到对大型场景实时精细建模的目的。此方法为了加快运算速度，提高重建效率。范哲等人使用ICP算法来计算两组点云数据间的变换矩阵，借助于点云库(Point Cloud Library)：PCL进行三维点云数据的配准。
[0011] 2015年，Shi等人通过消除不必要的对应点对提出了三维建模解决方案，提高了点云配准的准确性。除此之外，他们还提出了一种闭环优化策略来消除ICP算法产生的累积误差。Mayoore等人提出了一种消除累积误差的全局对齐策略。另外，他们提出了一种纹理映射方法，它将每个点的
颜色复制到三角形网格上的
顶点，使重建模型更加精确。
[0012] 2016年，Ma等人提出了一种新的点云配准算法用于相邻视图云的配准，该算法采用同余球面策略搜索对应点。
[0013] 2017年，Martin提出了建立均匀栅格的研究思路来对三维重建中的稠密点云进行精简，对Z轴上数据到栅格的远近找出中值来代替所有点数据，但是仍然没能考虑原始点云的特征信息。
[0014] 综上所述，基于深度传感器的深度数据的三维建模方法与激光扫描、结构光扫描等建模方法具有低消耗、低成本、高性能、高精度的优点。三维建模技术在医学
治疗、文物保护、游戏开发、工业设计、航天航海等方面有着重要的作用。因此，基于深度传感器的深度数据的三维建模方法会越来越受到研究者的关注，必将有着广阔的应用空间。
[0015] 公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的
现有技术。发明内容：
[0016] 本发明的目的在于提供一种以深度传感器为例的三维建模方法和应用，从而克服上述现有技术中的
缺陷。
[0017] 为实现上述目的，本发明提供了一种基于标记点的实时三维建模方法和应用，该方法包括如下步骤：
[0018] 步骤1：获取点云数据和预处理；
[0019] 通过深度传感器捕捉
深度图像与彩色图像，利用转化算法找到两者之间的对应关系，从而生成点云数据并
可视化，去除点云数据中的背景和噪声；
[0020] 步骤2：提取标志点组建刚体；
[0021] 通过平面提取算法和提取密集区域策略将疑似标志点的点云分割提取出来，利用形状判决策略将标记点从疑似的点云集中提取出来，从而组建刚体。
[0022] 步骤3：进行配准，获得重建模型；
[0023] 通过获得的多点刚体本身组成的
坐标系和全局坐标系之间的
位姿关系，求出相邻视角之间的旋转平移矩阵，完成相邻视角之间的配准，将多帧视角点云进行配准融合获得重建模型。
[0024] 本发明进一步限定的技术方案为：
[0025] 进一步的，所述步骤1中，点云数据的获取是通过转化算法来寻找深度图像和彩色图像之间的关系，以及深度图像和空间点深度之间的对应关系，生成彩色点云数据。采用直通滤波器将物体初步和背景来分离出来。接下来通过平面检测算法的检测出平面的位置，根据点云距平面的距离将物体与背景进一步分割，最后通过
边缘检测算法将物体完全剥离出来。
[0026] 进一步的，所述步骤2中，运用平面提取算法将平面提取出来，并根据颜色提取出标记点点云。根据密集点云区域的策略将距离较近的一些点聚集为一个点云，将标记点点云分割为几个只含有单个标记点的点云，并根据形状判决策略消除对圆形区域的误判。提出扇区补偿法来解决标记点点云疏密不均导致圆心坐标不准的问题，使圆心坐标计算更加准确。
[0027] 进一步的，所述步骤3中，相邻帧的点云数据的配准是通过旋转平移矩阵完成的，旋转平移矩阵的计算则由多点刚体本身的坐标系与全局坐标系之间的位姿关系得来。与ICP算法不同，组成全局点云模型需要的数帧点云不需要位置接近，任意两帧之间点云都可以配准融合成全局点云模型，减少了点云配准的计算量。
[0028] 进一步的，所述步骤3中，任意两帧之间点云都可以配准融合成全局点云模型。
[0029] 进一步的，步骤1：获取点云数据和预处理；
[0030] 步骤1-1：获取点云数据；获取深度图像后，将深度图像的(u，v)坐标通过内外参数矩阵映射到世界坐标(x，y，z)，的到灰色三维点云；将彩色图作为纹理、映射到灰色点云上，最后就可以获得彩色点云；
[0031] 步骤1-2：预处理；获取的深度图像和RGB图像包含背景和噪声点云，这些点云会影响点云配准的精度；通过直通滤波器来初步滤除背景接着通过平面提取算法提取平面方程将平面和物体分割出来，分割的具体步骤如下：认为地平面上的点为内部点，其他点为外部点；取n个内部点表示为P1，P2，P3，……，Pn，将它们分成多组，P1，P2，……，Pr1；Pr1+1，Pr1+2，……，Pr2；Pr2+1，Pr2+2，……，Pn；每组的中心坐标计算公式如下：
[0032]
[0033] 这样，就可获得多个点 它们将用于计算平面方程ax+by+cz＝d，通过点到平面的距离将物体从背景中分离出来，最后，本发明通过边缘检测算法将物体完全剥离出来；
[0034] 步骤2：提取标志点组建刚体；
[0035] 步骤2-1：提取并分割标记点；通过之前提到的平面检测算法来检测到平面位置；因为标记点与平面有明显的颜色差异，通过滤波器来仅让特定颜色的点通过，从而提取标记点点云；通过提取密集点云区域的策略，将距离较近的一些点聚集为一个点云，将单个标记点点云从所有标记点点云中分割出来；
[0036] 步骤2-2：纠正标记点；白色平板上可能出现的污渍或者物体与平板的接缝处的颜色可能与标记点颜色相似，因此提取标记点点云时需要根据标记点特定形状来过滤其它噪点；采用基于形状判决的策略将标记点正确提取出来；具体为将圆片状点云分为多个区域，每个区域的面积都相同，由于点云中的点是大致均匀分布的，因此每个区域中的点数不会相差太大，通过判断这些区域的点数差值的绝对值就可以判断是否是本文需要的半径的圆片状标记点点云；
[0037] 步骤2-3：提取圆心坐标组成刚体；通过扇区补偿法弥补点云疏密不均以及部分缺失导致的计算误差，圆心的计算可以通过计算圆形区域的
重心得到；具体做法为：①将圆形按半径分为面积相等的内环、中环以及外环，然后将圆形分为多个扇形部分，这样内环、中环以及外环都被分为相应个区域；②分别对每个环的区域中的点数去掉一个最高值，去掉一个最小值，然后计算平均值，小于这个平均值的区域向其中加入点使其与平均值相等，大于这个平均值的区域向其中删除点使其与平均值相同；③重新计算点云的重心；
[0038] 步骤3：进行配准，获得重建模型；
[0039] 步骤3-1：相邻视角配准；采用基于多点刚体的配准方法即通过旋转平移矩阵来表示相邻视角之间位姿变换关系；
[0040] 配准的具体步骤为①根据参考帧的刚体的局部坐标系与全局坐标系之间的转换关系求出旋转平移矩阵；②再依据当前帧的局部坐标系和全局坐标系之间的关系，就可以完成当前帧点云和参考帧点云之间对应。
[0041] 步骤3-2：获得重建模型；将不同视角的点云融合在一起就可以获得重建的三维模型；任意两帧之间点云都可以进行配准融合成全局点云模型；最后还通过移动最小二乘滤波器来平滑融合后的点云模型。
[0042] 一种基于标记点在实时三维建模中的应用。
[0043] 与现有技术相比，本发明的有益效果为：
[0044] 1、本发明采用滤波器、平面提取算法和边缘检测算法能够准确地滤除背景和噪声，减少了接下来点云配准的计算量和错误率。
[0045] 2、本发明采用的密集点云区域提取策略和形状判决策略，能够准确的将标记点分割提取出来。
[0046] 3、本发明采用的多点刚体配准方法，不同视角的点云不需要位置接近，任意两帧[0047] 之间点云都可以配准融合成全局点云模型，使实时三维建模成为可能。
附图说明：
[0048] 图1为本发明的基于标记点的三维建模方法
框图。
[0049] 图2为本发明的预处理中滤除背景和异常点的效果图。
[0050] 图2(a)为深度传感器采集的原始点云数据。
[0051] 图2(b)为通过直通滤波器滤除后的效果。
[0052] 图2(c)为经过平面提取算法和边缘检测后提取的点云效果图。
[0053] 图3为本发明的构建的基于标记点的三维建模的实验场景图。
[0054] 其中，圆点为本发明中设置的标记点。
[0055] 图4为本发明的标记点提取结果图。
[0056] 图5为本发明的经过分区补偿后提取的圆心效果图。
[0057] 图5(a)为标记点点云疏密不均的情况。
[0058] 图5(b)为分区补偿后的标记点点云图。
[0059] 图5(c)为标记点的点云部分缺失的情况。
[0060] 图5(d)为分区补偿后的标记点点云图。
[0061] 图6为本发明的三只松鼠箱子的三维建模结果图。
[0062] 其中，图6(a)为三只松鼠箱子实物图。
[0063] 图6(b)为生成的箱子点云模型。
[0064] 图7为本发明的龙猫的三维建模结果图。
[0065] 图7(a)为龙猫实物图。
[0066] 图7(b)为生成的龙猫点云模型。
[0067] 图8为本发明的工具箱的三维建模结果图。
[0068] 图8(a)为工具箱实物图。
[0069] 图8(b)为生成的工具箱点云模型。具体实施方式：
[0070] 下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0071] 除非另有其它明确表示，否则在整个
说明书和
权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
[0072] 如图1所示，整个建模方法的步骤如下：
[0073] 步骤1：获取点云数据和预处理；
[0074] 步骤1-1：获取点云数据；获取深度图像后，将深度图像的(u，v)坐标通过内外参数矩阵映射到世界坐标(x，y，z)，这样就可以的到灰色三维点云。将彩色图作为纹理、映射到灰色点云上，最后就可以获得彩色点云。
[0075] 步骤1-2：预处理；获取的深度图像和RGB图像包含背景和噪声点云，这些点云会影响点云配准的精度。本发明通过直通滤波器来初步滤除背景如图2，接着通过平面提取算法提取平面方程将平面和物体分割出来，分割的具体步骤如下：认为地平面上的点为内部点，其他点为外部点。取n个内部点表示为P1，P2，P3，……，Pn，将它们分成多组，P1，P2，……，Pr1；Pr1+1，Pr1+2，……，Pr2；Pr2+1，Pr2+2，……，Pn；每组的中心坐标计算公式如下：
[0076]
[0077] 这样，就可获得多个点 它们将用于计算平面方程ax+by+cz＝d，通过点到平面的距离将物体从背景中分离出来，最后，本发明通过边缘检测算法将物体完全剥离出来，步骤效果图如图2。
[0078] 步骤2：提取标志点组建刚体；
[0079] 步骤2-1：提取并分割标记点；本发明通过之前提到的平面检测算法来检测到平面位置。因为标记点与平面有明显的颜色差异，本发明通过滤波器来仅让特定颜色的点通过，从而提取标记点点云。实验环境如图3。本发明通过提取密集点云区域的策略，将距离较近的一些点聚集为一个点云，将单个标记点点云从所有标记点点云中分割出来。
[0080] 步骤2-2：纠正标记点；白色平板上可能出现的污渍或者物体与平板的接缝处的颜色可能与标记点颜色相似，因此提取标记点点云时需要根据标记点特定形状来过滤其它噪点。本发明采用基于形状判决的策略将标记点正确提取出来。具体实现思路为将圆片状点云分为多个区域，每个区域的面积都相同，由于点云中的点是大致均匀分布的，因此每个区域中的点数不会相差太大，通过判断这些区域的点数差值的绝对值就可以判断是否是本文需要的半径的圆片状标记点点云。标记点提取效果如图4。
[0081] 步骤2-3：提取圆心坐标组成刚体；由于噪声的影响，分离出来的标记点可能会出现各区域疏密不太均匀，以及圆片边缘部分缺失等情况，会导致直接提取的重心偏离实际的圆心。本发明通过扇区补偿法弥补点云疏密不均以及部分缺失导致的计算误差，圆心的计算可以通过计算圆形区域的重心得到。具体做法为：①将圆形按半径分为面积相等的内环、中环以及外环，然后将圆形分为多个扇形部分，这样内环、中环以及外环都被分为相应个区域；②分别对每个环的区域中的点数去掉一个最高值，去掉一个最小值，然后计算平均值，小于这个平均值的区域向其中加入点使其与平均值相等，大于这个平均值的区域向其中删除点使其与平均值相同。③重新计算点云的重心，这样就可以实现弥补疏密不均以及部分缺失导致圆心计算误差大的情况。圆心提取效果如图5所示。
[0082] 步骤3：进行配准，获得重建模型；
[0083] 步骤3-1：相邻视角配准；关于相邻视角的配准，本发明提出了一种基于多点刚体的配准方法。本发明中配准即通过旋转平移矩阵来表示相邻视角之间位姿变换关系。
[0084] 配准的具体步骤为①根据参考帧的刚体的局部坐标系与全局坐标系之间的转换关系求出旋转平移矩阵；②再依据当前帧的局部坐标系和全局坐标系之间的关系，就可以完成当前帧点云和参考帧点云之间对应。
[0085] 步骤3-2：获得重建模型；本发明将不同视角的点云融合在一起就可以获得重建的三维模型。基于标记点的三维建模不需要位置接近，任意两帧之间点云都可以进行配准融合成全局点云模型。因此，本发明只需几帧点云就可以完成建模，大大减少了相邻视角点云配准的时间。本发明最后还通过移动最小二乘滤波器来平滑融合后的点云模型。建模效果如图6、7、8所示。
[0086] 综上所述，本发明通过深度传感器实现了实时的三维建模。为了完成三维建模，本发明通过深度传感器捕获放置在转盘上的物体的点云，还通过分割和预处理来滤除背景和异常点云。接着从视图点云中分割出单个标记点点云，并用分区补偿法来找出圆心，从而组建刚体。紧接着通过计算各个视角下的基于刚体本身建立的坐标系与全局坐标系之间的位姿关系来完成每一视角点云的配准。然后将多帧点云数据进行配准融合，就可以得到全局点云模型。最后通过实验验证了本发明提出的基于标记点的实时三维重建结果的准确性、实时性和鲁棒性。
[0087] 前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性
实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
