技术领域
[0001] 本
发明逆向工程技术领域，特别是涉及一种KinFu的点云辅助配准装置及其方法。
背景技术
[0002] 在逆向工程，
计算机视觉，文物数字化等领域中，由于点云的不完整，旋转错位，平移错位等，使得要得到的完整的点云就需要对局部点云进行配准，为了得到被测物体的完整数据模型，需要确定一个合适的
坐标系，将从各个视
角得到的点集合并到统一的坐标系下形成一个完整的点云，然后就可以方便进行
可视化的操作，这就是点云数据的配准。目前，点云配准已广泛用于逆向工程三维模型重建、飞机、
汽车覆盖件数字化装配、VR(Virtual Reality)游戏等。
[0003] Kinect V2为近几年微软公司推出的一款体感设备，其采用时间飞行获取被测物体的
深度图像，再结合距离值和相机坐标
位姿，可以获得点云数据。传统的光学扫描通常在被测物体上粘贴标记点，得到精确的点云配准。目前常使用Kinect V2获取点云数据，采用Kinect Fusion的方法，简称KinFu，由于没有标记点辅助，手持Kinect V2存在抖动或者移动过快距离过大情况，造成点云的配准成功率较低，配准
精度较低，导致模型重构失败，需要建模人员在逆向工程
软件中进行大量交互操作，如人工配准、孔洞修补，而点云自动配准的成功率大大决定了后续的工作量。此外，使用KinFu多视点云配准时，若环境主要由平行平面构成，在建模过程中经常会出现相机
视野范围内的环境空间限制不全面，导致KinFu中的ICP
算法无法收敛，在不断创建新场景时累积误差比较严重，进而导致整个建模过程的中断。
申请号为2014103549129的中国
专利申请“Kinect与关节臂结合的复合式测量和
三维重建方法”中提到将关节臂与Kinect结合使用的方法，但所采用是两台设备独立测量，然后将三维点云数据融合，由于kinect和关节臂所测量数据精度相差较大，存在点云模型精度一致性问题。
发明内容
[0004] 为克服上述
现有技术存在的不足，本发明之目的在于提供一种KinFu的点云辅助配准装置及其方法，以解决使用KinFu多视点云配准存在的容易失效问题。
[0005] 为达上述及其它目的，本发明提出一种KinFu的点云辅助配准装置，所述装置从上至下包括Kinect相机部件、
垫块、Kinect麦克
风部件、第一紧固装置、
手柄、第二紧固装置、头关节以及关节臂，所述垫块，安装在所述Kinect相机部件与所述Kinect麦克风部件之间，以防止相机与麦克风部件的相对转动。
[0006] 优选地，所述手柄与Kinect相机部件、垫块通过第一紧固装置连接固定。
[0007] 优选地，所述手柄下端与头关节通过第二紧固装置连接固定。
[0008] 优选地，所述关节臂采用6
自由度的关节臂，所述头关节位于所述关节臂末端。
[0009] 优选地，所述第一紧固装置与第二紧固装置为螺钉，所述垫块为C型垫块。
[0010] 为达到上述目的，本发明还提供一种KinFu的点云辅助配准装置的点云辅助配准方法，包括如下步骤：
[0011] 步骤S1，采用LM-ICP法预测相机的位姿S，并计算前后
帧相机的相机位姿S的变化量δ1；
[0012] 步骤S2，将相机位姿变化量δ1与给定的第一
阈值t1进行比较；
[0013] 步骤S3，若相机位姿变化量δ1大于给定的第一阈值t1，则利用所述点云辅助配准装置的关节臂的D-H模型计算出新的6自由度位姿P，并获取新点云数据，返回步骤S1进行下一帧；
[0014] 步骤S4，若相机位姿变化量δ1小于给定的第一阈值t1，则计算当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2；
[0015] 步骤S5，将当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2与给定的第二阈值t2进行比较，根据比较结果使用相机位姿S去获取点云数据，并用于与重建点云模型进行TSDF点云数据融合，或确定本次预测失败，进入下一次循环。
[0016] 优选地，步骤S1进一步包括：
[0017] 步骤S100，利用所述关节臂的D-H模型计算相机的6自由度位姿Pk，利用所述6自由度位姿Pk获取初始已重建点云模型，初始化帧号k＝1；
[0018] 步骤S101，根据Kinect内参数从k帧深度数据中计算三维点云
顶点Vk和法矢图Nk；
[0019] 步骤S102，采用LM-ICP算法，通过已重建的点云模型与k+1帧点云顶点Vk和法矢图Nk进行配准，获取k+1帧的相机位姿Sk+1；
[0020] 步骤S103，计算k+1帧相机位姿Sk+1与k帧相机位姿Sk的变化量δ1。
[0021] 优选地，于步骤S3中，利用关节臂的D-H模型计算相机的6自由度位姿Pk+1，利用6自由度位姿Pk+1获取点云k+1帧点云数据，与已重建的点云模型进行粗精配准后，令k＝k+1，返回步骤S101。
[0022] 优选地，步骤S5进一步包括：
[0023] 步骤S500，若当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2小于给定的第二阈值t2，则利用k+1帧的相机位姿Sk+1，获取准确的k+1帧点云顶点Vk和法矢图Nk进行TSDF点云数据融合，并判断扫描是否结束，若未结束，则k加1返回步骤S101进入下一次循环；若结束，则输出已重建的点云模型。
[0024] 步骤S501，若当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2大于给定的第二阈值t2，则判断本次相机位姿S预测失败，则k不加1并返回步骤S101进入下一次循环。
[0025] 优选地，所述变化量δ1与偏差δ2通过下式计算获得：
[0026] δ＝|OkOk+1|+α·(|Ok+1Xk+1-OkXk|+|Ok+1Yk+1-OkYk|+|Ok+1Zk+1-OkZk|)[0027] 其中，α为权重系数，用于调节坐标系平动和转动的变化差异，O为坐标原点，(X，Y，Z)为相机的坐标
位置。
[0028] 与现有技术相比，本发明一种KinFu的点云辅助配准装置及其方法通过将Kinect V2相机部件通过机械联接方式固定在关节臂上，并采用LM-ICP预测相机的位姿S，相比于原KinFu算法中的ICP算法，具有更好的鲁棒性和收敛精度，本发明通过采用两个阈值分别对相机位姿变化量以及自由度位姿偏差进行比较处理，可使Kinect V2实现大位移、视角跳跃、抖动情况下正常获取点云数据，解决了现有技术使用KinFu多视点云配准存在的容易失效问题。
附图说明
[0029] 图1为本发明一种KinFu的点云辅助配准装置的整体示意图；
[0030] 图2为本发明具体
实施例中kinect V2与关节臂末端安装示意图；
[0031] 图3为本发明一种KinFu的点云辅助配准装置的点云辅助配准方法的步骤
流程图；
[0032] 图4为本发明具体实施例中点云辅助配准方法的流程图；
[0033] 图5为本发明具体实施例中坐标系变化量示意图。
具体实施方式
[0034] 以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本
说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0035] 图1为本发明一种KinFu的点云辅助配准装置的整体示意图，图2为本发明具体实施例中kinect V2与关节臂末端安装示意图。如图1及图2所示，本发明一种KinFu的点云辅助配准装置，其从上至下包括Kinect相机部件1、垫块2、Kinect麦克风部件3、第一紧固装置4、手柄5、第二紧固装置6、头关节7以及关节臂8，在本发明具体实施例中Kinect相机部件1采用Kinect V2相机，Kinect麦克风部件3采用Kinect V2麦克风，垫块2为C型垫块，安装在Kinect相机部件1与Kinect麦克风部件3之间，以防止相机与麦克风部件的相对转动，手柄5与Kinect相机部件1、垫块2通过第一紧固装置4连接固定，手柄5下端与头关节7通过第二紧固装置6连接固定，本发明通过设置手柄
支撑Kinect V2，符合人体工程学，可以降低长时间手持扫描测量的疲劳程度，改变原直接手持Kinect V2的测量方式，头关节7位于关节臂8末端，较佳地，关节臂8可采用6自由度的关节臂，以保证手持Kinect V2相机扫描测量的灵活性。在本发明具体实施例中，第一紧固装置4与第二紧固装置6为螺钉，手柄5下端还设有
螺纹孔，本发明之点云辅助配准装置具有拆装方便，使用简单的优点。
[0036] 对于高精度测量场合，一般地，关节臂每次测量前需要标定杆长、测头等参数。由于Kinect V2本身测量精度不高，本装置使用前无需参数标定，也可保持Kinect V2的点云数据精度，降低对操作者的经验需求。
[0037] 图3为本发明一种KinFu的点云辅助配准装置的点云辅助配准方法的步骤流程图。如图3所示，本发明一种KinFu的点云辅助配准装置的点云辅助配准方法，包括如下步骤：
[0038] 步骤S1，采用LM-ICP(Levenberg-Marquardt Iterative Closest Point，最早由Fitzgibbon提出)法预测相机的位姿S(本发明中，相机位姿S包括坐标值和单位方向向量)，并计算前后帧相机的相机位姿S的变化量δ1。在本发明具体实施例中，相机采用的是Kinect V2相机，本发明中采用LM-ICP(Levenberg-Marquardt Iterative Closest Point)算法预测相机的位姿S(坐标值和方向向量)，区别于原KinFu算法中的ICP算法，其鲁棒性和收敛精度则更好。
[0039] 具体地，步骤S1进一步包括：
[0040] 步骤S100，利用所述点云辅助配准装置的关节臂的D-H(Denavit-Hartenberg)模型计算Kinect V2相机6自由度位姿Pk，利用该6自由度位姿Pk获取初始已重建点云模型，这里初始化帧号k＝1；
[0041] 步骤S101，根据Kinect内参数从k帧深度数据中计算三维点云顶点Vk和法矢图Nk；
[0042] 步骤S102，采用LM-ICP算法，通过已重建的点云模型与k+1帧点云顶点Vk和法矢图Nk进行配准，获取k+1帧的相机位姿Sk+1；
[0043] 步骤S103，计算k+1帧相机位姿Sk+1与k帧相机位姿Sk的变化量δ1。
[0044] 在本发明具体实施例中，k+1帧相机位姿Sk+1与k帧相机位姿Sk的变化量δ1可由如下公式获得：
[0045] δ＝|OkOk+1|+α·(|Ok+1Xk+1-OkXk|+|Ok+1Yk+1-OkYk|+|Ok+1Zk+1-OkZk|)[0046] 其中α为权重系数，用于调节坐标系平动和转动的变化差异，α默认取值1。
[0047] 步骤S2，将相机位姿变化量δ1与给定的第一阈值t1进行比较，以通过相机位姿变化量δ1判断手持Kinect V2移动过快或距离过快。
[0048] 步骤S3，若相机位姿变化量δ1大于给定的第一阈值t1，表示手持Kinect V2移动过快或距离过快，则利用所述点云辅助配准装置的关节臂的D-H(Denavit-Hartenberg)模型计算出新的6自由度位姿P(本发明中，6自由度位姿P包括坐标值和单位方向向量)，并获取新点云数据，返回步骤S1进行下一帧。具体地说，利用关节臂的D-H模型计算相机6自由度位姿Pk+1，利用Pk+1获取点云k+1帧点云数据，与已重建的点云模型进行粗精配准后，即k＝k+1，返回步骤S101。
[0049] 步骤S4，若相机位姿变化量δ1小于给定的第一阈值t1，表示手持Kinect V2移动的不快，相机位姿S可靠性较高，则计算当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2。
[0050] 在本发明具体实施例中，相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2也由下式获得：
[0051] δ＝|OkOk+1|+α·(|Ok+1Xk+1-OkXk|+|Ok+1Yk+1-OkYk|+|Ok+1Zk+1-OkZk|)[0052] 其中α为权重系数，用于调节坐标系平动和转动的变化差异，α默认取值1，O为坐标原点，(X，Y，Z)为相机的坐标位置。
[0053] 步骤S5，将当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2与给定的第二阈值t2进行比较，根据比较结果使用相机位姿S去获取点云数据，并用于与重建点云模型进行TSDF点云数据融合，或确定本次预测失败，进入下一次循环。
[0054] 具体地，步骤S5进一步包括：
[0055] 步骤S500，若当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2小于给定的第二阈值t2，则利用k+1帧的相机位姿Sk+1，获取准确的k+1帧点云顶点Vk和法矢图Nk进行TSDF点云数据融合，并判断扫描是否结束，若未结束，则k加1返回步骤S101进入下一次循环；若结束，则输出已重建的点云模型。
[0056] 步骤S501，若当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2大于给定的第二阈值t2，则判断本次相机位姿S预测失败(一般手持抖动引起)，则k不加1返回步骤S101进入下一次循环。
[0057] 可见，在本发明中，设定了两个阈值第一阈值t1和第二阈值t2，当手持相机移动过快或距离过大，δ1大于阈值t1时，则介入节关臂辅助配准，当手持抖动显著，δ2大于阈值t2时，则判断当前所预测的点云数据无效，通过使用t1和t2，可使Kinect V2实现大位移、视角跳跃、抖动情况下正常获取点云数据，区别于原KinFu算法必须缓慢绕圈扫描的测量模式。
[0058] 图4为本发明具体实施例中点云辅助配准方法的流程图，图5为本发明具体实施例中坐标系变化量示意图。如图4及图5所示，在本发明具体实施例中，点云辅助配准过程如下：
[0059] 1、利用关节臂的D-H模型计算Kinect V2相机6自由度位姿Pk，利用Pk获取初始已重建点云模型，这里初始化帧号k＝1；
[0060] 2、根据Kinect内参数从k帧深度数据中计算三维点云顶点Vk和法矢图Nk；
[0061] 3、采用LM-ICP算法，通过已重建的点云模型与k+1帧点云顶点Vk和法矢图Nk进行配准，获取k+1帧的相机位姿Sk+1，并计算k+1帧相机位姿Sk+1与k帧相机位姿Sk的变化量δ1；
[0062] 4、将相机位姿变化量δ1与给定的第一阈值t1进行比较；
[0063] 5、若相机位姿变化量δ1大于给定的第一阈值t1，则利用关节臂的D-H模型计算相机6自由度位姿Pk+1，利用Pk+1获取点云k+1帧点云数据，与已重建的点云模型进行粗精配准后，即k＝k+1，返回2。
[0064] 6、若相机位姿变化量δ1小于给定的第一阈值t1，则计算当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2。
[0065] 7、将当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2与给定的第二阈值t2进行比较；
[0066] 8、若偏差δ2小于给定的第二阈值t2，则利用k+1帧的相机位姿Sk+1，获取准确的k+1帧点云顶点Vk和法矢图Nk进行TSDF点云数据融合，并判断扫描是否结束，若未结束，则k加1返回2进入下一次循环；若结束，则输出已重建的点云模型。
[0067] 9、若当前帧相机6自由度位姿Pk+1和相机位姿Sk+1的偏差δ2大于给定的第二阈值t2，则判断本次相机位姿S预测失败(一般手持抖动引起)，则k不加1返回2进入下一次循环。
[0068] 综合所述，本发明一种KinFu的点云辅助配准装置及其方法通过将Kinect V2相机部件通过机械联接方式固定在关节臂上，并采用LM-ICP预测相机的位姿S，相比于原KinFu算法中的ICP算法，具有更好的鲁棒性和收敛精度，本发明通过采用两个阈值分别对相机位姿变化量以及自由度位姿偏差进行比较处理，可使Kinect V2实现大位移、视角跳跃、抖动情况下正常获取点云数据，解决了现有技术使用KinFu多视点云配准存在的容易失效问题。
[0069] 上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如
权利要求书所列。
