技术领域
[0001] 本
发明一种基于Kinect的手势追踪和精准指尖定位系统，属于基于手部运 动信息的
人机交互领域。
背景技术
[0002] 随着计算机技术和
传感器性能的不断进步，人机交互(Human-Computer Interaction)技术已发展到以人为核心的自然
用户界面(Natural User Interface) 交互阶段，要求机器能够像人类一样自然的与用户进行交流、互动。而日常中， 人类最常用的交流手段是视、听、说的结合，而手部在日常互动过程中起到了 至关重要的作用。相应的，基于手部运动的人机交互技术也在
自然用户界面交 互阶段不可或缺、应用前景广泛，但是由于每只手具有27个
自由度(DoF)且能 够在空间中自由旋转，所以实现高
精度的实时手部追踪仍然存在困难。
[0003] 随着
图像处理、
机器视觉、
人工智能等学科的不断发展，尤其是Microsoft 发布可以提供彩色数据、骨骼数据以及深度信息的Kinect传感器后，通过基于机 器视觉的方式获得手部运动状态信息成为可能。由于
光学传感器通过光线反射 时间计算被检测物体的参数，不需要佩戴额外的穿戴设备，因而基于Kinect采集 的信息进行的人机交互的是一种更加自然、也更加便捷的人机交互方式。现在 运用光学传感器是人机交互技术中最为前沿和热
门的领域之一，基于微软Kinect 的应用开发使人机交互可以从二维的平面互动扩展到三维的空间自由交互，并 且能够提供非
接触的交互体验，使用户在与机器的交互过程中更自由。
发明内容
[0004] 本发明的目的在于：针对
现有技术存在的
缺陷，提出了一种以Kinect为例 的基于Kinect的手势追踪和精准指尖定位系统和应用，该方法在用户手部运动 过程中提供实时、稳定、准确的手部特征构造，为基于手部运动信息的科研开 发提供了有效的数据来源，为基于手部运动信息的应用开发提供了可靠的交互 数据。
[0005] 为了达到以上目的，本发明提供了一种基于Kinect的手势追踪和精准指尖 定位系统，包括如下步骤，
[0006] 步骤1：原始数据优化；
[0007] 从Kinect中读取26个关
节点的深度信息和骨骼信息，先用前向运动学对手部 遮挡问题进行修复。得到修复后的骨骼关节点信息后，采用卡尔曼滤波
算法， 对追踪的手掌的运动信息进行平滑处理；
[0008] 步骤2：提取手部区域；
[0009] 根据Kinect提供的实时手掌坐标信息，采取级联实现的递归连续区域分析算 法从
深度图像中提取手部区域，并计算手掌心
位置；
[0010] 步骤3：指尖位置的准确获取；
[0011] 对已获得的手部轮廓区域，采用快速凸包算法，利用递归的方法排除凸包 内部的点；再根据手部凸包缺陷和掌心点之间的几何关系，过滤指尖近似点， 最后通过
曲率值检测获得精确的指尖位置。
[0012] 当前基于Kinect的手部运动信息的人机交互可以分为两类：基于视觉的方法 和基于模型的方法。由于考虑到实时性的要求，本发明选择了一种基于视觉的 追踪方法，而该中方法当前面临的挑战就是准确、稳健、高效地检测和追踪运 动中的各个手部参数。本发明能够再满足准确性的
基础上实时地实现手部追踪。
[0013] 进一步的，步骤1中的遮挡修复，是利用人体骨骼长度的不
变形以及关节运 动的连续性来修复遮挡或错误的关节点，并基于“无拐点”现象对虚假的关节 点进行排除。
[0014] 进一步的，所述步骤1中的数据平滑处理是利用卡尔曼
滤波器来预测修正掌 心点的位置，以减小环境与噪声对系统
稳定性的影响。
[0015] 进一步的，所述步骤2中的粗提取以卡尔曼滤波算法得到的掌心为中心，以 最大关节点间的骨架长度为半径，对所有的
像素点进行初步过滤，尽可能保留 与掌心深度值相近的点。
[0016] 进一步的，所述步骤2中的精提取采用了递归的方式对粗提取后的像素点进 行连通性分析，若周围8个像素点中某一点的深度值与当前像素点的深度值差小 于一定的
阈值，则认为两点连通，并将周围的像素点作为当前像素点，再次与 周围的像素点进行比较，逐层递归，直到将手部区域的像素点全部搜索出来。
[0017] 进一步的，所述步骤3中的获取手部轮廓区域选择了快速凸包算法，通过遍 历轮廓上的每个点，得到两个极端点，将整个凸包划分为上、下两个凸包。
[0018] 进一步的，所述步骤3中的指尖位置的准确获取包括分析手部凸包缺陷与掌 心点的几何关系和计算指尖点曲率值。为了提高算法效率，本发明根据手部凸 包缺陷与掌心点的几何关系来剔除指尖误差点，其中凸包缺陷点的选择标准是 两指尖中间的凸包缺陷最远点。选取曲率值小于60°并且是前后2j个点中曲率 值最小的点为准确的指尖点。
[0019] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0020] 1、本发明采用的数据优化方法能够消除深度传感器提供的原始数据的抖动， 并在手被部分遮挡而传感器无法准确定位的情况下预测用户手部的关节位置， 提高被追踪的关节点位置的精确度。
[0021] 2、本发明中提取手部区域采用的级联递归连续区域分析算法保留了原始数 据的更多有效信息，并大大提高了手部区域的提取效率，进一步提高了整个系 统的实时性。
[0022] 3、本发明提出的分析手部凸包缺陷与掌心点的几何关系和计算指尖点曲率 值的方法提高了指尖的获取效率，进一步提高了这个系统的准确性。
附图说明
[0023] 下面结合附图对本发明作进一步的说明。
[0024] 图1是本发明中实时手部追踪系统
框图。
[0025] 图2是本发明中基于卡尔曼滤波算法的手部位置信息追踪。
[0026] 图3是本发明中递归连通区域分析的思想。
[0027] 图4是本发明中快速凸包算法图。
[0028] 图5是本发明中指尖所在凸包缺陷示例图。
具体实施方式
[0029] 下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范 围并不受具体实施方式的限制。
[0030] 如图1所示，整个系统的步骤如下：
[0031] 步骤1：原始数据优化；
[0032] 步骤1-1：遮挡恢复；当手部被遮挡或部分遮挡时，深度传感器反馈的实 时数据存在剧烈的抖动，数据可信度不高，此时需要预测未被深度传感器
跟踪 的关节位置。本文采用深度数据与Kinect提供的骨骼数据相结合的方式，对遮 挡的手部关节点进行修复。由于人体的骨骼具有长度不变性，用手肘、手、手 腕、指尖构成关节链，计算出各个相邻关节间的长度即并将关节的长度与标准 的人体骨架进行比对作为遮挡关节修复的依据。已知空间中的两点A(xa,ya,za)、 B(xb,yb,zb)的坐标信息，由欧几里得度量可得骨骼长度公式：
[0033]
[0034] 利用骨骼的长度不变性以及正向运动学来实现对关节潜在位置的预测。
[0035] 步骤1-2：数据平滑；以Kinect为例，该种深度传感器采用光学反射成像， 因此在稳定性上易受环境与噪声的影响，HAND、HANDTIPS、THUMB关节点在追 踪过程中即使没有丢失，也存在较大的抖动。为了获取更稳定的追踪从而为应 用提供更可靠的数据来源，本发明采用卡尔曼滤波算法，对Kinect提供的关节 信息在修复之后进行进一步处理。
[0036] 由于Kinect提供每秒约30
帧的数据，而根据人体运动学约束，可认为在 常规运动中，在0.1秒时间内，人体关节点不会发生位置突变，即人体运动始 终保持连续的状态。因此，可使用3帧的数据对当前位置进行预测。在参数选 取时，本项目结合关节点本身的可信度进行确定，对于预测误差(Qk)取3， 测量误差(Rk)在关节点状态TRACKING_STATE为TRACKED(追踪到)时取2， INFERRED(预测)时取6，NOT_TRACKED(未追踪到)时取10。通过对参数的选 择，完成算法对于追踪状态可信度的自适应。在如图2所示的追踪过程中，从 Kinect读取、修复得到当前位置信息xk,yk，通过运动学分析，从多帧的数据 中获取速度信息 以及控制信息axk，ayk。控制矩阵Bk由运动学关系确 定，关系矩阵Fk描述当前变量对下一时刻变量的影响、Hk描述了目标变量与 Kinect读取的变量之间的关系。Pk为各变量之间的协方差矩阵，Rk为预测过程 中的高斯偏差，Kgain为卡尔曼增益，可由如下公式得到：
[0037]
[0038] 步骤2：提取手部区域；根据手部在运动中实时变化且目标区域相对集中 的特性，本发明采用基于目标区域连续特征的目标追踪实现手部区域的提取。
[0039] 步骤2-1：粗提取。在这一步中，我们选取步骤1中计算到的各个关节间 的骨架长度中的最大值作为分离手部的搜索半径，小于该搜索半径的像素点作 为下一步细提取的输入，大于该范围的默认为
背景像素点，将其深度值置为0。 该搜索半径的定义如下：
[0040]
[0041] 步骤2-2：采用递归方式在3D空间上完成连续区域分析，精准提取手部区 域。如图3所示，X表示
种子像素点，通过比较种子像素点与周围8个像素点 的深度差，来判断相邻两点是否属于连续区域，对于连续区域的点进一步判断， 层层递归，直至得到搜索区域内在
3D空间上所有连续的像素点。该算法保留了 手部区域的三维连通信息，为下一步掌心与指尖定位做出了贡献。
[0042] 步骤2-3：手掌心点的确定。在上一步中保留了手部区域连通关系的三维 信息，可以有效解决手部在空间中运动时因张闭、旋转、自遮挡带来的像素点 重叠而导致的追踪手部区域信息与实际信息之间的偏差对掌心位置计算的影响。 因此对于手部掌心位置的实时获取只需要通过对实时获取的手部区域进行三维 空间的质心进行计算。
[0043] 步骤3：指尖位置的准确获取。
[0044] 步骤3-1：获取手部轮廓的凸包：常用的凸包算法Graham扫描法主要是通 过排序和扫描来实现，需要的时间很长，不能满足实时性的要求。针对上述问 题，本发明采用一种快速凸包算法，利用递归的方法逐步排除凸包内部的点， 具体算法流程如下：如图4所示，遍历轮廓上的每个点，根据坐标判断求出两 个极端点A、B，将整个凸包划分为上下两个凸包；为了提出凸包内部的干扰点， 分别对AB上下方的点求凸包，进行递归。递归的过程为：找到距离直线AB最 远的点C，链接AC和BC，再对A、C作为极端点的凸包进行递归，依次循环下 去，直到无法找到两极端点对应的凸包，则最远点即为凸包
顶点。
[0045] 步骤3-2：筛除指尖近似点：指尖检测的难点就是如何筛除指尖近似点， 针对上述问题，本发明通过分析手部凸包缺陷和掌心指尖的几何关系来筛除指 尖近似点。如图5所示，指尖点A、D和其中间的凸包缺陷最远点B构成一个三
角形ABD，A、B及掌心点C构成三角形ABC，点B靠近掌心圆的圆周或者圆周 上。根据
手指的特征，AB和BD过短时，A、D不是指尖点；AC和BC长度接近 时，A不是指尖点；AB和BD程度接近时，A、D为指尖点。
[0046] 经过实验测试具体的指尖筛除条件如下：(1)当AC>BC时，
[0047] 0.1R≤BC≤1.3R；当AC
[0048] (2)MIN(BC，AC)/MAX(BC,AC)≤0.8；(3)AB≥10，BD≥10，
[0049] MAX(AB,BD)/MIN(AD,BD)≥0.8。
[0050] 步骤3-3：确定指尖点：将满足以上条件的指尖点存储到点集AP中，然后 以AP中的点Pi为原点，在手部轮廓中各取Pi之前和之后的J点，并计算这2j 个点的K曲率值，即向量AiAi-j与AiAi+j之间的夹角的余弦值。若点Pi的K曲率 值小于60°，并且是2j个点中K曲率值最小的点，则其为准确的指尖点。
[0051] 综上所述，本发明通过Kinect实时捕捉手部位置、骨架和指尖来追踪手部 运动。为了修正复杂背景和光照对传感器提供的原始数据的影响，本发明添加 了遮挡恢复和抖动消除的步骤，并将卡尔曼滤波算法应用于跟踪用户关节的运 动以及未跟踪关节的预测，随后根据准确性和鲁棒性要求先计算手部区域凸包， 再滤除指尖近似点，最后确定指尖点的方案，根据实时性要求，提出了基于手 部骨骼点的特征提取，提高了算法的运行效率。最后通过实验验证了本发明提 出的实时手部运动追踪系统获取的结果的准确性、实时性和鲁棒性。
[0052] 以上所述仅为本发明的一个具体
实施例，并不用以限制本发明，凡在本发 明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发 明的保护范围之内。
