技术领域
[0001] 本
发明属于
计算机视觉与
机器学习领域，更具体地，涉及一种基于深度图像的帕金森手部运动量化分析方法和系统。
背景技术
[0002] 早期帕金森的发病症状并不明显，传统的诊断方式需要经过一系列判断。其中，有一个关键环节是基于一系列
指定动作的完成状况进行判定。传统的诊断方式之一是通过帕金森评定量表UPDRS对患者一一进行评估。医生依据帕金森评定量表指导患者完成动作，然后依据患者的完成情况进行逐项打分，大概需要30分钟甚至更久。期间可能因为身体协调性、紧张等因素受到来自自我怀疑和医生言语带来的心灵伤害。这种诊断的方式依赖语言沟通，时间成本较高，并且评分主要依赖医生的肉眼观察，如动作的距离、幅度、
频率等，缺乏量化指标，有可能出现因主观性导致的偏差。
[0003]
现有技术帕金森手部运动分析主要分为两种：1是利用彩色和深度图像作为输入，对手部中心的三维
位置变化做出分析。
专利CN105701806A基于深度图像的帕金森震颤运动特征检测方法及系统，被检测者佩戴纯色彩色手套，由检测者人工选择画面中被检测者的手部大致位置，通过Kinect同时获取彩色图像和深度图像信息，通过彩色
图像识别定位手部位置，通过深度图像转换获取空间位置信息。识别过程中利用彩色手套进行标记，通过
色调过滤技术和区域生长
算法结合完成，每一
帧都依据上一帧的识别结果进行预测，确定参考点后完成识别。转换过程中，识别结果需从彩色图像中的二维坐标转换为深度图像中对于手部位置的三维坐标，选择左上左下右上右下四个
顶点及中心点进行记录，四个顶点代表每一帧中手部运动时手掌所在平面，中心点代表手部空间运动轨迹和震颤情况，处理数据文件，分析拟合得到周期信息。2是利用彩色图像作为输入，定位手部关
节点的二维平面位置，进而实现对手部动作的评估。腾讯医疗
人工智能实验室推出了一项AI辅助诊断
帕金森病的新技术，基于无可穿戴
传感器的运动视频分析技术，针对帕金森病人的运动视频自动实现帕金森评定量表UPDRS评分。简单来说，用户无需穿戴任何传感器，仅需通过摄像头拍摄(普通智能手机即可满足)，做一些帕金森评定量表的简单动作，如伸掌握拳，手部轮替等动作，系统可识别运动视频中的身体部位的关键节点，定量分析动作指标，完成诊断过程。
[0004] 然而，前一种技术仅分析了手部中心点的三维位置变化情况，未能对手部的其他运动特性做出评估；后一种技术利用的是二维关节点的信息，不能反映手在物理空间的三维运动特性，评估精准度差。这两种技术都用到彩色图像，无法保护患者的隐私。
发明内容
[0005] 针对现有技术无法保护患者隐私、运动评估准确度差的问题，本发明提供了一种基于深度图像的帕金森手部运动量化分析方法和系统，其目的在于基于深度图像的分析，有效保护病人隐私；基于关节点在物理空间的三维运动做手部运动的量化分析，并根据连续帧之间的时序信息和手部
姿态的先验知识，对所有帧的所有手部关节点的3D坐标进行整体优化，提高评估精准度。
[0006] 为实现上述目的，按照本发明的第一方面，提供了一种基于深度图像的帕金森手部运动量化分析方法，该方法包括以下步骤：
[0007] S1.被检测者按照帕金森病评量表要求做出手部动作，在此期间获取被检测者的多帧深度图像，并识别每帧深度图像中手部质心的3D坐标；
[0008] S2.根据手部质心的3D坐标，对各帧深度图像进行手部点
云和噪声点云的分割；
[0009] S3.基于单帧深度图像中的手部点云，预测各帧深度图像中手部各关节点的3D坐标；
[0010] S4.根据连续帧之间的时序信息和手部姿态的先验知识，对所有帧的所有手部关节点的3D坐标进行整体优化；
[0011] S5.根据被检测者按照帕金森病综合评量表所做手部动作的运动特性，根据优化后的关节点3D坐标，提取手部运动特征；
[0012] S6.利用训练好的XGBoost分类器，对提取的手部运动特征进行分类，给出相应的评分结果。
[0013] 具体地，步骤S2包括以下步骤：
[0014] S21.将各帧深度图像中具有深度值的所有
像素点转化为空间中的3D坐标；
[0015] S22.定义以手部质心为中心的3D目标框，将目标框之外的点云当作噪声点云剔除，将目标框之内的点云当作手部点云保留。
[0016] 具体地，步骤S4包括以下步骤：
[0017] S41.计算被测者的手部骨骼长度比例
[0018] S42.根据连续帧之间的时序信息，建立优化目标函数ET(X，β)，加入连续帧之间的时序平滑约束，X表示所有帧中21个关节点的3D坐标；
[0019] S43.根据手部姿态的先验知识，建立优化目标函数EP(X，β)，加入手部姿态先验和位置偏好的约束；
[0020] S44.对视频中所有帧的手部关节点的3D坐标以及参数β进行整体优化，使得优化目标函数E(X，β)＝ET(X，β)+EP(X，β)最小。
[0021] 具体地，β的具体计算方法为：
[0022]
[0023]
[0024] 其中，j＝(i-1)*4+k，Bi，k表示第i根
手指第k节骨骼的实际长度，i∈{1，2，3，4，5}分别表示大拇指、食指、中指、无名指、小拇指，k∈{1，2，3，4}分别表示从
手腕关节点到指尖关节点的4节骨骼，Btotal表示所有骨骼的长度总和。
[0025] 具体地，优化目标函数ET(X，β)计算公式如下：
[0026]
[0027] 其中，ρ为鲁棒的Huber误差函数， 表示第t帧第i个关节点的3D坐标，T表示
视频帧数，J表示定义的手部关节点个数， 表示由第t帧手部关节点计算得到的
自由度，λ1、λ2为设置的超参数。
[0028] 具体地，优化目标函数EP(X，β)计算公式如下：
[0029]
[0030]
[0031]
[0032] 其中，T表示视频帧数，J表示定义的手部关节点个数， 表示由第t帧手部关节点计算得到的自由度，EJ(θ)为高斯混合模型的负对数似然函数，P表示高斯模型的个数，gp表示第p个高斯模型的权重，μp，∑p表示第p个高斯模型的均值和协方差，λI、λβ为设置的超参数， 表示第t帧第i个关节点的3D坐标，上标～表示对应变量的预测结果。
[0033] 具体地，步骤S5具体为：当指定动作为手指拍打时，截取手指拍打十次的全部时间序列，对计算的距离向量D＝(d1，d2，….，dT)T进行离散傅里叶变换，得到在不同频率上的固定长度的幅值响应向量F＝(f1，f2，…，fN)T，向量F的每个分量表示距离向量D在该频率下的幅值大小，其中，第t帧中拇指指尖和食指指尖的实际物理距离分别表示第t帧中预测得到的拇指和食指指尖关节点的3D坐标，T表示视频帧数。
[0034] 具体地，步骤S6中所述XGBoost分类器通过以下方式训练：
[0035] (1)对采集到的真实的帕金森病样本的评分结果，利用低秩分解进行数据清洗操作；
[0036] (2)利用得到的量表中不同的手部动作特征，与相应的经过数据清洗后的专家评分结果，训练XGBoost分类器。
[0037] 为实现上述目的，按照本发明的第二方面，提供了一种基于深度图像的帕金森手部运动量化分析系统，所述系统包括：
[0038] 深度图像获取模
块，用于在被检测者按照帕金森病评量表要求做出手部动作期间，获取被检测者的多帧深度图像，并识别每帧深度图像中手部质心的3D坐标；
[0039] 手部点云分割模块，用于根据手部质心的3D坐标，对各帧深度图像进行手部点云和噪声点云的分割；
[0040] 关节点预测模块，用于基于单帧深度图像中的手部点云，预测各帧深度图像中手部各关节点的3D坐标；
[0041] 整体优化模块，用于根据连续帧之间的时序信息和手部姿态的先验知识，对所有帧的所有手部关节点的3D坐标进行整体优化；
[0042] 手部运动特征提取模块，用于根据被检测者按照帕金森病综合评量表所做手部动作的运动特性，根据优化后的关节点3D坐标，提取手部运动特征；
[0043] XGBoost分类器，用于对提取的手部运动特征进行分类，给出相应的评分结果。
[0044] 为实现上述目的，按照本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有
计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于深度图像的帕金森手部运动量化分析方法。
[0045] 总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
[0046] (1)针对现有技术均采用彩色图像导致患者隐私暴露的问题，本发明获取被检测者的多帧深度图像，深度图像不能准确辨别个体身份，可有效保护病人隐私；深度图像可获得手部可见表面各点距离相机的距离，有利于捕获手的空间结构与实际运动特征。
[0047] (2)本发明利用手部各关节点的3D坐标，提取手部运动特征，提取到的运动特征能够反映手在真实物理空间中运动变化，具有实际物理含义，能够有效提高手部运动的量化分析精准度。
[0048] (3)本发明根据连续帧之间的时序信息和手部姿态的先验知识，对所有帧的所有手部关节点的3D坐标进行整体优化。在优化的过程中，考虑手部自由度的先验以及骨骼长度的比例关系，对单帧的手部姿态进行更加精准可靠解析的同时，还能够对帧间误差带来的关节点抖动现象实现较好的平滑效果，有效提高手部运动的量化分析精准度。
附图说明
[0049] 图1为本发明
实施例提供的一种基于深度图像的帕金森手部运动量化分析方法
流程图；
[0050] 图2为本发明实施例提供的手部运动样本采集过程示意图；
[0051] 图3为本发明实施例提供的采集到的帕金森病患者手部运动的深度图像；
[0052] 图4为现有技术中与图3对应的彩色图像；
[0053] 图5为本发明实施例提供的分割出的手部点云在2D深度图像上的成像结果；
[0054] 图6为本发明实施例提供的手部点云在3D空间的示意图；
[0055] 图7为本发明实施例提供的预测的3D关节点坐标在2D图像上的投影结果；
[0056] 图8为本发明实施例提供的手部骨骼定义示意图；
[0057] 图9为本发明实施例提供的手部关节和自由度分布示意图；
[0058] 图10(a)为本发明实施例提供的针对手部拍打动作拇指与食指指尖的距离dt随帧数t变化示意图；
[0059] 图10(b)为本发明实施例提供的针对手部拍打动作不同频率上的固定长度的幅值响应。
具体实施方式
[0060] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0061] 如图1所示，本发明提出一种基于深度图像的帕金森手部运动量化分析方法，该方法包括以下步骤：
[0062] 步骤S1.被检测者按照帕金森病评量表要求做出手部动作，在此期间获取被检测者的多帧深度图像，并识别每帧深度图像中手部质心的3D坐标。
[0063] 利用深度摄像机，例如IntelSR300，获取帕金森病患者手部运动的立体成像信息，采集过程如图2所示，帕金森病患者正对摄像机，在相机的有效成像范围之内，按照要求做出MDS-UPDRS帕金森病综合评量表中的手部动作。采集到的深度图像如图3所示，
图像采集过程中，患者掌心最好正对相机，这样可以使手部成像
质量较好。与图4所示的彩色图像相比，深度图像不能准确辨别个体身份，可有效保护病人隐私。并且深度图像可以获得手部可见表面各点距离相机的距离，有利于捕获手的空间结构与实际运动特征。
[0064] 在获取深度图像的同时，利用相应的
软件开发包(例如IntelRealSenseSDK2.0)自带的
跟踪检测算法，或者利用其他的图像算法，例如DeepPrior++中采用的
阈值分割和位置修正的方法，得到每帧深度图像中手部质心在相机
坐标系下的3D坐标。
[0065] 步骤S2.根据手部质心的3D坐标，对各帧深度图像进行手部点云和噪声点云的分割。
[0066] 利用手部中心在相机坐标系下的3D坐标，根据手部实际大小定义物理空间范围，将范围之外不属于手部的点云的噪声点云删除。
[0067] S21.将各帧深度图像中具有深度值的所有像素点(u，v，d)，利用相机参数，转化为空间中的3D坐标(x，y，z)，其中，u，v表示该像素点在图像平面内的2D坐标，d表示该像素点对应的深度值；x，y，z表示该点云在相机坐标系下3D坐标。
[0068] 在不考虑相机的成像畸变的前提下，转换公式为：
[0069]
[0070] 其中，ppx、ppy为相机的
光心在图像中对应的横纵坐标，fx、fy分别是相机在X、Y轴方向的焦距。
[0071] S22.基于手部质心的3D坐标，从转化后的3D空间内将手部点云分割出来。
[0072] 由于手在运动过程中会出现各种形态，不能保证掌心一直正对相机。为了在3D空间内将每帧图像中干净的手部点云分割出来，在获取的手部质心的3D坐标
基础上，定义了一个以手部质心为中心的3D目标框，将目标框之外的点云当作噪声点云剔除，去除噪声点云在后续步骤中造成的干扰。本实施例中优选3D目标块大小为边长20～30厘米的立体框。分割出的干净手部点云在2D深度图像上的成像结果如图5所示，图6为手部点云在3D空间的示意图，对应坐标为点云在相机坐标系下的实际坐标，单位为毫米。
[0073] 步骤S3.基于单帧深度图像中的手部点云，预测各帧深度图像中手部各关节点的3D坐标。
[0074] 步骤S3包括以下步骤：
[0075] S31.使用带有手部关节点标注的手部数据集，对3D手部姿态估计神经网络进行训练，得到训练好的3D手部姿态估计神经网络。
[0076] 为了使3D手部姿态估计方法的预测结果更加准确，模型的泛化能
力足够强，本发明利用相关的手部
数据库对神经网络进行训练，例如HANDS2017数据集，使模型能够学习到足够多的手部姿态。数据集中应该尽可能多的包含不同的手部样本，在手部大小、姿态、形状以及视
角等方面
覆盖范围较广，利用此类数据集对模型进行训练能够提高模型预测的准确性和鲁棒性。
[0077] 3D手部姿态估计神经网络包括但不限于：基于3D卷积的3DCNNs或者V2V-PoseNet方法、基于2D卷积的DeepPrior++方法以及基于点云的HandPointNet方法。
[0078] S32.对单帧深度图像中的手部点云，利用训练好的3D手部姿态估计神经网络，对手部关节点的3D坐标进行预测。
[0079] 预测的3D关节点坐标在2D图像上的投影结果如图7所示。
[0080] 步骤S4.根据连续帧之间的时序信息和手部姿态的先验知识，对所有帧的所有手部关节点的3D坐标进行整体优化。
[0081] 在优化的过程中，考虑手部自由度的先验以及骨骼长度的比例关系，对单帧的手部姿态进行更加精准可靠解析的同时，还能够对帧间误差带来的关节点抖动现象实现较好的平滑效果。
[0082] 步骤S4包括以下步骤：
[0083] S41.计算被测者的手部骨骼长度比例β。
[0084] 由于在整个序列中对同一个手的姿态进行解析，并且不同人之间的手部骨骼长度及比例存在差异，而同一个人的手部骨骼长度之间的应该保持不变，应此在上面的误差项中本发明使用单一的 来对手部骨骼长度比例进行一致性约束，β的具体计算方法为：
[0085]
[0086]
[0087] 其中，j＝(i-1)*4+k，Bi，k表示第i根手指第k节骨骼的实际长度，i∈{1，2，3，4，5}分别表示大拇指、食指、中指、无名指、小拇指，k∈{1，2，3，4}分别表示从手腕关节点到指尖关节点的4节骨骼，Btotal表示所有骨骼的长度总和。
[0088] S42.根据连续帧之间的时序信息，建立优化目标函数ET(X，β)，加入连续帧之间的时序平滑约束。
[0089] 由于3D手部姿态估计方法的预测结果是基于单张深度图的关节点坐标，没有考虑前后帧的关节点信息。为了能够对帕金森病患者单一运动序列做出整体、有效的判断，本发明对连续帧之间的关节点的3D位置、手部自由度的变化加以平滑约束，使其更加符合实际运动的特点，有助于消除每帧的关节点预测误差所带来的抖动现象，使得总体预测误差进一步缩小。
[0090]
[0091] 其中，X表示所有帧中21个关节点的3D坐标， 表示定义的手部骨骼比例参数，ρ是鲁棒的Huber误差函数， 表示第t帧第i个关节点的3D坐标，t∈{1，2，3，…，T}，T为视频帧数，i∈{1，2，3，…，J}，J＝21，表示定义的手部关节点个数。 表示由手部关节点计算得到的自由度。λ1、λ2为设置的超参数，ET(X，β)越小，代表关节点在3D空间中的位置，以及关节点之间的角度变换更加平滑。
[0092] 如图9所示，不考虑手腕关节相对空间的6自由度外共21个自由度，按照如下方式得到：
[0093] (a)食指、中指、无名指、小拇指(各4个自由度，共16个自由度)：
[0094] 1stDoF：远节指骨与中节指骨之间的张开闭合；
[0095] 2ndDoF：中节指骨与近节指骨之间的张开闭合；
[0096] 3rdDoF：近节指骨与掌骨之间的张开闭合；
[0097] 4thDoF：近节指骨与掌骨之间的外展内收；
[0098] (b)大拇指(共5个自由度)：
[0099] 1stDoF：远节指骨与近节指骨之间的张开闭合；
[0100] 2ndDoF：近节指骨与掌骨之间之间的张开闭合；
[0101] 3rdDoF：近节指骨与掌骨之间之间的外展内收；
[0102] 4thDoF：掌骨与大多角骨之间的张开闭合；
[0103] 5thDoF：掌骨与大多角骨之间的外展内收。
[0104] S43.根据手部姿态的先验知识，建立优化目标函数EP(X，β)，加入手部姿态先验和位置偏好的约束。
[0105] 在整体姿态优化时，加入有关手部姿态的先验知识，对某些帧可能出现的从生理结构上不可能出现的手部姿态进行惩罚，包括不可能出现的
关节角度以及骨骼长度比例。
[0106]
[0107]
[0108]
[0109] 其中，T表示视频帧数， 表示由第t帧手部关节点计算得到的自由度，EJ(θ)为高斯混合模型的负对数似然函数，J表示定义的手部关节点个数，P表示高斯模型的个数，gp表示第p个高斯模型的权重，μp，∑p表示第p个高斯模型的均值和协方差，λI、λβ为设置的超参数， 表示第t帧第i个关节点的3D坐标，上标～表示对应变量的预测结果。EP(X，β)越小，代表得到的关节点的位置越接近可能的手的姿态。
[0110] EI(X，β)的前一项为鼓励最终的优化结果与每帧的预测结果 尽可能的相近，后一项是为了使所有帧中的手的骨骼比例 尽量保持相同。
[0111] S44.对视频中所有帧的手部关节点的3D坐标以及参数β进行整体优化，使得优化目标函数E(X，β)＝ET(X，β)+EP(X，β)最小。
[0112] 使用L-BFGS算法对视频中所有帧的手部关节点的3D坐标以及参数β进行优化，使用单帧的预测结果以及所有帧参数β的均值作为初始值，这里一共有20+63F个参数需要优化，其中，F表示视频中的帧数。该算法具有收敛速度快、内存开销少等优点。
[0113] 步骤S5.根据被检测者按照帕金森病综合评量表所做手部动作的运动特性，根据优化后的关节点3D坐标，提取手部运动特征。
[0114] 例如，在对双手姿态性震颤这一项的评估中，本发明可以利用关节点移动的绝对距离进行评分。在手指拍打动作的评估中，要求测试者大拇指和食指尽量打开并以最快的速度拍打十次。针对手指拍打这个手部动作，本发明在获得优化之后的关节点的3D坐标之后，可以通过计算拇指指尖和食指指尖的实际物理距离大小来表征指尖的张开与合并：
[0115]
[0116] 其中， 表示第t帧中预测得到的拇指和食指指尖关节点的3D坐标，图10(a)显示了拇指与食指指尖的距离dt随帧数t变化示意图。
[0117] 3D物理距离能够反映手在真实物理空间中运动变化，具有实际物理含义。而2D关节点是反映的手部关节点在图像中的坐标，距离指的是图像平面中两点的像素距离(不是真实物理距离)，同时，同一个手部姿势，从不同拍摄角度计算得到的3D距离是不变的，而在投影得到的图像上的距离是不一样的。
[0118] 截取手指拍打十次的全部时间序列，对计算的距离向量D＝(d1，d2，…，dT)T进行离散傅里叶变换，得到在不同频率上的固定长度的幅值响应向量F＝(f1，f2，…，fN)T，向量F的每个分量表示距离向量D在该频率下的幅值大小。当测试者的拍打动作较为正常时，向量F会在某一分量上具有较大的幅值响应，如图10(b)所示。
[0119] 步骤S6.利用XGBoost分类器，对提取的手部运动特征进行分类，给出相应的评分结果。
[0120] S61.使用训练样本集训练XGBoost分类器，每个训练样本包括手部运动序列的手部运动特征，其标签为专家按照帕金森病综合评量表对该序列的评分。
[0121] (1)对采集到的真实的帕金森病样本的评分结果进行数据清洗操作。
[0122] 对采集到的真实的帕金森病样本的评分结果，利用低秩分解进行数据清洗操作，克服医疗专家诊断结论中存在的不确定性和噪声影响，消除医疗专家在评分过程中的主观性，使评分结果更加准确客观。
[0123] 首先本发明将采集到的帕金森病患者的手部运动序列交由不同的医疗专家进行评分，将不同专家对不同动作的评分结果以矩阵G来记录，矩阵G的列数为专家的人数，矩阵G的行代表不同动作。再对矩阵G进行低秩分解，可以采用的方法如鲁棒主成分分析(RobustPCA)：
[0124] G＝A+E
[0125] 其中，矩阵A为分解之后得到的低秩矩阵(列之间的相关性较强)，矩阵E为噪声矩阵(一般是稀疏的)，通过矩阵A确定最终的评分结果。
[0126] (2)利用得到的量表中不同的手部动作特征，与相应的经过数据清洗后的专家评分结果，训练XGBoost分类器。
[0127] XGBoost是boosting算法的其中一种，Boosting算法的基本思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，每棵树的一个叶
子节点对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。
[0128] S62.利用训练好的XGBoost分类器，对被测者的手部运动序列的手部特征进行预测，给出帕金森病患者相应手部动作的评分结果。
[0129] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
