基于多模态融合的实时人体三维姿态恢复的方法
专利汇可以提供基于多模态融合的实时人体三维姿态恢复的方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于多模态融合的实时人体三维 姿态 恢复的方法。利用 深度图 解析、 颜色 识别、 人脸检测 等多种技术，来实时地获取人体主要关 节点 在现实世界中的坐标，从而恢复出人体的三维骨架信息。基于每一时刻同步获取得到的场景 深度图像 及场景彩色图像，利用人脸检测的方法获得人体头部 位置 信息，利用颜色识别的方法获得佩戴有色标的四肢端点位置信息，再通过四肢端点的位置信息，利用彩色图与深度图的映射关系计算出肘部与膝部的位置信息，最终利用时域信息对获取的骨架进行平滑处理，实时地重建出人体的运动信息。本发明相较于传统的利用 近红外 设备对人体进行三维姿态恢复的技术，提高了恢复的 稳定性 ，也使人体运动捕获过程更为简便。，下面是基于多模态融合的实时人体三维姿态恢复的方法专利的具体信息内容。
1.一种基于多模态融合的实时人体三维姿态恢复的方法，其特征在于它的步骤如下：
1）以不小于25帧每秒的帧速同步接受包含人体在内的场景深度图序列以及场景彩色图序列，所述场景深度图序列中的每一帧场景深度图由像素矩阵组成，像素矩阵中的每个像素点的值表示该像素点所对应场景中的位置到参考位置的距离，即该像素点的深度值；
所述场景彩色图序列中的每一帧图片由像素矩阵组成，像素矩阵中的每个像素点的值表示该像素点所对应场景中的位置所表示的颜色信息，由RGB颜色值表示；
2）分割所述场景深度图的背景与前景像素，获得场景深度图中表述人体部位的区域，即前景像素；
3）处理所述场景深度图中的前景像素，标注出场景深度图中表示人体躯干、头部以及四肢的像素点；
4）通过人脸检测，识别出场景彩色图中的人脸位置，通过场景彩色图与场景深度图的映射得到人体头部在场景深度图中的投影坐标，并转换为现实世界中的三维坐标，所述投影坐标为三维向量（X，Y，Z），其中（X，Y）具体地指向场景深度图的某个像素点，Z为该像素点的深度值；
5）根据头部在场景深度图中的投影坐标，计算颈部与肩部在场景深度图中的投影坐标，并转换为现实世界中的三维坐标；
6）通过四肢端点佩戴的带有颜色的标记物，获取手部及脚部在场景深度图中的投影坐标，并转换为现实世界中的三维坐标；
7）通过手部和肩膀的三维坐标，计算出肘关节在场景深度图中的投影坐标，并转换为现实世界中的三维坐标；
8）通过脚部和臀部的三维坐标，计算出膝关节在场景深度图中的投影坐标，并转换为现实世界中的三维坐标；
9）按照步骤2）至8）处理场景深度图序列及场景彩色图序列中的每一帧，并将每一帧捕获到的人体各部位的三维坐标依据人体结构组成并输出骨架模型，设置每个捕获的人体部位的三维坐标的约束空间和可信度，对骨架模型进行平滑处理，所述约束空间表示了每个捕获的人体部位在相邻两帧内所允许最大的位移范围。
2.根据权利要求1所述的基于多模态融合的实时人体三维姿态恢复的方法，其特征在于，所述5）中的计算方法：
a)在获取头部的三维坐标后，根据预设的颈部参考长度Lneck、颈部的参考深度Dneck以及头部的实际深度Dhead，通过下列公式计算得到颈部的实际长度L_Realneck：
L_Realneck＝Dhead*Lneck/Dneck
在头部与躯干连接的线段上，根据颈部的实际长度L_Realneck获得人体颈部的位置；
b)在获取颈部的三维坐标之后，根据预设的肩部参考宽度Wshoulder、肩部的参考深度Dshoulder以及颈部的实际深度Rneck，通过下列公式计算得到肩部的实际宽度W_Realshoulder：
W_Realshoulder＝Rneck*Wshoulder/Dshoulder
在颈部所处的水平线段上，根据肩部实际宽度W_Realshoulder获得人体左右肩膀的位置；
c)在计算肩部位置时，在用户采取侧身的姿态情况下，需要调整侧身时肩膀投影的宽度；该调整步骤需要计算出左右肩膀所在位置的深度Dleft、Dright以及肩膀的预设长度Wshoulder，那么变化后的肩膀宽度WProjected应为：
通过WProjected，按照步骤b）计算左右肩部的位置；
d)通过局部搜索的方法，确保上述a），b），c）步骤得到的肩膀坐标处于前景像素中；所述的局部搜索的方法在探测左肩膀时，如果估测的左肩部像素点(x,y)处于背景像素中，那么在搜索该估测像素点右侧的像素(x+t,y+t)，其中t为搜索范围阈值，在该范围内的像素点中找出距离该估测像素点最近的前景像素，如果未能找到处于前景像素的点，那么递进式地增加t的值以扩大搜索范围，直至找到最邻近的前景像素为止。
3.根据权利要求1所述的基于多模态融合的实时人体三维姿态恢复的方法，其特征在于，所述6）中的获取方法：
a)用户需要在手部和脚部佩戴带有颜色的标记物来辅助识别手部和脚部位置，所描述标记物的颜色应区分于用户身体其它部位的颜色；
b)将彩色图由RBG颜色空间转换为HSV颜色空间，并提取手部和脚部标记物的HSV颜色特征作为阈值，再对每一帧场景彩色图，使用该阈值对其进行滤波，将不符合该颜色特征的像素点移除，获得颜色阈值图，并通过图像的腐蚀和膨胀操作，去除颜色阈值图中的噪点；
c)经过以上处理，得到一张二值图像，其中手部和脚部标记物的部位会由相应的斑块(Blob)表述，以该斑块的中心点作为四肢端点的位置，再通过坐标转换，分别获得手部和脚部在现实世界中的三维坐标。
4.根据权利要求1所述的基于多模态融合的实时人体三维姿态恢复的方法，其特征在于，所述7）中的计算方法：
a）在计算时，需要在场景深度图中的前景像素中标注属于手臂部位的像素点；先分别通过左右肩膀的位置标注出场景深度图中表示躯干部位的像素点，再将场景深度图中与躯干连接的其余部位分别标注为表示四肢及头部的像素点；当手臂在正前方遮挡住躯干时，需要计算躯干“质心”的深度值，并将躯干上每一像素点的深度值与躯干“质心”的深度值比较，如果深度差大于某一阈值，则标注该像素属于手臂区域，反之，该像素点属于躯干区域；
某个区域的“质心”指该区域的平均深度，为此，可以通过计算该区域深度值的直方图，并将具有最高频率的深度值或具有最高频率的两个或多个深度值的平均值设为该区域质心的深度值；
b）成功标注出手臂区域的像素点后，以手部为起点，遍历深度图中所有标注为手臂的像素，如果该像素点与手部的距离满足小臂长度的约束条件，则将其标记为潜在的肘部区域；之后再以肩部为起点，再次在手臂上搜索到肩部距离符合大臂长度约束的像素点，将这些点与之前标注出肘部的点取交集即可得到肘部的估测范围，再将这些点的中点标记为人体肘部位置。
5.根据权利要求1所述的基于多模态融合的实时人体三维姿态恢复的方法，其特征在于，所述8）中的计算方法：
a）在计算时，需要在场景深度图中的前景像素中标注出属于腿部部位的像素点，先分别通过左右肩膀的位置标注出场景深度图中表示躯干部位的像素点，再将场景深度图中与躯干连接的其余部位分别标注为表示四肢及头部的像素点；
b）成功标注出腿部区域的像素点后，以脚部为起点，遍历深度图中所有标注为腿部的像素点，如果该像素点与脚部的距离满足小腿长度的约束条件，则将其标记为潜在的膝盖点；之后再以臀部为起点，再次在腿部上搜索到臀部距离符合大腿长度约束的像素点，将这些点与之前标注出膝盖的点取交集即可得到膝盖的估测范围，再将这些点的中点标记为人体膝盖位置。
6.根据权利要求1所述的基于多模态融合的实时人体三维姿态恢复的方法，其特征在于，所述9）中的处理方法：
c）针对每一个人体部位定义一个约束长度D以及可信度C，约束长度D可以描述约束范围；约束范围是指一个以该人体部位为球心，D为半径的球体，该球体描述了该人体部位在相邻两帧的时间内，所允许的最大位移范围，不同人体部位的约束空间大小会不一样，手部的约束空间相比肩部会大一些；
d）可信度表示了该人体部位目前坐标值的准确程度，C的值越高，则该人体部位的位置越准确；初始时每个人体部位的可信度都设置为0，在新的一帧中，如果该人体部位新的位置处于前一帧该人体部位的约束空间内，则该人体部位的可信度增加一点，若该人体部位的可信度已达到最大值，则不需要改变；反之，若该人体部位新的位置在上一帧中该人体部位的约束空间之外，则只需向新的位置移动Length/C的距离，其中Length为该部位原来的位置和新位置所表示线段的长度，随后再将该部位的可信度降低一点。
基于多模态融合的实时人体三维姿态恢复的方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种表情图片生成方法及其设备、存储介质 | 2020-05-15 | 428 |
| 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法 | 2020-05-16 | 423 |
| 一种利用多目3D视觉传感技术防控儿童近视的系统及方法 | 2020-05-21 | 624 |
| 一种三维人脸的人脸级联回归模型训练方法及重建方法 | 2020-05-21 | 937 |
| 三维人脸识别方法和三维人脸识别系统 | 2020-05-20 | 1007 |
| 一种实时人脸表情重建方法 | 2020-05-15 | 723 |
| 一种简易门锁报警提醒系统及方法 | 2020-05-19 | 726 |
| 一种基于神经网络的端到端的三维人脸重建方法 | 2020-05-20 | 441 |
| 监测人眼注视时间的方法和装置、存储介质、电子设备 | 2020-05-14 | 506 |
| 一种图像处理方法、装置、电子设备和存储介质 | 2020-05-19 | 309 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
