首页 / 技术领域 / 动作捕捉 / 手部动作捕捉的校准方法、装置、电子设备及存储介质

手部动作捕捉的校准方法、装置、电子设备及存储介质

热词 姿态 坐标系 坐标 leap 追踪器 motion 校准 预设 世界 空间
专利类型 发明公开 法律事件 公开; 实质审查; 授权;
专利有效性 有效专利 当前状态 授权
申请号 CN201911415808.5 申请日 2019-12-31
公开(公告)号 CN111240468A 公开(公告)日 2020-06-05
申请人 北京诺亦腾科技有限公司; 申请人类型 企业
发明人 马浩; 刘维甫; 刘昊扬; 戴若犁; 第一发明人 马浩
权利人 北京诺亦腾科技有限公司 权利人类型 企业
当前权利人 北京诺亦腾科技有限公司 当前权利人类型 企业
省份 当前专利权人所在省份:北京市 城市 当前专利权人所在城市:北京市西城区
具体地址 当前专利权人所在详细地址:北京市西城区新街口外大街28号A座502号 邮编 当前专利权人邮编:100102
主IPC国际分类 G06F3/01 所有IPC国际分类 G06F3/01G06T7/70G06T17/00
专利引用数量 20 专利被引用数量 3
专利权利要求数量 10 专利文献类型 A
专利代理机构 北京华夏泰和知识产权代理有限公司 专利代理人 张丽颖; 李雪;
摘要 本 申请 涉及一种手部 动作捕捉 的校准方法、装置及计算机存储介质,该方法包括:通过 位置 非固定的Leap Motion设备获取预设手部在设备 坐标系 下的参考位置和 姿态 ;获取第一追踪器在第一世界坐标系下的第一空间位置和姿态;获取第二追踪器在第一世界坐标系下的第二空间位置和姿态;根据运动数据获取运动 传感器 在第二世界坐标系下的第三空间姿态;获取第一、第二世界坐标系的坐标转换参数;根据参考位置和姿态、第一和第二空间位置、第一和第二以及第三空间姿态和坐标转换参数确定校准参数;利用校准参数执行对预设手部的空间位置和姿态的计算操作。本申请利用Leap Motion设备和两个追踪器提高了手部位置和姿态的测量与校准 精度 。
权利要求

1.一种手部动作捕捉的校准方法,其特征在于,包括:
通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定;
获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态;
获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态;
获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上;
根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态;
获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数;
根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数;
利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
2.根据权利要求1所述的方法,其特征在于,所述通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,包括:
获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息;
从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征;
根据所述图像特征构建所述预设手部的三维模型;
利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
3.根据权利要求1所述的方法,其特征在于,所述获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数,包括:
确定所述第一时间坐标系和所述第二世界坐标系的任意一个相重合的坐标轴;
当所述预设手部沿着所述坐标轴由当前位置旋转运动至目标位置时,确定所述预设手部上设置的第一追踪器的第一空间姿态和所述预设手部上设置的运动传感器的第三空间姿态之间的对应关系;
根据所述对应关系,确定所述第一世界坐标系和所述第二世界坐标系的坐标轴之间的夹关系;
利用所述第一世界坐标系和所述第二世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
4.根据权利要求1所述的方法,其特征在于,所述校准参数包括第一位置校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述参考位置确定所述预设手部的校准参数,包括:
根据所述参考位置确定所述预设手掌和预设手指的尺寸参数。
5.根据权利要求1所述的方法,其特征在于,所述校准参数包括姿态校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述参考姿态、所述坐标转换参数、所述第二空间姿态和所述第三空间姿态确定所述预设手部的校准参数,包括:
根据所述参考姿态和所述第二追踪器的第二空间姿态,确定所述预设手部在第一世界坐标系下的空间姿态;
根据所述坐标转换参数和所述第三空间姿态,确定所述运动传感器在第一世界坐标系下的空间姿态;
确定所述运动传感器在第一世界坐标系下的空间姿态和所述预设手部在第一坐标系下的空间姿态之间的姿态差;
根据所述姿态差,确定所述预设手部的姿态校准参数。
6.根据权利要求1所述的方法,其特征在于,所述校准参数包括第二位置校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述第一空间位置、所述第一空间姿态、所述第二空间位置、所述第二空间姿态和所述参考位置确定所述预设手部的校准参数,包括:
根据所述第二追踪器的所述第二空间位置、所述第二空间姿态和所述预设手部的参考姿态,确定所述预设手部在第一世界坐标系中的空间位置;
根据所述第一追踪器的所述第一空间位置、所述第一空间姿态和所述手部在第一世界坐标系中的空间位置,确定所述手部与所述第一追踪器在第一追踪器坐标系中的位置差;
根据所述位置差,确定所述预设手部的第二位置校准参数。
7.一种手部动作捕捉的校准装置,其特征在于,包括:
参考位置和参考姿态获取模,用于通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定;
第一空间位置和姿态获取模块,用于获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态;
第二空间位置和姿态获取模块,用于获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态;
运动数据获取模块,用于获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上;
第三空间姿态获取模块,用于根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态;
坐标转换参数获取模块,用于获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数;
校准参数确定模块,用于根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数;
计算模块,用于利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
8.根据权利要求7所述的装置,其特征在于,所述参考位置和参考姿态获取模块包括:
图像获取子模块,用于获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息;
模型构建子模块,用于根据所述图像特征构建所述预设手部的三维模型;
生成子模块,用于利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的手部动作捕捉的校准方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有手部动作捕捉的校准程序,所述手部动作捕捉的校准程序被处理器执行时实现如权利要求1至6中任一项所述的手部动作捕捉的校准方法的步骤。

说明书全文

手部动作捕捉的校准方法、装置、电子设备及存储介质

技术领域

[0001] 本申请涉及动作捕捉领域,尤其涉及一种手部动作捕捉的校准方法、装置、电子设备及存储介质。

背景技术

[0002] 在当前的手部动作捕捉系统中,需要采集用户手部的尺寸,手部位置测量的安装尺寸以及手腕部设置的每个惯性模的安装姿态(即惯性模块的方位相对于手指方位的方位差),用户手部的尺寸包括手掌的长度、宽度和厚度以及每个手指关节的长度,手部位置测量的安装尺寸即手部的基点位置相对于测量设备基点位置的位置差。
[0003] 在采集上述数据的过程中,一方面需要通过尺寸来测量,有误差,而且测量不方便;另一方面需要通过操作校准动作以增加校准姿态来实现上述数据的准确采集。然而,在校准姿态过程中,由于需要增加过多的校准动作,用户之间的个体差别将会导致校准姿态的精度较低,易用性较差。发明内容
[0004] 为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种手部动作捕捉的校准方法、装置、电子设备及存储介质。
[0005] 第一方面,本申请提供了一种手部动作捕捉的校准方法,包括:
[0006] 通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定;
[0007] 获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态;
[0008] 获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态;
[0009] 获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上;
[0010] 根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态;
[0011] 获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数;
[0012] 根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数;
[0013] 利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
[0014] 可选的,所述通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,包括:
[0015] 获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息;
[0016] 从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征;
[0017] 根据所述图像特征构建所述预设手部的三维模型;
[0018] 利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
[0019] 可选的,所述获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数,包括:
[0020] 确定所述第一时间坐标系和所述第二世界坐标系的任意一个相重合的坐标轴;
[0021] 当所述预设手部沿着所述坐标轴由当前位置旋转运动至目标位置时,确定所述预设手部上设置的第一追踪器的第一空间姿态和所述预设手部上设置的运动传感器的第三空间姿态之间的对应关系;
[0022] 根据所述对应关系,确定所述第一世界坐标系和所述第二世界坐标系的坐标轴之间的夹关系;
[0023] 利用所述第一世界坐标系和所述第二世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
[0024] 可选的,所述校准参数包括第一位置校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述参考位置确定所述预设手部的校准参数,包括:
[0025] 根据所述参考位置确定所述预设手掌和预设手指的尺寸参数。
[0026] 可选的,所述校准参数包括姿态校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述参考姿态、所述坐标转换参数、所述第二空间姿态和所述第三空间姿态确定所述预设手部的校准参数,包括:
[0027] 根据所述参考姿态和所述第二追踪器的第二空间姿态,确定所述预设手部在第一世界坐标系下的空间姿态;
[0028] 根据所述坐标转换参数和所述第三空间姿态,确定所述运动传感器在第一世界坐标系下的空间姿态;
[0029] 确定所述运动传感器在第一世界坐标系下的空间姿态和所述预设手部在第一坐标系下的空间姿态之间的姿态差;
[0030] 根据所述姿态差,确定所述预设手部的姿态校准参数。
[0031] 可选的,所述校准参数包括姿态校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述参考姿态、所述坐标转换参数、所述第二空间姿态和所述第三空间姿态确定所述预设手部的校准参数,包括:
[0032] 根据所述参考姿态和所述第二追踪器的第二空间姿态,确定所述预设手部在第一世界坐标系下的空间姿态;
[0033] 根据所述坐标转换参数和所述第三空间姿态,确定所述运动传感器在第一世界坐标系下的空间姿态;
[0034] 确定所述运动传感器在第一世界坐标系下的空间姿态和所述预设手部在第一坐标系下的空间姿态之间的姿态差;
[0035] 根据所述姿态差,确定所述预设手部的姿态校准参数。
[0036] 第二方面,本申请提供了一种手部动作捕捉的校准装置,其特征在于,包括:
[0037] 参考位置和参考姿态获取模块,用于通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定;
[0038] 第一空间位置和姿态获取模块,用于获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态;
[0039] 第二空间位置和姿态获取模块,用于获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态;
[0040] 运动数据获取模块,用于获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上;
[0041] 第三空间姿态获取模块,用于根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态;
[0042] 坐标转换参数获取模块,用于获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数;
[0043] 校准参数确定模块,用于根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数;
[0044] 计算模块,用于利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
[0045] 可选的,所述参考位置和参考姿态获取模块包括:
[0046] 图像获取子模块,用于获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息;
[0047] 模型构建子模块,用于根据所述图像特征构建所述预设手部的三维模型;
[0048] 生成子模块,用于利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
[0049] 第三方面,本申请提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述的手部动作捕捉的校准方法的步骤。
[0050] 第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有手部动作捕捉的校准程序,所述手部动作捕捉的校准程序被处理器执行时实现如第一方面所述的手部动作捕捉的校准方法的步骤。
[0051] 本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
[0052] 本申请实施例提供的一种手部动作捕捉的校准方法、装置及计算机存储介质,该方法通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定;获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态;获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态;获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上;根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态;获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数;根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数;利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。本申请利用Leap Motion设备、预设手部上设置的第一追踪器和与所述Leap Motion设备固定的第二追踪器,在可视范围内,无遮挡的情况下,提高了手部位置和姿态的测量与校准精度。附图说明
[0053] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
[0054] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0055] 图1示出了本申请实施例可应用的一种实施场景的示意图;
[0056] 图2为本申请实施例提供的一种手部动作捕捉的校准方法的流程示意图;
[0057] 图3为本申请另一实施例提供的一种手部动作捕捉的校准方法的流程示意图;
[0058] 图4为本申请实施例提供的一种手部动作捕捉的校准装置的结构示意图;
[0059] 图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

[0060] 为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0061] 请参见图1,图1示出了本申请实施例可应用的一种实施场景100的示意图。如图1所示,该实施场景100包括:Leap Motion设备110、第一追踪器120、第二追踪器130和运动传感器140,其中,Leap Motion设备110的位置为非固定的,Leap Motion设备110与第二追踪器130固定连接,随着第二追踪器130的运动而移动;第二追踪器130采用头戴式显示器(HMD),用于定位头戴式显示器及Leap Motion设备110,Leap Motion设备110与第二追踪器130的相对位置和姿态安装关系已知,可由该第二追踪器130的定位结果计算Leap Motion设备110在光学坐标系(即图中的光学坐标系V)中的位置和姿态。
[0062] 第一追踪器120设置在被测对象的小臂上,可以实现对小臂上第一追踪器120与手部的安装位置和姿态关系的测量和校准,通过第一追踪器120和第一追踪器130,可以用于定位手部和Leap Motion设备110在光学坐标系下的位置和姿态,可以进一步提高手部位置和姿态的校准精度。
[0063] 通过Leap Motion设备获取预设手部在设备坐标系(即图中的LM坐标系L)下在至少两种手部姿势下的参考位置和参考姿态。
[0064] 在被测对象的手部的动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上,通过运动传感器中的加速度、陀螺仪和磁计采集手部的运动数据,运动传感器采用惯性传感器(IMU),对应的坐标系即图中所示的惯性坐标系W。
[0065] 图2为本申请实施例提供的一种手部动作捕捉的校准方法,包括以下步骤:
[0066] S201、通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定。
[0067] Leap Motion设备测量的是被测对象的手部在设备坐标系下的参考姿态,运动传感器(惯性传感器)测量的则是在世界坐标系(惯性全局坐标系)下的空间姿态。
[0068] S202、获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态。
[0069] 第一世界坐标系即光学坐标系,第一追踪器即被测对象小臂上设置的位姿追踪器。
[0070] S203、获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态。
[0071] 第一世界坐标系下为光学坐标系,第二追踪器即头戴式显示器,Leap Motion设备随着第二追踪器的运动而移动,第二追踪器用于定位第二追踪器及Leap Motion设备,Leap Motion设备与该第二追踪器的相对位置和姿态安装关系已知,因此可以根据该第二追踪器的定位结果计算Leap Motion设备在光学坐标系中的位置和姿态。
[0072] S204、获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上。
[0073] 例如,运动传感器包括惯性传感器,惯性传感器设置在佩戴在用户手部的手套内,在用户手部的手掌和每个手指上均设置有惯性传感器,便于通过惯性传感器中的加速度、陀螺仪、磁力计检测用户手部的运动数据,本申请实施例的校准方法既包括了姿态校准(即惯性传感器和手部之间的安装姿态校准)又包括了位置校准(即的手部尺寸及手部位置校准)。
[0074] S205、根据所述运动数据,获取所述运动传感器在第二世界坐标(即惯性坐标系)系下的第三空间姿态。
[0075] S206、获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数。
[0076] 第一世界坐标系即光学坐标系,第二世界坐标系即惯性坐标系,Leap Motion设备设置安装在第二跟踪器上(即头戴式显示器),Leap Motion设备的位置为非固定的,随时第二跟踪器的移动而移动,设备坐标系与第一世界坐标系(光学坐标系)、第二世界坐标系(惯性坐标系)之间的相对关系是动态的,设备坐标系通过测量计算得到,需要校准的是第一世界坐标系(光学坐标系)与第二世界坐标系(惯性坐标系)之间的坐标转换参数。
[0077] 可选的,获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数,包括:
[0078] 确定所述第一时间坐标系和所述第二世界坐标系的任意一个相重合的坐标轴;
[0079] 当所述预设手部沿着所述坐标轴由当前位置旋转运动至目标位置时,确定所述预设手部上设置的第一追踪器的第一空间姿态和所述预设手部上设置的运动传感器的第三空间姿态之间的对应关系;
[0080] 根据所述对应关系,确定所述第一世界坐标系和所述第二世界坐标系的坐标轴之间的夹角关系;
[0081] 利用所述第一世界坐标系和所述第二世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
[0082] S207、根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数。
[0083] 可选的,所述校准参数包括第一位置校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述参考位置确定所述预设手部的校准参数,包括:
[0084] 根据所述参考位置确定所述预设手掌和预设手指的尺寸参数。
[0085] 可选的,所述校准参数包括第二位置校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述第一空间位置、所述第一空间姿态、所述第二空间位置、所述第二空间姿态和所述参考位置确定所述预设手部的校准参数,包括:
[0086] 根据所述第二追踪器的所述第二空间位置、所述第二空间姿态和所述预设手部的参考姿态,确定所述预设手部在第一世界坐标系中的空间位置;
[0087] 根据所述第一追踪器的所述第一空间位置、所述第一空间姿态和所述手部在第一世界坐标系中的空间位置,确定所述手部与所述第一追踪器在第一追踪器坐标系中的位置差;
[0088] 根据所述位置差,确定所述预设手部的第二位置校准参数。
[0089] 可选的,所述校准参数包括姿态校准参数,所述预设手部包括预设手掌和预设手指,所述根据所述参考姿态、所述坐标转换参数、所述第二空间姿态和所述第三空间姿态确定所述预设手部的校准参数,包括:
[0090] 根据所述参考姿态和所述第二追踪器的第二空间姿态,确定所述预设手部在第一世界坐标系下的空间姿态;
[0091] 根据所述坐标转换参数和所述第三空间姿态,确定所述运动传感器在第一世界坐标系下的空间姿态;
[0092] 确定所述运动传感器在第一世界坐标系下的空间姿态和所述预设手部在第一坐标系下的空间姿态之间的姿态差;
[0093] 根据所述姿态差,确定所述预设手部的姿态校准参数。
[0094] S208、利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
[0095] 本申请实施例利用Leap Motion设备、预设手部上设置的第一追踪器和与所述Leap Motion设备固定的第二追踪器,在可视范围内,无遮挡的情况下,提高了手部位置和姿态的测量与校准精度。
[0096] 图3为本申请另一实施例提供的一种手部动作捕捉的校准方法,包括以下步骤:
[0097] S301、获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息。
[0098] 例如,用户的手部在Leap Motion设备前方做Neutral pose1(即双手伸出放在眼前,掌心向前,掌面基本垂直于地面,五指伸直自然微张,保持静止一段时间);用户的手部绕垂直地面轴(即第一时间坐标系和所述第二世界坐标系相重合的轴)缓慢旋转手部,至掌心正对人,即Neutral pose2。利用Neutral pose1和Neutral pose2的测量数据,可以计算手部的尺寸,包括手掌的长度、宽度和厚度,每个手指关节的长度。
[0099] S302、从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征。
[0100] S303、根据所述图像特征构建所述预设手部的三维模型。
[0101] S304、利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
[0102] S305、获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态。
[0103] S306、获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态。
[0104] S307、获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上。
[0105] S308、根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态。
[0106] S309、获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数。
[0107] S310、根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数。
[0108] S311、利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
[0109] 图4为本申请另一实施例提供的一种手部动作捕捉的校准装置,该装置包括:
[0110] 参考位置和参考姿态获取模块41,用于通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定;
[0111] 第一空间位置和姿态获取模块42,用于获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态;
[0112] 第二空间位置和姿态获取模块43,用于获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态;
[0113] 运动数据获取模块44,用于获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上;
[0114] 第三空间姿态获取模块45,用于根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态;
[0115] 坐标转换参数获取模块46,用于获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数;
[0116] 校准参数确定模块47,用于根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数;
[0117] 计算模块48,用于利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
[0118] 可选的,所述所述参考位置和参考姿态获取模块41包括:
[0119] 图像获取子模块(图中未示出),用于获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息;
[0120] 模型构建子模块(图中未示出),用于根据所述图像特征构建所述预设手部的三维模型;
[0121] 生成子模块(图中未示出),用于利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
[0122] 在本申请另一实施例中,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有手部动作捕捉的校准程序,所述手部动作捕捉的校准程序被处理器执行时实现如各方法实施例所述的手部动作捕捉的校准方法的步骤,例如包括:
[0123] 通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定;
[0124] 获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态;
[0125] 获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态;
[0126] 获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上;
[0127] 根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态;
[0128] 获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数;
[0129] 根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数;
[0130] 利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
[0131] 图5是本发明另一个实施例提供的电子设备的结构示意图。图5所示的电子设备500包括:至少一个处理器501、存储器502、至少一个网络接口504和其他用户接口503。电子设备500中的各个组件通过总线系统505耦合在一起。可理解,总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统505。
[0132] 其中,用户接口503可以包括显示器、键盘或者点击设备(例如,鼠标轨迹球(trackball)、触感板或者触摸屏等。
[0133] 可以理解,本发明实施例中的存储器502可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(ProgrammableROM,PROM)、可擦除可编程只读存储器(ErasablePROM,EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(StaticRAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM,DRRAM)。本文描述的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。
[0134] 在一些实施方式中,存储器502存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作系统5021和应用程序5022。
[0135] 其中,操作系统5021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序5022,包含各种应用程序,例如媒体播放器(MediaPlayer)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5022中。
[0136] 在本发明实施例中,通过调用存储器502存储的程序或指令,具体的,可以是应用程序5022中存储的程序或指令,处理器501用于执行各方法实施例所提供的方法步骤,例如包括:
[0137] 通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态,其中,所述Leap Motion设备的位置非固定;
[0138] 获取所述预设手部上设置的第一追踪器在第一世界坐标系下的第一空间位置和第一空间姿态;
[0139] 获取与所述Leap Motion设备固定的第二追踪器在第一世界坐标系下的第二空间位置和第二空间姿态;
[0140] 获取所述预设手部在至少两种手部姿势下动作捕捉系统中上设置的运动传感器采集的运动数据,所述动作捕捉系统中包括多个运动传感器,不同运动传感器分布佩戴在所述预设手部的不同手指上;
[0141] 根据所述运动数据,获取所述运动传感器在第二世界坐标系下的第三空间姿态;
[0142] 获取所述第一世界坐标系和所述第二世界坐标系之间的坐标转换参数;
[0143] 根据所述参考位置、参考姿态、第一空间位置、第一空间姿态、第二空间位置、第二空间姿态、第三空间姿态和所述坐标转换参数确定所述预设手部的校准参数;
[0144] 利用所述校准参数执行对所述预设手部在第一世界坐标系下的空间位置和空间姿态的计算操作。
[0145] 上述本发明实施例揭示的方法可以应用于处理器501中,或者由处理器501实现。处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecific  IntegratedCircuit,ASIC)、现成可编程阵列
(FieldProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502,处理器501读取存储器502中的信息,结合其硬件完成上述方法的步骤。
[0146] 可以理解的是,本文描述的这些实施例可以用硬件、软件、固件中间件微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)、数字信号处理器(DigitalSignalProcessing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(ProgrammableLogicDevice,PLD)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)、通用处理器、控制器微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
[0147] 对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0148] 为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0149] 需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0150] 以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
QQ群二维码
意见反馈