首页 / 专利库 / 视听技术与设备 / 动作捕捉 / 一种虚拟驾驶环境中手部运动跟踪方法

一种虚拟驾驶环境中手部运动跟踪方法

阅读:1023发布:2020-06-15

专利汇可以提供一种虚拟驾驶环境中手部运动跟踪方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种虚拟驾驶环境中手部运动 跟踪 方法,通过捕捉真实世界人物手势数据,实现与虚拟世界交互。在虚拟驾驶环境中,通过现实世界捕捉用户双手对 方向盘 操作数据,反馈于虚拟世界中的驾驶员模型,使在虚拟世界中亦可以看到,如现实世界一样自然的双手操作方式,使用Leap Motion设备捕捉的手部 姿态 数据,通过IK动画精确计算,从而实现整只手臂的动作模拟,增强了仿真体验的真实感和 沉浸感 。,下面是一种虚拟驾驶环境中手部运动跟踪方法专利的具体信息内容。

1.一种虚拟驾驶环境中手部运动跟踪方法,其特征在于,包括如下步骤:
步骤一:使用Leap Motion的API,获取设备捕捉到的双手姿态数据;
步骤二:通过Leap Motion的API实时获取的手部姿态数据,经由Unreal Engine动画蓝图实时赋值于虚拟人物手部模型骨骼上,从而实现自然手势运行追踪操作;其中包括:(一)依据Unreal Engine动画蓝图中TwoBoneIK节点进行IK计算,实现虚拟人物手臂的自然控制;(二)依据Unreal Engine动画蓝图中Layeredblendperbone节点进行动画混合,当现实世界中人物手部接近方向盘时,虚拟世界中的人物,会自动切换至播放驾驶员操作方向盘动画状态,并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画。
2.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法,其特征在于,所述Leap Motion是面向PC以及Mac的体感控制器制造公司Leap发布的体感控制器,用于人体手部动作捕捉
3.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法,其特征在于,所述模型动画使用三维建模软件,制作的虚拟人物模型,拥有现实人物一样的外部特征,包括四肢。
4.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法,其特征在于,所述捕捉数据回传给Unreal4引擎中的虚拟人物,人物使用动画蓝图驱动动画,只需在在动画蓝图中使用Transform Modify Bone节点。
5.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法,其特征在于,所述Leap Motion未开启或未激活时,虚拟人物动画会依据现实世界的方向盘旋转状态,通过Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画,虚拟人物双手模型会根据方向盘旋转度而对应旋转。
6.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法,其特征在于,所述LeapMotion开启并激活时,如果由于遮挡或其他原因造成丢失捕捉数据的情况时,Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画,避免造成虚拟世界中驾驶员操作异常的情况。

说明书全文

一种虚拟驾驶环境中手部运动跟踪方法

技术领域

[0001] 本发明涉及虚拟驾驶仿真领域,具体涉及一种虚拟驾驶环境中手部运动跟踪方法。

背景技术

[0002] 在传统的计算机图形技术中,视场的改变是通过鼠标键盘来实现的,用户的视觉系统和运动感知系统是分离的,如今伴随虚拟现实技术发展,出现了一批虚拟现实技术解决方案,利用头部跟踪来改变图像的视,用户的视觉系统和运动感知系统之间就可以联系起来,感觉更逼真。用户不仅可以通过双目立体视觉去认识环境,而且可以通过头部的运动去观察环境,该方案着重解决了虚拟现实技术中的虚拟环境模拟问题,通过佩戴相应设备,可广角、实时、立体、显示由计算机生成的三维图像,但对虚拟现实中的交互感,仍使用传统的手柄操作,用户需要通过按键操作,完成和虚拟世界的交互。
[0003] 目前的领域中,由于捕捉设备及技术缺陷,只能获取手部的姿态,无法获取人物手部以外部分的姿态特征数据;尚无法精确还原现实手部所有姿态特征;在驾驶员旋转方向盘时,会出现对手势的遮挡,设备无法捕捉到正确手部位置和姿态,导致手势识别失效。另外,在捕捉手部动作数据、将数据传回虚拟世界并赋予模型、驱动模型动画的一系列过程中,会造成延时问题,导致虚拟手部位置无法匹配现实手部位置,从而降低了仿真体验真实感。
[0004] 为实现更逼真的虚拟现实体验,通过手柄,按键方式实现与虚拟世界的互动并非最佳方案,事实上虚拟现实技术包括了对环境模拟、感知、自然技能和传感设备等多方面。本发明提出一种虚拟驾驶环境中手部运动跟踪方法,通过捉真实世界人物手势数据,实现与虚拟世界交互。

发明内容

[0005] 本发明提供一种虚拟驾驶环境中手部运动跟踪方法,用户可以在虚拟世界中看到自己的双手对方向盘等物体操作,增强了仿真体验的真实感和沉浸感
[0006] 为实现上述目的,本发明提供如下技术方案:一种虚拟驾驶环境中手部运动跟踪方法,包括如下步骤:步骤一:使用Leap Motion的API,获取设备捕捉到的双手姿态数据;
步骤二:通过Leap Motion的API实时获取的手部姿态数据,经由Unreal Engine动画蓝图实时赋值于虚拟人物手部模型骨骼上,从而实现自然手势运行追踪操作;其中包括:(一)依据Unreal Engine动画蓝图中TwoBoneIK节点进行IK计算,实现虚拟人物手臂的自然控制;(二)依据Unreal Engine动画蓝图中Layeredblendperbone节点进行动画混合,当现实世界中人物手部接近方向盘时,虚拟世界中的人物,会自动切换至播放驾驶员操作方向盘动画状态,并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画。
[0007] 所述Leap Motion是面向PC以及Mac的体感控制器制造公司Leap发布的体感控制器,用于人体手部动作捕捉
[0008] 所述模型动画使用三维建模软件,制作的虚拟人物模型,拥有现实人物一样的外部特征,包括四肢。
[0009] 所述捕捉数据回传给Unreal4引擎中的虚拟人物,人物使用动画蓝图驱动动画,只需在在动画蓝图中使用Transform Modify Bone节点。
[0010] 所述Leap Motion未开启或未激活时,虚拟人物动画会依据现实世界的方向盘旋转状态,通过Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画,虚拟人物双手模型会根据方向盘旋转角度而对应旋转。
[0011] 所述LeapMotion开启并激活时,如果由于遮挡或其他原因造成丢失捕捉数据的情况时,Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画。避免造成虚拟世界中驾驶员操作异常的情况本发明的有益效果是:
1. 本发明通过捕捉真实世界人物手势数据,实现与虚拟世界交互,用户可以在虚拟世界中看到自己的双手对方向盘等物体操作,增强了仿真体验的真实感和沉浸感。
[0012] 2. 使用Leap Motion设备捕捉的手部姿态数据,通过IK动画精确计算,从而实现整只手臂的动作模拟。
[0013] 3.在虚拟驾驶环境中,当现实人物手部接触方向盘,虚拟世界人物自动切换播放动画,并根据Leap Motion捕捉数据计算播放动画位置,使双手紧握方向盘同时,可以根据真实手部位置改变虚拟世界手部在方向盘上的位置。实现虚拟世界完美仿真手握方向盘操作。
[0014] 4.通过使用预先设置好的动画,可以在Leap Motion丢失捕捉或捕捉错误时自动切换播放动画。避免造成丢失手部数据或延时造成的,虚拟世界仿真不真实情况。附图说明
[0015] 附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与发明的实施例一起用于解释本发明,并不构成对本发明的限制。
[0016] 在附图中:图1是本发明所述的捕捉数据流程图
图2是本发明所述的手部运动跟踪流程图。

具体实施方式

[0017] 以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
[0018] 一种虚拟驾驶环境中手部运动跟踪方法,包括如下步骤:步骤一:参阅图1,使用Leap Motion的API,获取设备捕捉到的双手姿态数据,包括每根手指的位置和旋转数据:通过Leap Motion的API,获取设备捕捉到的双手姿态数据,包括每根手指的位置和旋转数据,将获取的这些数据回传给Unreal Engine引擎中虚拟人物的手部模型的骨骼上,在Unreal Engine中虚拟人物的动作使用动画蓝图进行驱动,动画蓝图中使用Transform Modify Bone节点即可实时控制模型骨骼动画,将Leap Motion捕捉到的双手姿态数据,包括每根手指的位置和旋转数据赋值于动画蓝图中对应的虚拟人物手部模型骨骼上即可。
[0019] 步骤二:参阅图2,通过Leap Motion的API实时获取的手部姿态数据,经由Unreal Engine动画蓝图实时赋值于虚拟人物手部模型骨骼上,从而实现自然手势运行追踪操作;其中包括:
(a)手臂运动控制:通过Leap Motion的API实时获取手部根部姿态,依据Unreal Engine动画蓝图中Two Bone IK节点进行IK计算,实现通过手部根部姿态,反向驱动整只手臂运动,从而实现虚拟人物手臂的自然控制;
(b)与方向盘交互:依据Unreal Engine动画蓝图中Layeredblendperbone节点进行动画混合,实现当现实世界中人物手部接近方向盘时,虚拟世界中的人物,会自动切换至播放驾驶员操作方向盘动画状态,并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画。
[0020] (c)识别状态丢失,异常或无法识别状态下处理:当捕捉设备LeapMotion未开启或未激活时,虚拟人物动画会依据现实世界的方向盘旋转状态,通过Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画,虚拟人物双手模型会根据方向盘旋转角度而对应旋转。
[0021] 在LeapMotion开启并激活时,如果由于遮挡或其他原因造成丢失捕捉数据的情况时,Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画。避免造成虚拟世界中驾驶员操作异常的情况。
[0022] 与现有技术相比,通过使用预先设置好的动画,可以在Leap Motion丢失捕捉或捕捉错误时自动切换播放动画。避免造成丢失手部数据或延时造成的,虚拟世界仿真不真实情况;通过捕捉真实世界人物手势数据,实现与虚拟世界交互,用户可以在虚拟世界中看到自己的双手对方向盘等物体操作,增强了仿真体验的真实感和沉浸感。
[0023] 最后应说明的是:以上所述仅为本发明的优选实例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈