一种基于Leap Motion的虚拟装配示教方法专利检索-视觉反馈医疗设备专利检索查询-专利查询网

一种基于Leap Motion的虚拟装配示教方法

阅读：49发布：2020-05-11

专利汇可以提供一种基于Leap Motion的虚拟装配示教方法专利检索，专利查询，专利分析的服务。并且一种基于Leap Motion的虚拟装配示教方法，先对装配体的零部件进行三维建模并进行正确装配，得到装配体模型，然后进行格式转换，导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；在Unity3D中进行虚拟装配场景的搭建，进行零部件的装配，再进行手势动作信息的获取与控制视图方法的编写，利用人手的动作信息实现对虚拟零部件的抓取移动以及视图缩放操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配；本发明可以准确的捕捉手部精细动作，实现对界面的控制及零部件的抓取并完成装配，并且将多种格式的零部件或装配体模型通过3dsMax格式转换后，进行虚拟装配，具有一定的通用性。，下面是一种基于Leap Motion的虚拟装配示教方法专利的具体信息内容。

权利要求

1.一种基于LeapMotion的虚拟装配示教方法，其特征在于，包括以下步骤：
步骤1，对装配体的零部件进行三维建模并进行正确装配，按以下步骤进行：
步骤1-1，零部件三维建模使用CAD建模软件，建立零部件模型，保证零部件的尺寸比例一致，CAD建模软件为Proe或SolidWorks；
步骤1-2，利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型，装配结束后要检查零部件是否发生干涉，若发生干涉则转至步骤1-1，进一步改进装配过程，若未干涉，则进行步骤2；
步骤2，对已建立的装配体模型进行格式转换，格式转化软件采用3dsMax软件，将建立好的装配体模型导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；
步骤3，完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建，按以下具体步骤进行：
步骤3-1，对虚拟装配场景进行灯光及背景贴图的设计，使界面符合人机工程学的要求；
步骤3-2，对虚拟装配场景中加入两组相同的上述三维模型，两组三维模型的区别如下：
1)一组作为示范三维模型，用来示范零件正确的装配位置，呈半透明状态，位置固定，没有刚体碰撞属性；
2)另一组作为待装配三维模型，与人产生互动，位置不固定，具有刚体碰撞属性，能够和虚拟手模型产生碰撞；
步骤3-3，虚拟装配场景中虚拟手模型的建立，包括左右两个，左手模型为半透明状态，用来控制视图的旋转与缩放，右手模型为实体状态，进行装配操作；
步骤4，在步骤3搭建的虚拟装配场景中进行零部件的装配，装配方法按以下具体步骤进行：
步骤4-1，在计算机显示屏上获取待装配零件在装配体中的正确位置，此过程通过查找步骤3-2中半透明示范三维模型中的相应零件位置获得；
步骤4-2，获取待装配零件当前位置与正确位置的距离L，通过改变零件材质颜色提醒装配者零件即将到达指定位置，设定接近距离d1、正确距离d2:
1)当L>d1时，零件呈颜色1，即零件还未接近正确位置；
2)当d1>L>d2时，零件呈颜色2，即零件已接近正确位置；
3)当L步骤5，手势动作信息的获取与控制视图方法的编写，按以下具体步骤进行：
步骤5-1，装配者手势动作信息的获取依靠LeapMotion 数据采集器对人手动作的捕捉，LeapMotion数据采集器能够在150度的空间视场范围内同时追踪全部10只手指，并且LeapMotion数据采集器将捕捉的人手动作信息转换为数字信息传输给计算机，以便在计算机中处理，通过计算机显示屏显示，并通过视觉反馈给装配者；
步骤5-2，使用基于混合高斯模型下的背景剪除方法获取手部数据，实现对人手动作数据的处理，并将手势动作与虚拟模型手进行绑定，实现真实手部动作与虚拟手势动作的一致同步性；
步骤5-3，手势控制视图的具体方法为：
1)首先利用相关函数得到人手的旋转数据和手部离原点的距离；
2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机，使虚拟摄像机围绕零件旋转以改变视角，改变虚拟摄像机焦距以改变视场大小，从而实现手势对视图的控制；
步骤6，利用步骤5中获得的手部动作信息实现对步骤4虚拟零部件的抓取移动以及视图缩放操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配。

说明书全文

一种基于Leap Motion的虚拟装配示教方法

技术领域

[0001] 本发明涉及虚拟装配技术领域，具体涉及一种基于Leap Motion的虚拟装配示教方法。

背景技术

[0002] 随着高等教育和职业技术教育的快速发展，几乎所有工科类院校都设有机械工程相关专业，而机器的构造和拆、装过程是培养机械类人才的重要环节。传统装配、维修课程的培训有着场地和装配器材不足，培训时间和地点的局限性且容易发生安全事故等缺点。而虚拟装配培训系统，能够让更多的学员在真实的装配训练之前进行多次重复的练习，学员可以比较自由的安排自己的时间选择装配课程进行学习，提供一个可供真实操作前的过渡训练所使用的虚拟装配环境。这样可以提高培训质量，降低了经验不足造成的安全隐患，对提高装配培训的效率和质量以及改善该领域教育资源不均衡的现状有着特殊的意义。

[0003] 然而，现有虚拟装配方法大多存在以下不足：首先，多数虚拟装配主要依靠鼠标来控制虚拟手进行装配，不涉及真实手部动作与装配过程的交互，即使某些系统具有动作捕捉器如Kinect等，但其对于手指精细动作的捕捉都不够准确；其次，目前的虚拟装配方法多是针对特定的模型或部件设计和开发，没有考虑到对机械产品的通用性，一旦发生产品结构更改，就需要对装配系统重新进行设计。

发明内容

[0004] 为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于Leap Motion的虚拟装配示教方法，可以准确的捕捉手部精细动作，实现对界面的控制及零部件的抓取并完成装配，并且可以将多种格式的零部件或装配体模型通过3dsMax格式转换后，进行虚拟装配，具有一定的通用性。

[0005] 为了达到上述目的，本发明是通过以下技术方案实现的：

[0006] 一种基于Leap Motion的虚拟装配示教方法，包括以下步骤：

[0007] 步骤1，对装配体的零部件进行三维建模并进行正确装配，按以下步骤进行：

[0008] 步骤1-1，使用CAD建模软件建立零部件模型，保证零部件的尺寸比例一致，CAD建模软件为Proe或SolidWorks；

[0009] 步骤1-2，利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型，装配结束后要检查零部件是否发生干涉，若发生干涉则转至步骤1-1，进一步改进装配过程，若未干涉，则进行步骤2；

[0010] 步骤2，对已建立的装配体模型进行格式转换，格式转化软件采用3dsMax软件，将建立好的装配体模型导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；

[0011] 步骤3，完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建，按以下具体步骤进行：

[0012] 步骤3-1，对虚拟装配场景进行灯光及背景贴图的设计，使界面符合人机工程学的要求；

[0013] 步骤3-2，在虚拟装配场景中加入两组相同的上述三维模型，两组三维模型的区别如下：

[0014] 1)一组作为示范三维模型，用来示范零件正确的装配位置，呈半透明状态，位置固定，没有刚体碰撞属性；

[0015] 2)另一组作为待装配三维模型，与人产生互动，位置不固定，具有刚体碰撞属性，能够和虚拟手模型产生碰撞；

[0016] 步骤3-3，虚拟装配场景中虚拟手模型的建立，包括左右两个，左手模型为半透明状态，用来控制视图的旋转与缩放，右手模型为实体状态，进行装配操作；

[0017] 步骤4，在步骤3搭建的虚拟装配场景中进行零部件的装配，装配方法按以下具体步骤进行：

[0018] 步骤4-1，在计算机显示屏上获取待装配零件在装配体中的正确位置，此过程通过查找步骤3-2中半透明示范三维模型中的相应零件位置获得；

[0019] 步骤4-2，获取待装配零件当前位置与正确位置的距离L，通过改变零件材质颜色提醒装配者零件即将到达指定位置，设定接近距离d1、正确距离d2:

[0020] 1)当L>d1时，零件呈颜色1，即零件还未接近正确位置；

[0021] 2)当d1>L>d2时，零件呈颜色2，即零件已接近正确位置；

[0022] 3)当L

[0023] 步骤5，手势动作信息的获取与控制视图方法的编写，按以下具体步骤进行：

[0024] 步骤5-1，装配者手势动作信息的获取依靠Leap Motion 数据采集器对人手动作的捕捉，Leap Motion数据采集器能够在150度的空间视场范围内同时追踪全部10只手指，并且Leap Motion数据采集器将捕捉的人手动作信息转换为数字信息传输给计算机，以便在计算机中处理，通过计算机显示屏显示，并通过视觉反馈给装配者；

[0025] 步骤5-2，使用基于混合高斯模型下的背景剪除方法获取手部数据，实现对人手动作数据的处理，并将手势动作与虚拟模型手进行绑定，实现真实手部动作与虚拟手势动作的一致同步性；

[0026] 步骤5-3，手势控制视图的具体方法为：

[0027] 1)首先利用相关函数得到人手的旋转数据和手部离原点的距离；

[0028] 2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机，使虚拟摄像机围绕零件旋转以改变视角，改变虚拟摄像机焦距以改变视场大小，从而实现手势对视图的控制；

[0029] 步骤6，利用步骤5中获得的手部动作信息实现对步骤4虚拟零部件的抓取移动以及视图缩放操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配。

[0030] 本发明与现有技术相比，显示了如下优越性：

[0031] 1、本发明采用Leap Motion的硬件系统，着重于对手掌、手指信息采集，可以实时获取它们的位置、手势和动作，在150度的空间视场范围内可以同时追踪全部10只手指，精度高达0.01毫米，增强了虚拟装配过程的人机交互作用，使装配者获得更好的沉浸感；

[0032] 2、本发明通过将零部件或装配体模型通过3ds Max转换成FBX格式，导入Unity3D中，即可实现虚拟装配，具有一定的通用性。附图说明

[0033] 图1是本发明的方法流程图。

[0034] 图2是本发明的虚拟装配方法流程图。

[0035] 图3是本发明硬件连接示意图。

具体实施方式

[0036] 下面结合附图和实施例对本发明作进一步的详细说明。

[0037] 如图1所示，一种基于Leap Motion的虚拟装配示教方法，包含以下步骤：

[0038] 步骤1，对装配体的零部件进行三维建模并进行正确装配，按以下步骤进行：

[0039] 步骤1-1，零部件三维建模使用市面上任一种常用的CAD建模软件，如Proe、SolidWorks等，通过建立拉伸、回转、凸台、倒角及孔特征，使用拔模、阵列、加强筋等工具，以及使用曲面功能建立零部件模型，保证零部件的尺寸比例一致；

[0040] 步骤1-2，利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型，装配结束后要检查零部件是否发生干涉，若发生干涉则转至步骤1-1，进一步改进装配过程，若未干涉，则进行步骤2；

[0041] 步骤2，对已建立的装配体模型进行格式转换，格式转化软件采用3dsMax软件，将建立好的装配体模型导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型，以便导入Unity3D；

[0042] 步骤3，完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建，按以下具体步骤进行：

[0043] 步骤3-1，对虚拟装配场景进行灯光及背景贴图的设计，使界面符合人机工程学的要求；

[0044] 步骤3-2，对虚拟装配场景中加入两组相同的上述三维模型，两组三维模型的区别如下：

[0045] 1)一组作为示范三维模型，用来示范零件正确的装配位置，呈半透明状态，位置固定，没有刚体碰撞属性；

[0046] 2)另一组作为待装配三维模型，与人产生互动，位置不固定，具有刚体碰撞属性，能够和虚拟手模型产生碰撞；

[0047] 步骤3-3，虚拟装配场景中虚拟手模型的建立，包括左右两个，左手模型为半透明状态，用来控制视图的旋转与缩放，右手模型为实体状态，进行装配操作；

[0048] 步骤4，在步骤3搭建的虚拟装配场景中进行零部件的装配，参照图2，以下以一个零件的装配为例说明装配方法，具体为：

[0049] 步骤4-1，在计算机显示屏E上获取待装配零件在装配体中的正确位置，此过程通过查找步骤3-2中半透明示范三维模型中的相应零件位置获得；

[0050] 步骤4-2，获取待装配零件当前位置与正确位置的距离L，通过改变零件材质颜色提醒装配者零件即将到达指定位置，设定接近距离3、正确距离1：

[0051] 1)当L>3时，零件呈灰色，即零件还未接近正确位置；

[0052] 2)当3>L>1时，零件呈红色，即零件已接近正确位置；

[0053] 3)当L<1时，零件呈白色，即判定零件已到达正确位置，零件被吸合到正确位置，且解除零件的碰撞属性以避免手的误碰，完成一次零件的装配；

[0054] 步骤5，手势动作信息的获取与控制视图方法的编写，按以下具体步骤进行：

[0055] 步骤5-1，如图3所示，装配者A手势动作信息的获取依靠Leap Motion数据采集器C对人手B动作的捕捉，Leap Motion数据采集器C能够在150度的空间视场范围内同时追踪全部10只手指，并且Leap Motion数据采集器C将捕捉的人手B动作信息转换为数字信息传输给计算机D，以便在计算机D中处理，通过计算机显示屏E显示，并通过视觉反馈给装配者A；

[0056] 步骤5-2，使用基于混合高斯模型下的背景剪除方法获取手部数据，实现对人手B动作数据的处理，并将手势动作与虚拟模型手进行绑定，实现真实手部动作与虚拟手势动作的一致同步性；

[0057] 步骤5-3，手势控制视图的具体方法为：

[0058] 1)首先利用相关函数得到人手B的旋转数据和手部离原点的距离；

[0059] 2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机，使虚拟摄像机围绕零件旋转以改变视角，改变虚拟摄像机焦距以改变视场大小，从而实现手势对视图的控制；

[0060] 步骤6，利用步骤5中获取的人手B的动作信息实现对步骤4虚拟零部件的抓取移动以及视图的缩放等操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配。

标题	发布/更新时间	阅读量
上肢运动器械及其控制方法	2020-05-08	253
一种自主配网带电作业机器人、系统及方法	2020-05-08	98
用于外科手术机器人系统的交互式引导和操纵检测安排、以及相关联方法	2020-05-12	610
基于视觉反馈的三维扫描系统和方法	2020-05-08	368
一种面向野外实践教学的虚拟学习环境多通道融合展示方法	2020-05-08	186
基于多频率时序编码的稳态听觉诱发电位脑-机接口方法	2020-05-11	390
多点触觉力传感器及在规则沟槽表面提取特征信息的方法	2020-05-12	393
一种钠镍电池密封钉焊接机	2020-05-12	149
用来应用闭合切口的负压伤口治疗的方法和器件	2020-05-12	418
基于视觉反馈的面部功能训练方法、设备及存储介质	2020-05-13	509

一种基于Leap Motion的虚拟装配示教方法

一种基于Leap Motion的虚拟装配示教方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：