基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法
专利汇可以提供基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法，包括Myo臂带、Unity 虚拟环境 、视线追踪单元和震动臂带；Unity虚拟环境包括虚拟假手以及可抓物体的适配场景；Myo臂带上包括若干干 电极 和九轴惯性模 块 ，干电极采集人体手臂微 电流 ，并解算出当前手势信息，九轴惯性模块采集并解算出当前手臂 姿态 信息；当前手势信息和手臂姿态信息传输至Unity虚拟环境并控制虚拟假手做出对应的动作；视线追踪单元，分析瞳孔相对眼睛的 位置 ，并映射到虚拟适配场景中，实现通过人眼选择物体；震动臂带将Unity虚拟环境的物体被抓取信息反馈至手臂肌肉。本发明可以减轻患者心理压 力 和经济压力，同时该平台也能够评估新的假手控制 算法 效果，促进肌电假手的开发。，下面是基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法专利的具体信息内容。
1.基于Myo臂带及视线追踪的虚拟假手训练平台，其特征在于：包括Myo臂带、Unity虚拟环境、视线追踪单元和震动臂带；所述Unity虚拟环境包括虚拟假手以及不同的可抓物体的适配场景；所述Myo臂带上包括若干干电极和九轴惯性模块，若干所述干电极采集人体手臂微电流，并解算出当前手势信息，所述九轴惯性模块采集并解算出当前手臂姿态信息；所述当前手势信息和当前手臂姿态信息传输至Unity虚拟环境并控制虚拟假手做出对应的动作；所述视线追踪单元，用于分析瞳孔相对眼睛的位置，并映射到虚拟的适配场景中，实现通过人眼选择物体；所述震动臂带将Unity虚拟环境的物体被抓取的反馈信息通过振幅的震动压迫反馈至手臂肌肉。
2.根据权利要求1所述的基于Myo臂带及视线追踪的虚拟假手训练平台，其特征在于：
所述视线追踪单元为带摄像头的视线追踪眼镜，所述视线追踪眼镜上设置有用于捕捉瞳孔的红外摄像头，所述红外摄像头用于分析瞳孔相对眼睛的位置。
3.根据权利要求1所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：首先使用者佩戴Myo臂带至小臂近肘处，将LED灯一侧朝向手掌，将干电极紧贴皮肤，连接Myo臂带与Unity虚拟环境；戴上视线追踪眼镜，确定红外摄像头对准眼睛；佩戴震动臂带，并通过蓝牙模块与Unity虚拟环境连接。
4.根据权利要求3所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于，包括以下具体步骤：
第一步：确定Myo臂带、震动臂带、视线追踪眼镜与Unity虚拟环境的通信是否正常；
第二步：校准Myo臂带与Unity虚拟环境中的虚拟假手的姿态；
第三步：读取视线追踪眼镜得到的瞳孔坐标，映射到Unity虚拟环境的虚拟的适配场景中去，并选择需要抓握的物体；
第四步：解析Myo臂带的数据，解算出手势；
第五步：判断手势，如果是抓握的手势，进行虚拟假手与被选物体的碰撞检测，如果是非抓握的手势，则不进行碰撞检测；
第六步：震动反馈，如果检测的结果是在碰撞，就将所抓物体信息和碰撞信号发送至震动臂带，进行相应强度的震动，如果没有碰撞，则重复第三步继续循环。
5.根据权利要求4所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：
第二步中，所述Myo臂带手臂姿态通过Myo臂带的九轴惯性模块来确定，所述九轴惯性模块包括三轴加速度计，三轴陀螺仪，三轴磁力计；
校准所述Myo臂带，即将虚拟假手的初始姿态在虚拟场景中处于初始位置，固定目前虚拟假手的姿态角，作为虚拟假手初始姿态角A1，以及将手臂处于一个初始位置，固定目前手臂的姿态角，作为手臂初始姿态角A2；同时Myo臂带的旋转的动作和虚拟假手的旋转动作保持一致，即A2作为A1的世界坐标系，A1随着A2运动。
6.根据权利要求4所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：
第三步中，在红外摄像头中加入850nmIRLED，红外摄像头镜头部分增加红外滤光片，对红外摄像头获得的图像进行预处理操作，为瞳孔的定位提供基础：
预处理包括：
(1)首先确定图像中的感兴趣区域，即瞳孔所在区域；
(2)接下来对该区域做灰度变换得到灰度图；
(3)进一步对图像做二值化处理，基本确定瞳孔区域；
(4)下一步对图像进行形态学变换，通过膨胀腐蚀操作去除噪声和反射光斑的干扰，得到完整的连通区域；
(5)瞳孔区域确定后采用外接椭圆与外接矩形对该连通区域进行拟合，进而获得瞳孔的中心位置坐标xp、yp；
瞳孔的位置坐标通过转换矩阵T(a11～a62)映射为屏幕上的坐标，即注视点，可以选择二阶非线性多项式即公式(1)，对两者之间的映射关系进行表达，其中，Xs、Ys表示注视点在屏幕上的坐标；
为覆盖注视点的范围，采用9个不同的注视点对系统进行标定，获取一组瞳孔与注视点数据，然后通过最小二乘法拟合出T的最优解；
最后，瞳孔与屏幕上点的关系确定后，采用数据拟合的方式构建头部转动与瞳孔位置变化的关系，以减小因头部转动而产生的注视点估计误差；
对头部坐标系进行定义，头部左右转动与上下转动分别影响YAW与PITCH的数值大小；
保持注视点位置不变，分别上下左右转动头部获得一组数据，左右转动的角度YAW范围为在±15°，上下转动的角度PITCH范围为±8°；以头部角度变化量为横坐标，瞳孔位置变化量为纵坐标，作图并进行拟合，并通过一阶多项式进行表达，如公式(2)，其中，ΔP表示瞳孔位置变化量，Δθ为头部角度变化量，a、b为多项式系数；
由此可以弥补头部转动产生的注视点估计误差，最终确定瞳孔注视点，去选择需要抓握的物体；
即将红外摄像头连接至Unity虚拟环境，启动校准上位机，将8个点陆续分布在屏幕的四角和四边中点，瞳孔相对眼眶的位置映射到屏幕上就是中心圆点相对屏幕的位置；通过转动瞳孔，使屏幕上的圆点和用于校准的8个特殊点重合，即表示标定成功，得出瞳孔映射到屏幕上的坐标(Xs、Ys)；
在虚拟环境中，将瞳孔所对应的二维坐标(Xs、Ys)绑定在一个三维的透明圆柱体上，该圆柱体用于碰撞检测，如果有物体与该圆柱体发生了碰撞，就将该物体以高亮的方式显示，让使用者知道自己看到了这个物体，方便使用者去抓取。
7.根据权利要求4所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：
第五步包括以下具体步骤：
所述Unity虚拟环境画面更新的同时循环检测使用者手势，若使用者未做出抓握的手势，则不进行Unity碰撞检测；若使用者做出抓握手势，开始进行碰撞检测；
当抓握到物体时，虚拟假手和虚拟物体会处在碰撞的过程中，此时，将虚拟物体的坐标以适宜的偏差赋给虚拟假手，使虚拟物体的坐标跟随虚拟假手的坐标运动，使虚拟物体被虚拟假手抓握起来，同时将已经抓握的信号和被抓物体的物理属性反馈至震动臂带；
当检测到非抓握的手势，即使用者松开手，不进行碰撞检测，虚拟物体的坐标就不再跟随虚拟假手运动，虚拟物体受重力自由掉落在虚拟场景的桌面上；
画面更迭，重复以上循环。
8.根据权利要求7所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：
所述震动臂带包括8块震动马达，震动马达以250HZ的频率进行震动，震动的幅度随着被抓物体的重量进行改变，即通过PWM波来控制8个马达的震动；
当接收到Unity虚拟环境传来的抓握信号，震动臂带震动，发出8路PWM波，根据传来的虚拟物体的重量的不同，震动的幅度变化，虚拟物体较轻，幅度较小，PWM占空比较小，虚拟物体较重，则幅度会加大，PWM占空比加大；
所述震动臂带的8个震动马达分布在人体小臂的各块肌肉处，通过挤压肌肉构成一种运动幻觉，让使用者能接近真实的感受到物体被抓住了。
基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 家电自定义控制系统、方法、自定义动作处理系统、方法 | 2020-05-08 | 376 |
| 一种急救教学自动识别方法及系统 | 2020-05-11 | 607 |
| 一种基于机器视觉的抛射物落点实景仿真系统及方法 | 2020-05-11 | 630 |
| 一种基于运动生理参数实时反馈的正念运动康复装置及其方法 | 2020-05-12 | 785 |
| 一种基于虚拟现实技术的医疗交互系统 | 2020-05-08 | 650 |
| 一种汽车电磁阀的电流响应时间测试装置及测试方法 | 2020-05-12 | 582 |
| 一种多视角小白鼠动态三维重建方法 | 2020-05-08 | 231 |
| 数据捕捉的智能飞行摇杆及其数据处理方法 | 2020-05-11 | 334 |
| 一种基于语音的动作捕捉数据云分享的控制方法、及其系统 | 2020-05-08 | 740 |
| 一种变压器有载分接开关测试仪 | 2020-05-12 | 989 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
