基于电磁力反馈和增强现实的机器人遥操作系统和方法
专利汇可以提供基于电磁力反馈和增强现实的机器人遥操作系统和方法专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种基于电磁 力 反馈和 增强现实 的 机器人 遥 操作系统 及方法。所述系统包括自然控 制模 块 和自然反馈模块。自然 控制模块 在融合操作人员的手势文本和语音文本后，通过推理方法提取机器人控制指令引导 虚拟机 器人运动，远程真正的机器人基于通过互联网发送的数据复制虚拟机器人的运动；自然反馈模块包括电磁 力反馈 和 视觉反馈 ，电磁力反馈使得操作人员可以感受到机器人的力量，视觉反馈使得操作人员可以从任意方向观察虚拟机器人。采用该系统远程操作机器人，能实时感受到机器人的受力情况及观察到机器人执行任务的过程，具有强烈的 沉浸感 ，提高了操作效率和操作准确性，适用于非专业操作人员，具有普适性和易操作性，具有广泛的应用范围。，下面是基于电磁力反馈和增强现实的机器人遥操作系统和方法专利的具体信息内容。
1.基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，包括：自然控制模块、自然反馈模块；
所述自然控制模块包括可移动操作平台、语音采集模块、虚拟机器人以及远程真正的机器人；自然控制模块用于在融合通过可移动操作平台和语音采集模块获取的操作人员的手势文本和语音文本后，通过推理方法提取机器人控制指令引导虚拟机器人运动，虚拟机器人接收机器人控制指令并根据指令进行运动，并将运动数据通过互联网发送给远程真正的机器人，远程真正的机器人接收数据并复制虚拟机器人的动作；
所述自然反馈模块包括电磁力反馈模块和视觉反馈模块；电磁力反馈模块用于使得操作人员感受到机器人的力量，视觉反馈模块用于使得操作人员从任意方向观察虚拟机器人。
2.根据权利要求1所述的基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，所述可移动操作平台包括追踪平台、移动机器人、棋盘格图片、运动传感器以及电磁铁；
追踪平台上固定了一个电磁铁和两个运动传感器，其中电磁铁放置在平台的中心，两个运动传感器对称的固定在电磁铁两侧，分别安装在一个连杆的末端上以45度角相向朝下，用于扩大操作人员手的操作空间；单个运动传感器的工作空间是一个锥角为89.5°、高度为
550毫米和底部半径为550毫米的圆锥体，用于测量手掌的位置和方向并通过相应的算法得到操作人员的手势文本，当操作人员的手在两个LM工作空间的重叠区域时，测量数据将被融合以提高准确性和稳定性；电磁铁用于产生电磁场以提供电磁力反馈；追踪平台固定在移动机器人的六自由度机械臂末端，移动机器人用于使追踪平台和平台上的传感器及电磁铁在空间中进行运动；在移动机器人的电源箱上粘贴一个棋盘格图片，用于定位移动机器人在空间中的位置。
3.根据权利要求1所述的基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，所述语音采集模块采用Kinect相机中内置的麦克风阵列收集操作人员的语音，并将操作人员的语音转换为文本形式得到语音文本。
4.根据权利要求1所述的基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，所述电磁力反馈模块包括线圈和永磁铁；线圈呈圆柱形，中心是一个铁芯，铁芯周围缠绕着若干层铜导线，用于产生电磁场；所述线圈固定在追踪平台的中心处，所述永磁铁佩戴在操作人员的手上，使得操作人员感觉到机器人的受力；线圈中集成了一个PID控制器，用于减少线圈和永磁铁的不利影响，永磁铁被放置在人手的背面，以避免干扰操作人员的操作。
5.根据权利要求1所述的基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，所述视觉反馈模块包括AR眼镜；用于使得操作人员从任何方向观察机器人运动以及显示远程真正的机器人执行任务的实时视频。
6.根据权利要求1所述的基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，所述远程操作系统中，定义世界坐标系为XWYWZW；根据机器人D-H模型，定义移动机器人机械臂的基坐标系为XBYBZB；定义机器人末端执行器的坐标系为XEYEZE；定义语音采集模块中的Kinect相机的坐标系为XKYKZK，其中ZK是Kinect的光学轴，XK是Kinect的长边；定义操作人员戴的AR(Augmented Reality)眼镜的坐标系为XGYGZG，定义手的坐标系为XHYHZH，YH垂直于手掌平面并指向手的背面，XH与从手掌中心到中指的线是共线的；定义运动传感器的坐标系为XLYLZL，XL和ZL分别沿着运动传感器的长边和短边；棋盘格图片固定在移动机器人上，其坐标系被定义为XIYIZI，棋盘格的左上角点为原点，ZI垂直于棋盘格平面，XI沿着棋盘格图片的短边，用于定位移动机器人在Kinect语音采集模块坐标系下的位置；机器人上有一个校准盒，它的坐标系被定义为XCYCZC，用于校准虚拟机器人和移动机器人之间的关系；根据以上坐标系的关系，在运动传感器坐标系中测量的操作人员手的位置和方向被转换成世界坐标系中的坐标值，用于控制虚拟机器人。
7.根据权利要求2所述的基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，所述运动传感器通过测量获得6个参数，包括手坐标系相对于运动传感器坐标系的3个旋转角度分量和3个位置分量，使用间隔卡尔曼滤波器(IKF)消除测量得到的人手位置的测量误差；
手坐标系到世界坐标系的旋转矩阵 如下：
其中 表示手坐标系的i轴正方向和世界坐标系的j轴正方
向之间的角度；
k时刻的位置状态定义如下：xk＝[px,k,Vx,k,Ax,k,py,k,Vy,k,Ay,k,pz,k,Vz,k,Az,k]，其中px,k,py,k，pz,k表示手掌中心在世界坐标系的位置分量，Vx,k,Vy,k,Vz,k表示人手在世界坐标系每个轴的速度分量，Ax,k,Ay,k,Az,k是在手坐标系中测得的加速度分量，通过IKF从带有噪声的测量值中估计xk的值；
运动传感器在运动传感器坐标系中检测到手的方向，包括翻滚角φ、俯仰角θ和偏航角ψ；然后通过分解的四元数算法(FQA)将测量的欧拉角转化为四元数，采用改进的粒子滤波(IPF)来减少测量得到的人手方向的测量误差；时刻tk的近似后验密度定义如下：
其中 是在时刻tk的第i个粒子状态，N是样本数目， 是第i个粒子在时刻tk的归一化权重，δ(x)是狄拉克三角函数；
采用总体卡尔曼滤波器来近似状态粒子 的概率密度函数，一组初始状态粒子是总体效果预测 如下：
wi,k-1:N(0,Qk-1)；
其中wk代表模型误差，Qk-1代表模型误差的协方差；每个粒子的方向有4个状态它由一个单位四元数表示，并满足以下条件：
其中 代表4个单元四元数分量，每个粒子在时刻tk+1的四元数分量定义
如下：
式中ωaxis,k表示角速度分量，axis∈(x，y，z)，t是采样时间；IPF为每一个粒子的方向估计速度和位置，根据第i个粒子的通过IKF估计的位置和计算的位置之间的累积差异来分配每个粒子的权重，用于减少在世界坐标系中计算物体的加速度的误差，位置差异定义如下：
其中 是第i个粒子在第s次方向迭代中累积的位置差，Ms＝ΔTs/t, 是直接计算出的第i个定向粒子在时刻tk的世界坐标系中的位置， 是在时刻k通过IKF预测的第i个粒子在世界坐标系每个轴上的位置；
将滤波获得的人手的位置和方向数据表示成文本“人手位置P＝(px,k,py,k，pz,k),方向D＝(φ,θ,ψ)”的形式，得到手势文本。
8.根据权利要求1所述的基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，所述融合操作人员的手势文本和语音文本为将手势文本拼接在语音文本后面；所述通过推理方法提取机器人控制指令，并用于机器人控制，具体如下：
采用(Copt,Cdir,Cval,Cunit)四个属性描述控制指令，Copt代表操作的类型，Cdir代表运动的方向，Cval代表运动值，Cunit代表运动值的单位；当操作者使用声音和手势控制机器人时，手势用于指示机器人运动的方向，因此手势文本被表示为一个方向矢量。
9.根据权利要求4所述的基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，电磁力反馈的实现如下：
利用人工神经网络中的反向传播神经网络(BPNN)根据预期力估计线圈的电流和位移；
BPNN包括输入层、两层节点数量可以动态调整的隐藏层以及输出层；BPNN模型包括6个输入参数和4个目标输出参数；输入层有6个节点用于输入参数分配，分别是手的位置估计P(px,py,pz)和来自环境的力fe(fe,x,fe,y,fe,z)；输出层中有4个节点，对应于当前电流I和位移D(dx,dy,dz)；该模型的训练和测试数据集的数据格式都是(px,py,pz，fe,x,fe,y,fe,z，I,dx,dy,dz)，数据集的数据是随机分配的，其中70％用于训练，其余的用于测试；
采集数据时，PID的输入是期望力fe和手的位置，电流I和dx,dy,dz被动态调整以使线圈产生适当的能被操作人员感觉到的力；调整电流使测量的线圈产生的力fh应尽量等于给定的期望力fe，两种力的偏差应满足：|fe-fh|≤e，e是人为设定的偏差阈值。
10.基于电磁力反馈和增强现实的机器人遥操作方法，其特征在于，包括如下步骤：
S1.通过操作平台上的运动传感器来获取操作人员的手势文本；
S2.通过语音采集模块实现操作人员语音文本的获取；
S3.进行融合文本的处理，具体包括：
将手势文本拼接在语音文本后面，实现融合手势文本和语音文本；通过推理方法提取机器人控制指令，并用于机器人控制，具体如下：
采用(Copt,Cdir,Cval,Cunit)四个属性描述控制指令，Copt代表操作的类型，Cdir代表运动的方向，Cval代表运动值，Cunit代表运动值的单位；当操作者使用声音和手势控制机器人时，手势可以指示机器人运动的方向，所以手势文本被表示为一个方向矢量；
S4.通过电磁力反馈模块实现电磁力反馈；
S5.通过视觉反馈模块实现视觉反馈。
基于电磁力反馈和增强现实的机器人遥操作系统和方法
技术领域
背景技术
2018.)。但是这些方法中的交互效率低，方式不够自然，需要具备专业的操作知识和经验，人手的运动空间受到设备的可动空间限制，并且操作员可以观察的视角也有限。非接触式方法中，测量设备不需要直接接触人体，可以间接获取人体的位置和姿态。例如将物理标记贴在人体上，然后通过相机拍摄的图像获取人手的位置和姿态，从而控制机械臂(J.Kofman,X.Wu,et al.,“Teleoperation of a Robot Manipulator Using a Vision-Based Human–Robot Interface,”IEEE Transactions on Industrial Electronics,vol
52,no.5,pp.1206-1219,2005.)；通过Leap Motion运动传感器获取人手的位置和姿态，不需要借助物理标记就可控制机器人(Guanglong Du,Ping Zhang,and Xin Liu,“Markerless Human–Manipulator Interface Using Leap Motion With Interval Kalman Filter and Improved Particle Filter,”IEEE Transactions on Industrial Informatics,vol.12,no.2,pp.694-704,2016.)。但是这些方法都缺少力反馈，导致操作的沉浸感和精度不足，并且人手的运动空间受到设备的测量空间限制，同时观察视角受限的问题依然存在。
发明内容
如下：
具体实施方式
义如下：
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种用于人工神经肌肉组织的定向刺激系统及方法 | 2020-05-08 | 266 |
| 音频响应回放 | 2020-05-11 | 402 |
| 听力语言康复装置、方法、电子设备及存储介质 | 2020-05-14 | 133 |
| 基于视觉反馈的三维扫描系统和方法 | 2020-05-08 | 368 |
| 多点触觉力传感器及在规则沟槽表面提取特征信息的方法 | 2020-05-12 | 393 |
| 移动终端和用于控制其的方法 | 2020-05-11 | 57 |
| 用来应用闭合切口的负压伤口治疗的方法和器件 | 2020-05-12 | 418 |
| 基于光通信技术的柔性电子通信系统及其应用 | 2020-05-13 | 722 |
| 一种基于光学导航及力反馈控制的颅颌面外科机器人系统 | 2020-05-11 | 681 |
| 一种基于视本体反馈的步态训练设备 | 2020-05-14 | 595 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
