技术领域
[0001] 本
发明涉及
机器人智能学习和控制领域，特别涉及一种基于多信息融合的人机技能传递系统。
背景技术
[0002] 服务
机器人技术近年来发展迅速，日益受到人们重视。与传统的
工业机器人相比，服务机器人服务于人们日常生活，因而与人更接近，要求与服务机器人
人机交互必须安全，稳定可靠。同时由于人的需求多样性，要求服务机器人具有灵活的类人行为特性。上述服务机器人的特性及人们对服务机器人的期待促使研宄者找到一种便捷，简易，稳定且成本低的人机交互技术，即能够实现人的技能向服务机器人的稳定传递，使服务机器人更好的服务于大众实际生活。
[0003] 中国公开
专利号:CN 103302668A，名称:基于Kinect的空间遥操作机器人的控制系统及其方法。该方法基于Kinect实现对空间物体的抓取工作，但是在人们实际生活中，更多的是通过基于阻抗控制来完成作业，仅仅通过Kinect遥操作无法使用户实时了解机器人的实际运行情况，也无法很好的完成一些复杂精细的工作。因而需要更多的传感信息融合来弥足这些不足。
[0004] 中国公开专利号:CN202471117U，名称:
传感器安装
支架。传感器的安装采用穿设孔固定在主支架上，这种方式的安装方法需要开设安装孔，带来一定的问题，如
定位调整不方便，开设的空降低了主支架的强度，如有定位要求，会受外界影响造成一定的扰动误差，另外该支架设计缺少灵活的
位置调整固定机构，不适合对
精度有一定要求的实验场合。
[0005] 中国公开专利号:CN202676197U，名称:传感器支架。该支架设计可伸缩，采用
螺纹传动。但是在大尺度位置调节场合，该设计方式需要增加螺纹长度，给加工带来一定困难，另外调整效率会大大降低。而且缺少必须的定位机构，当螺纹磨损后，会给传感器的定位带来一定的干扰。
[0006] 另外随着技术的进步，越来越多的传感器用于机器人的服务领域，如
双目视觉，体感传感器，触觉传感器等。这些传感器安装精度将对服务的效果造成诸多不良影响，如无法实现人机同步，人机交互失真等；另外由于市场上传感器类型繁多，需要不同的传感器安装
接口，并且多数是非标准化的接口，需要单独定做，给实验调试带来诸多不便，花费相当的时间和经费。现有的视觉传感器多固定在
墙壁或房间的横梁上，安装费时，费
力，有时需要专业的技术人员钻孔等。作为固定的实验平台，这些传感器固定在这些位置可能不会影响正常的实验任务，然而一旦由于环境影响如光照，振动等造成传感器精度下降，这时需要人工修正传感器安装误差，显然由于安装的不便利导致调整难度的增加，另外当需要增加传感器数量或种类时，传统的安装方法的欠可扩展性的弊端更显而易见。此外某些实验场合不适合墙壁钻孔或吊装作业，如较为空旷的地带或者室内布线过多，施工易引起意外事故的发生。
发明内容
[0007] 本发明的目的在于克服
现有技术的缺点与不足，提供一种基于多信息融合的人机技能传递系统。
[0008] 本发明的目的通过以下的技术方案实现:
[0009] 一种基于多信息融合的人机技能传递系统，包括与机器人连接的计算机、传感器安装支架，以及分别与计算机相连的体感传感器、双目视觉摄像头、人体肌电
信号采集仪、人机技能传递调整接口、监测显示器，所述的体感传感器、双目视觉摄像头、人体肌
电信号采集仪、人机技能传递调整接口分别安装在传感器安装支架上，所述的人体肌电信号采集仪通过测量
电极与人体连接，所述的体感传感器设置在人体关节处。
[0010] 所述的基于多信息融合的人机技能传递系统，还包括固定在
手柄上的力传感器。力传感器固定在手柄上，用户通过在空间不同方向上施加不同的力，通过的力的增量来估计人体关节的阻抗如
刚度，阻尼增量，增加了阻抗估计的准确性和人机交互的安全性，避免因人-机器人阻抗信息不匹配造成的不安全事故。
[0011] 所述的基于多信息融合的人机技能传递系统，实现多种模式进行人机交互控制策略:肌电控制策略、肌电-体感控制策略、体感控制策略、肌电-体感-
视觉反馈控制策略、体感-视觉反馈控制策略、肌电-视觉反馈控制策略。
[0012] 所述的肌电控制策略具体为:通过肌电信号采集仪采集人体肌电信号，经过处理提取其中的幅值增量作为人体关节阻抗的增量，从而获得人体活动阻抗规划并通过机器人的阻抗控
制模块实现人的行为特性向机器人的传递，使机器人具有人的阻抗规划特性。
[0013] 所述的肌电控制策略包含以下顺序的步骤:
[0014] S1.用户采集本身表面肌电信号，同时记录对应肌电信号所施加的力采用20-500HZ带通
滤波器对信号和50Hz陷波滤波器对信号进行预处理；
[0015] S2.采用AF-FM
算法对信号进行特征提取，提取周期为0.ls，获得信号幅值包络曲线；
[0016] S3.计算力的增量和对应的表面肌电信号幅值增量，利用肌电信号和力信号的近似线性关系完成信号的系数估计和阻抗估计；
[0017] S4.通过机器人的阻抗
控制模块，采用TCP或UDP的数据传递方式实现人的技能向机器人的传输。
[0018] 所述的肌电-体感控制策略为:在肌电控制策略
基础上，引入体感传感器，通过体感传感器获得人体关节的位置，速度等信息，通过机器人的阻抗控制接口实现阻抗和位置的同时控制。
[0019] 所述的体感控制策略为:只通过体感传感器，获取人体关节运动学信息进行人机交互。
[0020] 所述的肌电-体感-视觉反馈控制策略为:在肌电-体感控制策略基础上引入视觉反馈，通过双目摄像头实时观测机器人行为是否和人的行为匹配，并进行实时调整。采用肌电-体感-视觉反馈控制策略达到安全，精确的人机交互控制目的。
[0021] 所述的体感-视觉反馈控制策略为:在体感控制策略基础上引入视觉反馈，使人的行为和机器人行为高度一致。
[0022] 所述的肌电-视觉反馈控制策略为:在肌电控制策略基础上引入视觉反馈，便于用户根据机器人所述环境的变化及时调整自身行为，矫正机器人的行为。肌电-视觉反馈控制策略使机器人稳定、可靠运行。
[0023] 本发明与现有技术相比，具有如下优点和有益效果:
[0024] 1、本发明提供一种基于多信息融合人机技能传递系统，系统传感器定位精度高，稳定可靠，系统模块化程度高、体积小，操作方便，制造成本低，可以克服传统支架安装精度低、接口不匹配、传感器安装受空间局限、投入成本高等问题且控制系统简单，控制模式多样。
[0025] 2、本发明的系统，服务机器人人机交互信息充分、控制策略多样，且多传感器安装方便、投入成本显著降低。
附图说明
[0026]图1为本发明所述的一种基于多信息融合的人机技能传递系统的结构示意图；
[0027] 图2为图1所述的系统基于表面肌电信号阻抗增量估计原理图；
[0028] 图3为图1所述的系统肌电-体感传感器-双目视觉控制策略总图；
[0029] 图4为图1所述的系统表面肌电
信号处理流程图；
[0030] 图5为图1所述的系统的传感器支架结构示意图；
[0031]图6为图1所述的系统的双目摄像头视
角微调旋转关节的结构示意图；
[0032]图7为图1所述的系统的体感传感器视角微调旋转平台的结构示意图。
具体实施方式
[0033] 下面结合
实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0034] 一种基于多信息融合人机技能传递系统，由体感传感器、双目视觉摄像头、人体肌电信号采集仪、人机技能传递调整接口、监测显示器、传感器
支撑支架组成。系统传感器固定于三坐标可调的平台支架上，用户通过肌电信号采集仪采集自身的肌电信号，提取其中的阻抗信息，通过体感传感器提取自身的运动信息，经过人机技能传递调整接口对上述信息进行评估，然后通过机器人运动控制界面传输给机器人，完成人的技能向机器人传递，双目视觉传感器作为反馈环节，实时使用户掌控机器人运行状态，确保服务的准确性和安全性。整个系统架构如图1所示。
[0035] 该系统有以下子系统构成:表面肌电信号测量调整系统:由
测量电极和肌电信号采集仪组成，该系统通过测得的肌电信号对人体关节阻抗信息进行在线估计，从而获得人体关节阻抗的值和相应动作的阻抗规划，并映射到
机器人本体上。
[0036] 人体运动信息测量系统:由体感传感器获得人体关节运动信息，经调整后映射到机器人。
[0037] 视觉反馈系统:通过双目摄像头的实时反馈，使用户及时了解机器人的运行情况，提尚服务的精确性和安全性。
[0038] 其中，表面肌电信号测量调整系统的调整阶段采用力传感器和肌电信号融合来提取人体不同行为下的关节阻抗信息。力传感器固定在手柄上，用户通过在空间不同方向上施加不同的力，通过的力的增量来估计人体关节的阻抗如刚度，阻尼增量，增加了阻抗估计的准确性和人机交互的安全性，避免因人-机器人阻抗信息不匹配造成的不安全事故。
[0039] 人体阻抗增量估计流程如图2所示，其具体步骤是:在用户手臂相应位置的肌肉
皮肤表面贴上肌电采集电极，通过手臂的肌肉运动获取原始肌电信号，同时通过力传感器获取手臂肌肉所产生的力。原始肌电信号经过滤波等处理获得其幅值包络和增量，同时得到同一
采样时间下的力增量。经过人体肌肉刚度系数评估界面获得相应的刚度系数，从而得到关节肌肉的刚度增量。
[0040] 信号处理流程如图4所示。该处理流程分以下几个阶段:
[0041] (I)预处理，该阶段主要完成肌电信号的滤波处理，获得相应
频率范围的肌电信号并去掉环境噪声的干扰；
[0042] (2)信号分段，该阶段根据实时控制系统的最小时延主要完成信号的
加窗处理；
[0043] (3)信号分解，每个信号分段根据FIR滤波器划分五个子带宽；
[0044] (4)依据Teager的
能量分解算法获得肌电信号的幅值包络；
[0045] (5)序列平滑，利用21点均值滤波去除幅值包络的毛刺；
[0046] (6)
时空平均，主要分为两个阶段，即时间平均和空间平均。前者用于平滑时间序列上的幅值
波动，后者用于不同通道之间的平滑处理。
[0047] 人体运动信息测量系统:通过体感传感器获得人体关节运动信息，通过逆运动学映射到机器人本体上，使机器人通过示教完成一些复杂，高难度的任务，提高了人机交互的便捷性，降低了算法复杂度，并且扩展了人机交互方式。
[0048] 视觉反馈系统:为用户提供直观的示教操作反馈，增加了服务机器人示教操作的可靠性和可控性。传感器采用双目视觉摄像头，连接在人机交互支架上，其底座可调整视场角度，便于获得良好的视觉效果。
[0049] 所述的服务机器人多信息融合人机技能传递系统，该系统可实现多种模式进行人机交互控制策略:
[0050] 肌电控制策略；
[0051] 肌电-体感控制策略；
[0052] 体感控制策略；
[0053] 肌电-体感-视觉反馈控制策略；
[0054] 体感-视觉反馈控制策略；
[0055] 肌电-视觉反馈控制策略。
[0056] 所述肌电控制策略为:通过肌电信号采集仪采集人体肌电信号，经过处理提取其中的幅值增量作为人体关节阻抗的增量，从而获得人体活动阻抗规划并通过机器人阻抗控制模块实现人的行为特性向机器人的传递，使机器人具有人的阻抗规划特性。
[0057] 所述的肌电-体感控制策略为:在肌电控制策略基础上，引入体感传感器，通过体感传感器获得人体关节的位置，速度等信息，通过机器人阻抗控制接口实现阻抗和位置的同时控制。
[0058] 所述的体感控制策略为:单纯通过体感传感器，获取人体关节运动学信息进行人机交互。
[0059] 所述的肌电-体感-视觉反馈控制策略为:在肌电-体感控制策略基础上引入视觉反馈，通过双目摄像头实时观测机器人行为是否和人的行为匹配，并进行实时的调整，达到安全，精确的人机交互控制目的。如图3，用户通过体感传感器获得其手臂运动信息并实时传递给服务机器人，使服务机器人根据人的运动意图执行相应的任务，通过双目视觉反馈实时获得服务机器人的任务执行情况。在阻抗控制端，用户通过获取自身手臂表面肌电信号，经过力传感器和肌电采集仪的信息融合进行刚度增量评估，获得刚度评估系数，经过机器人动力学模型和力矩控制界面实现服务机器人的阻抗控制。用户还可通过力传感器实时获得机器人在任务执行过程中的
力反馈。
[0060] 所述的体感-视觉反馈控制策略为:在体感控制策略基础上引入视觉反馈，使人的行为和机器人行为高度一致。
[0061] 所述的肌电-视觉反馈控制策略为:在肌电控制策略基础上引入视觉反馈，便于用户根据机器人所述环境的变化及时调整自身行为，矫正机器人的行为，使机器人稳定、可靠运行。
[0062]多信息融合系统，通过运动控制接口系统，将前述传感器获得的信息融合到该系统，完成服务。
[0063] 所述肌电控制策略主要步骤如下:
[0064] 步骤1:用户采集本身表面肌电信号，同时记录对应肌电信号所施加的力采用20-500HZ
带通滤波器对信号和50Hz陷波滤波器对信号进行预处理；
[0065] 步骤2:采用AF-FM算法对信号进行特征提取，提取周期为0.ls，获得信号幅值包络曲线；
[0066] 步骤3:计算力的增量和对应的表面肌电信号幅值增量，利用肌电信号和力信号的近似线性关系完成信号的系数估计和阻抗估计；
[0067] 步骤4:通过人机阻抗控制接口，采用TCP或UDP的数据传递方式实现人的技能向机器人的传输。
[0068] 如图5、6、7，传感器支架由底座1、平衡调整杆2、平衡连接件3、高度调整杆4、角连接器5、视角调整杆6、双目摄像头7、视场调整台8、体感传感器9、体感传感器旋转台10、传感器安装支架11组成。
铝型材之间的连接均采用可拆卸的角连接器，便于拆卸和调整。平衡调整杆的高度可调，长度方向可调，便于保持整个架构的稳定并合理利用空间。视角调整杆和传感器支撑架高度可调，便于调整视场。
[0069] 高度调整杆4通过螺钉和紧配合固定在底座I上，高度调整杆4与平衡调整杆2通过角连接器相连，使之不受外力影响而发生移动，提高高度调整杆的平衡性；平衡连接件3通过螺钉紧固连接平衡调整杆2和试验台支撑架，达到平衡的目的；视角调整杆6通过角连接器5与高度调整杆4固连，同时连接传感器安装支架11，传感器安装支架11上面安装有各类型的传感器
机械接头视场调整台8和体感传感器旋转台10 ;视场调整台8通过顶部
法兰盘与双目摄像头7相连，体感传感器9与体感传感器旋转台10通过其顶部法兰相连接。
[0070] 平衡连接件3能够根据试验台，操作台等的高度调节自身的位置，使其达到稳定支架，减小使用空间的目的。同时该支架三角底座可以移动，使其处于理想的位置。
[0071] 视场调整台8通过顶部法兰盘与双目摄像头7相连，能够
俯仰运动，微调摄像头的视角。视场调整台8的旋转关节通过
螺纹连接形成紧固。传感器安装支架11在视角调整杆6长度方向上可以自由调整自身与被测物体的距离，起到调焦作用。视场调整台8和体感传感器旋转台10可在传感器安装支架11长度方向上通过滑块，滑块还可以通过螺钉与传感器安装支架11紧固连接，起到定位保持作用。视角调整杆6在高度调整杆4长度方向上可以自由调整自身高度，调整视角的大小。
[0072] 如图6，视场调整台8是一个旋转副，由动凸台12连接双目摄像头7，定凸台13连接传感器支架11，摄像头7调整好
姿态后，由对
螺栓和
螺母拧紧，直到该旋转副不能在一定的外力作用下转动为止。
[0073] 体感传感器旋转台10由三部分组成，动平台14，旋
转轴15和与传感器支架11连接的法兰16，动平台14通过
旋转轴15可以做360度旋转，并通过
紧定螺钉进行定位，保持体感传感器的稳定，不受环境振动和误操作的影响。
[0074] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
