一种应用于智能家居的人机交互系统及其控制方法专利检索-串联机器人工业机器人机器人人工智能专利检索查询-专利查询网

一种应用于智能家居的 人机交互系统及其控制方法

阅读：905发布：2021-12-31

专利汇可以提供一种应用于智能家居的人机交互系统及其控制方法专利检索，专利查询，专利分析的服务。并且本发明实施例提供一种应用于智能家居的人机交互系统及其控制方法。数据采集终端在对各个可穿戴设备实时获取的人体定位信号和各个目标部位的动作信号进行信号处理，生成对应的人体定位信息和各个目标部位的运动信息后发送给服务器终端。服务器基于每个可穿戴设备对应的目标部位信息以及各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息，并确定待控制的家庭设备后从该家庭设备的控制指令数据库中查找与各个目标部位的姿态信息匹配的目标控制指令后发送给家庭设备。家庭设备基于目标控制指令执行对应的工作模式。由此，能够为用户提供更智能的智能家居体验，大大提升了人机交互的体验感。，下面是一种应用于智能家居的人机交互系统及其控制方法专利的具体信息内容。

权利要求

1.一种应用于智能家居的人机交互系统，其特征在于，包括设置在人体的由多个用于数据参数采集的数据采集终端构成的无线传感器网络、与每个数据采集终端通信连接的汇聚节点、与所述汇聚节点通信连接的服务器终端以及与所述服务器终端通信连接的多个家庭设备，且各个家庭设备设置在家庭区域中的对应位置处；
数据采集终端，用于分别实时获取对应的目标部位上的动作信号和人体定位信号，并将所述定位信号和每个目标部位的动作信号进行处理，进而发送给汇聚节点；
汇聚节点，用于将接收额的所述人体定位信号和各个目标部位的动作信号，并对所述人体定位信号和各个目标部位的动作信号进行信号进行汇总处理，生成对应的人体定位信息和各个目标部位的运动信息，并将所述人体定位信息和各个目标部位的运动信息发送给所述服务器；
所述服务器终端，用于基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息，其中，所述姿态轨迹信息包括轨迹信息和各个目标部位的姿态信息；还用于根据所述各个家庭设备在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息确定待控制的家庭设备；还用于从所述家庭设备的控制指令数据库中查找与所述各个目标部位的姿态信息匹配的目标控制指令；
还用于将查找到的所述目标控制指令发送给所述家庭设备；
所述家庭设备，用于基于所述目标控制指令执行对应的工作模式；
其中，所述数据采集终端包括采集模块、数据预处理模块、处理器模块、对比模块、数据传输模块、识别模块、确认模块、记录模块、执行模块和电源模块，所述采集模块与数据预处理模块连接，所述数据预处理模块与处理器模块连接，所述处理器模块与识别模块连接，识别模块与对比模块连接，所述对比模块分别与数据传输模块和执行模块连接，数据传输模块与确认模块连接，所述确认模块与记录模块连接，记录模块分别与对比模块和执行模块连接；所述电源模块分别与采集模块、数据预处理模块、处理器模块、对比模块、数据传输模块、识别模块、确认模块、记录模块和执行模块连接；
其中，所述采集模块，用于对指令信息进行采集，并将采集的指令信息传输至处理模块；
数据预处理模块，用于对接收的指令进行预处理；
处理器模块，用于对进行预处理后的型号进行处理，并将处理后的指令传输至识别模块；
识别模块对接收的指令进行识别，并将此指令传输至对比模块；
对比模块，用于对接收的指令进行存储，并将接收的指令与自身存储的指令进行匹配，匹配成功将此指令传输至执行模块，执行模块根据接收的指令进行执行，匹配不成功时将语音指令传输至数据传输模块，数据传输模块将接收的语音指令传输至确认模块；
确认模块，用于向用户发送确认提示，用户发出确认信息后，确认模块将此语音指令传输至记录模块；
记录模块，用于对接收的指令进行记录，并将此指令分别传输至对比模块和执行模块，对比模块对新的语音指令进行存储，执行模块执行接收的指令；
所述电源模块包含可充电电池，在所述可充电电池上设有充电控制电路、放电控制电路、充电电流检测模块、端电压检测模块、微控制器模块、放电电流检测模块、人机交互模块、PWM 驱动器；
市电通过充电控制电路连接可充电电池，所述可充电电池连接放电控制电路；
所述充电电流检测模块、端电压检测模块、放电电流检测模块分别和微控制器模块连接，用于分别实时检测可充电电池的充电电流、可充电电池内电压、可充电电池的放电电流，以及将采集的电信号上传至微控制器模块；
人机交互模块与微控制器模块连接，用于查看可充电电池的电压状态及充放电电流状态，以及用于设定微控制器参数阈值；
所述PWM驱动器分别和微控制器模块、充电控制电路、放电控制电路连接，用于根据采集的电压及电流参数，进而驱动充电控制电路及放电控制电路场效应管的PWM信号。
2.根据权利要求1所述的一种应用于智能家居的人机交互系统，其特征在于：所述电源模块还包含电压转换电路，市电通过电压转换电路连接充电控制电路，所述电压转换电路包括前级电压转换电路和与之耦接的后级电压转换电路；所述前级电压转换电路包括：第一电压保护模块，耦接至供电电压并提供内部转换电压；第一电压转换模块，耦接至第一电压保护模块，根据内部转换电压将输入信号转换为前级输出信号；
所述后级电压转换电路包括：第二电压保护模块，产生第一反相输出信号、第一输出信号、第二反相输出信号与第二输出信号，其中，前级电压转换电路和后级电压转换电路具有多个晶体管，当供电电压的电压值大于晶体管的击穿电压时，电压转换电路保护晶体管的压差小于击穿电压，当供电电压的电压值小于击穿电压时，电压转换电路全幅输出第一反相输出信号、第一输出信号、第二反相输出信号与第二输出信号。
3.根据权利要求1所述的一种应用于智能家居的人机交互系统，其特征在于：所述充电控制电路包括信号控制端、充电电源端、设备供电端、电池端、三极管、第一MOS管和第二MOS管；其中，所述充电电源端通过串联的第一电阻和第二电阻接地；所述三极管的基极分别连接所述信号控制端和充电电源端，所述三极管的集电极通过第四电阻连接所述第二MOS管的栅极，还通过第三电阻连接所述第一MOS管的源极，所述三极管的发射极接地；所述第二MOS管的源极通过第一二极管连接所述充电电源端，漏极连接所述设备供电端；所述第一MOS管的源极通过第一二极管连接所述充电电源端，栅极连接所述第一电阻和第二电阻的连接点，漏极连接所述电池端。
4.根据权利要求1所述的一种应用于智能家居的人机交互系统，其特征在于，所述汇聚节点包含WiFi模块、SD卡、微处理器模块、ZiGBee芯片和射频电路模块，所述WiFi模块、SD卡分别与微处理器模块连接，所述微处理器模块通过ZiGBee芯片连接射频电路模块。
5.根据权利要求1所述的一种应用于智能家居的人机交互系统，所述数据采集终端还包含北斗定位模块、信号调制模块、信号解调模块、接口模块、数据存储模块、时钟模块；所述北斗定位模块依次通过信号调制模块、信号解调模块连接处理器模块，所述接口模块、数据存储模块、时钟模块分别连接在处理器模块的相应端口上；
所述信号调制模块包括射频功放电路和基带电路，所述射频功放电路与北斗定位模块连接，用于对接收到的定位信号进行放大，并将生成的所述放大的定位信号传输给基带电路；所述基带电路用于将接收到的所述放大的定位信号传输给信号解调模块。
6.根据权利要求1所述的一种应用于智能家居的人机交互系统，其特征在于，所述对比模块包括存储单元、匹配单元和判断单元，所述存储单元与匹配单元连接，匹配单元与判断单元连接。
7.根据权利要求1所述的一种应用于智能家居的人机交互系统，其特征在于，所述采集模块包含多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据接口单元、Kinect体感设备、振动反馈设备；
其中，所述多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号；
所述惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度；
所述微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据；
所述数据通信装置用于接收微处理器测量控制装置输出的数据，并通过数据接口单元传输至数据预处理模块；
所述振动反馈设备设置在操作者身体上通过振动反馈给操作者操作提示，振动反馈设备与微处理器测量控制装置连接；
所述Kinect体感设备用于测量人手手臂的关节位置信息并通过数据预处理模块传输至处理器模块；
所述数据预处理模块包括数据显示模块、手臂运动解算模块、手部动作识别模块、运动逆解算模块和虚拟场景渲染模块；
所述手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况；
所述手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况；
所述运动逆解算模块将所述运动轨迹映射到人的运动坐标系中，通过逆解算计算出人的关节角，将其用于控制；
所述虚拟场景渲染模块构建出人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的人的关节角，实时渲染人的运动状态，在接收到人运动逆解算模块提供的各关节目标角度后，虚拟机人转动到相应的角度。
8.根据权利要求7所述的一种应用于智能家居的人机交互系统，其特征在于，所述多通道表面肌电传感器为肌电臂环；所述的惯性测量单元为9轴MEMS传感器；
所述振动反馈设备在操作者超出操作范围以及机械手爪抓取到物品等时刻提供相应的振动反馈；
所述振动反馈设备为小型振动马达；
所述运动逆解算模块利用KDL 机器人运动学计算库，根据实际使用过程中的人各关节尺寸及其连接关系构建相应的数学模型，通过提供人末端位置及姿态角度进行逆解算过程，得出各关节的目标角度；所述虚拟场景渲染模块采用Unity3D游戏引擎构建的三维虚拟场景。
9.一种基于权利要求1至8所述的人机交互控制系统的控制方法，其特征在于：具体包含如下步骤：
步骤1，各个数据采集终端分别实时获取对应的目标部位上的动作信号和人体定位信号，并将所述定位信号和每个目标部位的动作信号发送给所述汇聚节点；
步骤2，汇聚节点接收所述人体定位信号和各个目标部位的动作信号进行汇总，并对所述人体定位信号和各个目标部位的动作信号进行信号处理，生成对应的人体定位信息和各个目标部位的运动信息，并将所述人体定位信息和各个目标部位的运动信息发送给所述服务器终端；
步骤3，服务器终端基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息，其中，所述姿态轨迹信息包括轨迹信息和各个目标部位的姿态信息；
步骤4，根据所述各个数据采集终端在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息确定待控制的家庭设备；从所述家庭设备的控制指令数据库中查找与所述各个目标部位的姿态信息匹配的目标控制指令；
步骤5，将查找到的所述目标控制指令发送给所述家庭设备；
所述家庭设备基于所述目标控制指令执行对应的工作模式。
10.根据权利要求9所述的人机交互控制方法，其特征在于，所述步骤1具体包含如下步骤：
智能终端响应配置指令，配置所述各个家庭设备在所述家庭区域的位置信息、每个可穿戴设备对应的目标部位信息以及各个家庭设备的控制指令数据库，并将所述各个家庭设备在所述家庭区域的位置信息、每个可穿戴设备对应的目标部位信息以及各个家庭设备的控制指令数据库发送给所述服务器进行存储；
所述步骤3具体如下：
步骤3.1，服务器终端基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息的步骤，包括：
步骤3.2，,服务器终端基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息确定每个目标部位实时的运动方向信息以及加速度信息；
步骤3.3，对所述运动方向信息以及加速度信息进行处理，得到加速度在多个参考轴上的输出分量；
步骤2.4，根据所述加速度在多个参考轴上的输出分量，得到所述多个参考轴与重力方向的夹角；
步骤3.5，根据所述多个参考轴与重力方向的夹角生成人体在运动过程中的轨迹信息和各个目标部位的姿态信息，以得到人体实时的姿态轨迹信息；
所述步骤4具体如下：
步骤4.1，根据所述各个家庭设备在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息计算人体与各个家庭设备之间的预测距离；
步骤4.2，对计算出的人体与各个家庭设备之间的预测距离进行排序，得到动态排序结果；
步骤4.3，根据所述动态排序结果选择与人体预测距离最小的家庭设备作为所述家庭设备；
所述步骤5具体包含如下步骤：
步骤5.1，将所述各个目标部位的姿态信息与所述家庭设备的控制指令数据库中的每个控制指令匹配的各个目标部位的标准姿态信息进行相似度比对，生成相似度比对结果；
步骤5.2，根据所述相似度比对结果选择与所述各个目标部位的姿态信息相似度最高的各个目标部位的标准姿态信息对应的控制指令作为与所述各个目标部位的姿态信息匹配的目标控制指令。

说明书全文

一种应用于智能家居的人机交互系统及其控制方法

技术领域

[0001] 本发明涉及智能家居领域，尤其涉及一种应用于智能家居的人机交互系统及其控制方法。

背景技术

[0002] 智能家居(Smart Home，Hhome Automation)是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。智能家居是在互联网影响之下物联化的体现。智能家居通过物联网技术将家中的各种设备(例如音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、影音服务器、影柜系统、网络家电等)连接到一起，提供家电控制、照明控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种功能和手段。

[0003] 人机交互（Human-Computer Interaction,简写HCI）：是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。有很多著名公司和学术机构正在研究人机交互。在计算机发展历史上，人们很少注意计算机的易用性。现在，很多计算机用户抱怨计算机制造商在如何使其产品 “用户友好” 这方面没有投入足够的精力。而反过来，这些计算机系统开发商也在抱怨，他们的理由是：设计和制造计算机是一个很复杂的工作，光是研究如何在新领域能够应用计算机的问题就已经占用了他们的大部分精力，实在是没有多余的精力来研究如何提高计算机的易用性了，随着模式识别，如语音识别、汉字识别等输入设备的发展，操作员和计算机在类似于自然语言或受限制的自然语言这一级上进行交互成为可能，经检索，申请号201510742871.5的专利文件公开了应用于智能家居中的人机交互方法及系统，该人机交互方法包括： A.系统初始化；B.设备识别和空间定位；C.存储设备位置信息；D.设备选择动作识别；E.设备控制动作识别；F.设备执行相应的控制指令。该发明提出一种应用于智能家居中的人机交互系统完整设计方案，使用两台电脑模拟家居环境中的电视机和网络灯，引入深度摄像头对设备进行识别和定位、使用深度摄像头提取人体运动骨架对用户动作进行识别（包括选择设备和控制设备的动作指令），最后设备模拟界面响应控制指令。此方法简化了系统控制，可以应用于智能家居等环境中，使人机交互方式更加智能和便捷，但是这种人机交互方法及系统不便于对指令进行匹配及存储，因此我们提出了一种应用于智能家居中的人机交互方法及系统，用来解决上述问题。

发明内容

[0004] 为了克服现有技术中的上述不足，本发明的目的在于提供一种人机交互控制方法、装置、系统及可读存储介质，使家庭设备能够自动根据用户姿态轨迹执行对应的工作模式，能够为用户提供更智能的智能家居体验，大大提升了人机交互的体验感。

[0005] 为了实现上述目的，本发明实施例采用的技术方案如下：一种应用于智能家居的人机交互系统，包括设置在人体的由多个用于数据参数采集的数据采集终端构成的无线传感器网络、与每个数据采集终端通信连接的汇聚节点、与所述汇聚节点通信连接的服务器终端以及与所述服务器终端通信连接的多个家庭设备，且各个家庭设备设置在家庭区域中的对应位置处；
数据采集终端，用于分别实时获取对应的目标部位上的动作信号和人体定位信号，并将所述定位信号和每个目标部位的动作信号进行处理，进而发送给汇聚节点；
汇聚节点，用于将接收额的所述人体定位信号和各个目标部位的动作信号，并对所述人体定位信号和各个目标部位的动作信号进行信号进行汇总处理，生成对应的人体定位信息和各个目标部位的运动信息，并将所述人体定位信息和各个目标部位的运动信息发送给所述服务器；
所述服务器终端，用于基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息，其中，所述姿态轨迹信息包括轨迹信息和各个目标部位的姿态信息；还用于根据所述各个家庭设备在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息确定待控制的家庭设备；还用于从所述家庭设备的控制指令数据库中查找与所述各个目标部位的姿态信息匹配的目标控制指令；
还用于将查找到的所述目标控制指令发送给所述家庭设备；
所述家庭设备，用于基于所述目标控制指令执行对应的工作模式；
其中，所述数据采集终端包括采集模块、数据预处理模块、处理器模块、对比模块、数据传输模块、识别模块、确认模块、记录模块和执行模块和电源模块，所述采集模块与数据预处理模块连接，所述数据预处理模块与处理器模块连接，所述处理器模块与识别模块连接，识别模块与对比模块连接，所述对比模块分别与数据传输模块和执行模块连接，传输模块与确认模块连接，所述确认模块与记录模块连接，记录模块分别与对比模块和执行模块连接；所述电源模块分别与采集模块、数据预处理模块、处理器模块、对比模块、数据传输模块、识别模块、确认模块、记录模块和执行模块连接；
其中，所述采集模块，用于对指令信息进行采集，并将采集的指令信息传输至处理模块；
数据预处理模块，用于对接收的指令进行预处理；
处理器模块，用于对进行预处理后的型号进行处理，并将处理后的指令传输至识别模块；
识别模块对接收的指令进行识别，并将此指令传输至对比模块；
对比模块，用于对接收的指令进行存储，并将接收的指令与自身存储的指令进行匹配，匹配成功将此指令传输至执行模块，执行模块根据接收的指令进行执行，匹配不成功时将语音指令传输至数据传输模块，数据传输模块将接收的语音指令传输至确认模块；
确认模块，用于向用户发送确认提示，用户发出确认信息后，确认模块将此语音指令传输至记录模块；
记录模块，用于对接收的指令进行记录，并将此指令分别传输至对比模块和执行模块，对比模块对新的语音指令进行存储，执行模块执行接收的指令；
所述电源模块包含可充电电池，在所述可充电电池上设有充电控制电路、放电控制电路、充电电流检测模块、端电压检测模块、微控制器模块、放电电流检测模块、人机交互模块、PWM 驱动器；
市电通过充电控制电路连接可充电电池，所述可充电电池连接放电控制电路；
所述充电电流检测模块、端电压检测模块、放电电流检测模块分别和微控制器模块连接，用于分别实时检测可充电电池的充电电流、可充电电池内电压、可充电电池的放电电流，以及将采集的电信号上传至微控制器模块；
人机交互模块与微控制器模块连接，用于查看可充电电池的电压状态及充放电电流状态，以及用于设定微控制器参数阈值；
所述PWM驱动器分别和微控制器模块、充电控制电路、放电控制电路连接，用于根据采集的电压及电流参数，进而驱动充电控制电路及放电控制电路场效应管的PWM信号。

[0006] 作为本发明一种应用于智能家居的人机交互系统的进一步优选方案，所述电压转换电路，包括前级电压转换电路和与之耦接的后级电压转换电路；所述前级电压转换电路包括：第一电压保护模块，耦接至供电电压并提供内部转换电压；第一电压转换模块，耦接至第一电压保护模块，根据内部转换电压将输入信号转换为前级输出信号；所述后级电压转换电路包括：第二电压保护模块，产生第一反相输出信号、第一输出信号、第二反相输出信号与第二输出信号，其中，前级电压转换电路和后级电压转换电路具有多个晶体管，当供电电压的电压值大于晶体管的击穿电压时，电压转换电路保护晶体管的压差小于击穿电压，当供电电压的电压值小于击穿电压时，电压转换电路全幅输出第一反相输出信号、第一输出信号、第二反相输出信号与第二输出信号。

[0007] 作为本发明一种应用于智能家居的人机交互系统的进一步优选方案，所述充电控制电路包括信号控制端、充电电源端、设备供电端、电池端、三极管、第一MOS管和第二MOS管；其中，所述充电电源端通过串联的第一电阻和第二电阻接地；所述三极管的基极分别连接所述信号控制端和充电电源端，所述三极管的集电极通过第四电阻连接所述第二MOS管的栅极，还通过第三电阻连接所述第一MOS管的源极，所述三极管的发射极接地；所述第二MOS管的源极通过第一二极管连接所述充电电源端，漏极连接所述设备供电端；所述第一MOS管的源极通过第一二极管连接所述充电电源端，栅极连接所述第一电阻和第二电阻的连接点，漏极连接所述电池端。

[0008] 作为本发明一种应用于智能家居的人机交互系统的进一步优选方案，所述汇聚节点包含WiFi模块、SD卡、微处理器模块、ZiGBee芯片和射频电路模块，所述WiFi模块、SD卡分别与微处理器模块连接，所述微处理器模块通过ZiGBee芯片连接射频电路模块。

[0009] 作为本发明一种应用于智能家居的人机交互系统的进一步优选方案，所述数据采集终端还包含北斗定位模块、信号调制模块、信号解调模块、接口模块、数据存储模块、时钟模块；所述北斗定位模块依次通过信号调制模块、信号解调模块连接处理器模块，所述接口模块、数据存储模块、时钟模块分别连接在处理器模块的相应端口上；所述信号调制模块包括射频功放电路和基带电路，所述射频功放电路与北斗定位模块连接，用于对接收到的定位信号进行放大，并将生成的所述放大的定位信号传输给基带电路；所述基带电路用于将接收到的所述放大的定位信号传输给信号解调模块。

[0010] 作为本发明一种应用于智能家居的人机交互系统的进一步优选方案，所述对比模块包括存储单元、匹配单元和判断单元，所述存储单元与匹配单元连接，匹配单元与判断单元连接。

[0011] 作为本发明一种应用于智能家居的人机交互系统的进一步优选方案，所述采集模块包含多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据接口单元、Kinect体感设备、振动反馈设备；其中，所述多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号；
所述惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度；
所述微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据；
所述数据通信装置用于接收微处理器测量控制装置输出的数据，并通过数据接口单元传输至数据预处理模块；
所述振动反馈设备设置在操作者身体上通过振动反馈给操作者操作提示，振动反馈设备与微处理器测量控制装置连接；
所述Kinect体感设备用于测量人手手臂的关节位置信息并通过数据预处理模块传输至处理器模块；
所述数据预处理模块包括数据显示模块、手臂运动解算模块、手部动作识别模块、运动逆解算模块和虚拟场景渲染模块；
所述手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况；
所述手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况；
所述运动逆解算模块将所述运动轨迹映射到人的运动坐标系中，通过逆解算计算出人的关节角，将其用于控制；
所述虚拟场景渲染模块构建出人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的人的关节角，实时渲染人的运动状态，在接收到人运动逆解算模块提供的各关节目标角度后，虚拟机人转动到相应的角度。

[0012] 作为本发明一种应用于智能家居的人机交互系统的进一步优选方案，所述多通道表面肌电传感器为肌电臂环；所述的惯性测量单元为9轴MEMS传感器；所述振动反馈设备在操作者超出操作范围以及机械手爪抓取到物品等时刻提供相应的振动反馈；
所述振动反馈设备为小型振动马达；
所述运动逆解算模块利用KDL 机器人运动学计算库，根据实际使用过程中的人各关节尺寸及其连接关系构建相应的数学模型，通过提供人末端位置及姿态角度进行逆解算过程，得出各关节的目标角度；所述虚拟场景渲染模块采用Unity3D游戏引擎构建的三维虚拟场景。

[0013] 一种基于人机交互控制系统的控制方法，具体包含如下步骤：步骤1，各个数据采集终端分别实时获取对应的目标部位上的动作信号和人体定位信号，并将所述定位信号和每个目标部位的动作信号发送给所述汇聚节点；
步骤2，汇聚节点接收所述人体定位信号和各个目标部位的动作信号进行汇总，并对所述人体定位信号和各个目标部位的动作信号进行信号处理，生成对应的人体定位信息和各个目标部位的运动信息，并将所述人体定位信息和各个目标部位的运动信息发送给所述服务器终端；
步骤3，服务器终端基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息，其中，所述姿态轨迹信息包括轨迹信息和各个目标部位的姿态信息；
步骤4，根据所述各个数据采集终端在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息确定待控制的家庭设备；从所述家庭设备的控制指令数据库中查找与所述各个目标部位的姿态信息匹配的目标控制指令；
步骤5，将查找到的所述目标控制指令发送给所述家庭设备；
所述家庭设备基于所述目标控制指令执行对应的工作模式。

[0014] 作为本发明一种基于人机交互控制系统的控制方法的进一步优选方案，其特征在于，所述步骤1具体包含如下步骤：智能终端响应配置指令，配置所述各个家庭设备在所述家庭区域的位置信息、每个可穿戴设备对应的目标部位信息以及各个家庭设备的控制指令数据库，并将所述各个家庭设备在所述家庭区域的位置信息、每个可穿戴设备对应的目标部位信息以及各个家庭设备的控制指令数据库发送给所述服务器进行存储；
所述步骤3具体如下：
步骤3.1，服务器终端基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息的步骤，包括：
步骤3.2，,服务器终端基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息确定每个目标部位实时的运动方向信息以及加速度信息；
步骤3.3，对所述运动方向信息以及加速度信息进行处理，得到加速度在多个参考轴上的输出分量；
步骤2.4，根据所述加速度在多个参考轴上的输出分量，得到所述多个参考轴与重力方向的夹角；
步骤3.5，根据所述多个参考轴与重力方向的夹角生成人体在运动过程中的轨迹信息和各个目标部位的姿态信息，以得到人体实时的姿态轨迹信息；
所述步骤4具体如下：
步骤4.1，根据所述各个家庭设备在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息计算人体与各个家庭设备之间的预测距离；
步骤4.2，对计算出的人体与各个家庭设备之间的预测距离进行排序，得到动态排序结果；
步骤4.3，根据所述动态排序结果选择与人体预测距离最小的家庭设备作为所述家庭设备；
所述步骤5具体包含如下步骤：
步骤5.1，将所述各个目标部位的姿态信息与所述家庭设备的控制指令数据库中的每个控制指令匹配的各个目标部位的标准姿态信息进行相似度比对，生成相似度比对结果；
步骤5.2，根据所述相似度比对结果选择与所述各个目标部位的姿态信息相似度最高的各个目标部位的标准姿态信息对应的控制指令作为与所述各个目标部位的姿态信息匹配的目标控制指令。

[0015] 相对于现有技术而言，本发明具有以下有益效果：本发明实施例提供的人机交互控制方法、装置、系统及可读存储介质，通过各个可穿戴设备可以实时获取用户在家庭区域中的定位信号和各个目标部位的动作信号，而后通过设置在家庭区域中的智能终端处理生成对应的人体定位信息和各个目标部位的运动信息再上传给服务器。接着，服务器根据接收到的人体定位信息和各个目标部位的运动信息实时监测人体在家庭区域中的姿态轨迹信息从而确定用户需要控制的家庭设备，并查找匹配的控制指令后对该家庭设备进行控制，使该家庭设备能够自动根据用户姿态轨迹执行对应的工作模式，能够为用户提供更智能的智能家居体验，大大提升了人机
采用了MOS管作为功率器件，电源效率高；在设备电池充电时，能够切断电池供电，改为电源为设备供电，以保护电池，延长电池寿命；可以通过硬件和软件控制设备的开关机，还可以通过硬件复位口进行复位，从而使设备关机交互的体验感。系统采用PWM方式实现对蓄电池充放电过程的统一管理]。根据场效应管的伏安特性可知，在MOS管的饱和区，当VGS固定时，VDS的变化对IDS的影响不大，具有恒流源特性。因此，通过数字PI控制器自适应调整场效应管的栅源电压可以得到设定的恒流输出，实现多段式恒压限流充电管理。放电过程中，蓄电池端电压会从13.1 V逐渐下降至工作截止电压10.5 V，使得蓄电池的输出不稳定。因此，采用PWM 脉宽调制的方式对直流负载进行供电，使蓄电池稳定输出。

[0016] 为防止由于交流电源断开后蓄电池对开关电源电路反向放电，利用二极管的单向导通特性，通过在回路中串接肖特基二极管MBR20100防止蓄电池逆向放电。同时，考虑到蓄电池接入时可能出现反接，造成电路板元件损坏，设计采用MOS管反接保护电路，通过电阻R9和稳压二极管D2提供场效应管的栅源电压。当蓄电池反接时，栅源电压VGS=0，场效应管截止，充电回路被断开附图说明

[0017] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

[0018] 图1为本发明一种应用于智能家居的人机交互系统的交互示意图；图2是本发明一种应用于智能家居的人机交互系统数据采集终端的结构原理图；
图3是本发明一种应用于智能家居的人机交互系统电源模块结构原理图；
图4是本发明一种应用于智能家居的人机交互系统充电控制电路电路图；
图5是本发明一种应用于智能家居的人机交互系统汇聚节点结构原理图。

具体实施方式

[0019] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

[0020] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0021] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

[0022] 如图1所示，一种应用于智能家居的人机交互系统，其特征在于，包括设置在人体的由多个用于数据参数采集的数据采集终端构成的无线传感器网络、与每个数据采集终端通信连接的汇聚节点、与所述汇聚节点通信连接的服务器终端以及与所述服务器终端通信连接的多个家庭设备，且各个家庭设备设置在家庭区域中的对应位置处；数据采集终端，用于分别实时获取对应的目标部位上的动作信号和人体定位信号，并将所述定位信号和每个目标部位的动作信号进行处理，进而发送给汇聚节点；
汇聚节点，用于将接收额的所述人体定位信号和各个目标部位的动作信号，并对所述人体定位信号和各个目标部位的动作信号进行信号进行汇总处理，生成对应的人体定位信息和各个目标部位的运动信息，并将所述人体定位信息和各个目标部位的运动信息发送给所述服务器；
所述服务器终端，用于基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息，其中，所述姿态轨迹信息包括轨迹信息和各个目标部位的姿态信息；还用于根据所述各个家庭设备在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息确定待控制的家庭设备；还用于从所述家庭设备的控制指令数据库中查找与所述各个目标部位的姿态信息匹配的目标控制指令；
还用于将查找到的所述目标控制指令发送给所述家庭设备；
所述家庭设备，用于基于所述目标控制指令执行对应的工作模式；
其中，如图2所示，所述数据采集终端包括采集模块、数据预处理模块、处理器模块、对比模块、数据传输模块、识别模块、确认模块、记录模块、执行模块和电源模块，所述采集模块与数据预处理模块连接，所述数据预处理模块与处理器模块连接，所述处理器模块与识别模块连接，识别模块与对比模块连接，所述对比模块分别与数据传输模块和执行模块连接，数据传输模块与确认模块连接，所述确认模块与记录模块连接，记录模块分别与对比模块和执行模块连接；所述电源模块分别与采集模块、数据预处理模块、处理器模块、对比模块、数据传输模块、识别模块、确认模块、记录模块和执行模块连接；
其中，所述采集模块，用于对指令信息进行采集，并将采集的指令信息传输至处理模块；
数据预处理模块，用于对接收的指令进行预处理；
处理器模块，用于对进行预处理后的型号进行处理，并将处理后的指令传输至识别模块；
识别模块对接收的指令进行识别，并将此指令传输至对比模块；
对比模块，用于对接收的指令进行存储，并将接收的指令与自身存储的指令进行匹配，匹配成功将此指令传输至执行模块，执行模块根据接收的指令进行执行，匹配不成功时将语音指令传输至数据传输模块，数据传输模块将接收的语音指令传输至确认模块。

[0023] 确认模块，用于向用户发送确认提示，用户发出确认信息后，确认模块将此语音指令传输至记录模块。

[0024] 记录模块，用于对接收的指令进行记录，并将此指令分别传输至对比模块和执行模块，对比模块对新的语音指令进行存储，执行模块执行接收的指令；如图3所示，所述电源模块包含可充电电池，在所述可充电电池上设有充电控制电路、放电控制电路、充电电流检测模块、端电压检测模块、微控制器模块、放电电流检测模块、人机交互模块、PWM驱动器；
市电通过充电控制电路连接可充电电池，所述可充电电池连接放电控制电路；
所述充电电流检测模块、端电压检测模块、放电电流检测模块分别和微控制器模块连接，用于分别实时检测可充电电池的充电电流、可充电电池内电压、可充电电池的放电电流，以及将采集的电信号上传至微控制器模块；
人机交互模块与微控制器模块连接，用于查看可充电电池的电压状态及充放电电流状态，以及用于设定微控制器参数阈值；
所述PWM驱动器分别和微控制器模块、充电控制电路、放电控制电路连接，用于根据采集的电压及电流参数，进而驱动充电控制电路及放电控制电路场效应管的PWM信号。

[0025] 所述电源模块还包含电压转换电路，市电通过电压转换电路连接充电控制电路，所述电压转换电路包括前级电压转换电路和与之耦接的后级电压转换电路；所述前级电压转换电路包括：第一电压保护模块，耦接至供电电压并提供内部转换电压；第一电压转换模块，耦接至第一电压保护模块，根据内部转换电压将输入信号转换为前级输出信号；所述后级电压转换电路包括：第二电压保护模块，产生第一反相输出信号、第一输出信号、第二反相输出信号与第二输出信号，其中，前级电压转换电路和后级电压转换电路具有多个晶体管，当供电电压的电压值大于晶体管的击穿电压时，电压转换电路保护晶体管的压差小于击穿电压，当供电电压的电压值小于击穿电压时，电压转换电路全幅输出第一反相输出信号、第一输出信号、第二反相输出信号与第二输出信号。

[0026] 如图4所示，所述充电控制电路包括信号控制端、充电电源端、设备供电端、电池端、三极管、第一MOS管和第二MOS管；其中，所述充电电源端通过串联的第一电阻和第二电阻接地；所述三极管的基极分别连接所述信号控制端和充电电源端，所述三极管的集电极通过第四电阻连接所述第二MOS管的栅极，还通过第三电阻连接所述第一MOS管的源极，所述三极管的发射极接地；所述第二MOS管的源极通过第一二极管连接所述充电电源端，漏极连接所述设备供电端；所述第一MOS管的源极通过第一二极管连接所述充电电源端，栅极连接所述第一电阻和第二电阻的连接点，漏极连接所述电池端。

[0027] 如图5所示，所述汇聚节点包含WiFi模块、SD卡、微处理器模块、ZiGBee芯片和射频电路模块，所述WiFi模块、SD卡分别与微处理器模块连接，所述微处理器模块通过ZiGBee芯片连接射频电路模块。

[0028] 所述数据采集终端还包含北斗定位模块、信号调制模块、信号解调模块、接口模块、数据存储模块、时钟模块；所述北斗定位模块依次通过信号调制模块、信号解调模块连接处理器模块，所述接口模块、数据存储模块、时钟模块分别连接在处理器模块的相应端口上；所述信号调制模块包括射频功放电路和基带电路，所述射频功放电路与北斗定位模块连接，用于对接收到的定位信号进行放大，并将生成的所述放大的定位信号传输给基带电路；所述基带电路用于将接收到的所述放大的定位信号传输给信号解调模块。

[0029] 所述对比模块包括存储单元、匹配单元和判断单元，所述存储单元与匹配单元连接，匹配单元与判断单元连接。

[0030] 所述采集模块包含多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据接口单元、Kinect体感设备、振动反馈设备；其中，所述多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号；
所述惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度；
所述微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据；
所述数据通信装置用于接收微处理器测量控制装置输出的数据，并通过数据接口单元传输至数据预处理模块；
所述振动反馈设备设置在操作者身体上通过振动反馈给操作者操作提示，振动反馈设备与微处理器测量控制装置连接；
所述Kinect体感设备用于测量人手手臂的关节位置信息并通过数据预处理模块传输至处理器模块；
所述数据预处理模块包括数据显示模块、手臂运动解算模块、手部动作识别模块、运动逆解算模块和虚拟场景渲染模块；
所述手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况；
所述手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况；
所述运动逆解算模块将所述运动轨迹映射到人的运动坐标系中，通过逆解算计算出人的关节角，将其用于控制；
所述虚拟场景渲染模块构建出人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的人的关节角，实时渲染人的运动状态，在接收到人运动逆解算模块提供的各关节目标角度后，虚拟机人转动到相应的角度。

[0031] 所述多通道表面肌电传感器为肌电臂环；所述的惯性测量单元为9轴MEMS传感器；所述振动反馈设备在操作者超出操作范围以及机械手爪抓取到物品等时刻提供相应的振动反馈；
所述振动反馈设备为小型振动马达；
所述运动逆解算模块利用KDL机器人运动学计算库，根据实际使用过程中的人各关节尺寸及其连接关系构建相应的数学模型，通过提供人末端位置及姿态角度进行逆解算过程，得出各关节的目标角度；所述虚拟场景渲染模块采用Unity3D游戏引擎构建的三维虚拟场景。。

[0032] 在本发明实施例中，所述可穿戴设备可以设置多个，并分别设置在人体的各个目标部位（例如，手腕、腿部等）上用于采集对应的目标部位的运动信息。为了方便与肢体之间的连接，所述可穿戴设备可以为两边设置有表带的智能手环，以实现与目标部位之间的固定。此外，所述可穿戴设备中还可以设置有定位模块，以用于获取用户的定位信息。

[0033] 在本发明实施例中，各个家庭设备设置在家庭区域中的对应位置处，所述家庭设备400也即智能家居设备，例如音视频设备、照明设备、智能窗帘、空调、安防设备、数字影院设备、影音服务器300、影柜设备、网络家电等等。

[0034] 在本发明实施例中，所述智能终端200可以通过诸如有线或无线网络等方式发送或接收信号，或可以在诸如存储器中将信号处理或存储为物理存储状态。每个智能终端200可以是包括硬体、软体或内嵌逻辑元件或者两个或多个此类元件的组合的电子装置，并能够执行由智能终端200实施或支援的合适的功能。可选地，所述智能终端200可以是一种具有无线收发功能的设备，包括室内或室外、手持、穿戴或车载设备等等，本申请的实施例对应用场景不做限定。或者，所述智能终端200也可以是智能路由器、家庭语音网关等等。

[0035] 在本发明实施例中，所述服务器300应被理解为提供处理、资料库、通讯设施的业务点。举例而言，服务器300可以指具有相关通信和资料存储和资料库设施的单个的物理处理器，或它可以指联网或集聚的处理器、相关网路和存放装置的集合体，并且对软体和一个或多个资料库系统和支援服务器300所提供的服务的应用软体进行操作。服务器300可以在配置或性能上差异很大，但是服务器300一般可以包括一个或多个中央处理单元和存储单元。服务器300还可以包括一个或多个大型存放区设备、一个或多个电源、一个或多个有线或无线网络组件、一个或多个输入/输出组件、或一个或多个作业系统，诸如，Windows Server、Mac OS X、Unix、Linux、FreeBSD。

[0036] 所述服务器300中存储有所述各个家庭设备400在所述家庭区域的位置信息、每个可穿戴设备100对应的目标部位信息以及各个家庭设备400的控制指令数据库，所述控制指令数据库中存储有与不同控制指令匹配的各个目标部位的标准姿态信息。例如，若家庭设备400为卧室门，则当人体一只手臂靠近该卧室门伸出时，可以表示为需要打开该卧室门，当人体一只手臂远离该卧室门伸出时，可以表示为需要关闭该卧室门。应当注意的是，上述仅为示例，具体匹配何种姿态来实现何种控制指令，可以根据不同用户的习惯进行个性化设置。

[0037] 所应说明的是，本发明实施例提供的人机交互控制方法以下所述的具体顺序为限制。所述方法的具体流程如下：各个可穿戴设备分别实时获取对应的目标部位上的动作信号和人体定位信号，并将所述定位信号和每个目标部位的动作信号发送给所述智能终端。

[0038] 本实施例中，各个可穿戴设备可以在实时监测用户的动作变化和定位变化，也即实时获取对应的目标部位上的动作信号和人体定位信号。所述运动信号可以包括加速度信号。肢体的运动最终以肢体在空间中姿态和位置的变化来体现，对于运动过程的储多信息（例如，加速度、速度、位移、位姿、力等）之间存在着一定的联系，只要采集到加速度信号，其它参数信息可通过对其积分得到。

[0039] 具体地，由于加速度是个空间矢量，一方面，要准确了解肢体的运动状态，必须测得其三个坐标轴上的分量；另一方面，在预先不知道肢体运动方向的场合下，只有应用三轴加速度传感器来检测加速度信号，作为本实施例的一种实施方式，所述加速度传感器可以采用能够全面准确反映肢体的运动性质的三轴加速度传感器。

[0040] 由于采集到的加速度信号微弱，本实施例还需要对采集到的微弱的加速度信号进行放大处理以防止微弱的加速度信号在传递过程中衰竭从而不能获取到稳定的加速度信号。接着，将所述放大后的加速度信号进行信号滤波处理，得到滤波后的加速度信号。具体地，放大后的加速度信号除了有效的加速度信号还存在来自外部的其它干拢信号，如果对所述加速度传感器的输出不进行任何理而直接进行分析应用，显然无法得到准确的结果，所以必须对传感器输出的信号进行相应的降噪滤波处理，以得到正确的加速度信号，所述加速度信号也即所述运动信号。

[0041] 所述智能终端接收所述人体定位信号和各个目标部位的动作信号，并对所述人体定位信号和各个目标部位的动作信号进行信号处理，生成对应的人体定位信息和各个目标部位的运动信息，并将所述人体定位信息和各个目标部位的运动信息发送给所述服务器。

[0042] 所述服务器基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息。

[0043] 本实施例中，所述服务器可以基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息确定每个目标部位实时的运动方向信息以及加速度信息。接着，对所述运动方向信息以及加速度信息进行处理，得到加速度在多个参考轴上的输出分量。接着，根据所述加速度在多个参考轴上的输出分量，得到所述多个参考轴与重力方向的夹角，最后根据所述多个参考轴与重力方向的夹角生成人体在运动过程中的轨迹信息和各个目标部位的姿态信息，以得到人体实时的姿态轨迹信息。

[0044] 下面以所述肢体为前臂为例对本实施例的技术方案进行详细说明。

[0045] 本实施例中，由于人体前臂在运动过程中始终和竖直方向(或水平方向)成一定的角度关系，通过固定于前臂上的三轴加速度传感器的各个轴与重力方向(竖直向下)之间的夹角就可以检测出人体前臂的运动姿态。在进行前臂运动检测时，随着前臂的运动轨迹改变，传感器输出的变化信号经处理后可以得到前臂的运动轨迹改变的参数。以简单平面运动为例，用户的肘关节固定不动，前臂绕肘关节做竖直平面的屈肘动作，所述可穿戴设备安装于腕关节，在运动过程中，保持所述可穿戴设备的位置不变。在以上约束条件下，当前臂不动时，只需检测当前加速度传感器各敏感轴与重力方向的夹角，即可分析出前臂的运动轨迹。当所述加速度传感器保持相对静止时，会受到重力的作用，这样加速度传感器输出与重力加速度方向相反、大小相等的加速度信号，此加速度信号在三个轴上的输出分量取决于三个敏感轴与重力方向的夹角。假设所述加速度传感器相对静止时的各个敏感轴与重力方向的夹角分别为θ、φ、γ，重力加速度的大小为g，此时所述加速度传感器三个轴输出的电压信号分量分别为：Vx=kgcosθ+V0
Vy=kgcosφ+V0
Vz=kgcosγ+V0
上式中，Vx、Vy、Vz分别表示所述加速度传感器在x轴、y轴、z轴输出的电压信号，k表示所述加速度传感器的灵敏度，V0表示加速度为0时，所述加速度传感器输出的电压。根据上式可以求出θ、φ、γ，从而可以得到前臂的姿态轨迹信息，所述姿态轨迹信息包括轨迹信息和各个目标部位的姿态信息。同样地，当所述肢体为其它部位的时候，也可以根据上述方法得到对应目标部位的姿态轨迹信息，在此不再赘述。

[0046] 根据所述各个家庭设备在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息确定待控制的家庭设备。

[0047] 本实施例中，用户可预先配置所述各个家庭设备在所述家庭区域的位置信息、每个可穿戴设备对应的目标部位信息以及各个家庭设备的控制指令数据库。可选地，所述智能终端可通过响应配置指令，配置所述各个家庭设备在所述家庭区域的位置信息、每个可穿戴设备对应的目标部位信息以及各个家庭设备的控制指令数据库，并将所述各个家庭设备在所述家庭区域的位置信息、每个可穿戴设备对应的目标部位信息以及各个家庭设备的控制指令数据库发送给所述服务器进行存储。

[0048] 在上述基础上，所述服务器可以根据所述各个家庭设备在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息计算人体与各个家庭设备之间的预测距离。接着，对计算出的人体与各个家庭设备之间的预测距离进行排序，得到动态排序结果，最后根据所述动态排序结果选择与人体预测距离最小的家庭设备作为所述家庭设备。

[0049] 值得说明的是，由于用户的姿态轨迹存在随机性，因此当用户突然转变运动轨迹时，上述方法可能会存在判断误差。鉴于此，所述服务器还需要实时监测所述动态排序结果是否发生变化，若发生变化，则重新选择预测距离最小的家庭设备替换上一次选择的家庭设备。由此，能够避免用户姿态轨迹的随机性导致的家庭设备判断出错的问题。

[0050] 从所述家庭设备的控制指令数据库中查找与所述各个目标部位的姿态信息匹配的目标控制指令。

[0051] 本实施例中，所述服务器实时将所述各个目标部位的姿态信息与所述家庭设备的控制指令数据库中的每个控制指令匹配的各个目标部位的标准姿态信息进行相似度比对，生成相似度比对结果。接着，根据所述相似度比对结果选择与所述各个目标部位的姿态信息相似度最高的各个目标部位的标准姿态信息对应的控制指令作为与所述各个目标部位的姿态信息匹配的目标控制指令。

[0052] 此外，在一种实施方式中，所述服务器还可以对上述匹配的最高相似度进行判断，若上述匹配的最高相似度小于预设值，则不匹配目标控制指令。由此，可以防止误控制的情况。

[0053] 将查找到的所述目标控制指令发送给所述家庭设备。

[0054] 所述家庭设备基于所述目标控制指令执行对应的工作模式。

[0055] 本实施例中，所述服务器通过查找匹配的控制指令后对该家庭设备进行控制，使该家庭设备能够自动根据用户姿态轨迹执行对应的工作模式，能够为用户提供更智能的智能家居体验，大大提升了人机交互的体验感。

[0056] 基于上述方法，本实施例通过各个可穿戴设备可以实时获取用户在家庭区域中的定位信号和各个目标部位的动作信号，而后通过设置在家庭区域中的智能终端处理生成对应的人体定位信息和各个目标部位的运动信息再上传给服务器。接着，服务器根据接收到的人体定位信息和各个目标部位的运动信息实时监测人体在家庭区域中的姿态轨迹信息从而确定用户需要控制的家庭设备，并查找匹配的控制指令后对该家庭设备进行控制，使该家庭设备能够自动根据用户姿态轨迹执行对应的工作模式，能够为用户提供更智能的智能家居体验，大大提升了人机交互的体验感。

[0057] 本发明实施例还提供一种人机交互控制方法，与上面实施例不同的是，本人机交互控制方法由服务器执行，可以理解的是，接下来要描述的人机交互控制方法中涉及的步骤在上面实施例中已经描述过，具体各个步骤的详尽内容可参照上面的实施例描述，下面仅对服务器执行步骤进行简要说明。

[0058] 实时接收所述智能终端发送的人体定位信息和各个目标部位的运动信息，其中，所述人体定位信息和各个目标部位的运动信息为所述智能终端通过对各个可穿戴设备发送的对应的目标部位上的动作信号和人体定位信号进行信号处理后生成得到。

[0059] 基于每个可穿戴设备对应的目标部位信息以及所述各个目标部位的运动信息对人体进行姿态轨迹预测，生成对应的姿态轨迹信息，其中，所述姿态轨迹信息包括轨迹信息和各个目标部位的姿态信息。

[0060] 根据所述各个家庭设备在所述家庭区域的位置信息、所述姿态轨迹信息和人体定位信息确定待控制的家庭设备。

[0061] 从所述家庭设备的控制指令数据库中查找与所述各个目标部位的姿态信息匹配的目标控制指令。

[0062] 将查找到的所述目标控制指令发送给所述家庭设备，以使所述家庭设备基于所述目标控制指令执行对应的工作模式。

[0063] 本发明实施例还提供了一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述人机交互控制方法的步骤。

[0064] 具体地，该可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述人机交互控制方法，从而解决目前的智能家居仍然通过遥控器来控制，人机交互体验差，不符合智能趋势的问题，能够为用户提供更智能的智能家居体验，大大提升了人机交互的体验感。。

[0065] 可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

[0066] 综上所述，本发明实施例提供的人机交互控制方法、装置、系统及可读存储介质，通过各个可穿戴设备可以实时获取用户在家庭区域中的定位信号和各个目标部位的动作信号，而后通过设置在家庭区域中的智能终端处理生成对应的人体定位信息和各个目标部位的运动信息再上传给服务器。接着，服务器根据接收到的人体定位信息和各个目标部位的运动信息实时监测人体在家庭区域中的姿态轨迹信息从而确定用户需要控制的家庭设备，并查找匹配的控制指令后对该家庭设备进行控制，使该家庭设备能够自动根据用户姿态轨迹执行对应的工作模式，能够为用户提供更智能的智能家居体验，大大提升了人机交互的体验感。

[0067] 在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0068] 另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

[0069] 可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例

[0070] 本实施例包括采集模块、处理模块、对比模块、传输模块、识别模块、确认模块、记录模块和执行模块，采集模块与处理模块连接，处理模块与识别模块连接，识别模块与对比模块连接，对比模块与传输模块和执行模块连接，传输模块与确认模块连接，确认模块与记录模块连接，记录模块与对比模块和执行模块连接。

[0071] 本实施例中，对比模块包括存储单元、匹配单元和判断单元，存储单元与匹配单元连接，匹配单元与判断单元连接，采集模块对语音指令信息进行采集，并将采集的语音指令信息传输至处理模块，处理模块对接受的语音指令进行处理，并将处理后的语音指令传输至识别模块，识别模块对接收的语音指令进行识别，并将此语音指令传输至对比模块，对比模块对接受的语音指令进行存储，并将接收的语音指令与自身存储的语音指令进行匹配，匹配成功将此语音指令传输至执行模块，执行模块根据接收的语音指令进行执行，匹配不成功时将语音指令传输至传输模块，传输模块将接收的语音指令传输至确认模块，确认模块向用户发送确认提示，用户发出确认信息后，确认模块将此语音指令传输至记录模块，记录模块对接收的语音指令进行记录，并将此语音指令分别传输至对比模块和执行模块，对比模块对新的语音指令进行存储，执行模块执行接收的语音指令，本发明的有益效果是通过对将采集的语音指令与存储的语音指令进行匹配，匹配成功即可执行语音指令，匹配不成功对语音指令进行确认，并对新的语音指令进行存储，本发明便于将采集的语音指令与存储的语音指令进行匹配，匹配成功即可执行语音指令，同时便于对新生成的语音指令进行存储，方便下一次的匹配。

[0072] 本实施例中，使用时，使用者发出语音指令，通过采集模块对使用者发出的语音指令进行采集，然后将采集的语音指令传输至处理模块，通过处理模块对语音指令进行处理，消除干扰声音，然后将此语音指令传输至识别模块，通过识别模块对语音指令的音素、音节或词进行识别，识别出的语音指令传输至对比模块，通过对比模块对接收的语音指令进行存储，并将此语音指令与对比模块中预先存储的语音指令进行匹配，当语音指令匹配成功的话，通过对比模块直接将此语音指令传输至执行模块，通过执行模块对语音指令进行执行，匹配不成功时，通过对比模块将接收的语音指令传输至传输模块，通过传输模块将接收的语音指令传输给确认模块，通过确认模块将接收语音指令进行播放，并向使用者发出确认提示，使用者对播放的语音指令进行确认，当机器人播放的语音指令与使用者发出的指令信息不同时，使用者可取消确认，当确认成功后通过确认模块将此语音指令传输至记录模块，记录模块对接收的语音指令进行记录，同时将记录的语音指令传输至对比模块和执行模块，对比模块对接收的新的语音指令进行存储，执行模块对接收的语音指令进行存储。

[0073] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

[0074] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

标题	发布/更新时间	阅读量
一种新型多单元串联巡检机器人	2020-05-12	446
多自由度串联机器人机构	2020-05-13	135
一种模块化串联式主机器人	2020-05-13	500
串联式模块化爬壁机器人	2020-05-13	659
多自由度串联机器人机构	2020-05-11	32
小型五轴串联搬运机器人装置	2020-05-11	996
一种多关节串联的轮式移动机器人	2020-05-12	258
两轮模块串联摆臂滑行机器人	2020-05-13	103
一种串联机器人	2020-05-11	524
一种三自由度索驱动串联机器人装置	2020-05-14	323

一种应用于智能家居的人机交互系统及其控制方法

一种应用于智能家居的人机交互系统及其控制方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：