技术领域
[0001] 本
发明涉及一种基于WIFI无线网络多类控制终端的管理与规划系统，属于智能空间的技术领域。
背景技术
[0002] 近年来，随着国际
电子产品，智能设备的不断进步，不断地为智能空间注入新鲜设备，大大提高了智能空间的服务与运行能
力。随着服务领域与无线网络技术的不断发展，在智能空间下为人们提供有效高
质量的服务已成为可能。目前各种先进设备甚至服务
机器人的研究已经进入一个高度智能化的
水平，如何将各种智能设备有机协调的为人们提供无处不在的服务已成为研究热点。
[0003] 智能空间的研究为上述问题提供了理论依据，采用智能空间技术将多类智能设备统一控制，并可根据不同用户不同情形的需要为用户提供不同的设备服务。甚至智能空间与互联网相结合，赋予用户可以在远方实现空间设备的远程控制的权利。
[0004] 在上述提到的各类技术中，无论是WIFI无线网络，Kinect手势检测，可接互联网手机
软件，还是
服务器语音与
算法处理能力，在本发明中都具有相当成熟的研究理论与应用成果。因此上述控制方式的融合以及控制策略的实施变得不再困难。
发明内容
[0005] 针对
现有技术的不足，本发明提供一种基于WIFI无线网络多类控制终端的管理与规划系统。所述系统包括智能空间中智能设备的使用方法、智能空间中设备调度与任务规划方法，为使用者提供无处不在的控制方案，为用户提供智能化的服务，本发明利用智能空间技术实现智能设备的优化调度和高质量服务规划。
[0006] 本发明的技术方案如下：
[0007] 一种基于WIFI无线网络多类控制终端的管理与规划系统，包括：
[0008] (1)在智能空间下构建基于WIFI的
硬件系统，所述基于WIFI的硬件系统包括智能设备、智能终端和服务器，所述的智能设备、智能终端分别与所述服务器无线连接；
[0009] (2)将控制终端接入服务器，所述控制终端包括：远程手机控制、服务器端语音控制、基于Kinect和惯导模
块的手势控制和服务器端本体控制；所述服务器端本体控制为：在服务器端的管理软件界面通过按钮的方式对智能空间中的智能设备、智能终端进行直接控制；
[0010] (3)设计服务器端对所有智能设备、智能终端的调度
优化算法与任务规划算法，以实现在智能空间下无处不在的控制与服务；
[0011] 所述步骤(1)中构建基于WIFI的硬件系统的具体步骤包括以下步骤:
[0012] a、采用WIFI无线网络模块对智能空间中的智能设备和智能终端进行匹配，使所述智能设备、智能终端通过无线网络被远程自动控制，所述的自动控制包括所述智能设备、智能终端被控制终端控制或被服务器端本体控制；所述智能设备和智能终端为受控于无线网络的电灯、电视、
空调和窗帘等；所述WIFI无线网络模块采用STM32为底层控制核心，通过串口与RM04模块通信，采取多对一广播的组网方式即一个控制核心对应多个服务器并采用TCP协议进行数据传输，编程上采用Socket非阻塞模式提高系统的
稳定性，所述服务器包括手机、电脑，提高对控制设备的兼容性；
[0013] b、在步骤a中数据传输的硬件包括路由器和RM04模块，
[0014] 所述路由器作用是将局域的WIFI无线网络转发到公网从而作为系统的一个公网
接口和通过wds模式将
云台摄像头接入网络；在路由器中DHCP服务器通过识别RM04模块的MAC地址然后分配相应的内网IP地址，再将内网地址转发到公网之上，所述RM04模块起到将底层控制核心接入路由器的作用，所述RM04模块配置成网卡模式，在局域网中作为TCP服务器存在；
[0015] c、底层控制核心的
电路通过STM32
单片机控制继电器产生不同的脉冲
信号对不同智能设备和智能终端进行控制，所述底层控制核心的电路还包括控制接口供扩展多种
传感器；
[0016] d、在上层通讯中，每个智能设备和智能终端通过路由器的分配获得唯一的IP地址，服务器通过IP地址对智能设备和智能终端进行控制；
[0017] 在底层通讯中，WIFI无线网络模块通过串口方式与所述STM32单片机进行通讯；所述STM32单片机通过控制继电器的方式控制智能设备和智能终端的
开关运行；
[0018] 在通讯过程中，每个智能设备和智能终端与服务器通过采用TCP/IP通信协议采用Socket编程方式实现数据或命令的传递；
[0019] e、根据步骤a、b、c、d并基于WIFI无线网络和有线网络，以路由器为中心，将智能空间中可连入网络的每个智能设备、智能终端、服务器和能够与服务器进行通讯的传感设备连到一个局域网中，并且每个智能设备和智能终端都具有链接互联网的功能；使整个系统形成任务执行部分、设备控制部分和服务器与数据存储部分；
[0020] 所述步骤(2)中所述Kinect手势控制部分包括步骤如下：
[0022] g、通过启动Kinect对手心的
跟踪，获得手心的
位置信息，以及手心的深度信息，在手心距离Kinect深度传感器中心1000-3000mm深度的位置，对手心所在的二维平面区域进行功能区域的划分，将其划分为激光笔区域、隔离区域、控制区域，并定义手心在各区域中不同位置相对应的操作的指令，并作以下规定：标准距离是位于Kinect正前方1米处的距离；标准平面是位于标准距离处，手心移动的全部范围所在的平面；标准区域是手心在标准平面移动时在Kinect上的图像范围，并将其规定为矩形区域；挥动中心是使用者在胸前伸出右手时，手心在整个挥动范围中所处的的位置，在不同深度信息下；基准区域是手心移动范围在Kinect图像上的中心，即人在垂直于Kinect方向的中心位置所产生的图像上的挥手区域；
[0023] h、计算机根据手势控制指令，通过网络通讯实现对智能设备和智能终端的相应操作；实现了无
接触性操作的效果，该方法避开了对手势轨迹的研究，简化了识别难度，并提高识别率；
[0024] 所述步骤(2)中所述惯导模块(AHRS)控制部分包括步骤如下：
[0025] i、将惯导模块(AHRS)通过无线通信方式接入计算机；
[0026] j、通过惯导模块中
加速度计和
陀螺仪磁力计的数据数据融合，分析控制者的控制
姿态，惯性导航模块采集三轴MEMS陀螺仪的信号，采用四元数姿态表达式，积分求得陀螺仪姿态
角，同时采集三轴MEMS加速度计和三轴磁力计的信号,利用重力场和大地
磁场在地理
坐标系和
机体坐标系之间的方向余弦转换进行绝对角度解算,得到绝对姿态角，然后根据绝对姿态角信号的变化
频率实时改变滤波参数，对两次得到的姿态角进行基于扩展式卡尔曼滤波的数据融合，最终输出准确稳定的姿态角度和融合加速度，其中，加速度计与陀螺仪的融合原理主要是静态的时候用加速度计修正陀螺仪的值，动态的时候利用陀螺仪的值修正加速度计的值,根据运动体上的三轴加速度计输出的三轴加速度(Ax,Ay,Az),分-1别求取
俯仰角pitch＝tan (-Ay,-Az),倾斜角 融合加速度
磁力计与加速度计的融合原理主要是利用加速度计进行磁力计的
倾斜补偿,读取磁力计输出的三轴磁场强度 求取倾斜补偿后的磁力计
输出
[0027]
[0028]
[0029] 其中 为倾斜补偿后的磁力计输出， 为磁力计输出的三轴磁场强度，roll为倾斜角，pitch为俯仰角；
[0030] 根据计算出的倾斜补偿后的磁力计输出，求取
偏航角 得到不断更新的角度值和加速度后，采用滑动窗口的方式增加数据的可靠性，所述惯导模块中涉及两种控制方式：指向被控制智能设备和智能终端打响指控制和向上方指打响指控制特定模式；在最终
控制信号确定时，采用
阈值的方式：根据加速度计的输出值判断，如果该数值超过阈值则判断为控制指令发出。
[0031] k、通过分布式视觉，即具有云台摄像机的双目或多目视觉系统对控制者位置进行
定位，所述控制者为对智能空间内智能设备、智能终端具有控制权利的使用者；根据惯导模块的角度信息和当前控制者的位置得出人面对的角度，通过该角度判断控制者所要控制的智能设备和智能终端，当控制信号发出后，根据此角度信息确定被控设备来进行控制；
[0032] 所述步骤(2)中所述语音控制部分包括步骤如下：
[0034] m、用户通过无线麦克风输入语音命令，语音命令通过计算机的
语音识别部分进行命令识别与解析，并与语音命令库中的控制命令进行匹配，如果匹配成功，则通过相应的控制命令发送设备控制指令，实现对设备的语音控制；
[0035] 所述步骤(2)中所述远程手机控制包括如下步骤：
[0036] n、服务器端采用Windows+Apache+SQLServer+PHP的Web应用程序平台；服务采用B/S(Browser-Server)架构，控制者使用传统PC、移动设备及任何置有浏览器的设备通过浏览器
访问该服务器，具有很好的跨平台特性；
[0037] o、将整个业务应用划分为：表现层(UI)、业务逻辑层(BLL)、数据访问层(DAL)；所述数据访问层负责对
数据库的操作，为业务逻辑层提供数据服务；业务逻辑层关注业务规则的制定、业务流程的实现等与业务需求有关的设计；表现层用于显示数据和接收用户输入的数据，为用户提供交互式操作的界面；
[0038] p、响应式Web设计(Responsive Web design)：页面的设计与开发应当根据用户行为以及设备环境(系统平台、屏幕尺寸、屏幕定向等)进行相应的响应和调整，无论用户正在使用传统PC还是智能手机、Pad，页面都应该能够自动切换
分辨率、图片尺寸及相关脚本功能等，以适应不同设备；即：页面可自适应用户的设备环境；Websocket采用独立的基于TCP的提供全双工通信信道的协议，实现双向实时通信；
[0039] 所述步骤(3)设计服务器端对所有智能设备、智能终端的调度优化算法包括步骤如下：
[0040] 基于所有的智能设备、智能终端通过各种方式都已经连接在同一的局域网中，在调度部分中，将被调度智能设备、智能终端分为移动设备与固定设备，关于固定设备的调度，根据用户的及时位置和控制要求通过采用不同的控制方式来进行控制，将该类设备设置为相等优先级，在调度算法中采用有要求则控制的方式；而移动设备的调度如下所述：
[0041] p、将各个移动设备通过无线网络接入到计算机系统；智能空间中的机器人属于移动设备；
[0042] q、用户通过客户端接入服务器，客户端会向服务器提供用户身份信息，并向服务器发送用户任务
申请；所述客户端为用户对移动设备进行控制的软件，它可以在服务器本体也可以在能够与服务器进行通信的pc上；
[0043] i、服务器收到用户申请后，对申请进行解析，获取申请任务的用户身份、申请时间、包含的子任务、任务的优先级，解析完成后，将任务根据任务优先级加载到任务列表中；
[0044] s、普通优先级任务，将依照加载顺序执行；较高优先级任务将优先获得执行；最高优先级任务须先行执行，并可中断正在执行的低优先级任务，优先得到执行；
[0045] t、服务器将根据调度算法，对任务列表中的任务进行任务调度，最终完成用户申请；
[0046] u、调度算法遵循的原则：
[0047] I.用户平等，表现在两方面：一是列表中同等优先级的任务时，根据申请时间依次执行，与任务对象无关；二是最高优先级任务只有在当前无空闲移动设备时，才强制结束正在执行的低优先级任务，否则优先使用空闲移动设备完成任务；
[0048] II.
能源最省，表现在如果任务包含多个子任务，则尽可能交由能够全部完成这些子任务的移动设备来完成，而避免使用多个移动设备完成；
[0049] v、调度算法流程：
[0050] Step1：从任务列表中获得一个任务信息；
[0051] Step2：查看该任务的优先级信息，若为最高优先级任务，则执行Step3，否则执行Step6；
[0052] Step3：查看是否存在没有执行最高优先级任务的移动设备，若有，则将这些移动设备分为四类，分别为能完成所有子任务且空闲的移动设备、能完成部分子任务且空闲的移动设备、能完成所有子任务且非空闲的移动设备、能完成部分子任务且非空闲的移动设备；否则执行Step8；
[0053] Step4：若存在第一类移动设备，则选择距用户最近的执行任务；否则查看是否存在第二类移动设备，存在则检测第二类移动设备能否完成全部子任务，若能，则由第二类移动设备执行该任务，否则检测是否存在第三类移动设备，存在则由第三类移动设备执行任务，若无则由第二类移动设备执行部分子任务，其余子任务交由第四类移动设备完成；如果没有第二类移动设备，则在存在第三类移动设备时，有第三类移动设备完成任务，没有第三类移动设备则由第四类移动设备完成任务；
[0054] Step5：任务完成后执行Step8；
[0055] Step6：查看是否有空闲移动设备，若有则将移动设备分为两类，分别为能完成所有子任务且空闲的移动设备、能完成部分子任务且空闲的移动设备；
[0056] Step7：若存在第一类移动设备，则选择距用户最近的执行任务；否则查看是否存在第二类移动设备，若有则由第二类移动设备执行任务；
[0057] Step8：如果该任务中的全部子任务均执行完，则删除该任务，如果只执行了部分子任务，则删除该任务中已执行完的子任务，但该任务仍保留，如果该任务没有移动设备可以执行，则暂时跳过该任务；
[0058] Step9：执行Step1，获得一个新的任务，重复这一过程，直到列表中的任务全部执行；
[0059] 所述步骤(3)设计服务器端对所有智能设备、智能终端的任务规划算法，包括步骤如下：
[0060] w、给每项服务添加服务名，例如RobotMove(机器人移动)，为该服务添加驱动参数如(E,F,G)(位置，角度和速度信息等)，以及该服务执行完成以后的输出参数(I,J,K)(图像、目标位置和目标姿态信息等)；还有该项服务的工作状态分别为yes、no、work，系统根据它的工作状态来选择服务：当服务器接收到的参数满足至少一个服务的时候，该服务就被驱动，当该服务执行完成会产生另外的参数，同样会驱动相应的服务，以此方式形成规划流程，为了保证流程的准确性和可行性，算法部分设计如下：
[0061] x、规划算法中的具体步骤
[0062] Step1：准备参数集、服务集、备用服务集和备用参数集，以及最终服务列表五个存储单元；
[0063] Step2：循环检测参数集是否有参数输入如果有参数输入转到Step3，如果没有则在Step2等待并循环检测；
[0064] Step3：根据参数集的输入参数，对服务集进行搜索，找到能够被驱动的服务存入第一层，与层数相关的指数INDEX加1，转到Step4；
[0065] Step4：对刚得到的这一层服务进行查重，如果一个服务的输出包含在另一个的输出中，将此服务从最终服务列表中删除，置于备用服务集中；对于驱动此无效服务的参数也从参数集中删除置于备用参数集中；对刚使用过的所有参数为防止重复驱动，也将删除并置于备用参数集中；转到Step5；
[0066] Step5：检测这一层服务是否有输出，如果有则转到Step2，如果没有转到Step6；
[0067] Step6：计算每个服务流程的总消耗，择优选择最终流程；
[0068] Step7：结束规划流程，开始执行，并交由调度层运行。
[0069] 本发明的有意价值为
[0070] 提升了智能空间系统的设备控制灵活度，方面系统用户对自己所属的智能空间的控制。网络控制方式的加入使得用户可以无时无刻随时随地的对智能空间的控制。设备调度与服务质量研究成果的应用使得智能空间的运行效率大幅提升，服务用户的质量大大提高。使智能空间的实用化应用更进一步。
[0071] 在硬件设计与网络连接中，采取多对一广播的组网方式即一个控制核心可对应多个服务器并采用TCP协议进行数据传输，编程上采用Socket非阻塞模式，这种蜂窝式的组网方式，相对大多的中心服务器的模式，避免了大量数据传输时造成的中心阻塞，当中心
节点瘫痪时不影响其他服务器的使用从而提高了系统的可靠性。
[0072] 利用wds模式将云台摄像机加入局域网中，避免了走线的麻烦，使云台摄像机的安装更加灵活。
控制器根据不同设备通过继电器发出不同信号进行控制，如电灯需要一个持续高电平或低电平，而投影仪需要两个间隔1s左右的脉冲信号等。
[0073] 在各个模块的设计中，首先在Kinect控制系统设计中，在标准平面下，手心在设备返回的图片范围中移动可以成功的控制设备。但在实际应用中，使用者的手不是始终都在标准平面内，所以对应在二维图片上的区域也会产生差异。使用者手心的深度移动范围是固定的，但是距离越远，手心在图片上的移动范围会减小，为了解决以上问题，作为本发明的进一步改进，本发明还包括在第2部分b步骤中，当使用者手心距离Kinect深度传感器中心的深度不是1000mm时，还包括将手心距离Kinect深度传感器中心不同深度位置的二维信息转换到手心距离Kinect深度传感器中心1000mm深度的二维信息的过程，可选择通过以下步骤实现：首先，采用最小二乘法确定手心在任意深度信息下的移动范围；然后，采用比例的方式根据深度数值把手心的二维数据转换到手心距离Kinect深度传感器中心1000mm深度的二维数据。
[0074] 标准区域内使用者站在Kinect的中心位置，控制局限性较大，为了使使用者能在垂直于Kinect左右的方向上有一定范围的移动，作为本发明的进一步改进，本发明还包括在于在第2部分b步骤中，当使用者的手心偏离Kinect深度传感器中心位置时，还包括将偏离Kinect深度传感器中心位置的手心二维信息校正到中心位置的手心二维信息的过程，并可以通过以下步骤实现：首先，计算出校正前后挥动中心的距离差值；然后通过差值把实际手心坐标校正到基准区域。校正公式为 其中(xmiddle,ymiddle)为校正前的挥动中心，(x0,y0)为校正后的挥动中心，(xbefore,ybefore)为转换前手心的位置，(xnow,ynow)为转换后的手心位置。至此在Kinect部分通过Kinect设备获得的使用者的控制意图可以通过服务器转换成控制信号对空间中的设备进行控制。
[0075] 其次在惯导模块(AHRS)控制系统中，采用智能空间分布式视觉与惯导模块的无缝结合，通过分布式视觉的定位信息与惯导模块的控制信息，两者结合提高了控制意图分析的准确性。
[0076] 在语音控制中用户通过无线麦克风输入语音命令，语音命令通过计算机系统的语音识别部分进行命令识别与解析，并与语音命令库中的控制命令进行匹配，其中采用微软的语音识别库与自主语音匹配文件相结合的方式，进一步提高了汉语的识别效率与准确度。如果匹配成功，则通过相应的控制命令发送设备控制指令，实现对设备的语音控制。
[0077] 在二维码扫描网络手机控制部分，服务采用B/S(Browser-Server)架构，客户可使用传统PC、移动设备及任何置有浏览器的设备通过浏览器访问该服务，其中的关键技术采用基于Bootstrap
框架的响应式设计；响应式Web设计(Responsive Web design)：页面的设计与开发应当根据用户行为以及设备环境(系统平台、屏幕尺寸、屏幕定向等)进行相应的响应和调整。具体的实践方式由多方面组成，包括弹性网格和布局、图片、CSS media query的使用等；基于WebSocket的双向实时通信，智能空间设备状态发生变化时，将实时通知智能空间服务器，服务器也将此通知同步到各个服务客户端。另外，其通信通过TCP80端口完成，这有利于使用
防火墙阻止非Web因特网连接的客户网络环境使用。
[0078] 在软件设计中，在调度部分，将各个机器人等移动设备通过无线网络接入到计算机系统。用户通过客户端接入计算机系统，客户端会向计算机系统提供用户身份信息，并向计算机系统发送用户任务申请。计算机系统收到用户申请后，对申请进行解析，获取申请任务的用户身份、申请时间、包含的子任务、任务的优先级等，解析完成后，将任务根据任务优先级加载到任务列表中。普通优先级任务，将依照加载顺序执行；较高优先级任务将优先获得执行；最高优先级任务须先行执行，并可中断正在执行的低优先级任务，优先得到执行。计算机系统将根据调度算法，对任务列表中的任务进行任务调度，最终完成用户申请。调度算法遵循的原则按照第6部分f、g中的规则进行。该类设备的调度采用了相对灵活的移动设备调度规则，实现了不同级别优先级的区分执行方式。
[0079] 在服务规划部分，为了提高智能空间下出现多任务或紧急任务的处理时间，提高服务流程的合理性，在服务流程规划部分，采用参数驱动机制来进行服务规划。该方法缩短了服务规划使用的时间，在紧急情况下可以快速作出反应，提升了智能空间中的服务效率和服务质量。具体的规划方式按照第7部分b中的步骤形成规划流程。
附图说明
[0080] 图1本发明所述系统框架图；
[0081] 图2上位机控制界面；
[0082] 图3Kinect外观图；
[0083] 图4手心三维位置解释图；
[0084] 图5控制区域划分图；
[0085] 图6是距离Kinect深度传感器中心位置不同深度时手心移动范围图；
[0086] 图7是将偏离Kinect深度传感器中心位置的手心二维信息校正到中心位置的手心二维信息的校正原理图；
[0088] 图9手机控制程序示意图；
[0089] 图10调度软件运行图；
[0090] 图11服务驱动示意图；
[0091] 图12规划算法框架图；
[0092] 图13流程规划结果。
具体实施方式
[0093] 下面结合附图就本发明的实施做出详细的说明，但不限于此。
[0095] 一种基于WIFI无线网络多类控制终端的管理与规划系统，包括：
[0096] (1)在智能空间下构建基于WIFI的硬件系统，所述基于WIFI的硬件系统包括智能设备、智能终端和服务器，所述的智能设备、智能终端分别与所述服务器无线连接；
[0097] (2)将控制终端接入服务器，所述控制终端包括：远程手机控制、服务器端语音控制、基于Kinect和惯导模块的手势控制和服务器端本体控制；所述服务器端本体控制为：在服务器端的管理软件界面通过按钮的方式对智能空间中的智能设备、智能终端进行直接控制；
[0098] (3)设计服务器端对所有智能设备、智能终端的调度优化算法与任务规划算法，以实现在智能空间下无处不在的控制与服务；
[0099] 所述步骤(1)中构建基于WIFI的硬件系统的具体步骤包括以下步骤:
[0100] a、采用WIFI无线网络模块对智能空间中的智能设备和智能终端进行匹配，使所述智能设备、智能终端通过无线网络被远程自动控制，所述的自动控制包括所述智能设备、智能终端被控制终端控制或被服务器端本体控制；所述智能设备和智能终端为受控于无线网络的电灯、电视、空调和窗帘等；所述WIFI无线网络模块采用STM32为底层控制核心，通过串口与RM04模块通信，采取多对一广播的组网方式即一个控制核心对应多个服务器并采用TCP协议进行数据传输，编程上采用Socket非阻塞模式提高系统的稳定性，所述服务器包括手机、电脑，提高对控制设备的兼容性；
[0101] b、在步骤a中数据传输的硬件包括路由器和RM04模块，
[0102] 所述路由器作用是将局域的WIFI无线网络转发到公网从而作为系统的一个公网接口和通过wds模式将云台摄像头接入网络；在路由器中DHCP服务器通过识别RM04模块的MAC地址然后分配相应的内网IP地址，再将内网地址转发到公网之上，所述RM04模块起到将底层控制核心接入路由器的作用，所述RM04模块配置成网卡模式，在局域网中作为TCP服务器存在；
[0103] c、底层控制核心的电路通过STM32单片机控制继电器产生不同的脉冲信号对不同智能设备和智能终端进行控制，所述底层控制核心的电路还包括控制接口供扩展多种传感器；
[0104] d、在上层通讯中，每个智能设备和智能终端通过路由器的分配获得唯一的IP地址，服务器通过IP地址对智能设备和智能终端进行控制；
[0105] 在底层通讯中，WIFI无线网络模块通过串口方式与所述STM32单片机进行通讯；所述STM32单片机通过控制继电器的方式控制智能设备和智能终端的开关运行；
[0106] 在通讯过程中，每个智能设备和智能终端与服务器通过采用TCP/IP通信协议采用Socket编程方式实现数据或命令的传递；
[0107] e、根据步骤a、b、c、d并基于WIFI无线网络和有线网络，以路由器为中心，将智能空间中可连入网络的每个智能设备、智能终端、服务器和能够与服务器进行通讯的传感设备连到一个局域网中，并且每个智能设备和智能终端都具有链接互联网的功能；使整个系统形成任务执行部分、设备控制部分和服务器与数据存储部分；
[0108] 所述步骤(2)中所述Kinect手势控制部分包括步骤如下：
[0109] f、将Kinect接入计算机系统；
[0110] g、通过启动Kinect对手心的跟踪，获得手心的位置信息，以及手心的深度信息，在手心距离Kinect深度传感器中心1000-3000mm深度的位置，对手心所在的二维平面区域进行功能区域的划分，将其划分为激光笔区域、隔离区域、控制区域，并定义手心在各区域中不同位置相对应的操作的指令，并作以下规定：标准距离是位于Kinect正前方1米处的距离；标准平面是位于标准距离处，手心移动的全部范围所在的平面；标准区域是手心在标准平面移动时在Kinect上的图像范围，并将其规定为矩形区域；挥动中心是使用者在胸前伸出右手时，手心在整个挥动范围中所处的的位置，在不同深度信息下；基准区域是手心移动范围在Kinect图像上的中心，即人在垂直于Kinect方向的中心位置所产生的图像上的挥手区域；
[0111] h、计算机根据手势控制指令，通过网络通讯实现对智能设备和智能终端的相应操作；实现了无接触性操作的效果，该方法避开了对手势轨迹的研究，简化了识别难度，并提高识别率；
[0112] 所述步骤(2)中所述惯导模块(AHRS)控制部分包括步骤如下：
[0113] i、将惯导模块(AHRS)通过无线通信方式接入计算机；
[0114] j、通过惯导模块中加速度计和陀螺仪磁力计的数据数据融合，分析控制者的控制姿态，惯性导航模块采集三轴MEMS陀螺仪的信号，采用四元数姿态表达式，积分求得陀螺仪姿态角，同时采集三轴MEMS加速度计和三轴磁力计的信号,利用重力场和大
地磁场在地理坐标系和机体坐标系之间的方向余弦转换进行绝对角度解算,得到绝对姿态角，然后根据绝对姿态角信号的变化频率实时改变滤波参数，对两次得到的姿态角进行基于扩展式卡尔曼滤波的数据融合，最终输出准确稳定的姿态角度和融合加速度，其中，加速度计与陀螺仪的融合原理主要是静态的时候用加速度计修正陀螺仪的值，动态的时候利用陀螺仪的值修正加速度计的值,根据运动体上的三轴加速度计输出的三轴加速度(Ax,Ay,Az),分-1别求取俯仰角pitch＝tan (-Ay,-Az),倾斜角 融合加速度
磁力计与加速度计的融合原理主要是利用加速度计进行磁力计的
倾斜补偿,读取磁力计输出的三轴磁场强度 求取倾斜补偿后的磁力计
输出
[0115]
[0116]
[0117] 其中 为倾斜补偿后的磁力计输出， 为磁力计输出的三轴磁场强度，roll为倾斜角，pitch为俯仰角；
[0118] 根据计算出的倾斜补偿后的磁力计输出，求取偏航角 得到不断更新的角度值和加速度后，采用滑动窗口的方式增加数据的可靠性，所述惯导模块中涉及两种控制方式：指向被控制智能设备和智能终端打响指控制和向上方指打响指控制特定模式；在最终控制信号确定时，采用阈值的方式：根据加速度计的输出值判断，如果该数值超过阈值则判断为控制指令发出。
[0119] k、通过分布式视觉，即具有云台摄像机的双目或多目视觉系统对控制者位置进行定位，所述控制者为对智能空间内智能设备、智能终端具有控制权利的使用者；根据惯导模块的角度信息和当前控制者的位置得出人面对的角度，通过该角度判断控制者所要控制的智能设备和智能终端，当控制信号发出后，根据此角度信息确定被控设备来进行控制；
[0120] 所述步骤(2)中所述语音控制部分包括步骤如下：
[0121] l、将无线麦克风接收端接入计算机；
[0122] m、用户通过无线麦克风输入语音命令，语音命令通过计算机的语音识别部分进行命令识别与解析，并与语音命令库中的控制命令进行匹配，如果匹配成功，则通过相应的控制命令发送设备控制指令，实现对设备的语音控制；
[0123] 所述步骤(2)中所述远程手机控制包括如下步骤：
[0124] n、服务器端采用Windows+Apache+SQLServer+PHP的Web应用程序平台；服务采用B/S(Browser-Server)架构，控制者使用传统PC、移动设备及任何置有浏览器的设备通过浏览器访问该服务器，具有很好的跨平台特性；
[0125] o、将整个业务应用划分为：表现层(UI)、业务逻辑层(BLL)、数据访问层(DAL)；所述数据访问层负责对数据库的操作，为业务逻辑层提供数据服务；业务逻辑层关注业务规则的制定、业务流程的实现等与业务需求有关的设计；表现层用于显示数据和接收用户输入的数据，为用户提供交互式操作的界面；
[0126] p、响应式Web设计(Responsive Web design)：页面的设计与开发应当根据用户行为以及设备环境(系统平台、屏幕尺寸、屏幕定向等)进行相应的响应和调整，无论用户正在使用传统PC还是智能手机、Pad，页面都应该能够自动切换分辨率、图片尺寸及相关脚本功能等，以适应不同设备；即：页面可自适应用户的设备环境；Websocket采用独立的基于TCP的提供全双工通信信道的协议，实现双向实时通信；
[0127] 所述步骤(3)设计服务器端对所有智能设备、智能终端的调度优化算法包括步骤如下：
[0128] 基于所有的智能设备、智能终端通过各种方式都已经连接在同一的局域网中，在调度部分中，将被调度智能设备、智能终端分为移动设备与固定设备，关于固定设备的调度，根据用户的及时位置和控制要求通过采用不同的控制方式来进行控制，将该类设备设置为相等优先级，在调度算法中采用有要求则控制的方式；而移动设备的调度如下所述：
[0129] p、将各个移动设备通过无线网络接入到计算机系统；智能空间中的机器人属于移动设备；
[0130] q、用户通过客户端接入服务器，客户端会向服务器提供用户身份信息，并向服务器发送用户任务申请；所述客户端为用户对移动设备进行控制的软件，它可以在服务器本体也可以在能够与服务器进行通信的pc上；
[0131] i、服务器收到用户申请后，对申请进行解析，获取申请任务的用户身份、申请时间、包含的子任务、任务的优先级，解析完成后，将任务根据任务优先级加载到任务列表中；
[0132] s、普通优先级任务，将依照加载顺序执行；较高优先级任务将优先获得执行；最高优先级任务须先行执行，并可中断正在执行的低优先级任务，优先得到执行；
[0133] t、服务器将根据调度算法，对任务列表中的任务进行任务调度，最终完成用户申请；
[0134] u、调度算法遵循的原则：
[0135] I.用户平等，表现在两方面：一是列表中同等优先级的任务时，根据申请时间依次执行，与任务对象无关；二是最高优先级任务只有在当前无空闲移动设备时，才强制结束正在执行的低优先级任务，否则优先使用空闲移动设备完成任务；
[0136] II.能源最省，表现在如果任务包含多个子任务，则尽可能交由能够全部完成这些子任务的移动设备来完成，而避免使用多个移动设备完成；
[0137] v、调度算法流程：
[0138] Step1：从任务列表中获得一个任务信息；
[0139] Step2：查看该任务的优先级信息，若为最高优先级任务，则执行Step3，否则执行Step6；
[0140] Step3：查看是否存在没有执行最高优先级任务的移动设备，若有，则将这些移动设备分为四类，分别为能完成所有子任务且空闲的移动设备、能完成部分子任务且空闲的移动设备、能完成所有子任务且非空闲的移动设备、能完成部分子任务且非空闲的移动设备；否则执行Step8；
[0141] Step4：若存在第一类移动设备，则选择距用户最近的执行任务；否则查看是否存在第二类移动设备，存在则检测第二类移动设备能否完成全部子任务，若能，则由第二类移动设备执行该任务，否则检测是否存在第三类移动设备，存在则由第三类移动设备执行任务，若无则由第二类移动设备执行部分子任务，其余子任务交由第四类移动设备完成；如果没有第二类移动设备，则在存在第三类移动设备时，有第三类移动设备完成任务，没有第三类移动设备则由第四类移动设备完成任务；
[0142] Step5：任务完成后执行Step8；
[0143] Step6：查看是否有空闲移动设备，若有则将移动设备分为两类，分别为能完成所有子任务且空闲的移动设备、能完成部分子任务且空闲的移动设备；
[0144] Step7：若存在第一类移动设备，则选择距用户最近的执行任务；否则查看是否存在第二类移动设备，若有则由第二类移动设备执行任务；
[0145] Step8：如果该任务中的全部子任务均执行完，则删除该任务，如果只执行了部分子任务，则删除该任务中已执行完的子任务，但该任务仍保留，如果该任务没有移动设备可以执行，则暂时跳过该任务；
[0146] Step9：执行Step1，获得一个新的任务，重复这一过程，直到列表中的任务全部执行；
[0147] 所述步骤(3)设计服务器端对所有智能设备、智能终端的任务规划算法，包括步骤如下：
[0148] w、给每项服务添加服务名，例如RobotMove(机器人移动)，为该服务添加驱动参数如(E,F,G)(位置，角度和速度信息等)，以及该服务执行完成以后的输出参数(I,J,K)(图像、目标位置和目标姿态信息等)；还有该项服务的工作状态分别为yes、no、work，系统根据它的工作状态来选择服务：当服务器接收到的参数满足至少一个服务的时候，该服务就被驱动，当该服务执行完成会产生另外的参数，同样会驱动相应的服务，以此方式形成规划流程，为了保证流程的准确性和可行性，算法部分设计如下：
[0149] x、规划算法中的具体步骤
[0150] Step1：准备参数集、服务集、备用服务集和备用参数集，以及最终服务列表五个存储单元；
[0151] Step2：循环检测参数集是否有参数输入如果有参数输入转到Step3，如果没有则在Step2等待并循环检测；
[0152] Step3：根据参数集的输入参数，对服务集进行搜索，找到能够被驱动的服务存入第一层，与层数相关的指数INDEX加1，转到Step4；
[0153] Step4：对刚得到的这一层服务进行查重，如果一个服务的输出包含在另一个的输出中，将此服务从最终服务列表中删除，置于备用服务集中；对于驱动此无效服务的参数也从参数集中删除置于备用参数集中；对刚使用过的所有参数为防止重复驱动，也将删除并置于备用参数集中；转到Step5；
[0154] Step5：检测这一层服务是否有输出，如果有则转到Step2，如果没有转到Step6；
[0155] Step6：计算每个服务流程的总消耗，择优选择最终流程；
[0156] Step7：结束规划流程，开始执行，并交由调度层运行。
[0157] 图1为本发明的系统框架示意图。如图1所示，首先将智能空间服务器启动，配备好完整的网络通信，该系统硬件部分为计算机、WIFI终端、移动
手持设备和被控制设备，软件部分主要是在windows环境下通过MFC编程和网络编程实现的各
软件模块，包括设备控制算法模块、设备状态检测模块、设备调度算法模块、网络服务器程序、服务规划实施模块。其中硬件设备有：服务机器人、分布式视觉、温
湿度传感器、空调、灯光设备、云台摄像机、电视和电动窗帘设备等。
[0158] 上述设备可通过WIFI控
制模块进行改进，达到被无线网络控制的目的。它主要由RM04模块，单片机控制系统，继电器电路三大部分组成。RM04模块主要作用是起到单片机与服务器之间的
桥梁作用。将TCP/IP协议转化为串口协议从而实现服务器与单片机的沟通。采用服务器工作模式直接接入路由器的wifi网络。再通过串口与单片机通信，单片机控制继电器电路实现对电器的控制。
[0159] 在搭建完成设备端后，在服务器中编写设备
控制模块，实现设备的简单控制，如图2所示：该图为电脑的上位机控制程序，主要实现对底层所有设备的控制和云台摄像机的显示，通过该程序可实现云台摄像机的移动，调焦操作，并可以灵活实现设备的添加。该程序的编写是基于底层的WifiControl类中，将控制程序封装成底层类，提高了程序的可移植性，也方便用户的使用。
[0160] 在设备端布置完毕之后，接着进行控制端的设计，首先采用手势控制方式对设备进行控制。
[0161] 在手势控制中，首先采用Kinect设备检测人的手势并通过服务器发送控制命令。通过启动Kinect对手心的跟踪，设备如图3所示。应用程序通过OpenNI的API函数可以获得手心在整幅图片中的位置信息，以及手心的深度信息。如图4所示：a,b代表手心位置在二维图像中的位置。c代表手心距离深度传感器的深度信息。这是通过回调函数Hand_Update()返回的三维数据。
[0162] 首先在深度信息为1000mm的二维平面中，本发明将整个区域分为两大部分：会议模式控制区域和设备控制区域。会议模式控制区域主要是利用手在空间中的位置，利用手往前推的姿势短时间内改变手心的深度信息来完成；控制区域则是根据手心的位置判断是否控制灯光空调打开或关闭。根据上述两大区域的划分，作以下规定：标准距离是位于Kinect正前方1米处的距离；标准平面是位于标准距离处，手心移动的全部范围所在的平面；标准区域是手心在标准平面移动时在Kinect上的图像范围，规定为矩形区域；控制中心是使用者在胸前伸出右手时，手心在整个挥动范围中所处的的位置，可在不同深度信息下；基准区域是手心移动范围在Kinect图像上的中心，即人在垂直于Kinect方向的中心位置所产生的图像上的控制区域。
[0163] 将控制区域划分为如图5所示的区域：整幅图片分为位于中心的会议模式控制区域和四周的控制区域两部分。为了达到良好的控制效果，使用者尽量在标准位置下进行控制。如不是在标准距离时，由于手心的移动范围是固定的，但是距离越远，手心在图片上的移动范围会减小，如图6所示。为了解决上述问题,根据手心位置的深度信息，利用对测量数据的分析把手心在不同深度位置的二维信息通过最小二乘法统一转换到标准区域中。通过深度信息转换可以保证演讲者在任意深度做出手势与在标准区域中的控制效果相同。转换的效果图如图7所示。
[0164] 另一种控制方式是采用惯导模块，通过分布式视觉(具有云台摄像机的双目或多目视觉系统)对控制者位置进行定位，将数据与AHRS的PDR和角度信息采用卡尔曼算法融合得出控制者的位置和方向。通过AHRS中加速度计和陀螺仪和磁力计的数据融合，分析控制者的控制姿态，本发明中涉及两种控制方式：指向被控制设备打响指控制和向上方指打响指控制控制特定模式。控制示意图如图8所示。
[0165] 在布置完手势控制之后，本发明还综合了网络和手机控制，在网络控制部分采用Windows+Apache+SQLServer+PHP的Web应用程序平台。服务采用B/S(Browser-Server)架构，客户可使用传统PC、移动设备及任何置有浏览器的设备通过浏览器访问该服务，因而具有很好的跨平台特性；在服务需要改进或升级时，仅需更新服务器程序，而客户端却无需维护，极大降低了软件维护成本。该软件采用B/S软件架构，它是WEB兴起后的一种网络结构模式，WEB浏览器是客户端最主要的
应用软件。这种模式统一了客户端，将系统功能实现的核心部分集中到服务器上，简化了系统的开发、维护和使用。为此，该服务采用B/S(Browser-Server)架构，服务器端采用Windows+Apache+SQLServer+PHP的Web应用程序平台，浏览器端即为用户设备上的浏览器。这样，只要客户设备本身置有浏览器，即可访问该服务，因而有非常好的跨平台性。同时，如果用户需求改变，那么仅仅需要服务器端的软件维护，不必通知用户更新客户端软件，因此软件的维护成本很低。
[0166] 将整个业务应用划分为：表现层(UI)、业务逻辑层(BLL)、数据访问层(DAL)。数据访问层负责对数据库的操作，为业务逻辑层提供数据服务；业务逻辑层关注业务规则的制定、业务流程的实现等与业务需求有关的设计；表现层用于显示数据和接收用户输入的数据，为用户提供交互式操作的界面。
[0167] 该部分采用的采用的关键技术有：基于Bootstrap框架的响应式设计：页面的设计与开发应当根据用户行为以及设备环境(系统平台、屏幕尺寸、屏幕定向等)进行相应的响应和调整。具体的实践方式由多方面组成，包括弹性网格和布局、图片、CSS media query的使用等。无论用户正在使用传统PC还是智能手机、Pad，页面都应该能够自动切换分辨率、图片尺寸及相关脚本功能等，以适应不同设备；换句话说，页面可自适应用户的设备环境；基于WebSocket的双向实时通信：智能空间设备状态发生变化时，将实时通知智能空间服务器，服务器也需要将此通知同步到各个服务客户端。Websocket是独立的基于TCP的提供全双工通信信道的协议。它与HTTP的唯一联系在于，其握手协议由HTTP服务器作为升级
请求解释执行。WebSocket协议使浏览器与服务器的实时交互成为可能，便于实时WEB服务的创建。WebSocket为服务器提供了一种无需浏览器请求，即可发送内容至浏览器的标准方式，并允许连接打开期间可以来回传递消息。
[0168] 另外，其通信通过TCP80端口完成，这有利于使用防火墙阻止非WEB因特网连接的客户网络环境使用。WebSocket协议现已被Google Chrome、InternetExplorer、FireFox、Safari、Opera等大多数主流浏览器所支持。
[0169] 基于网络控制如图9所示，采用Android语言编写，具有较强的移动设备可移植性，通过网络访问路由器对应接口，传输相应的命令实现对家电的控制。手机的引入增加了系统的交互方式，使交互方式更加人性化，同时实现了系统的远程控制。
[0170] 此外在智能空间中分部配置语音接受设备，采集用户信息，通过无线麦克风输入语音命令，语音命令通过计算机系统的语音识别部分进行命令识别与解析，并与语音命令库中的控制命令进行匹配，其中采用微软的语音识别库与自主语音匹配文件相结合的方式，进一步提高了汉语的识别效率与准确度。如果匹配成功，则通过相应的控制命令发送设备控制指令，实现对设备的语音控制。
[0171] 在设备端与控制端设计完成之后，在服务器端设计设备调度与服务规划算法，综合所有的控制命令和设备控制方式。根据控制命令的下达完成控制任务的完成。在设备调度中，如图10所示：首先将所有可调度设备统一纳入服务器中，根据设备类型进行分类。关于固定设备的调度，根据用户的及时位置和控制要求来进行控制，将该类设备设置为相等优先级，在调度算法中采用有要求则控制的方式。对于移动设备的调度，将各个可移动设备(主要指服务机器人)通过无线网络接入到计算机系统。用户通过客户端接入计算机系统，客户端会向计算机系统提供用户身份信息，并向计算机系统发送用户任务申请。计算机系统收到用户申请后，对申请进行解析，获取申请任务的用户身份、申请时间、包含的子任务、任务的优先级等，解析完成后，将任务根据任务优先级加载到任务列表中。普通优先级任务，将依照加载顺序执行；较高优先级任务将优先获得执行；最高优先级任务须先行执行，并可中断正在执行的低优先级任务，优先得到执行。计算机系统将根据调度算法，对任务列表中的任务进行任务调度，最终完成用户申请。调度算法遵循的原则按照第6部分f、g中的规则进行。该类设备的调度采用了相对灵活的移动设备调度规则，实现了不同级别优先级的区分执行方式。
[0172] 为了在智能空间系统运行的过程中实现对用户的要求自动
感知自主进行服务的目的。在服务器软件中添加了服务自动规划模块，根据传感器设备采集的数据，产生任务驱动信息，驱动相应服务，最终形成服务流程并择优执行。采用参数驱动机制给每项服务添加服务名，例如RobotMove，如图11所示：为该服务添加驱动参数如(E,F,G)，以及该服务执行完成以后的输出参数(I,J,K)。还有该项服务的工作状态分别为yes、no、work，系统根据它的工作状态来选择服务。当服务器接收到的参数可以满足至少一个服务的时候，该服务就被驱动，当该服务执行完成会产生另外的参数，同样会驱动相应的服务，按照第7部分b中的步骤形成规划流程如图12所示。最终执行服务流程如图13所示。
[0173] 根据硬件部分的设计与服务器软件各模块的结合，本发明实现了在智能空间内能够灵活地对各种智能设备进行调度，完成了智能空间中多种控制方式融合。同时随时检测用户的意图，分析用户需求，自主的为用户提供服务。使智能空间技术进一步向实用化迈进。
