技术领域
[0001] 本
发明涉及一种航空航天领域的仿真平台开发问题，是验证有人/无人机集群编队控制方法的仿真平台开发问题。具体讲,涉及基于脑电设备的有人/无人机集群编队VR仿真系统。
背景技术
[0002] 现代空战中，随着战场环境和作战任务的日趋复杂，仅凭单架无人机或者有人机将无法满足作战需求，有人机与无人机的协同作战将是未来空战的一种重要形式。有人/无人机协同的决策分配就是研究有人机和无人机在不同情况下的决策控制等级问题。将人的经验、直觉、灵活等优势与计算机
数据处理能
力强、速度快的优势相结合，使两者优势互补，达到更优的决策效果。有人机作为长机带领无人机进行混合编队飞行，这样不仅将使系统的综合效能和任务执行时的冗余性能得到大幅提升，而且弥补了单纯无人机编队对复杂环境识别
精度不高和判断困难等方面的不足，此问题成为有人/无人机混合编队及其应用技术发展的研究新热点，目前在编队队形控制、协同作战、信息交互处理以及具体实现验证等多方面已经开展了广泛的研究。随着研究的不断深入，设定的系统运行环境和编队模型的相异性，对验证方法和验证手段带来了更大的挑战，由于实体验证需要完备的工程设计，繁杂的验证工作，大量的人力资源，冗长的工作周期，以及昂贵的实验仪器和物质消耗。因此，虚拟仿真验证作为一种灵活、低耗的验证方法适用于大多数的理论性预研。
[0003] 有人/无人机编队控制系统不同与普通通航天
飞行器，其系统的功能是由多个飞行器互相协同完成，因此存在着复杂的信息交互。这对飞行器
位置姿态控制及飞行器任务管理、调度控制提出了新的要求。基于单一领域仿真模型集成的方法不利于系统的扩展，集成后系统仿真结果
置信度低；基于统一
建模语言方法需要对已有模型重新用数学方程描述，无法充分利用已有研究成果，并且有些模型无法用方程描述；基于异构仿真环境可以实现仿真系统灵活构建,有效提高仿真效率，集成现有研究成果；基于分布式建模与仿真方案具有一定的灵活性、可扩展性，减少网络数据冗余，最大限度保证数据一致性，并可将真实仿真、虚拟仿真等集成到统一的仿真环境中。
[0004] 有人/无人编队仿真平台采用计算机实时仿真、嵌入式软
硬件技术和
虚拟现实技术实现有人/无人编队的控制方法仿真与验证，其最大的特色在于仿真模型可以快速高效的移植到平台上，并在虚拟现实环境中实时观看仿真效果。符合有人/无人编队仿真的应用需求和发展趋势。
[0005] 通过对
现有技术的检索，并未发现类似
专利。特别是针对有人/无人编队控制
算法实时验证方面，没有一种有效的仿真验证平台。
发明内容
[0006] 为克服现有技术的不足，本发明旨在提出一种能够支持有人/无人机集群编队控制算法验证的仿真平台。本发明采用的技术方案是，基于脑电的有人/无人机集群编队VR仿真系统，实时仿真Simulink Real Time目标机负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存；每台Simulink Real Time目标机+嵌入式
控制器代表一台无人机，目标机运行无人机数字仿真simulink模型；嵌入式控制器运行无人机控制算法，计算出控制
信号，并通过串口传递给目标机，实现无人机控制回路；脑电设备+
人机交互装置模拟有人机，脑电装置采集实验员脑信号，转化为相应的编队控制指令，模拟有人机飞行员操作，人机交互
手柄接收人的手势动作，模拟飞行员的对有人机的操作；仿真平台管理计算机接收这两个
控制信号并将有人机指令发送给操控无人机；视景计算机接收仿真产生的位置、姿态
角信息，在大屏幕显示系统上进行实时视景演示。
[0007] 平台管理
软件运行在平台管理计算机上，包含数字仿真模
块、实时仿真模块、数据管理模块、网络通信模块、
脑机接口模块和人机交互模块，具体如下：
[0008] (1)数字仿真模块：建立仿真软件Matlab/Simulink环境下可复用的数字仿真回路，并基于模块化的思想将数字仿真回路分为有人/无人机模型库、编队队形库、任务分配方法库、轨迹优化方法库和编队控制方法库五个模块，其中，有人/无人机模型库提供了包括四旋翼、六旋翼飞机模型，编队队形库提供了包括攻击队形数据、侦查队形数据、巡航队形数据、任务分配方法库提供了包括群算法、市场类算法、
聚类算法的动态和静态任务分配算法；轨迹优化方法库提供包括自适应
遗传算法、改进粒子群算法的轨迹优化方法；编队控制方法库提供包括PID，滑模、反步的编队控制方法，在一个可复用的数字回路中，在不同的库中选择不同的模型、编队队形、任务分配方法、轨迹优化方法以及控制算法，生成数字仿真dlm文件；在进行回路模块化设计的过程中，统一模块之间进行交互的I/O接口，使其具有通用性，为后续开发和扩展提供方便；
[0009] (2)实时仿真模块：基于Simulink Real Time函数库解析上述五个模块构成的数字仿真模型，实现仿真数据监控，并开发模型连接、程序下载、开始仿真、结束仿真功能模块，管理集群编队实时仿真全过程；实时仿真数据显示则基于绘图控件Teechart开发曲线绘制子模块，实现对于有人/无人机编队实时位置信息、姿态角、速度的关键数据的显示；
[0010] (3)数据管理模块：基于
数据库Mysql提供的函数开发包API，开发数据管理子模块，实现对1组有人/无人机编队实时仿真数据的管理功能，包含数据存储、数据
修改、数据删除、数据对比、数据导出功能模块，充分利用仿真过程产生的数据；
[0011] (4)网络通信模块：基于用户数据报协议UDP开发网络通信模块，将有人/无人机编队的实时仿真数据传输给视景演示软件，驱动视景演示软件进行动态显示；
[0012] (5)
脑机接口模块：包含信号采集子模块和信号转换子模块，基于脑电采集系统Neuracle采集用户脑
电信号。基于脑电设备配套软件开发单元NeuroCube，采用Neuracle配套软件开发，转换为相应有人机控制指令，实时发送给无人机控制器，完成基于脑控的有人/无人机集群虚拟飞行验证；
[0013] (6)人机交互模块：包含
手势识别子模块。基于手势识别技术Orion，识别操作者动作，并将其转化为相应的有人机控制指令，控制无人机编队飞行，进行有人/无人协同飞行仿真验证，实现“人在回路”仿真。
[0014] 视景演示软件运行在视景计算机中：设计三维虚拟场景模块、人机交互模块和网络通信模块，具体如下：
[0015] (1)三维虚拟场景模块：包含VR模型、场景、特效的设计与实现，通过
三维建模软件SketchUp、3D max建模，建立包含多种固定翼、旋翼的有人/无人机模型库，及山地、平原、森林环境下的陆地场景库，并将其导入图形开发引擎Unity建立应用程序资源组，基于物理引擎Physics实现集群编队对军事目标打击时产生的爆炸、碎片特效，基于Unity跨平台发布的功能，将虚拟场景输出至VR头显设备中显示；
[0016] (2)人机交互模块：包含手势识别子模块、用户图形界面GUI子模块、头部追踪子模块，基于Orion手势识别技术，实现用户通过手势在VR视景演示中，与程序进行交互的功能，基于三维图形界面库Hovercast设计VR场景中的GUI界面，实现用户对仿真信息的查看、沙盘演示、场景配置；基于头部追踪组件OpenVR实现VR视角切换功能；
[0017] (3)网络通信模块：基于UDP协议开发网络通信模块，接收编队的实时仿真数据，驱动虚拟场景中有人/无人机的运动，演示有人/无人编队队形生成和保持的过程。
[0018] 基于脑电的有人/无人机集群编队VR仿真方法，利用Simulink Real Time目标机负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存；每台Simulink Real Time目标机+嵌入式控制器代表一台无人机，目标机运行无人机simulink模型；嵌入式控制器运行无人机控制算法，计算出控制信号，并通过串口传递给目标机，实现无人机控制回路；脑电设备+人机交互装置模拟有人机，脑电装置采集实验员脑信号，转化为相应的编队控制指令，模拟有人机飞行员操作，人机交互手柄接收人的手势动作，模拟飞行员的对有人机的操作；仿真平台管理计算机接收这两个控制信号并将有人机指令发送给操控无人机；视景计算机接收仿真产生的位置、姿态角信息，在大屏幕显示系统上进行实时视景演示。
[0019] 本发明的特点及有益效果是：
[0020] 社会效益：此项发明对有人/无人机编队控制系统的研究具有十分重要的意义。该项发明具有国际先进
水平，它不仅可以提高有人/无人机编队控制系统开发初期的仿真可信度，大大缩短研究周期；同时又降低了平台开发成本，并支持对不同编队控制方法的仿真验证，有效提高了有人/无人机编队控制的理论研究水平和仿真试验水平，为有人/无人机控制系统的研究与发展打下良好的试验平台
基础。
[0021] 经济效益：有人/无人机编队结合了有人机和无人机作战的优势，能够简化作战任务，扩大观测领域，提高系统健壮性，还可以根据任务的变更替换系统
载荷，提高有人/无人机编队对任务的适应性，具有较高的经济价值，在军事方面都具有很大的潜在应用。该仿真与验证平台针对有人/无人机编队控制系统进行设计，不仅可以为未来有人/无人机编队
飞行控制系统开发提供更加全面、复杂的仿真验证功能；同时可以作为研究有人/无人机编队飞行控制系统的快速
原型化平台，解决仿真优化设计及控制策略验证问题，既快速高效又节省开支。
附图说明：
[0022] 图1有人/无人机编队仿真平台硬件结构示意图。
[0023] 图2基于脑电设备的有人机与无人机的协同仿真方法
流程图。
[0024] 图3平台管理软件软件结构示意图。
[0025] 图4视景演示软件结构图。
[0026] 图5Simulink Real Time编程实现流程图。
[0027] 图6Simulink Real Time target串口通信流程图。
具体实施方式
[0028] 本发明的目的在于提供一种能够支持有人/无人机集群编队控制算法验证的仿真平台。
[0029] 本发明充分利用Simulink Real Time实时仿真技术构建实时仿真模块，基于Simulink Real Time宿主机——目标
机架构，该技术通过PC机构建有人/无人编队动力学仿真环境，同时结合无缝连接Matlab的优势，解决了传统数字仿真不能在线调整参数的问题，实现了Matlab/Simulink仿真程序的快速C代码化和仿真实时性。有效提高了有人/无人机编队控制的理论研究水平和仿真试验水平，为有人/无人机编队协同控制系统的研究与发展打下良好的试验平台基础。
[0030] 本发明基于嵌入式控制器PcDuino设计有人无人编队控制器模块，采用的Linux嵌入式
操作系统支持多线程任务和应用程序的开发，通过Wifi无线网络技术模拟有人/无人编队间通讯，可扩展性强，通讯拓扑结构易重构，本发明的硬件平台支持后期开发各种应用程序。
[0031] 本发明基于头显Htc Vive设计有人/无人编队虚拟现实体验环境模块，基于Unity构建有人/无人编队虚拟现实软件，实现对于有人/无人编队仿真的虚拟现实体验。
[0032] 本发明基于Neuracle脑控设备设计有人/无人编队脑控仿真实验模块，根据脑控设备采集的脑信号，将其转化为相应的控制指令。模拟有人机控制指令，进行“人在回路”仿真。
[0033] 本发明功能与特点如下：
[0034] (1)仿真平台支持基于Simulink Real Time的实时仿真功能，即在给定有人/无人编队的期望轨迹、姿态参数，动力配置的情况下，能够计算出任意仿真时刻的有人/无人机编队和姿态数据。
[0035] (2)仿真系统结构支持有人/无人机集群编队控制算法的仿真验证，该发明设计了飞行控制器模块结构，支持将研究的Simulink模型编译为C代码进行实时仿真验证。
[0036] (3)仿真平台支持基于虚拟现实VR技术的有人/无人编队
可视化仿真，VR头显提供沉浸式体验环境，实验员通过人机交互装置模拟有人机操作员发出操作指令，直观查看仿真过程中有人/无人编队的飞行视景演示效果。
[0037] (4)仿真平台支持基于脑电设备的有人机与无人机的协同仿真，利用脑电设备将脑信号转化为计算机可以识别的电信号，从而模拟有人机控制指令，并通过交互设备模拟有人机操作，实现“人在回路”仿真。
[0038] 本发明的仿真平台，可以提高仿真的真实性和可信度，通过实时仿真和控制器的软硬件结合，增强了系统控制策略的实时性和可移植性，为有人/无人机集群编队控制系统开发节约了成本，也为国内有人/无人编队控制系统的产业化奠定了基础。
[0039] 有人/无人机编队仿真与验证平台，硬件包括实时仿真模块、飞控模块、VR模块、平台管理模块、脑控模块、大屏幕显示模块。软件设计主要包括平台管理软件和视景VR仿真软件。
[0040] 本发明硬件设计方案如下：
[0041] 本发明基于Simulink Real Time实时仿真技术进行开发，Simulink Real Time实时仿真目标机主要负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存，便于后期分析处理。每台Simulink Real Time目标机+嵌入式控制器代表一台无人机，目标机运行无人机simulink模型。嵌入式控制器无人机控制算法，计算出控制信号，并通过串口传递给目标机，实现无人机控制回路。脑电设备+人机交互装置模拟有人机。脑电装置采集实验员脑信号，转化为相应的编队控制指令，模拟有人机飞行员操作，人机交互手柄接收人的手势动作，模拟飞行员的对有人机的操作。仿真平台管理计算机接收这两个控制信号并将有人机指令发送给无人机。视景计算机接收仿真产生的位置、姿态角等信息，在大屏幕显示系统上进行实时视景演示。
[0042] 平台管理软件运行在平台管理计算机上，包含数字仿真模块、实时仿真模块、数据管理模块和网络通信模块，技术方案如下：
[0043] (1)数字仿真模块：建立Matlab/Simulink环境下可复用的数字仿真回路，并基于模块化的思想将数字仿真回路分为有人/无人机模型库、编队队形库、任务分配方法库、轨迹优化方法库和编队控制方法库五个模块，内置丰富的机
体模型、编队队形和编队方法。其中，有人无人机模型库提供了诸如四旋翼、六旋翼等飞机模型，编队队形库提供了诸如攻击队形、侦查队形、巡航队形等队形数据、任务分配方法库提供了诸如群算法、市场类算法、聚类算法等动态和静态任务分配算法，轨迹优化方法库提供诸如自适应遗传算法、改进粒子群算法等轨迹优化方法。编队控制方法库提供PID，滑模、反步等编队控制方法。在一个可复用的数字回路中，在不同的库中选择不同的模型、编队队形、任务分配方法、轨迹优化方法以及控制算法，生成数字仿真dlm文件。在进行回路模块化设计的过程中，统一模块之间进行交互的I/O接口，使其具有通用性，为后续开发和扩展提供方便。
[0044] (2)实时仿真模块：基于Simulink Real Time函数库解析上述模块构成的数字仿真模型，实现仿真数据监控，并开发模型连接、程序下载、开始仿真、结束仿真等功能模块，管理集群编队实时仿真全过程；实时仿真数据显示则基于Teechart控件开发曲线绘制子模块，实现对于有人/无人机编队实时位置信息、姿态角、速度等关键数据的显示。
[0045] (3)数据管理模块：基于Mysql数据库提供的API，开发数据管理子模块，实现对1组有人/无人机编队实时仿真数据的管理功能，包含数据存储、数据修改、数据删除、数据对比、数据导出等功能模块，充分利用仿真过程产生的数据。
[0046] (4)网络通信模块：基于UDP协议开发网络通信模块，利用其资源消耗小、处理速度快的优点，将有人/无人机编队的实时仿真数据传输给视景演示软件，驱动视景演示软件进行动态显示。
[0047] (5)脑机接口模块：包含信号采集子模块和信号转换子模块。基于Neuracle脑电采集系统，采集用户脑电信号。基于NeuroCube单元，采用Neuracle配套软件开发，转换为相应有人机控制指令，实时发送给无人机控制器，完成基于脑控的有人/无人机集群虚拟飞行验证。
[0048] (6)人机交互模块：包含手势识别子模块。于Orion手势识别技术，识别操作者动作，并将其转化为相应的有人机控制指令，控制无人机编队飞行，进行有人/无人协同飞行仿真验证，实现“人在回路”仿真。
[0049] 视景演示软件运行在视景计算机中：设计三维虚拟场景模块、人机交互模块、网络通信模块和脑电设备模块，技术方案如下：
[0050] (1)三维虚拟场景模块：包含VR模型、场景、特效的设计与实现。通过SketchUp、3D max建模，建立包含多种固定翼、旋翼的有人/无人机模型库，及山地、平原、森林等多种环境下的陆地场景库，并将其导入Unity引擎建立应用程序资源组。基于Physics物理引擎实现集群编队对军事目标打击时产生的爆炸、碎片特效。基于Unity跨平台发布的功能，将虚拟场景输出至VR头显设备中显示。
[0051] (2)人机交互模块：包含手势识别子模块、GUI界面子模块、头部追踪子模块。基于Orion手势识别技术，实现用户通过手势在VR视景演示中，与程序进行交互的功能。基于Hovercast三维图形界面库设计VR场景中的GUI界面，实现用户对仿真信息的查看、沙盘演示、场景配置等功能；基于OpenVR头部追踪组件，实现VR视角切换功能。
[0052] (3)网络通信模块：基于UDP协议开发网络通信模块，接收编队的实时仿真数据，驱动虚拟场景中有人/无人机的运动，演示有人/无人编队队形生成和保持的过程。
[0053] 结合附图对本发明作进一步详述。
[0054] 参见图1，为有人/无人机控制方法仿真与验证平台的硬件结构图，主要包括：运行有平台管理软件的仿真主控机，负责实时仿真的Simulink Real Time实时仿真计算机，以及实现编队控制的嵌入式控制器、负责视景演示的视景计算机、提供人机交互功能的
感知元件、采集脑电信号的脑控设备等。
[0055] 仿真主控机：运行仿真平台管理软件，负责将编队构型控制软件、Matlab/Simulink有人/无人机仿真模型，数据通讯模型等下载到Simulink Real Time实时仿真计算机中，形成分布式结构的有人/无人机编队控制实时仿真环境，同时实现编队飞行控制系统的仿真
进程监控和数据库管理等功能。
[0056] Simulink Real Time实时仿真计算机：基于DOS环境，构建实时仿真环境，用以模拟有人/无人机编队模型。仿真机上运行控
制模型，将模型信息发送给各编队控制器，同时，控制器将计算后的信息发送给实时仿真计算机，两者构成有人/无人机控制闭环。
[0057] 嵌入式控制器：基于Linux嵌入式操作系统，运行有人/无人机位置与姿态
控制模块，实现有人/无人机编队控制，通过无线Wifi通讯模块接收编队控制指令，计算出控制信号，并通过串口传递给对应的仿真从机，实现有人/无人机编队控制回路。
[0058] 视景仿真计算机：基于Windows嵌入式操作系统，运行有人/无人机编队视景软件，并将
视频信号投放到大屏幕及VR头显上，实时显示有人/无人编队飞行状态。
[0059] VR头显：基于Htc Vive，接收有人/无人编队飞行视频信号，提供观察者沉浸式体验效果。
[0060] 交互设备：基于捕捉设备Leap Motion进行手势捕捉，采集人的动作信息，将其转化为有人机操作指令进行虚拟有人/无人机编队仿真交互。
[0061] 脑电设备：包含信号采集子模块和信号转换子模块。基于neuracle脑电采集系统，采集用户脑电信号。基于NeuroCube单元，采用neuracle配套软件开发，转换为相应控制指令，指挥无人机，完成有人/无人编队虚拟仿真。
[0062] 参见图2，为基于脑电设备的有人机与无人机的协同仿真方法流程图，通过主控平台启动仿真进程，提供编队任务的初始化条件，构建主从结构的实时仿真环境；仿真主控机运行主控软件，脑电设备采集模拟的有人机指令通过无线通讯方式发送控制指令到控制器，控制器经过仿真计算通过串口发送控制信号给仿真从机，仿真目标机模拟有人/无人机动力学模型和环境模型，提供有人/无人机的状态信息，与无人机控制器形成控制闭环。仿真数据回传到主控平台上，通过数据库，进行统一的管理和分析。主控计算机将仿真位置姿态角信息发送给视景VR平台，进行可视化仿真。
[0063] 参见图3，为平台管理软件结构示意图，平台管理软件的功能是实现有人/无人机编队控制系统从控制器方案设计到离线仿真、实时仿真，最后进行仿真分析的全过程。仿真平台技术层采用多种技术
支撑仿真功能的实现，利用多线程Matlab引擎技术实现对基于Matlab/Simulink开发的仿真模型以及编队控制软件的支持，同时允许预先进行离线仿真。利用Matlab针对Simulink Real Time target提供的RTI驱动程序完成仿真程序向C
语言代码的自动转换，实现实时代码的下载。仿真参数解析技术用于获取C代码程序仿真参数变量与Matlab编写的仿真参数的对应关系，从而可以实时监控仿真数据信息。利用数据库技术将离线仿真数据与实时仿真数据均保存到数据库对应的数据表单中。并进行性能评估。
[0064] 参见图4，为视景演示软件结构图，该软件基于Unity开发，分为三个模块，具体实施方式如下：
[0065] 三维虚拟场景模块：基于SketchUp、3D max建模与开发资源站Unity Asset Store、Google3D Warehouse等资源，建立丰富的模型库、场景库，并实现多种三维特效。模型库包括多种固定翼/旋翼的有人/无人机、导弹、各种军事打击目标、
建筑物等三维模型；陆地场景库包括多种地形，如山地、平原、河流、森林等；基于Unity集成的Physics物理引擎实现对目标进行打击时产生的爆炸、碎片特效，基于粒子系统Shuriken实现飞行过程中产生的尾焰、尾迹等特效。
[0066] 人机交互模块：Leap Motion提供了Unity版本的手势识别
软件包Orion，将它集成到视景演示软件中进行二次开发。实现交互功能包括，引导提示功能、图形界面功能、仿真信息查看功能、视角切换功能、沙盘功能、大屏幕多视角分屏显示功能。
[0067] 网络通信模块：向主控单元发送用户服务
请求，接收仿真数据，驱动视景演示程序的运行。基于TCP和UDP协议，设计与主控机平台管理软件之间的应用层通信协议。基于.NET版本的Socket套接字API，开发客户端通信程序，实现对发送数据包的打包和对接收数据包的解包工作。
[0068] 参见图5，为Simulink Real Time主控平台编程流程图，利用Matlab提供的Simulink Real Time API函数库编程实现对Simulink Real Time目标机的控制功能。首先，需要用应用程序注册函数对Simulink Real Time应用程序进行注册，建立主控平台与Simulink Real Time仿真机的通讯连接；然后，将基于Matlab开发的编队控制软件以及有人/无人机仿真模型加载到相应的Simulink Real Time仿真机中；启动实时仿真，仿真过程中可以进行仿真监控和在线调参功能；判断仿真是否结束，如果没有则进入仿真监控循环，如果仿真结束则断开宿主机与目标机的连接，完成本次仿真过程。仿真完成后，将获得的实时仿真数据保存到数据库中，供后期分析处理。
[0069] 参见图6，为Simulink Real Time target串口通信流程图，Simulink Real Time仿真模型的串口通讯是通过Matlab\Simulink提供的带有FIFO缓冲区的串口通信模块、按数据字头读取串口数据模块、打包数据
帧模块，解包数据帧模块组成。通过判断中断类型，是否有新数据，进入写入缓冲区；通过数据预设的字头查找，判断是否为需要数据，如果满足要求，则输出数据，否则继续检索数据字头。
