一种可编程无人机的模拟操控系统 |
|||||||
| 申请号 | CN202311564219.X | 申请日 | 2023-11-21 | 公开(公告)号 | CN117746715A | 公开(公告)日 | 2024-03-22 |
| 申请人 | 深圳市高端无人机有限公司; | 发明人 | 伍勇; 吴光学; 艾星星; 黄龙强; | ||||
| 摘要 | 本 发明 涉及无人机技术领域，具体为一种可编程无人机的模拟操控系统，包括模拟单元、飞控单元、导控单元、 手势识别 单元、 机器学习 单元和操控终端 模拟器 。本发明中，操控终端模拟器接收模拟单元的图像数据并获取导控单元的飞行仿真运行参数，计算生成无人机飞行状态的动态三维模型，动态三维模型与操控终端模拟器计算生成的飞行背景虚拟视频 叠加 合成，通过显示单元输出到显示屏上进行动态显示，让操作手实时了解无人机侦察地点的实时信息，同时利用VR技术实现对虚拟无人机的操控，能够有效解决实践教学中无人机设备短缺的问题，避免操作手因实体无人机操控不熟练而引发的教学事故。 | ||||||
| 权利要求 | 1.一种可编程无人机的模拟操控系统，其特征在于，包括模拟单元(1)、飞控单元(2)、导控单元(3)、手势识别单元(4)、机器学习单元(5)和操控终端模拟器(7)，所述操控终端模拟器(7)与模拟单元(1)信号连接，所述操控终端模拟器(7)与手势识别单元(4)信号连接； |
||||||
| 说明书全文 | 一种可编程无人机的模拟操控系统技术领域[0001] 本发明涉及无人机技术领域，具体为一种可编程无人机的模拟操控系统。 背景技术[0002] 随着科学技术的发展，基于机械化、自动化、信息化的农业机械设备为解放农业生产带来了新机遇，农业信息化是农业可持续发展的科技体现和发展基石，受教学设备限制，目前绝大多数高校尚未开设无人机相关课程，而农业领域的无人机及无人机数据处理仍处于发展阶段，无人机设备在农业应用领域仍存在较多的问题，随着无人机在农业生产中的普及，无人机农业应用型人才缺口也越来越大。 [0003] 现有技术中，传统涉及无人机设备的课程多数以理论教学为主，学生在学习过程中缺乏动手操作的机会，而无人机目前在农业上的应用仍是新兴领域，并不成熟，现如今主要存在以下问题：无人机操作复杂，要求操作人员掌握基本操作技能，单一的理论教学难以实现学生对无人机的正常操控；飞行规划需要考虑地形、障碍物、作业区域等因素，一般无人机不具备自动避障功能，易造成飞行事故，需要学生进行航线规划。 [0004] 鉴于此，本申请拟提出一种可编程无人机的模拟操控系统。 发明内容[0005] 本发明的目的在于提供一种可编程无人机的模拟操控系统，以解决上述问题。 [0006] 为实现上述目的，本发明提供如下技术方案： [0007] 一种可编程无人机的模拟操控系统，包括模拟单元、飞控单元、导控单元、手势识别单元、机器学习单元和操控终端模拟器，所述操控终端模拟器与模拟单元信号连接，所述操控终端模拟器与手势识别单元信号连接； [0008] 所述模拟单元用于创建虚拟无人机三维模型及在模拟地图上的所在位置； [0009] 所述飞控单元用于对虚拟无人机进行飞行控制； [0010] 所述导控单元用于设定虚拟无人机的飞行条件和飞行环境运行参数； [0011] 所述手势识别单元用于获取操作手的手势信息并对手势进行识别； [0012] 所述机器学习单元用于对手势进行训练，进而获得具有较高识别准确率的识别模型； [0013] 所述操控终端模拟器用于接收模拟单元的图像数据并获取导控单元的飞行仿真运行参数，进行飞行环境模拟控制和虚拟无人机仿真运动控制。 [0014] 进一步的，所述飞行条件包括虚拟无人机的飞行海拔、搭载的任务载荷型号、飞行气象和飞行天候，且所述飞机环境为虚拟无人机飞行背景环境。 [0015] 进一步的，所述操控终端模拟器与飞控单元信号连接，所述操控终端模拟器与导控单元电性连接，所述操控终端模拟器与机器学习单元信号连接，所述模拟单元与飞控单元信号连接，所述手势识别单元与机器学习单元信号连接。 [0016] 进一步的，还包括有显示单元、供电单元、音响单元和数据库单元； [0017] 所述显示单元用于显示从操作手视角观察的无人机飞行状态的虚拟景象，包括虚拟无人机的仿真飞行环境及处于仿真飞行环境内的虚拟无人机； [0018] 所述供电单元用于向操控终端模拟器提供工作电源； [0020] 所述数据库单元用于存储操控终端模拟器内与无人机教学相关的所有信息。 [0021] 进一步的，所述操控终端模拟器与显示单元电性连接，所述操控终端模拟器与供电单元电性连接，所述操控终端模拟器与音响单元电性连接。 [0023] 所述定位建图模块用于根据导控单元所设定的运行参数，构建虚拟的三维空间，以提供不同的虚拟教学场景； [0025] 进一步的，所述定位建图模块包括信息获取模块、视觉里程模块、优化模块、回环检测模块和建图模块； [0026] 所述信息获取模块用于提供图像信息获取、相机标定和图像校正功能； [0027] 所述视觉里程模块用于估计相机运动和局部地图； [0028] 所述优化模块用于对信息进行优化，并计算相机轨迹； [0029] 所述回环检测模块用于检测摄像机是否到达之前到达过的位置； [0030] 所述建图模块用于根据系统计算后得出地图信息实时创建三维点云地图。 [0031] 进一步的，所述信息获取模块与视觉里程模块信号连接，所述视觉里程模块与优化模块信号连接。 [0032] 本发明的有益效果： [0033] 1、本发明中，通过导控单元设定虚拟无人机的飞行条件和飞行环境运行参数，定位建图模块根据导控单元所设定的运行参数，实时创建三维点云地图，构建虚拟的三维空间，以提供不同的虚拟教学场景，同时无人机模块搭建仿真无人机机体运动，操控终端模拟器接收模拟单元的图像数据并获取导控单元的飞行仿真运行参数，计算生成无人机飞行状态的动态三维模型，动态三维模型与操控终端模拟器计算生成的飞行背景虚拟视频叠加合成，通过显示单元输出到显示屏上进行动态显示，同时将操控终端模拟器计算生成的音频输出到音响单元进行同步播放，能够让操作手实时了解无人机侦察地点的实时信息，提升了学生在实践教学中的融入感以及动手与创新能力，对培养无人机技术人才和农业信息化人才以及满足农业可持续发展的需求具有重要意义。 [0034] 2、本发明中，手势识别单元借助体感控制器获取操作手的手部动作信息，可以获取操作手的手势信息并对手势进行识别，机器学习单元再对手势进行训练，进而获得具有较高识别准确率的识别模型，从而基于VR手势识别对无人机进行飞行控制，利用VR技术实现对虚拟无人机的操控，能够有效解决实践教学中无人机设备短缺的问题，同时避免操作手因实体无人机操控不熟练而引发的教学事故，利用手势操控无人机飞行状态，能够实现操作手与无人机飞行状态相融合，给学生带来沉浸式、交互式的操作体验。附图说明 [0035] 图1为本发明一种可编程无人机的模拟操控系统的系统流程图； [0036] 图2为本发明一种可编程无人机的模拟操控系统的定位建图模块的系统原理图。 [0037] 图中：1、模拟单元；2、飞控单元；3、导控单元；4、手势识别单元；5、机器学习单元；6、显示单元；7、操控终端模拟器；8、供电单元；9、音响单元；10、数据库单元；11、定位建图模块；12、无人机模块；13、信息获取模块；14、视觉里程模块；15、优化模块；16、回环检测模块； 17、建图模块。 具体实施方式[0038] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0039] 请参阅图1和图2，本设计提出一种实施方式，一种可编程无人机的模拟操控系统，包括模拟单元1、飞控单元2、导控单元3、手势识别单元4、机器学习单元5、操控终端模拟器7、显示单元6、供电单元8、音响单元9和数据库单元10，操控终端模拟器7与模拟单元1信号连接，操控终端模拟器7与手势识别单元4信号连接，操控终端模拟器7与飞控单元2信号连接，操控终端模拟器7与导控单元3电性连接，操控终端模拟器7与机器学习单元5信号连接，模拟单元1与飞控单元2信号连接，手势识别单元4与机器学习单元5信号连接，操控终端模拟器7与显示单元6电性连接，操控终端模拟器7与供电单元8电性连接，操控终端模拟器7与音响单元9电性连接； [0040] 模拟单元1用于创建虚拟无人机三维模型及在模拟地图上的所在位置；模拟单元1包括定位建图模块11和无人机模块12； [0041] 定位建图模块11用于根据导控单元3所设定的运行参数，构建虚拟的三维空间，以提供不同的虚拟教学场景；定位建图模块11包括信息获取模块13、视觉里程模块14、优化模块15、回环检测模块16和建图模块17，信息获取模块13与视觉里程模块14信号连接，视觉里程模块14与优化模块15信号连接； [0042] 信息获取模块13用于提供图像信息获取、相机标定和图像校正功能； [0043] 视觉里程模块14用于估计相机运动和局部地图； [0044] 优化模块15用于对信息进行优化，并计算相机轨迹； [0045] 回环检测模块16用于检测摄像机是否到达之前到达过的位置； [0046] 建图模块17用于根据系统计算后得出地图信息实时创建三维点云地图； [0047] 无人机模块12用于搭建仿真无人机机体运动，让操作手身临其境地体验操作无人机的运动，达到模仿真实操控无人机训练的效果； [0048] 飞控单元2用于对虚拟无人机进行飞行控制； [0049] 导控单元3用于设定虚拟无人机的飞行条件和飞行环境运行参数；飞行条件包括虚拟无人机的飞行海拔、搭载的任务载荷型号、飞行气象和飞行天候，且飞机环境为虚拟无人机飞行背景环境； [0050] 手势识别单元4用于获取操作手的手势信息并对手势进行识别； [0051] 机器学习单元5用于对手势进行训练，进而获得具有较高识别准确率的识别模型； [0052] 操控终端模拟器7用于接收模拟单元1的图像数据并获取导控单元3的飞行仿真运行参数，进行飞行环境模拟控制和虚拟无人机仿真运动控制； [0053] 显示单元6用于显示从操作手视角观察的无人机飞行状态的虚拟景象，包括虚拟无人机的仿真飞行环境及处于仿真飞行环境内的虚拟无人机； [0054] 供电单元8用于向操控终端模拟器7提供工作电源； [0055] 音响单元9用于模拟产生在起飞、悬停和降落过程中虚拟无人机产生的声音效果； [0056] 数据库单元10用于存储操控终端模拟器7内与无人机教学相关的所有信息。 [0057] 本发明的可编程无人机的模拟操控系统由模拟单元1、飞控单元2、导控单元3、手势识别单元4、机器学习单元5、操控终端模拟器7、显示单元6、供电单元8、音响单元9和数据库单元10组成； [0058] 通过导控单元3设定虚拟无人机的飞行条件和飞行环境运行参数；定位建图模块11根据导控单元3所设定的运行参数，实时创建三维点云地图，构建虚拟的三维空间，以提供不同的虚拟教学场景；同时无人机模块12搭建仿真无人机机体运动，让操作手身临其境地体验操作无人机的运动，达到模仿真实操控无人机训练的效果；操控终端模拟器7接收模拟单元1的图像数据并获取导控单元3的飞行仿真运行参数，进行飞行环境模拟控制和虚拟无人机仿真运动控制(操控终端模拟器7根据导控单元3和模拟单元1的数据信息，按照虚拟无人机体运动模型和虚拟的飞行控制三维模型，计算出无人机的航向、姿态、高度、速度和加速度等参数，计算生成无人机飞行状态的动态三维模型，该动态三维模型与操控终端模拟器7计算生成的飞行背景虚拟视频叠加合成，通过显示单元6输出到显示屏上进行动态显示，同时将操控终端模拟器7计算生成的音频输出到音响单元9进行同步播放)；通过定位建图模块11能够让操作手实时了解无人机侦察地点的实时信息，将无人机技术应用于农业教学中，提升了学生在实践教学中的融入感以及动手与创新能力，对培养无人机技术人才和农业信息化人才以及满足农业可持续发展的需求具有重要意义； [0059] 操作手在操控虚拟无人机的过程中，手势识别单元4借助体感控制器获取操作手的手部动作信息，可以获取操作手的手势信息并对手势进行识别，机器学习单元5再对手势进行训练，进而获得具有较高识别准确率的识别模型，从而基于VR手势识别对无人机进行飞行控制；利用VR技术实现对虚拟无人机的操控，能够有效解决实践教学中无人机设备短缺的问题，同时避免操作手因实体无人机操控不熟练而引发的教学事故，通过手势控制取代传统的无线电遥控器对无人机进行飞行控制，利用手势操控无人机飞行状态，能够实现操作手与无人机飞行状态相融合，给学生带来沉浸式、交互式的操作体验。 |
||||||
