耦合多模式表达及内容综合的装备虚拟训练方法及系统 |
|||||||
| 申请号 | CN202410107531.4 | 申请日 | 2024-01-25 | 公开(公告)号 | CN117908682A | 公开(公告)日 | 2024-04-19 |
| 申请人 | 中国人民解放军陆军装甲兵学院; | 发明人 | 徐丙立; 荆涛; 康亚健; 张洋; 吕鹏; 马杰; 牛树来; 胡海荣; | ||||
| 摘要 | 本 发明 公布了一种耦合多模式表达及内容综合的装备虚拟训练方法及系统，属于装备虚拟训练技术领域。装备虚拟训练系统包括装备部组件模型模 块 、装备 知识库 模块、装备故障库模块、装备维修规则模块、装备操作约束与反馈模拟模块、多模式综合 可视化 模块、教学管理模块、系统管理模块和技术 支撑 模块；通过耦合桌面三维、 虚拟现实 、 增强现实 、 混合现实 等多种训练表达模式，并将装备的理论学习、结构认知、部件拆装、故障维修、操作模拟、考核评估等训练内容进行综合，能够一站式支撑高效的装备虚拟训练和情景式考核。 | ||||||
| 权利要求 | 1.一种耦合多模式表达及内容综合的装备虚拟训练方法，其特征是，通过对终端表达模式进行探测并自适应推送表达内容，针对装备理论学习、结构认知、部件拆装、故障维修、操作使用、考核评估的多个训练步骤，分阶段、分层次地进行全方位一站式的综合训练，实现高效的装备虚拟训练和情景式考核； |
||||||
| 说明书全文 | 耦合多模式表达及内容综合的装备虚拟训练方法及系统技术领域[0001] 本发明涉及装备虚拟训练技术领域，尤其涉及到一种耦合多模式表达及内容综合的装备虚拟训练系统及方法，是一种通过耦合桌面三维、虚拟现实、增强现实、混合现实等多种训练表达模式，以及将装备的理论学习、结构认知、部件拆装、故障维修、操作模拟、考核评估等训练内容进行综合以实现一站式装备虚拟训练的技术。 背景技术[0002] 装备虚拟训练是指依托计算机与虚拟现实等相关技术，在虚拟环境下，针对装备理论知识和操作技能等，对人员进行培训或训练。装备虚拟训练具有经济、高效、安全、可靠等优点，在国防、航天、交通、煤炭、教育等各个行业均得到广泛应用。 [0003] 目前的相关装备虚拟训练系统，大多采用传统桌面模式进行表达。桌面式装备虚拟训练系统出现较早，也已经得到较为广泛的应用。但是，桌面三维式装备虚拟训练由于缺乏身临其境的在场感，难以达到真实感受条件下的训练。近来，虚拟现实(VR，Virtual Reality)、增强现实(AR，Augment Reality)、混合现实(MR，Mixed Reality)等技术发展迅速，为构建沉新型表达模式装备虚拟训练系统提供了坚实的技术支撑。然而，基于VR/AR/MR的沉浸式装备虚拟训练系统刚刚起步，在训练内容构建、逼真虚拟表达等方面均存在许多问题。同时，基于VR/AR/MR的沉浸式装备虚拟训练系统对人机交互方式的改变，使得许多操作人员不能很快适应系统的操作。总之，传统桌面式和基于VR/AR/MR的装备虚拟训练均存在各自的优缺点，只有将各种新老模式有机耦合，相互补充，才能使得装备虚拟训练的优势得以充分发挥，并适应更多户的使用习惯。因此，构建一种能够将传统桌面、虚拟现实、增强现实、混合现实等多种表达模式综合的装备虚拟训练系统，具有显著的应用价值。 [0004] 完整的装备训练需要包括与装备相关的理论学习、结构认知、部件拆装、故障维修、操作使用、考核评估等各个步骤。目前虽然支持装备虚拟训练或培训的系统有许多，但是技术架构的缺陷，现有系统鲜有将理论学习、结构认知、部件拆装、故障维修、操作使用、考核评估等多个训练步骤全部综合一起的装备虚拟训练系统，用于完成对装备的全方位一站式综合培训。比如，交互式电子技术手册(IETM)是将传统的纸质手册转化为能够交互的电子手册，但其更多地还是对装备的理论知识、部件组成、故障描述、操作流程等进行描述，尚不能完成对装备沉浸式逼真展示、灵活化操作模拟、全方位交互表达等。现有各种虚拟装备操作虚拟训练系统、维修虚拟训练系统等，除了在表达方式上较为单一外，在内容上更多地只是针对装备操作使用或故障认知与维修等单一内容进行培训或训练，尚没有形成涵盖装备训练的全部内容，因此也无法支撑一站式装备综合培训能力。 发明内容[0005] 为了克服上述存在的不足，本发明提供一种耦合多模式表达及内容综合的装备虚拟训练系统及方法，用于实现高效的一站式装备虚拟训练。 [0006] 本发明耦合的多种表达模式包括传统桌面三维、虚拟现实(VR)、增强现实(AR)、混合现实(MR)等表达模式。耦合多模式表达及内容综合的装备虚拟训练系统能够对终端表达模式进行探测，而后自适应推送表达内容。其中表达模式探测通过终端设备检测方法，检测终端可视化设备存在状态以及运行完好性状态，从而确定终端的类型(终端表达模式)。自适应内容推送则基于终端表达模式，通过内容选取、时空对准、实时推送、内容解译等技术流程实现。 [0007] 本发明构建的耦合多模式表达及内容综合的装备虚拟训练系统，将理论学习、结构认知、虚拟维修、操作模拟、考核评估五个部分进行了综合，形成集中或分布式的装备虚拟训练平台，能够同时针对装备理论学习、结构认知、部件拆装、故障维修、操作使用、考核评估等多个训练步骤进行一站式综合训练。 [0008] 所提供的耦合多模式表达及内容综合的装备虚拟训练系统包括学习使用终端和教师终端。教师终端供授课的老师或系统管理人员使用，主要用于训练内容选取、理论学习环境配置、故障虚拟注入、虚拟训练环境设置、考核内容编辑等。学习使用终端供受训人员使用，主要用于受训人员完成理论学习、结构认知、虚拟维修、操作模拟等训练任务，并参加训练考核。学习使用终端和教师终端可以集中安装在同一台计算机上，也可以分布式安装在不同的计算机上，实现一个教师端对应一批学习使用终端。终端可以是桌面式计算机、VR终端、手持机终端等。 [0009] 所提供的耦合多模式表达及内容综合的装备虚拟训练系统的总体架构由装备部组件模型模块、装备知识库模块、装备故障库模块、装备维修规则模块、装备操作约束与反馈模拟模块、多模式综合可视化模块、教学管理模块、系统管理模块、技术支撑模块等组成。装备部组件模型模块主要集成装备整装及其内部的部件、组件的三维模型，并能够被其他模块调用。装备知识库模块是指与装备相关的基础理论、工作原理、性能指标、使用手册等基础知识。装备知识库中所包含的内容，既可以是装备图册、装备原理说明书、视频资料等，也可以是与装备相关的专业基础理论等。装备故障模块主要是对装备的故障机理、故障表现、故障危害等进行的基础性说明与约定，为装备故障检测及维修提供基础支撑条件。装备维修规则模块主要定义各故障维修所需要的基本步骤、采用的维修工具、主要注意的维修工艺等。装备操作约束与反馈模拟模块主要针对装备的操作使用流程，以及装备操作的反馈表现进行模拟。多模式可视化模块主要是指通过传统桌面、虚拟现实、增强现实、混合现实等方法和手段，对理论学习、结构认知、故障维修、操作使用、考核评估等各个阶段进行可视化。教学管理模块主要完成对教学内容、教学流程、教学对象等的全过程管理。系统管理模块主要完成对全系统涉及到的数据、模型、接口、通信、用户等进行维护与管理。技术支撑模块是支撑系统实现的各项关键技术的集合，包括网络通信、环境模拟、沉浸式交互、时空对齐等。 [0010] 所提供的耦合多模式表达及内容综合的装备虚拟训练系统包括学生使用环境、教师使用环境和系统管理环境。三个环境可以集中布设到一台计算机中实现对学生的独立教学，也可以分布布设在多个计算机终端并通过不同表达模式对多个学生同时教学。其中学生使用环境通过传统桌面三维、VR、AR、MR等多种表达模式，为学生提供装备虚拟训练的操作界面，基于此界面，学生能够完成对装备的理论学习、结构认知、故障维修、操作使用、考核评估等所有步骤，实现模式表达下的一站式综合训练。教师使用环境主要用于老师对装备训练教学内容进行设置，包括教学进度安排、理论学习内容组织、结构认识粒度设置、故障点设置、故障维修引导、操作内容配置、考核题目设计等。系统管理环境主要用于对全系统基础数据管理、系统健康状态监控、系统用户管理与配置、系统备份与恢复等。 [0011] 本发明提供的耦合多模式表达及内容综合的装备虚拟训练系统，实现对理论学习、结构认知、部件拆装、故障维修、操作使用、考核评估等装备虚拟训练环节综合集成，能够为分阶段、分层次等装备培训提供全方位一站式训练支撑。理论学习主要针对装备相关的基础理论，通过虚拟教室集成技术，耦合文本、图片、视频、动画等多种资源，以及键盘、鼠标、VR头盔、AR头盔等多模式人机交互与可视化技术，实现对装备相关基础知识的形象展现与内容培训。理论知识具有体系性，且各知识点能够准确链接与定位相关的文本、图片、视频、动画等，支撑学习人员系统性学习相关理论。结构认知主要是针对装备的软硬件的组成、结构、连接关系、信息流程等进行三维形象展示与介绍，在虚拟环境下帮助受训人员完成对装备结构的学习和认知。结构认知的层次包括对装备整体的认识、分系统的认知、部组件及其内部结构的认知等，通过桌面三维、VR、AR、MR等多种方式进行结构组成、链接关系、信息传递、水汽流动等的表达与交互学习部件拆装主要针对装备的部组件之间的拆卸、安装、组合等，在虚拟的环境下进行训练，部件拆装的粒度理论上可以是整个装备的拆装，也可以是装备子部件的拆装。故障维修主要针对装备的典型故障，通过故障库构建、故障推理、故障可视化表达、虚拟维修交互、修后状态可视化表达等技术环节，在虚拟的环境下进行故障表现模拟、故障检测模拟、故障维修模拟、修后状态模拟等，训练受训人员对装备故障排查与修复能力。操作使用主要针对装备的操作使用情况，在虚拟环境下模拟装备受训人员按照装备的操作规程操作使用装备的能力。操作使用包括装备部组件的操作模拟和整装备的操作模拟，在虚拟和半实物的环境下，通过流程模拟、人机交互、操作动作模拟、操作结果可视化、反馈控制等技术，完成对装备的操作使用训练。考核评估主要针对受训人员在虚拟训练系统中的学习效果进行考核，通过虚拟操作的方式对理论知识、装备认知、故障维修、装备操作等全部内容进行情景式考核。 [0012] 与现有技术相比，本发明的有益效果： [0013] 本发明提供一种耦合多模式表达及内容综合的装备虚拟训练系统及方法，通过耦合桌面三维、虚拟现实、增强现实、混合现实等多种训练表达模式，并将装备的理论学习、结构认知、部件拆装、故障维修、操作模拟、考核评估等训练内容进行综合，能够实现高效的一站式装备虚拟训练和情景式考核。附图说明 [0014] 图1为本发明提供的耦合多模式表达及内容综合的装备虚拟训练系统(集中式)布设示意图。 [0015] 图2为本发明提供的耦合多模式表达及内容综合的装备虚拟训练系统(分布式)布设示意图。 [0016] 图3为本发明提供的耦合多模式表达及内容综合的装备虚拟训练系统组成模块的结构框图。 [0017] 图4为本发明提供的耦合多模式表达及内容综合的装备虚拟训练系统主要模块关系与训练任务主要支撑关系示意图。 具体实施方式[0018] 为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用以解释本发明，并不用于限定本发明。 [0019] 本发明所提供的耦合多模式表达及内容综合的装备虚拟训练系统包括学生使用环境、教师使用环境和系统管理环境。三个环境可以集中布设到一台计算机中实现对学生的独立教学，也可以分布在多个计算机终端并通过不同表达模式对多个学生同时教学。图1所示为集中式布设，即将学生使用环境、教师使用环境和系统管理环境布设到一台机器中。图2所示为分布式布设，即将学生使用环境、教师使用环境和系统管理环境布设到不同的机器中。其中学生端可以同时布设多个节点。对于分布式装备虚拟训练系统，可以基于局域网或者广域网构建，满足线下训练和线上训练的多重需要。 [0020] 如图3所示，为支撑学生使用环境、教室使用环境和系统管理环境的实现，本发明所提供的耦合多模式表达及内容综合的装备虚拟训练系统由装备部组件模型模块、装备知识库模块、装备故障库模块、装备维修规则模块、装备操作约束与反馈模拟模块、多模式综合可视化模块、教学管理模块、系统管理模块、技术支撑模块等10个模块组成，并最终支撑理论学习、结构认知、部件拆装、故障维修、操作模拟、考核评估等6项训练任务的实施。 [0021] 装备部组件模型模块主要包括装备部组件三维模型、装备外观模型、模型描述等。其中装备部组件三维模型和装备外观模型构建，可以通过传统三维建模工具软件，比如 3DsMax、Maya等，也可以利用现代三维扫描设备精细化构建。模型描述主要是指针对部组件模型和装备外观模型的相关文字说明、语音说明、视频讲解等，同时构建模型与说明资料之间的关联关系。装备部组件模型模块同时具备对模型的调度、预览、修改、更新等基本功能。 [0022] 装备知识库模块主要针对装备的基础知识、装备工作原理、操作使用说明、图纸手册等进行描述和说明，用于支持装备理论学习的需要。装备知识库在内容形式上可以是文本资料、图册资料、语音资料、视频资料、模型资料等等。装备知识库模块同时具有资料的添加、替换、更新、备份、删除、预览等基本功能。装备知识库可以采用关系数据库构建。 [0023] 装备故障库模块主要包括故障点、故障现象、故障说明等。其中，故障点是对引发故障因素进行的说明，也就是故障发生在什么地方。故障现象是故障的外在表现。通常情况下，故障点与故障现象有着多对对的关系，也就是说一个故障点可以对应多个故障现象，一个故障现象也可能来自多个故障点。故障说明则是对某个固定故障的描述，或者说是在故障点和故障现象都确定的情况下，对其中的关联关系进行的说明。故障点、故障现象、故障说明之间通过故障关系实现相关性。装备故障库模块含有故障库，其中存储着故障点、故障现象、故障说明以及三种之间的耦合关系。故障库采用传统的关系数据库即可实现。装备故障库模块同时具有故障点增减、修改、更新，故障查询，故障模拟等基本功能，并且可在桌面、VR、AR、MR模式下实现。 [0024] 装备维修规则模块主要包括故障推理、维修路径、维修工艺、修后表象等几部分。其中故障推理是根据故障现象，通过故障机理及推理算法推测故障发生在什么地方，比如TOPSIS推理方法等。维修路径是基于推理的故障点，根据部组件之间的组配约束关系，生成部组件的拆卸顺序和安装顺序等。维修工艺是指维修过程中所需要的维修工具、维修方法、基本要求等。修后表象是指对维修后的结果是否正常进行的模拟，采用三维可视化模式技术实现。 [0025] 装备操作约束与反馈模拟模块主要包括操作路径、操作反馈、操作同步等部分。其中操作路径是指装备的某项操作的先后顺序，也就是装备操作的先后逻辑关系。操作反馈是指某个操作的后效果，比如力反馈效果、视景效果，以及装备的外在行为表现，比如车辆的前进、后退等。操作同步主要是针对分布式模式下的装备虚拟训练系统，多人同时操作同一台装备时，各个分布节点的操作能够同步到所有其他节点，做到虚拟装备操作结果一致。装备操作约束与反馈模拟可以基于沉浸式虚拟三维模拟、半实物仿真等技术实现。 [0026] 多模式综合可视化模块主要包括传统桌面三维可视化、虚拟现实可视化、增强现实可视化和混合现实可视化。传统桌面三维可视化利用通用显示器、投影仪等可视化设备实现，可视化交互设备主要是键盘、鼠标、操作杆等。虚拟现实可视化主要利用虚拟现实头盔(如HTC VIVE、Oculus等)进行可视化表达，可视化交互设备主要为虚拟现实头盔配套交互手部、动作捕捉设备、语音交互设备、面部表情捕捉设备、甚至脑机接口等。增强现实可视化主要利用增强现实设备，针对实际装备进行训练。增强现实设备可以选用HoloLens，通过SLAM技术，实现对所需要装备的进行空间匹配并完成对训练内容的增强。混合现实可视化则通过虚实耦合技术，实现真实装备、虚拟装备、虚拟训练的耦合与可视化。 [0027] 教学管理模块主要配属给教师使用，通过集中或分布的方式，实现对装备训练教学的管理。教学管理的功能主要包括教学任务规划、教学监控、教学过程记录、试题库、考核组织、学员管理以及其他等。教学任务规划主要用于教学内容设计、教学进度安排、教学资料推送、理论学习内容组织、结构认识粒度设置、故障点设置、故障维修引导、操作内容配置等。教学监控主要完成学员学习进度记录、学员操作界面监控、学员学习引导与界面超控等。教学过程记录主要完成教学实施过程的相关流程、步骤、状态、结果等的实时记录与结果分析处理等。试题库是针对装备训练效果的试题集，涵盖装备理论学习、结构认知、装备拆装、故障修理、操作使用等全部阶段。试题库题型形式可以多样，比如包括选择题、填空题、基于装备的点选题、部件拆装实践题、故障定位与排除实践题、理论题集、实践题集等。考核组织主要用于对考核实体组织、考核结果评判、考核结果存储与分析等。学员管理主要用于对学员注册、增减、授权、统计分析等。 [0028] 系统管理模块实施对全系统的管理，主要包括用户管理、系统检测、系统维护、系统启动、系统关闭等。用户管理主要用于对全系统学员用户、教师用户、管理员用户等的注册、增减、授权等。系统检测主要用于检测系统的连通性、模块的完整性、接口的完好性以及硬件是否存在故障等问题。系统维护主要完成系统的更新、升级、回复以及维护记录等。系统的启动与关闭主要用于对全系统的一键快捷启动，以及系统运行中的资源卸载与关闭。 [0029] 技术支撑模块是全系统功能良好运行的支撑基础，主要包括网络通信、环境模拟、沉浸式交互、时空对齐等功能。网络通信功能主要是各种网络通信技术，实现分布式装备虚拟训练系统各个节点之间的互联互通。在实现上，网络通信可以利用套接字、http等多种方式实现。环境模拟主要完成对地形、地物、植被、天气、水文、道路以动态实体和现象等的三维表达与模拟。环境模拟的平台可以使用现有的三维开发引擎，比如CryEngine、Unreal、Unity3D等。沉浸式交互主要完成在沉浸式虚拟环境下，操作人员与装备虚拟训练系统之间的交流交互，比如理论学习内容选取、虚拟拆装、虚拟维修、虚拟操作等。沉浸式交互技术方法可以基于光学、惯性、视频等多种动作捕捉与行为解算。时空对齐主要用于将传统桌面、虚拟现实、增强现实和混合现实等多种模式的装备虚拟训练系统之间能够在时间尺度和空间位置上实现一致性匹配，确保不同模式下的系统的时空一致性。 [0030] 本发明提供的耦合多模式表达及内容综合的装备虚拟训练系统，实现对理论学习、结构认知、部件拆装、故障维修、操作使用、考核评估等装备虚拟训练环节综合集成，能够为分阶段、分层次等装备培训提供全方位一站式训练支撑。理论学习主要针对装备相关的基础理论，通过文本、图片、视频、动画等多种手段，在虚拟教室里向受训人员进行展示。在实现方法上，可以通过二维或者三维方式展示，也可以基于实装通过增强或混合方式展示。结构认知主要是针对装备的软硬件的组成、结构、连接关系、信息流程等进行三维形象展示与介绍。结构认知主要基于三维环境实现，即通过三维虚拟环境，对装备进行漫游、缩放、部件选取与讲解、半透明等方法和手段，完成对装备整体的认识、分系统的认知、部组件及其内部结构的认知等。部件拆装主要针对装备的部组件之间的拆卸、安装、组合等进行训练。部件拆装基于装备部组件三维模型，在部组件之间的连接与约束关系的基础上，通过三维虚拟环境耦合实现。故障维修主要针对装备的典型故障，在虚拟的环境下进行仿真再现，训练受训人员对装备故障排查与修复能力。故障维修是在三维虚拟环境中实现，主要完成故障推理、故障可视化表达、虚拟维修交互、修后状态可视化表达等功能。操作使用主要针对装备部组件的操作使用和整装备的操作使用，装备受训人员按照装备的操作规程操作使用装备，在桌面式或VR/AR/MR沉浸式表达模式下，模拟装备的硬件和软件反馈表现等。操作使用的实现，主要基于装备建模、三维图形引擎、人机交互等技术现实。考核评估主要针对受训人员在虚拟训练系统中的学习效果进行考核，内容涵盖理论知识、装备认知、部件拆装、故障维修、装备操作等各个环节。考核评估考核的形式包括理论答题和实践操作，同时支撑桌面模式和VR/AR/MR沉浸环境下的考核两种模式。考核评估的实现可以采用模块植入的方式实现，即将考核评估模块嵌入到学生环境和教师环境中。 [0031] 如图4所示，为本发明提供的装备虚拟训练系统主要模块关系与训练任务主要支撑关系。其中技术支撑模块和系统管理模块共同支撑着装备知识库模块、装备部组件模型模块、装备故障库模块、装备维修规则模块、装备操作约束与反馈模拟模块、多模式综合可视化模块和教学管理模块。装备知识库模块同时支撑理论学习、结构认知、部件拆装3个任务环节。装备部组件模型模块主要支撑结构认知和部件拆装两个任务环节。装备故障库模块和装备维修规划模块共同支撑虚拟维修模块。操作约束与反馈模拟你快支撑操作使用任务环节。多模式综合可视化模块支撑装备虚拟训练各个任务环节。教学管理模块支撑考核评估任务环节。 |
||||||
