技术领域
[0001] 本
发明涉及混合现实技术，特别涉及将混合现实技术应用到危险行业培训，属于混合现实设备的技术开发与应用领域。
背景技术
[0002] 对于社会上的高危行业，在职工入职前的安全培训以及在入职后的定期安全培训是十分有必要的，良好的培训效果可以使受训人员在应对工作中的突发的危险情况时，做出正确的反应，将危险造成的人员的伤亡与设备的损坏等危害降低到最低，有着非常重要的经济价值和社会意义。现场安全培训可以获得与真实情况相同或相似的体验，因此拥有最好的效果，但是由于现场安全培训成本高，有些特殊行业例如
煤矿、消防等，需要面对的危险场景很难或无法模拟，因此更多的安全培训无法在现场进行。本发明就是为了解决这一类行业的安全培训问题。
[0003] 目前对危险行业的非现场安全培训主要是通过授课的方式进行，主要的信息传递方式是书本阅读、幻灯片或视频等多媒体演示，以及人员的讲解。虽然这些培训也能起到一定的作用，但是通过授课方式的安全培训并不能达到最好的效果，原因在于：首先，受训人员仅仅能从语言、文字、图片、视频等方式获得信息，代入感不够，因此难以留下深刻
印象；其次，授课人员的
水平及现场发挥也直接影响培训的效果；另外，考察授课式培训效果的主要方式是试卷考察，而受训者即使能够在答卷时做对并通过检验，并不能保证其在实际中遇到突发危险情况能够迅速做出正确的判断和反应。
[0004] 随着时间的推移，大家逐渐认识到了授课式安全培训的不足。伴随计算机技术的发展，计算机
软件培训方法也越来越多地被使用。该方法主要形式是受训者通过显示器观看关于危险场景正确应对方式的，并通过
鼠标和
键盘等交互设备在培训软件建立的虚拟危险场景中进行操作与练习。与传统授课方式相比，计算机培训更加直观、易懂，但是也有明显缺点：受训者仅能通过显示器观看平面的图像，也仅能通过鼠标和键盘与虚拟的培训场景进行交互，与现场培训方式相比还是有很大差距。再往后，开始使用多显示器并联来模拟更大的场景
角度，甚至使用环形投影技术来实现360°场景的建立，都是为了弥补电脑显示器仅有一个平面、体验不够真实的缺点。但是多显示器并联和环形投影技术都是显示的平面，并不能真实地呈现三维场景情况，并且
人机交互方面体验不佳。
[0005] 为了解决屏幕显示无法做到三维立体空间显示的缺点，随着
虚拟现实设备的发展，有人提出利用虚拟现实技术进行安全培训。与之前的所有技术相比，虚拟现实技术可以真实地建立一个虚拟世界，能够模拟各种危险场景，达到完全的沉浸式体验的培训。但是虚拟现实技术也有一个缺点，那就是虚拟现实技术完全用虚拟的世界遮挡了现实的世界，受训者与现实世界完全隔绝，无法与现实世界进行互动，而且由于受训人员无法看到现实场景，因此在使用虚拟现实设备时，必须要考虑使用过程中的安全问题，防治受训人员在现实世界中受伤，因此该方法有明显的局限性。
[0006] 综上所述，目前的非现场安全培训所使用的技术都有明显的缺点与不足，实现的效果与现场安全培训有很大差距。
发明内容
[0007] 为了改进其他方法的缺点与不足，本发明提供了一种基于头戴式混合现实设备的危险行业安全培训系统，通过混合现实设备与培训
系统软件的结合，可以将生成的虚拟场景
叠加在现实场景之上，建立各种危险行业安全培训的混合现实场景，并通过分析受训者的运动、语音等操作，实时更新虚拟场景，该系统还能实现多名受训者在同一混合现实场景中培训。该发明提供了一种简单、直观、高效的人机交互安全培训系统，达到媲美现场安全培训的效果。
[0008] 本发明是一种基于头戴式混合现实设备的危险行业安全培训系统，该系统由混合现实设备、培训系统软件以及配套的现实场景构成。其中：
[0009] 混合现实设备是由处理器、内存、储存器、多种
传感器、摄像头、半透明显示器、立体声
耳机、无线连接适配器等
硬件组成的可独立运行的一体化头戴式设备，负责人机交互的输入与输出功能，例如Microsoft公司的HoloLens设备。
[0010] 混合现实设备的传感器种类包括但不限于距离传感器、
加速传感器、
陀螺仪、磁
力计、摄像头、眼球追踪传感器等，可以实现诸如实时
感知周围空间环境、捕捉受训者的动作、指令等功能。
[0011] 混合现实设备的显示器是半透明的，位于受训者眼睛前方，可以显示培训系统软件生成的虚拟场景并遮挡相应的现实场景，虚拟场景和未被遮挡的现实场景可以同时被受训者看到，进而实现一种混合现实体验。
[0012] 培训系统软件主要功能包括：①处理传感器捕捉的空间信息并生成与之匹配的虚拟场景；②结合受训者操作信息，对虚拟场景进行实时更新；③将整个培训过程所有信息进行存储，并对过程中的单个或多个变量进行分析，或对训练效果进行分析与评估；④结合无线适配器与无线网络，将两台或多台混合现实设备连接起来，以实现多个受训者在用一个混合现实场景中协同培训。
[0013] 培训系统软件生成的虚拟培训场景可以基于多重引擎开发，例如Unity3D引擎。
[0014] 现实场景包括场地与其中的物品，场地的大小决定了混合现实场景的大小，而其中的物品则是虚拟场景
覆盖和加强的
基础，不同的培训对这两者有不同的要求，因此需要根据培训内容对现实场景进行设计。
[0015] 本发明的优点为：
[0016] ①结合混合现实设备与培训系统软件，能够建立基于现实场景和虚拟场景的混合现实培训场景，并根据受训者的运动、语音等操作实时更新虚拟场景，受训者可获得媲美现场安全培训的混合现实安全培训体验，达到最接近现场培训的效果；
[0017] ②通过培训系统软件能够模拟不同行业、不同类型的混合现实危险场景，在保证与现场培训效果接近的情况下，极大地降低了培训场景的成本，保证了培训过程安全，且虚拟场景能随着软件的更新而升级；
[0018] ③通过无线网络，可以实现多名受训者在同一个混合现实场景中共同培训，不仅提高培训效率，还能培训受训者之间遇到危险情况时的协作能力；
[0019] ④通过软件的记录功能，可以自由地对培训过程与结果进行回放与分析，找出培训的不足并分析改进的方法。
附图说明
[0020] 图1为混合现实设备显示效果示意图；
[0021] 图2为多人同时使用混合现实设备示意图；
具体实施方式
[0023] 本发明基于混合现实技术与设备，结合专用的安全培训系统软件，提供了一种基于头戴式混合现实设备的安全培训系统。由于混合现实技术的特性，本发明克服了以往非现场安全培训方法的各种缺点，可以将生成的虚拟场景叠加在现实场景之上，建立各种危险行业安全培训的混合现实场景，并通过分析受训者的运动、语音等操作，实时更新虚拟场景，该系统还能实现多名受训者在同一混合现实场景中培训。该发明提供了一种简单、直观、高效的人机交互式混合现实安全培训系统，达到媲美现场安全培训的效果。
[0024] 该培训系统由三部分组成：混合现实设备、安全培训系统软件以及配套的现实场景。
[0025] 混合现实设备是一个可独立运行的一体化头戴式设备，是本系统中的主要硬件设备，该设备主要有三类组件：(1)负责人机交互的输入组件，主要包括用于获取现实场景空间信息，捕捉受训者肢体动作、语音命令、眼部运动等操作的各类传感器；(2)提供运算能力的计算机组件，主要包括计算机正常运行必备的硬件，如处理器、内存、储存器、
电池、无线网络模
块等；(3)负责人机交互的输出组件，主要包括位于受训者眼睛前方的半透明显示器与耳朵旁的立体声耳机等。
[0026] 安全培训系统软件，是一款基于Windows系统和Unity3D引擎开发的软件，储存有需要模拟的危险场景以及需要操作的危险设备的三维模型，可以结合混合现实设备生成的现实场景空间信息，将这些三维模型布置在合适的
位置。软件还能结合传感器捕捉的受训者的各种操作以及其他混合现实设备发出的无线
信号，计算出所有受训者的操作对虚拟场景的影响，并实时更新虚拟场景。对于所有过程的各种数据，软件都将其记录下来，并提供一系列基于时间、事件、互动等因素的分析功能。
[0027] 现实培训场景也是该系统必不可少的组成部分，因为混合现实技术是建立在现实场景基础之上的。真实培训场景的大小、物品等要求，根据受训者行业、受训内容不同，而有所差别。在现实场景和软件建立的虚拟场景两者之间，现实场景主要表现安全培训混合现实场景的大
框架，虚拟场景主要表现灾害场景，以及需要操作的仪器设备等内容。
[0028] 为了更加清晰地描述该系统的实施方式，结合示意图进行描述。
[0029] 首先介绍混合现实设备的显示效果，如图1所示。图中的11为混合现实设备的半透明显示器，位于受训者眼睛前方，12为现实场景，为一张带斑点的桌子，13为受训者看到的虚拟场景，虚拟的火灾和灭火器的一部分，14为受训者未看到的虚拟场景，为虚拟火灾和灭火器的剩余部分。受训者眼睛位于显示器11后面，可以透过显示器11看到真实场景12，也能看到通过培训系统软件生成并显示在显示器11上的虚拟场景13。可以看到，显示器11中的虚拟场景13中的物体能够遮挡现实场景12中相应部分的桌子，因此受训者看到的就是结合了现实场景12和虚拟场景13的混合现实场景。由于虚拟场景14在半透明显示器11的外面，因此受训者无法看到。但是随着受训者的身体的移动或视角的转动，虚拟场景14中进入显示器11的范围内后，则变成可以被看到的虚拟场景13，而移出显示器11范围的虚拟场景13则变为不能被受训者看到的虚拟场景14。
[0030] 接着介绍多名受训者同时使用混合现实设备时的情况，如图2所示。图中的21为多人使用时的第一个受训者，22为第一个受训者使用的混合现实设备，图1中的视角就是图2中的第一个受训者的视角。23为第二个受训者，24为第二个受训者使用的混合现实设备。25为真实场景，一张带斑点的桌子，26为培训系统软件生成的虚拟场景，由于虚拟场景只有通过混合现实设备显示器才能看到，因此图中26为虚线。通过无线网络的数据传输和软件的处理，两个受训者可以看到同一个混合现实场景，但是看到的内容不完全相同，由受训者和虚拟场景之间的位置关系确定，且随着他们与虚拟场景之间的位置变化而实时改变。
[0031] 图3展示了所发明的基于
增强现实设备的安全培训系统的使用流程图，包括如下步骤：
[0032] 步骤S31，先使用混合现实设备的各种传感器，主要由距离传感器、景深传感器、摄像头等，对现实培训场景进行扫描，基于SLAM(Simultaneous localization and mapping，即时
定位与地图构建)技术来获取真实场景的空间信息。
[0033] 步骤S32，是在培训软件中结合真实场景的空间信息，将培训所需的虚拟场景的物品安排在合适的位置与方位，完成虚拟场景的设计，这一步可以由软件自动完成，也可以按照具体的培训需要由人工与软件合作完成。
[0034] 步骤S33，软件将设计好的虚拟场景内的物品，结合受训者、真实场景与虚拟场景之间的位置关系，在受训者的混合场景设备显示器内显示出来，受训者可以透过显示器看到虚拟场景与真实场景结合的混合场景。
[0035] 步骤S34，培训软件会在合适时机模拟突发的危险事件，并通过显示器、耳机等输出设备传递给受训者。
[0036] 步骤S35，混合现实设备通过各种传感器，例如动作传感器、方位传感器、运动传感器等，以及麦克
风等输入设备，感知受训者对于突发危险或灾难的反应与操作，培训软件对这些反应、操作进行分析计算，得出受训者的反应与操作给虚拟场景造成的影响。
[0037] 步骤S36，将软件计算得到的受到受训者影响后的新的虚拟场景，通过显示器及耳机等输出设备再次传递给受训者。
[0038] 步骤S37，判断训练是否结束，如果结果为否，那么培训过程继续，重复步骤S35至S37；如果判断结果为是，那么训练结束，进入步骤S38，对培训的过程和结果进行分析和评价。整个过程中，软件会自动记录步骤S34至步骤S37之间的所有过程，用于对培训过程的分析和评价。
