一种基于虚拟现实的灭火器教学系统和方法

申请号 CN201710256574.9 申请日 2017-04-19 公开(公告)号 CN107067935A 公开(公告)日 2017-08-18
申请人 华南师范大学; 发明人 马琼雄; 朱天伦; 麦玉健; 伍梓镔; 黄跃鸿; 魏奇笙; 林友钢; 林金福; 段斌; 朱宏基;
摘要 本 发明 公开了一种基于 虚拟现实 的灭火器教学系统和方法,包括智能终端、与智能终端连接的体感 控制器 ,在智能终端虚拟场景搭建可交互物体和不可交互物体;体感控制器获取监测范围内双手的 手腕 手指 关节 位置 方向信息,由智能终端识别出手势动作信息,根据手势动作信息驱动虚拟场景中的双手模型动作,进而驱动灭火器模型进行动作;根据灭火器模型动作判定虚拟场景进入喷雾状态,在喷雾状态时,根据灭火器模型动作,控制灭火器模型的喷口处出现喷雾模型,当喷雾模型与火焰模型 接触 的次数超过一定值时,控制虚拟场景中的火焰模型消失。本发明在基于虚拟现实的环境下实现,实现灭火器教学的真实还原,具有成本低、不存在安全隐患以及避免环境污染的优点。
权利要求

1.一种基于虚拟现实的灭火器教学系统,其特征在于,包括智能终端以及与智能终端连接的体感控制器
所述体感控制器,用于获取监测范围内双手的手腕手指关节位置方向信息,并且发送至智能终端;
所述智能终端中设置有手势识别、虚拟场景模块、操作模块、喷雾驱动模块和火焰控制模块;
所述手势识别模块,用于接收体感控制器发送的双手的手腕手指关节位置方向信息,根据双手的手腕手指关节位置方向信息识别出手势动作信息;
所述虚拟场景模块,用于搭建虚拟场景中的物体并赋予属性;所述虚拟场景模块中搭建的物体包括可交互物体和不可交互物体;所述可交互物体包括虚拟场景中搭建的灭火器模型、双手模型和喷雾模型;所述不可交互物体包括火焰模型;
所述操作模块,用于针对虚拟场景中搭建的可交互物体进行相应操作,其中包括用于根据手势动作信息驱动虚拟场景中的双手模型动作以及用于根据双手模型动作驱动灭火器模型进行相应动作,实现双手操作灭火器的模拟;
所述判定模块,用于根据灭火器模型进行的相应动作判定虚拟场景是否要进入喷雾状态;
所述喷雾驱动模块,用于在虚拟场景进入喷雾状态时,根据操作模块驱动的灭火器模型进行的动作,驱动在虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾;
所述火焰控制模块,用于在虚拟场景中喷雾模型与火焰模型接触的次数超过一定值时,控制虚拟场景中的火焰模型消失,模拟灭火。
2.根据权利要求1所述的基于虚拟现实的灭火器教学系统,其特征在于,所述虚拟场景中搭建的可交互物品还包括选择按键模型,所述选择按键模型包括火灾类型选择按键模型和灭火器类型选择按键模型;所述操作模块还包括用于根据手势动作信息针对可交互物品中的火灾类型选择按键模型和灭火器类型选择按键进行相应操作,通过对火灾类型选择按键模型的操作选择当前模拟的火灾类型;通过对灭火器类型选择按键的操作选择虚拟场景模块中出现的灭火器模型对应的灭火器类型。
3.根据权利要求2所述的基于虚拟现实的灭火器教学系统,其特征在于,所述智能终端包括教师智能终端和学生智能终端,所述教师智能终端通过网络与学生智能终端进行通信;
所述选择按键模型还包括单人训练模式选择按键模型、控制模式选择按键模型以及观看模式选择按键模型;
所述操作模块还包括用于根据手势动作信息针对可交互物品中的单人训练模式选择按键模型、互动教学模式按键模型、控制模式选择按键模型以及观看模式选择按键模型进行相应操作,通过对单人训练模式选择按键模型的操作触发智能终端进入单人训练模式,通过对控制模式选择按键模型的操作触发智能终端进入控制模式,通过观看模式选择按键模型的操作触发智能终端进入观看模式。
4.根据权利要求3所述的基于虚拟现实的灭火器教学系统,其特征在于,所述智能终端还包括评分系统和提示模块;
所述评分系统,当学生智能终端进入控制模式,教师智能终端进入观看模式时,用于根据教师评分、虚拟场景中灭火器模型从被操作开始至火焰模型消失的时间以及火灾类型下相应灭火器模型的选择进行综合评分;
所述提示模块,用于在虚拟场景中通过文字、视频和/或箭头的方式针对灭火器模型的下一步操作进行提示,供用户在体感控制器监测范围内进行下一步的手势动作提醒。
5.根据权利要求1所述的基于虚拟现实的灭火器教学系统,其特征在于,所述操作模块根据手势动作信息驱动虚拟场景中的双手模型的动作包括拿起灭火器动作、拔灭火器保险销动作、翻转灭火器动作以及按压灭火器压把动作;
所述操作模块根据双手模型的动作驱动灭火器模型进行的动作包括灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转以及灭火器模型中的压把压下;
当所述判定模块检测到灭火器模型依次存在灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转动作时,则判定虚拟场景进入喷雾状态,喷雾驱动模块根据灭火器模型中的压把压下动作驱动虚拟场景模块在虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾。
6.一种基于虚拟现实的灭火器教学方法,其特征在于,包括如下步骤:
S1、在智能终端中构建虚拟场景,并且在虚拟场景中搭建物体并赋予属性,其中搭建的物品包括可交互物体和不可交互物体;可交互物体包括虚拟场景中搭建的灭火器模型、双手模型和喷雾模型;不可交互物体包括火焰模型;与智能终端连接的体感控制器获取监测范围内双手的手腕手指关节位置方向信息,并且发送至智能终端;
S2、智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,然后根据手势动作信息驱动虚拟场景中的双手模型动作,同时智能终端根据双手模型动作驱动灭火器模型进行相应动作,实现双手操作灭火器的模拟;
S3、智能终端根据灭火器模型进行的相应动作判定虚拟场景是否要进入喷雾状态;在虚拟场景进入喷雾状态时,根据灭火器模型进行的动作,控制虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾;
S4、检测虚拟场景中出现的喷雾模型与火焰模型接触的次数,若喷雾模型与火焰模型接触的次数超过一定值,则控制虚拟场景中的火焰模型消失,模拟灭火。
7.根据权利要求6所述的基于虚拟现实的灭火器教学方法,其特征在于,步骤S2中双手模型的动作包括拿起灭火器动作、拔灭火器保险销动作、翻转灭火器动作以及按压灭火器压把动作;
步骤S2中智能终端根据双手模型的动作驱动灭火器模型进行的动作包括灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转以及灭火器模型中的压把压下;
步骤S3中当智能终端判定出灭火器模型依次存在灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转动作时,则判定虚拟场景进入喷雾状态,智能终端根据灭火器模型中的压把压下动作驱动虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾。
8.根据权利要求7所述的基于虚拟现实的灭火器教学方法,其特征在于,当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的拇指和食指之间在体感控制器坐标系里的相对距离小于第一阈值且这两手指与灭火器压把之间在体感控制器坐标系里的相对距离小于第二阈值,则此时双手模型为拿起灭火器模型动作,当智能终端驱动虚拟场景中灭火器模型的位置度跟随着双手模型的动作而变化;
当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手的动作为拿起灭火器模型动作,另一手的拇指和食指之间在体感控制器坐标系里的相对距离小于第三阈值且这两只手指与灭火器模型保险销之间在体感控制器坐标系里的相对距离小于第四阈值,并且随后两只手指与灭火器模型保险销之间在体感控制器坐标系里的相对距离增大后大于第四阈值,则此时双手模型为拔灭火器保险销动作,智能终端根据双手模型的拔灭火器保险销动作驱动虚拟场景中灭火器模型中的保险销拔下;
当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手与灭火器模型压把之间在体感控制器坐标系里的相对距离小于第五阈值,另一只手与灭火器模型罐底之间在体感控制器坐标系里的相对距离小于第六阈值,且双手间方向与灭火器模型手柄罐底间方向的夹角小于第七阈值,则此时双手模型为灭火器模型翻转动作,智能终端根据双手模型的灭火器模型翻转动作驱动虚拟场景中灭火器模型进行翻转;
当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手的动作为拿起灭火器模型动作,且该只手的拇指和食指之间在体感控制器坐标系里的相对距离小于第八阈值,则此时双手模型为按压灭火器模型压把动作,智能终端根据双手模型的按压灭火器模型压把动作驱动虚拟场景中灭火器模型中的压把压下。
9.根据权利要求6所述的基于虚拟现实的灭火器教学方法,其特征在于,智能终端虚拟场景中搭建的可交互物品还包括选择按键模型,所述选择按键模型包括火灾类型选择按键模型和灭火器类型选择按键模型;
智能终端根据手势动作信息针对火灾类型选择按键模型和灭火器类型选择按键进行相应操作,通过对火灾类型选择按键模型的操作选择当前模拟的火灾类型;通过对灭火器类型选择按键的操作选择虚拟场景模块中出现的灭火器模型对应的灭火器类型;
所述火灾类型包括固体物质火灾、液体和可溶化固体物质火灾、气体火灾、金属火灾以及带电物体和精密仪器火灾;
所述灭火器类型包括泡沫灭火器、酸灭火器、二灭火器和干粉灭火器。
10.根据权利要求9所述的基于虚拟现实的灭火器教学方法,其特征在于,智能终端包括教师智能终端和学生智能终端,教师智能终端通过网络与学生智能终端进行通信;
所述选择按键模型还包括单人训练模式选择按键模型、控制模式选择按键模型以及观看模式选择按键模型;
智能终端根据手势动作信息针对单人训练模式选择按键模型、互动教学模式按键模型、控制模式选择按键模型以及观看模式选择按键模型进行相应操作,通过对单人训练模式选择按键模型的操作触发智能终端进入单人训练模式,通过对控制模式选择按键模型的操作触发智能终端进入控制模式,通过观看模式选择按键模型的操作触发智能终端进入观看模式;
其中:
当学生智能终端中进入单人训练模式时,学生智能终端和教师智能终端相互之间拒绝对方的访问
当学生智能终端进入控制模式,教师智能终端进入观看模式时,学生智能终端通过网络将其所连接的体感控制器获取到双手的手腕手指关节位置方向信息发送至教师智能终端;教师智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,从而控制教师智能终端与学生智能终端虚拟场景中双手模型、灭火器模型、火焰模型以及喷雾模型的同步;同时当学生智能终端进入控制模式,教师智能终端进入观看模式时,智能终端根据教师评分、虚拟场景中灭火器模型从被操作开始至火焰模型消失的时间、火灾类型的选择以及火灾类型下相应灭火器模型的选择进行综合评分;
当教师智能终端进入控制模式,学生智能终端进入观看模式时,教师智能终端通过网络将其所连接的体感控制器获取到双手的手腕手指关节位置方向信息发送至学生智能终端;学生智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,从而控制学生智能终端与教师智能终端虚拟场景中双手模型、灭火器模型、火焰模型以及喷雾模型的同步。

说明书全文

一种基于虚拟现实的灭火器教学系统和方法

技术领域

[0001] 本发明涉及虚拟现实技术领域,特别涉及一种基于虚拟现实的灭火器教学系统和方法。

背景技术

[0002] 人们的生活离不开火,但是火如果使用不当或管理不好,就会发生火灾,严重威胁人们的生活,我们每个人都可能成为火灾的元凶或受害者。消防一是火灾的预防,二是灭火;为了提高人们的消防意识,近几年来,很多单位和企业会邀请专业人员进行消防知识宣讲并且进行消防灭火演练或培训。目前在消防灭火演练或培训中,往往都是使用正规灭火器进行操作演示,不仅成本高,而且正规灭火器的灭火剂经常容易污染环境,加之培训人员很难一次使用灭火器后就能熟练掌握和正确使用灭火器材,所以常常需要多次使用才能完全掌握,这也增加了消防灭火演练或培训过程中灭火器的使用量。这些消防灭火演练或培训使用的均是真实火源,因此在演练或培训过程中存在较大的安全隐患。
[0003] 为了解决上述问题,有人提出了专用于教学用的模拟灭火器。如授权公告号为CN102411868B的中国发明专利中公开了一种灭火器仿真教学装置,该装置由以发射声波代替灭火剂的模拟灭火器罐和以接收超声波而至熄火的灭火源构成,其中设置于模拟灭火器罐上的超声波测距模通过其主控单元控制发射超声波,模拟火源中的超声波测距模块接收到该超声波后,根据控制软件设定的喷射距离及其他操作要求是否符合要求,而控制其鼓机是否停止吹动象征火焰的红色丝绸,以示实现灭火,并适时向操作者语音提示操作的正确与否。可见,上述发明专利灭火器仿真教学装置通过声光电模拟火源,消除了灭火气模拟训练时的安全隐患,能够在各种环境下进行无污染的消防训练。现有技术中教学用的模拟灭火器虽然解决了安全隐患以及环境污染的问题,但是还是要通过各个硬件设备实现,因此在使用过程中肯定会存在磨损和损坏等现象,仍然存在使用成本高以及使用局限性大的问题。
[0004] 虚拟现实技术是利用计算机模拟产生一个三维的虚拟世界,为使用者提供视觉、听觉、触觉等感官上的模拟,让使用者产生身临其境的感受,可以实时地观察虚拟世界内的食物,并与之进行交互。目前,虚拟现实技术的应用范围非常广泛,在工程设计、飞行模拟、教育培训、游戏娱乐等方面得到广泛应用。

发明内容

[0005] 本发明的第一目的在于克服现有技术的缺点与不足,提供一种基于虚拟现实的灭火器教学系统,该系统通过对火灾和灭火器的虚拟现实构建,与体感控制器对双手在虚拟现实中的映射,实现灭火器教学的真实还原,节约了实验器材,降低了对危险及有限的设备操作训练的局限性,拥有更真实的裸手操作效果,具有成本低、不存在安全隐患以及不会产生环境污染的优点。
[0006] 本发明的第二目的在于提供一种基于虚拟现实的灭火器教学方法。
[0007] 本发明的第一目的通过下述技术方案实现:一种基于虚拟现实的灭火器教学系统,包括智能终端以及与智能终端连接的体感控制器;
[0008] 所述体感控制器,用于获取监测范围内双手的手腕手指关节位置方向信息,并且发送至智能终端;
[0009] 所述智能终端中设置有手势识别模块、虚拟场景模块、操作模块、喷雾驱动模块和火焰控制模块;
[0010] 所述手势识别模块,用于接收体感控制器发送的双手的手腕手指关节位置方向信息,根据双手的手腕手指关节位置方向信息识别出手势动作信息;
[0011] 所述虚拟场景模块,用于搭建虚拟场景中的物体并赋予属性;所述虚拟场景模块中搭建的物体包括可交互物体和不可交互物体;所述可交互物体包括虚拟场景中搭建的灭火器模型、双手模型和喷雾模型;所述不可交互物体包括火焰模型;
[0012] 所述操作模块,用于针对虚拟场景中搭建的可交互物体进行相应操作,其中包括用于根据手势动作信息驱动虚拟场景中的双手模型动作以及用于根据双手模型动作驱动灭火器模型进行相应动作,实现双手操作灭火器的模拟;
[0013] 所述判定模块,用于根据灭火器模型进行的相应动作判定虚拟场景是否要进入喷雾状态;
[0014] 所述喷雾驱动模块,用于在虚拟场景进入喷雾状态时,根据操作模块驱动的灭火器模型进行的动作,驱动在虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾;
[0015] 所述火焰控制模块,用于在虚拟场景中喷雾模型与火焰模型接触的次数超过一定值时,控制虚拟场景中的火焰模型消失,模拟灭火。
[0016] 优选的,所述虚拟场景中搭建的可交互物品还包括选择按键模型,所述选择按键模型包括火灾类型选择按键模型和灭火器类型选择按键模型;所述操作模块还包括用于根据手势动作信息针对可交互物品中的火灾类型选择按键模型和灭火器类型选择按键进行相应操作,通过对火灾类型选择按键模型的操作选择当前模拟的火灾类型;通过对灭火器类型选择按键的操作选择虚拟场景模块中出现的灭火器模型对应的灭火器类型。
[0017] 更进一步的,所述智能终端包括教师智能终端和学生智能终端,所述教师智能终端通过网络与学生智能终端进行通信;
[0018] 所述选择按键模型还包括单人训练模式选择按键模型、控制模式选择按键模型以及观看模式选择按键模型;
[0019] 所述操作模块还包括用于根据手势动作信息针对可交互物品中的单人训练模式选择按键模型、互动教学模式按键模型、控制模式选择按键模型以及观看模式选择按键模型进行相应操作,通过对单人训练模式选择按键模型的操作触发智能终端进入单人训练模式,通过对控制模式选择按键模型的操作触发智能终端进入控制模式,通过观看模式选择按键模型的操作触发智能终端进入观看模式。
[0020] 更进一步的,所述智能终端还包括评分系统和提示模块;
[0021] 所述评分系统,当学生智能终端进入控制模式,教师智能终端进入观看模式时,用于根据教师评分、虚拟场景中灭火器模型从被操作开始至火焰模型消失的时间以及火灾类型下相应灭火器模型的选择进行综合评分;
[0022] 所述提示模块,用于在虚拟场景中通过文字、视频和/或箭头的方式针对灭火器模型的下一步操作进行提示,供用户在体感控制器监测范围内进行下一步的手势动作提醒。
[0023] 优选的,所述操作模块根据手势动作信息驱动虚拟场景中的双手模型的动作包括拿起灭火器动作、拔灭火器保险销动作、翻转灭火器动作以及按压灭火器压把动作;
[0024] 所述操作模块根据双手模型的动作驱动灭火器模型进行的动作包括灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转以及灭火器模型中的压把压下;
[0025] 当所述判定模块检测到灭火器模型依次存在灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转动作时,则判定虚拟场景进入喷雾状态,喷雾驱动模块根据灭火器模型中的压把压下动作驱动虚拟场景模块在虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾。
[0026] 本发明的第二目的通过下述技术方案实现:一种基于虚拟现实的灭火器教学方法,包括如下步骤:
[0027] S1、在智能终端中构建虚拟场景,并且在虚拟场景中搭建物体并赋予属性,其中搭建的物品包括可交互物体和不可交互物体;可交互物体包括虚拟场景中搭建的灭火器模型、双手模型和喷雾模型;不可交互物体包括火焰模型;与智能终端连接的体感控制器获取监测范围内双手的手腕手指关节位置方向信息,并且发送至智能终端;
[0028] S2、智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,然后根据手势动作信息驱动虚拟场景中的双手模型动作,同时智能终端根据双手模型动作驱动灭火器模型进行相应动作,实现双手操作灭火器的模拟;
[0029] S3、智能终端根据灭火器模型进行的相应动作判定虚拟场景是否要进入喷雾状态;在虚拟场景进入喷雾状态时,根据灭火器模型进行的动作,控制虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾;
[0030] S4、检测虚拟场景中出现的喷雾模型与火焰模型接触的次数,若喷雾模型与火焰模型接触的次数超过一定值,则控制虚拟场景中的火焰模型消失,模拟灭火。
[0031] 优选的,步骤S2中双手模型的动作包括拿起灭火器动作、拔灭火器保险销动作、翻转灭火器动作以及按压灭火器压把动作;
[0032] 步骤S2中智能终端根据双手模型的动作驱动灭火器模型进行的动作包括灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转以及灭火器模型中的压把压下;
[0033] 步骤S3中当智能终端判定出灭火器模型依次存在灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转动作时,则判定虚拟场景进入喷雾状态,智能终端根据灭火器模型中的压把压下动作驱动虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾。
[0034] 更进一步的,当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的拇指和食指之间在体感控制器坐标系里的相对距离小于第一阈值且这两手指与灭火器压把之间在体感控制器坐标系里的相对距离小于第二阈值,则此时双手模型为拿起灭火器模型动作,当智能终端驱动虚拟场景中灭火器模型的位置度跟随着双手模型的动作而变化;
[0035] 当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手的动作为拿起灭火器模型动作,另一手的拇指和食指之间在体感控制器坐标系里的相对距离小于第三阈值且这两只手指与灭火器模型保险销之间在体感控制器坐标系里的相对距离小于第四阈值,并且随后两只手指与灭火器模型保险销之间在体感控制器坐标系里的相对距离增大后大于第四阈值,则此时双手模型为拔灭火器保险销动作,智能终端根据双手模型的拔灭火器保险销动作驱动虚拟场景中灭火器模型中的保险销拔下;
[0036] 当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手与灭火器模型压把之间在体感控制器坐标系里的相对距离小于第五阈值,另一只手与灭火器模型罐底之间在体感控制器坐标系里的相对距离小于第六阈值,且双手间方向与灭火器模型手柄罐底间方向的夹角小于第七阈值,则此时双手模型为灭火器模型翻转动作,智能终端根据双手模型的灭火器模型翻转动作驱动虚拟场景中灭火器模型进行翻转;
[0037] 当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手的动作为拿起灭火器模型动作,且该只手的拇指和食指之间在体感控制器坐标系里的相对距离小于第八阈值,则此时双手模型为按压灭火器模型压把动作,智能终端根据双手模型的按压灭火器模型压把动作驱动虚拟场景中灭火器模型中的压把压下。
[0038] 优选的,智能终端虚拟场景中搭建的可交互物品还包括选择按键模型,所述选择按键模型包括火灾类型选择按键模型和灭火器类型选择按键模型;
[0039] 智能终端根据手势动作信息针对火灾类型选择按键模型和灭火器类型选择按键进行相应操作,通过对火灾类型选择按键模型的操作选择当前模拟的火灾类型;通过对灭火器类型选择按键的操作选择虚拟场景模块中出现的灭火器模型对应的灭火器类型;
[0040] 所述火灾类型包括固体物质火灾、液体和可溶化固体物质火灾、气体火灾、金属火灾以及带电物体和精密仪器火灾;
[0041] 所述灭火器类型包括泡沫灭火器、酸灭火器、二灭火器和干粉灭火器。
[0042] 更进一步的,智能终端包括教师智能终端和学生智能终端,教师智能终端通过网络与学生智能终端进行通信;
[0043] 所述选择按键模型还包括单人训练模式选择按键模型、控制模式选择按键模型以及观看模式选择按键模型;
[0044] 智能终端根据手势动作信息针对单人训练模式选择按键模型、互动教学模式按键模型、控制模式选择按键模型以及观看模式选择按键模型进行相应操作,通过对单人训练模式选择按键模型的操作触发智能终端进入单人训练模式,通过对控制模式选择按键模型的操作触发智能终端进入控制模式,通过观看模式选择按键模型的操作触发智能终端进入观看模式;
[0045] 其中:
[0046] 当学生智能终端中进入单人训练模式时,学生智能终端和教师智能终端相互之间拒绝对方的访问
[0047] 当学生智能终端进入控制模式,教师智能终端进入观看模式时,学生智能终端通过网络将其所连接的体感控制器获取到双手的手腕手指关节位置方向信息发送至教师智能终端;教师智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,从而控制教师智能终端与学生智能终端虚拟场景中双手模型、灭火器模型、火焰模型以及喷雾模型的同步;同时当学生智能终端进入控制模式,教师智能终端进入观看模式时,智能终端根据教师评分、虚拟场景中灭火器模型从被操作开始至火焰模型消失的时间、火灾类型的选择以及火灾类型下相应灭火器模型的选择进行综合评分;
[0048] 当教师智能终端进入控制模式,学生智能终端进入观看模式时,教师智能终端通过网络将其所连接的体感控制器获取到双手的手腕手指关节位置方向信息发送至学生智能终端;学生智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,从而控制学生智能终端与教师智能终端虚拟场景中双手模型、灭火器模型、火焰模型以及喷雾模型的同步。
[0049] 本发明相对于现有技术具有如下的优点及效果:
[0050] (1)本发明灭火器教学系统包括智能终端以及与智能终端连接的体感控制器,在智能终端中构建虚拟场景,通过虚拟场景搭建灭火器模型、双手模型和喷雾模型等可交互物体以及火焰模型等不可交互物体;智能终端连接的体感控制器获取监测范围内双手的手腕手指关节位置方向信息,并且发送至智能终端,由智能终端识别出手势动作信息,然后根据手势动作信息驱动虚拟场景中的双手模型动作,同时根据双手模型动作驱动灭火器模型进行相应动作,实现双手操作灭火器的模拟;在模拟过程中,智能终端根据灭火器模型进行的相应动作判定虚拟场景是否要进入喷雾状态,在虚拟场景进入喷雾状态时,根据灭火器模型进行的动作,控制虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾,然后检测喷雾模型与火焰模型接触的次数,当喷雾模型与火焰模型接触的次数超过一定值时,控制虚拟场景中的火焰模型消失,模拟灭火。本发明灭火器教学系统在基于虚拟现实的环境下实现,通过对火灾和灭火器的虚拟现实构建,与体感控制器对双手在虚拟现实中的映射,实现灭火器教学的真实还原,节约了实验器材,降低了对危险及有限的设备操作训练的局限性,拥有更真实的裸手操作效果,同时能够让用户反复多次进行逼真的灭火器使用和操作,提高群众的灭火器使用能,具有成本低、不存在安全隐患以及不会产生环境污染的优点。
[0051] (2)本发明灭火器教学系统中智能终端可以设置有学生智能终端和教师智能终端,教师智能终端通过网络与学生智能终端进行通信;智能终端可以选择不同的教学或训练模式;当学生智能终端在控制模式,教师智能终端在观看模式时,学生智能终端通过网络将其所连接的体感控制器获取到双手的手腕手指关节位置方向信息发送至教师智能终端,控制教师智能终端与学生智能终端虚拟场景的同步;使得教师能够通过教师智能终端观察学生对灭火器操作,以进行指正。当教师智能终端进入控制模式,学生智能终端进入观看模式时,教师智能终端通过网络将其所连接的体感控制器获取到双手的手腕手指关节位置方向信息发送至学生智能终端,控制学生智能终端与教师智能终端虚拟场景的同步,使得学生通过学生智能终端能够对教师在教师智能终端的灭火器操作进行学习。
[0052] (3)本发明灭火器教学系统中还设置有评分系统,当学生智能终端进入控制模式,教师智能终端进入观看模式时,评分系统能够根据教师评分、虚拟场景中灭火器模型从被操作开始至火焰模型消失的时间以及火灾类型下相应灭火器模型的选择进行综合评分,能够使得学生知晓灭火器操作情况,以进行更正,提高了灭火器教学系统的教学效率。
[0053] (4)本发明灭火器教学系统中还设置有提示模块,用于在虚拟场景中通过文字、视频和/或箭头的方式针对灭火器模型的下一步操作进行提示,供用户在体感控制器监测范围内进行下一步的手势动作提醒,起到了更好的教学作用。附图说明
[0054] 图1是本发明灭火器教学系统结构框图
[0055] 图2a和2b是本发明灭火器教学系统中灭火器模型图。
[0056] 图3是本发明灭火器教学系统智能终端中虚拟场景图。

具体实施方式

[0057] 下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
[0058] 实施例
[0059] 本实施例公开了一种基于虚拟现实的灭火器教学系统,如图1所示,包括智能终端以及与智能终端连接的体感控制器;
[0060] 体感控制器,用于获取监测范围内双手的手腕手指关节位置方向信息,并且发送至智能终端;在本实施例中所使用的体感控制器为leap motion体感控制器。
[0061] 智能终端中设置有手势识别模块、虚拟场景模块、操作模块、喷雾驱动模块和火焰控制模块;本实施例中智能终端为计算机。
[0062] 手势识别模块,用于接收体感控制器发送的双手的手腕手指关节位置方向信息,根据双手的手腕手指关节位置方向信息识别出手势动作信息。
[0063] 虚拟场景模块,用于搭建虚拟场景中的物体并赋予属性;所述虚拟场景模块中搭建的物体包括可交互物体和不可交互物体;本实施例中可交互物体包括虚拟场景中搭建的灭火器模型、双手模型、喷雾模型和选择按键模型,其中选择按键模型包括火灾类型选择按键模型、灭火器类型选择按键模型、单人训练模式选择按键模型、控制模式选择按键模型以及观看模式选择按键模型;不可交互物体包括火焰模型和着火物品模型;在本实施例中虚拟场景模块中通过Unity 3D游戏引擎与3D Max三维建模软件共同搭建渲染虚拟场景中的物体。本实施例中虚拟场景中搭建的灭火器模型如图2a和2b所示。
[0064] 操作模块,用于针对虚拟场景中搭建的可交互物体进行相应操作,其中包括用于根据手势动作信息驱动虚拟场景中的双手模型动作以及用于根据双手模型动作驱动灭火器模型进行相应动作,实现双手操作灭火器的模拟;其中双手模型的动作包括拿起灭火器动作、拔灭火器保险销动作、翻转灭火器动作以及按压灭火器压把动作;灭火器模型进行的动作包括灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转以及灭火器模型中的压把压下。
[0065] 本实施例中操作模块还包括用于根据手势动作信息针对可交互物品中的火灾类型选择按键模型、灭火器类型选择按键、单人训练模式选择按键模型、控制模式选择按键模型和观看模式选择按键模型进行相应操作,通过对火灾类型选择按键模型的操作选择当前模拟的火灾类型;通过对灭火器类型选择按键的操作选择虚拟场景模块中出现的灭火器模型对应的灭火器类型;通过对单人训练模式选择按键模型的操作触发智能终端进入单人训练模式;通过对控制模式选择按键模型的操作触发智能终端进入控制模式;通过观看模式选择按键模型的操作触发智能终端进入观看模式。本实施例中当手势动作信息为在一定时间内按下火灾类型选择按键模型、灭火器类型选择按键、单人训练模式选择按键模型、控制模式选择按键模型或观看模式选择按键模型两次时,即双手模型中一个手指在一定时间内按下上述按键模型两次时,触发智能终端进行相应的操作。
[0066] 判定模块,用于根据灭火器模型进行的相应动作判定虚拟场景是否要进入喷雾状态;在本实施例中当判定模块检测到灭火器模型依次存在灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转动作时,则判定虚拟场景进入喷雾状态。
[0067] 喷雾驱动模块,用于在虚拟场景进入喷雾状态时,根据操作模块驱动的灭火器模型进行的动作,驱动在虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾;本实施例中,喷雾驱动模块根据灭火器模型中的压把压下动作驱动虚拟场景模块在虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾。
[0068] 火焰控制模块,用于在虚拟场景中喷雾模型与火焰模型接触的次数超过一定值时,控制虚拟场景中的火焰模型消失,模拟灭火。在本实施例中,当虚拟场景中出现喷雾模型与火焰模型接触的次数超过3次时,控制虚拟场景中的火焰模型消失。
[0069] 本实施例中智能终端包括教师智能终端和学生智能终端;教师智能终端和学生智能终端之间通过网络进行通信连接,采用的是TCP/IP协议,实现多用户进行联机操作灭火器互动教学。
[0070] 在本实施例中智能终端中还设置有评分系统和提示模块:
[0071] 评分系统,当学生智能终端进入控制模式,教师智能终端进入观看模式时,评分系统可以根据教师评分、虚拟场景中灭火器模型从被操作开始至火焰模型消失的时间、火灾类型的选择以及火灾类型下相应灭火器模型的选择进行综合评分,包括对火灾类型选择是否正确、火灾类型下相应灭火器模型的选择是否正确进行判定。
[0072] 提示模块,用于在虚拟场景中通过文字、视频和/或箭头的方式针对灭火器模型的下一步操作进行提示,供用户在体感控制器监测范围内进行下一步的手势动作提醒。例如本实施例中,当下一步操作为拔出安全栓时,则虚拟场景中有一箭头指向灭火器模型的安全栓并显示文字“拔出安全栓”,同时在虚拟场景中播放拔出安全栓过程的视频;当下一步操作为翻转灭火器时,则虚拟场景中有一箭头指向灭火器模型的罐身并显示文字“双手握紧灭火器压把与罐底,上下翻转并左右摇晃”,同时在虚拟场景中播放翻转摇晃灭火器过程的视频;当下一步操作为喷头对准火焰中心时,则虚拟场景中有一箭头指向火焰模型中心并显示文字“提起灭火器并用喷嘴对准火焰中心”,同时在虚拟场景中播放移动灭火器并用喷嘴对准火焰中心过程的视频;当下一步骤为灭火器压把压下时,则虚拟场景中有一箭头指向灭火器模型的压把,并且显示文字“压下压把使喷雾喷出”,同时在虚拟场景中播放压下压把灭火器喷出喷雾过程的视频。在灭火器模型喷雾过程中,虚拟场景中显示“保持压下压把至喷雾使火焰熄灭”。
[0073] 如图3所示为智能终端虚拟场景中出现的图,
[0074] 本实施例还公开了一种基于虚拟现实的灭火器教学方法,包括如下步骤:
[0075] S1、在智能终端中构建虚拟场景,并且在虚拟场景中搭建物体并赋予属性,其中搭建的物品包括可交互物体和不可交互物体,其中可交互物体包括虚拟场景中搭建的灭火器模型、双手模型、喷雾模型和选择按键模型;不可交互物体包括火焰模型;与智能终端连接的体感控制器获取监测范围内双手的手腕手指关节位置方向信息,并且发送至智能终端;
[0076] S2、智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,然后根据手势动作信息驱动虚拟场景中的双手模型动作,同时智能终端根据双手模型动作驱动灭火器模型进行相应动作,实现双手操作灭火器的模拟;其中双手模型的动作包括拿起灭火器动作、拔灭火器保险销动作、翻转灭火器动作以及按压灭火器压把动作,灭火器模型进行的动作包括灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转以及灭火器模型中的压把压下;
[0077] S3、智能终端根据灭火器模型进行的相应动作判定虚拟场景是否要进入喷雾状态,在本实施例中当智能终端判定出灭火器模型依次存在灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转动作时,则判定虚拟场景进入喷雾状态;在虚拟场景进入喷雾状态时,根据灭火器模型进行的动作,控制虚拟场景中灭火器模型的喷口处出现喷雾模型,模拟灭火器喷出喷雾;
[0078] S4、检测虚拟场景中出现的喷雾模型与火焰模型接触的次数,若喷雾模型与火焰模型接触的次数超过一定值,则控制虚拟场景中的火焰模型消失,模拟灭火。本实施例中若喷雾模型与火焰模型接触的次数超过3次,则控制虚拟场景中的火焰模型消失。
[0079] 本实施例上述步骤S2中,
[0080] 当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的拇指和食指之间在体感控制器坐标系里的相对距离小于第一阈值且这两手指与灭火器压把之间在体感控制器坐标系里的相对距离小于第二阈值,则此时双手模型为拿起灭火器模型动作,当智能终端驱动虚拟场景中灭火器模型的位置角度跟随着双手模型的动作而变化;
[0081] 当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手的动作为拿起灭火器模型动作,另一手的拇指和食指之间在体感控制器坐标系里的相对距离小于第三阈值且这两只手指与灭火器模型保险销之间在体感控制器坐标系里的相对距离小于第四阈值,并且随后两只手指与灭火器模型保险销之间在体感控制器坐标系里的相对距离增大后大于第四阈值,则此时双手模型为拔灭火器保险销动作,智能终端根据双手模型的拔灭火器保险销动作驱动虚拟场景中灭火器模型中的保险销拔下;
[0082] 当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手与灭火器模型压把之间在体感控制器坐标系里的相对距离小于第五阈值,另一只手与灭火器模型罐底之间在体感控制器坐标系里的相对距离小于第六阈值,且双手间方向与灭火器模型手柄罐底间方向的夹角小于第七阈值,则此时双手模型为灭火器模型翻转动作,智能终端根据双手模型的灭火器模型翻转动作驱动虚拟场景中灭火器模型进行翻转;
[0083] 当智能终端根据手势动作信息驱动虚拟场景中的双手模型进行动作使得双手模型的一只手的动作为拿起灭火器模型动作,且该只手的拇指和食指之间在体感控制器坐标系里的相对距离小于第八阈值,则此时双手模型为按压灭火器模型压把动作,智能终端根据双手模型的按压灭火器模型压把动作驱动虚拟场景中灭火器模型中的压把压下。
[0084] 本实施例中第一阈值为0.7,第二阈值为1,第三阈值为0.8,第四阈值为1.2,第五阈值为0.9,第六阈值为0.9,第七阈值为30,第八阈值为0.2。
[0085] 本实施例中步骤S1中,智能终端虚拟场景中搭建的选择按键模型包括火灾类型选择按键模型、灭火器类型选择按键模型、单人训练模式选择按键模型、控制模式选择按键模型以及观看模式选择按键模型;智能终端根据手势动作信息针对可交互物品中的火灾类型选择按键模型、灭火器类型选择按键、单人训练模式选择按键模型、控制模式选择按键模型和观看模式选择按键模型进行相应操作,通过对火灾类型选择按键模型的操作选择虚拟场景当前模拟的火灾类型;通过对灭火器类型选择按键的操作选择虚拟场景模块中出现的灭火器模型对应的灭火器类型;通过对单人训练模式选择按键模型的操作触发智能终端进入单人训练模式;通过对控制模式选择按键模型的操作触发智能终端进入控制模式;通过观看模式选择按键模型的操作触发智能终端进入观看模式。
[0086] 其中火灾类型包括固体物质火灾、液体和可溶化固体物质火灾、气体火灾、金属火灾以及带电物体和精密仪器火灾;灭火器类型包括泡沫灭火器、酸碱灭火器、二氧化碳灭火器和干粉灭火器。
[0087] 本实施例中智能终端包括教师智能终端和学生智能终端,教师智能终端通过网络与学生智能终端进行通信;
[0088] 其中:
[0089] 当学生智能终端中进入单人训练模式时,学生智能终端和教师智能终端相互之间拒绝对方的访问;
[0090] 当学生智能终端进入控制模式,教师智能终端进入观看模式时,学生智能终端通过网络将其所连接的体感控制器获取到双手的手腕手指关节位置方向信息发送至教师智能终端;教师智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,从而控制教师智能终端与学生智能终端虚拟场景中双手模型、灭火器模型、火焰模型以及喷雾模型的同步;
[0091] 当教师智能终端进入控制模式,学生智能终端进入观看模式时,教师智能终端通过网络将其所连接的体感控制器获取到双手的手腕手指关节位置方向信息发送至学生智能终端;学生智能终端根据接收到的双手的手腕手指关节位置方向信息识别出手势动作信息,从而控制学生智能终端与教师智能终端虚拟场景中双手模型、灭火器模型、火焰模型以及喷雾模型的同步。
[0092] 本实施例中还包括评分步骤和提示步骤,具体为:
[0093] 评分步骤:当学生智能终端进入控制模式,教师智能终端进入观看模式时,智能总得可以根据教师评分、虚拟场景中灭火器模型从被操作开始至火焰模型消失的时间、火灾类型的选择以及火灾类型下相应灭火器模型的选择进行综合评分,包括对火灾类型选择是否正确、火灾类型下相应灭火器模型的选择是否正确进行判定。
[0094] 提示步骤,智能终端在虚拟场景中通过文字、视频和/或箭头的方式针对灭火器模型的下一步操作进行提示,供用户在体感控制器监测范围内进行下一步的手势动作提醒。例如本实施例中,当下一步操作为拔出安全栓时,则虚拟场景中有一箭头指向灭火器模型的安全栓并显示文字“拔出安全栓”,同时在虚拟场景中播放拔出安全栓过程的视频;当下一步操作为翻转灭火器时,则虚拟场景中有一箭头指向灭火器模型的罐身并显示文字“双手握紧灭火器压把与罐底,上下翻转并左右摇晃”,同时在虚拟场景中播放翻转摇晃灭火器过程的视频;当下一步操作为喷头对准火焰中心时,则虚拟场景中有一箭头指向火焰模型中心并显示文字“提起灭火器并用喷嘴对准火焰中心”,同时在虚拟场景中播放移动灭火器并用喷嘴对准火焰中心过程的视频;当下一步骤为灭火器压把压下时,则虚拟场景中有一箭头指向灭火器模型的压把,并且显示文字“压下压把使喷雾喷出”,同时在虚拟场景中播放压下压把灭火器喷出喷雾过程的视频。在灭火器模型喷雾过程中,虚拟场景中显示“保持压下压把至喷雾使火焰熄灭”。
[0095] 针对本实施例中上述公开的基于虚拟现实的灭火器教学系统,操作者在智能终端的操作运行流程如下:
[0096] 步骤1、在体感控制器监测范围内做相应的手势动作,使得学生智能终端上双手模型手指对单人训练模式选择按键模型、控制模式选择按键模型以及观看模式选择按键模型按键进行触碰操作,使得学生智能终端进入单人训练模式、控制模式或观看模式;
[0097] 步骤2、在体感控制器监测范围内做相应的手势动作,使得学生智能终端上双手模型手指对火灾类型选择按键模型进行触碰操作,选择智能终端虚拟场景中的火灾类型进行选择;学生在体感控制器监测范围内做相应的手势动作,使得学生智能终端上双手模型手指对灭火器类型选择按键模型进行触碰操作,选择智能终端虚拟场景中的灭火器类型进行选择;
[0098] 步骤3、根据智能终端虚拟场景中提示,在体感控制器监测范围内依次做拿起灭火器、拔灭火器保险销、翻转灭火器以及按压灭火器压把的手势;使得虚拟场景中的灭火器模型分别进行灭火器模型拿起、灭火器模型中的保险销拔下、灭火器模型翻转以及灭火器模型中的压把压下动作。
[0099] 当智能终端进入单人训练模式时,则操作者通过上述步骤执行灭火器操作训练。
[0100] 当学生智能终端为控制模式,教师智能终端为观看模式时,学生通过学生智能终端并且按照上述过程进行灭火器操作的训练,教师可以通过教师智能终端观看学生智能终端的灭火器操作过程,并且在教师智能终端做出评分,此时智能终端根据教师在教师智能终端做出评分、虚拟场景中灭火器模型从被操作开始至火焰模型消失的时间、火灾类型的选择以及火灾类型下相应灭火器模型的选择进行综合评分,实现灭火器操作的评价。
[0101] 当教师智能终端为控制模式,学生智能终端为观看模式时,教师通过学生智能终端并且按照上述过程进行灭火器的操作,学生可以通过学生智能终端观看教师智能终端的灭火器操作过程,实现灭火器操作学习的功能。
[0102] 上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
QQ群二维码
意见反馈