技术领域
[0001] 本公开涉及虚实融合仿真实验、
虚拟现实技术领域，具体涉及一种基于操作行为信息的虚拟实验指导方法及系统，特别涉及到用户操作行为数据和错误信息的虚拟实验指导方法。
背景技术
[0002] 在虚实融合仿真实验的设计中，关于实验的指导方法是关键的一大技术难点。现有的实验指导方法大部分是以语音，图片，视频作为指导的材料，即通过上述的材料，对学生进行指导提示。这种指导方法存在一定的不足之处，在虚拟实验中，无法提供大量的预先录制的指导材料，以及不能准确地说明学生操作错误的信息。
发明内容
[0003] 本公开提供一种基于操作行为信息的虚拟实验指导方法及系统，通过动捕设备获取用户对仿真实验的动作操作，对获取的用户的操作
人机交互设备参数的指令映射到用户操作仿真实验的动作操作指令；通过网络
接口将映射后的动作操作指令传输到虚拟现实设备；在虚拟现实设备上以和动作操作指令相同的操作方式进行重放，使得用户在虚拟现实设备能够看到有多人同时在进行虚拟实验，根据用户的操作行为来判断是否出现错误信息的问题。
[0004] 为了实现上述目的，根据本公开的一方面，提供一种基于操作行为信息的虚拟实验指导方法，所述方法包括以下步骤：
[0005] S100：接入仿真实验
数据库，更新和获取仿真实验的资源和数据；
[0006] S200：提供虚拟现实的人机交互界面，用户配置人机交互界面的实验步骤编辑区、仿真实验编辑区和参数设置区；
[0007] S300：在用户完成配置的实验步骤编辑区和仿真实验编辑区中的单元中载入仿真实验的资源和数据；
[0008] S400：通过动捕设备获取用户对仿真实验的动作操作，对获取的用户的操作人机交互设备参数的指令映射到用户操作仿真实验的动作操作指令；
[0009] S500：通过网络接口将映射后的动作操作指令传输到虚拟现实设备；
[0010] S600：在虚拟现实设备上以和动作操作指令相同的操作方式进行重放，使得用户在虚拟现实设备能够看到有多人同时在进行虚拟实验。
[0011] 进一步地，在S100中，仿真实验数据库包括多个仿真实验的资源和数据，用于存储仿真实验的各项参数、资源和数据。
[0012] 进一步地，在S200中，人机交互界面包括实验步骤编辑区、仿真实验编辑区和参数设置区，其中，所述实验步骤编辑区包含依次连接的输入事件单元、实验步骤判断单元、触发器单元和输出事件单元，所述仿真实验编辑区包含与实验步骤编辑区中的单元关联的实验步骤组合单元，所述参数设置区与实验步骤编辑区和仿真实验编辑区关联并且接入对应的虚拟实验仿真实验设计资源和数据。
[0013] 进一步地，在S400中，动捕设备包括但不限于Vicon、Motion Analysis；动捕设备为光学式、惯性式的
动作捕捉设备；用于操作虚拟现实环境中的虚拟仿真实验，并输出动作操作。
[0014] 进一步地，在S500中，所述虚拟现实设备包括虚拟实验控制端、VR头盔、VR眼镜或用户客户端。
[0015] 进一步地，在S600中，在虚拟现实设备上以和动作操作指令相同的操作方式进行重放的方法为：
[0016] S601：将用户的虚拟现实设备产生的用户操作的虚拟实验命令汇集作为命令源；
[0017] S602：通过网络接口将命令源中的用户操控指令传输到另外的虚拟现实设备；
[0018] S603：另外的虚拟现实设备的播放相同的实验执行相同的用户操控指令，实现命令回放。
[0019] 本公开还提供了一种基于操作行为信息的虚拟实验指导系统，所述系统包括：
存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的
计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
[0020] 数据获取单元，用于接入仿真实验数据库，更新和获取仿真实验的资源和数据；
[0021] 人机交互单元，用于提供虚拟现实的人机交互界面，用户配置人机交互界面的实验步骤编辑区、仿真实验编辑区和参数设置区；
[0022] 实验载入单元，用于在用户完成配置的实验步骤编辑区和仿真实验编辑区中的单元中载入仿真实验的资源和数据；
[0023] 操作捕捉单元，用于通过动捕设备获取用户对仿真实验的动作操作，对获取的用户的操作人机交互设备参数的指令映射到用户操作仿真实验的动作操作指令；
[0024] 网络传输单元，用于通过网络接口将映射后的动作操作指令传输到虚拟现实设备；
[0025] 操作重放单元，用于在虚拟现实设备上以和动作操作指令相同的操作方式进行重放，使得用户在虚拟现实设备能够看到有多人同时在进行虚拟实验。
[0026] 本公开的有益效果为：本公开提供一种基于操作行为信息的虚拟实验指导方法及系统，本发明的指导方法主要是针对虚拟实验提出的，通过采集用户的操作行为数据和错误信息进行实验指导，具有实时指导的功能；通过建立正确的操作数据库，将用户操作行为数据进行对比，从而得到错误的信息。根据错误的信息进行反馈，并进行重现的提示，得到有效的指导作用，能够即时有效的共享重放实验步骤。
附图说明
[0027] 通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些
实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
[0028] 图1所示为一种基于操作行为信息的虚拟实验指导方法的
流程图；
[0029] 图2所示为一种基于操作行为信息的虚拟实验指导系统结构图。
具体实施方式
[0030] 以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本
申请中的实施例及实施例中的特征可以相互组合。
[0031] 如图1所示为根据本公开的一种基于操作行为信息的虚拟实验指导方法的流程图，下面结合图1来阐述根据本公开的实施方式的一种基于操作行为信息的虚拟实验指导方法。
[0032] 本公开提出一种基于操作行为信息的虚拟实验指导方法，具体包括以下步骤：
[0033] S100：接入仿真实验数据库，更新和获取仿真实验的资源和数据；
[0034] S200：提供虚拟现实的人机交互界面，用户配置人机交互界面的实验步骤编辑区、仿真实验编辑区和参数设置区；
[0035] S300：在用户完成配置的实验步骤编辑区和仿真实验编辑区中的单元中载入仿真实验的资源和数据；
[0036] S400：通过动捕设备获取用户对仿真实验的动作操作，对获取的用户的操作人机交互设备参数的指令映射到用户操作仿真实验的动作操作指令；
[0037] S500：通过网络接口将映射后的动作操作指令传输到虚拟现实设备；
[0038] S600：在虚拟现实设备上以和动作操作指令相同的操作方式进行重放，使得用户在虚拟现实设备能够看到有多人同时在进行虚拟实验。
[0039] 进一步地，在S100中，仿真实验数据库包括多个仿真实验的资源和数据，用于存储仿真实验的各项参数、资源和数据。
[0040] 进一步地，在S200中，人机交互界面包括实验步骤编辑区、仿真实验编辑区和参数设置区，其中，所述实验步骤编辑区包含依次连接的输入事件单元、实验步骤判断单元、触发器单元和输出事件单元，所述仿真实验编辑区包含与实验步骤编辑区中的单元关联的实验步骤组合单元，所述参数设置区与实验步骤编辑区和仿真实验编辑区关联并且接入对应的虚拟实验仿真实验设计资源和数据。
[0041] 进一步地，在S400中，动捕设备包括但不限于Vicon、Motion Analysis；动捕设备为光学式、惯性式的动作捕捉设备；用于操作虚拟现实环境中的虚拟仿真实验，并输出动作操作。
[0042] 进一步地，在S500中，所述虚拟现实设备包括虚拟实验控制端、VR头盔、VR眼镜或用户客户端。
[0043] 进一步地，在S600中，在虚拟现实设备上以和动作操作指令相同的操作方式进行重放的方法为：
[0044] S601：将用户的虚拟现实设备产生的用户操作的虚拟实验命令汇集作为命令源；
[0045] S602：通过网络接口将命令源中的用户操控指令传输到另外的虚拟现实设备；
[0046] S603：另外的虚拟现实设备的播放相同的实验执行相同的用户操控指令，实现命令回放。
[0047] 在实施例中，在实验步骤编辑区设计实验步骤可以通过设置以下步骤：
[0048] 1、等待输入事件，判断能否触发；
[0049] 2、条件满足，操作状态变化前的行为；
[0050] 3、设置状态，操作状态生效时的行为；
[0051] 4、操作状态生效后的行为，触发事件。
[0052] 然后在仿真实验编辑器，对一系列的实验步骤分别进行编辑，每个实验步骤可以对应以上4个过程进行编辑，通过多个实验步骤各自的输入和输出连接起来就可以实现一个仿真实验。其中，输出事件单元可以封装有程序接口。程序主要接口和功能要求通用，方便扩展新功能的实验步骤。
[0053] 本公开的实施例提供的一种基于操作行为信息的虚拟实验指导系统，如图2所示为本公开的一种基于操作行为信息的虚拟实验指导系统结构图，该实施例的一种基于操作行为信息的虚拟实验指导系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于操作行为信息的虚拟实验指导系统实施例中的步骤。
[0054] 所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
[0055] 数据获取单元，用于接入仿真实验数据库，更新和获取仿真实验的资源和数据；
[0056] 人机交互单元，用于提供虚拟现实的人机交互界面，用户配置人机交互界面的实验步骤编辑区、仿真实验编辑区和参数设置区；
[0057] 实验载入单元，用于在用户完成配置的实验步骤编辑区和仿真实验编辑区中的单元中载入仿真实验的资源和数据；
[0058] 操作捕捉单元，用于通过动捕设备获取用户对仿真实验的动作操作，对获取的用户的操作人机交互设备参数的指令映射到用户操作仿真实验的动作操作指令；
[0059] 网络传输单元，用于通过网络接口将映射后的动作操作指令传输到虚拟现实设备；
[0060] 操作重放单元，用于在虚拟现实设备上以和动作操作指令相同的操作方式进行重放，使得用户在虚拟现实设备能够看到有多人同时在进行虚拟实验。
[0061] 所述一种基于操作行为信息的虚拟实验指导系统可以运行于桌上型计算机、笔记本、掌上电脑及
云端
服务器等计算设备中。所述一种基于操作行为信息的虚拟实验指导系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于操作行为信息的虚拟实验指导系统的示例，并不构成对一种基于操作行为信息的虚拟实验指导系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于操作行为信息的虚拟实验指导系统还可以包括输入输出设备、网络接入设备、总线等。
[0062] 所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字
信号处理器(DigitalSignalProcessor，DSP)、专用集成
电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程
门阵列(Field-ProgrammableGateArray，FPGA)或者其他
可编程逻辑器件、分立门或者晶体管逻辑器件、分立
硬件组件等。通用处理器可以是
微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于操作行为信息的虚拟实验指导系统运行系统的控制中心，利用各种接口和线路连接整个一种基于操作行为信息的虚拟实验指导系统可运行系统的各个部分。
[0063] 所述存储器可用于存储所述计算机程序和/或模
块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于操作行为信息的虚拟实验指导系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储
操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速
随机存取存储器，还可以包括
非易失性存储器，例如
硬盘、内存、插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0064] 尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附
权利要求考虑到
现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以
发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
