技术领域
[0001] 本
发明涉及计算机计算领域，尤其涉及一种基于虚拟现实技术的神经发育障碍音乐训练系统。
背景技术
[0002] 虚拟现实技术是一种通过沉浸式显示设备、环绕式立体声播放器以及交互式
控制器等设备模拟显示立体场景，让患者产生类似于现实场景的体验的一种技术。相比于传统的显示屏，环绕投影等技术对三维场景的模拟程度更高，对空间物体以及声音的模拟更加准确。同时，该技术以其特有的可复用性、拟真性以及可控性越发广泛地被教育、医疗等领域所采用。
[0003] 根据ICD诊断标准，神经发育障碍是指出现在发育阶段的行为和
认知障碍，表现为获得和执行特定智能、运动、语言或社会功能存在显著困难。神经发育障碍包括：智
力发育障碍、发育性言语或语言障碍、孤独症谱系障碍、发育性
学习障碍、发育性运动协调障碍、慢性发育性抽动障碍、注意
缺陷多动障碍以及刻板性
运动障碍。
[0004] 音乐播放器播放音乐配合训练器材的使用，可以在训练中较好地控制训练人员的节奏感，同时带动训练人员的兴奋情绪，提高训练效果，而在常规训练器材中，训练器材配合音乐播放显示屏幕，一般会使得该训练器体型较大，搬动不便，而手脚协调性训练一般通过各种户外活动实现训练过程，室内器材无法完全展现训练效果。
发明内容
[0005] 本发明的一个目的是要解决
现有技术中的利用虚拟现实技术进行音乐训练的系统训练乏味、训练效果不佳的技术问题。
[0006] 本发明提供了一种基于虚拟现实技术的神经发育障碍音乐训练系统，包括：
[0007] 音乐训练室，具有训练标定空间以及用于标识所述训练标记空间的中央
位置的地面标记点，患者在开始训练时站立在所述地面标记点处；
[0008] 头戴式虚拟现实显示器，佩戴在所述患者头部，用于向所述患者提供与音乐训练内容相关的虚拟现实图形图像；
[0009] 声音播放装置，设置在所述音乐训练室内，与所述头戴式虚拟现实显示器通信连接，用于在所述头戴式虚拟现实显示器显示所述虚拟现实图形图像时，同步播放与所述音乐训练内容相关的音乐；
[0010] 控制器，握持在所述患者手中，分别与所述头戴式虚拟现实显示器和所述声音播放装置通信连接，用于根据所述头戴式虚拟现实显示器显示的所述虚拟现实图形图像和所述声音播放装置播放的所述音乐作出行为动作，以完成所述音乐训练内容相应的音乐演奏。
[0011] 可选地，所述神经发育障碍音乐训练系统还包括：
[0012]
数据采集装置，与所述控制器通信连接，用于采集所述患者的行为动作；
[0013]
中央处理器，与数据采集装置通信连接，用于分析所述患者的所述行为动作，并根据分析结果判断所述音乐训练内容的完成情况。
[0014] 可选地，所述中央处理器配置成根据所述音乐训练内容的完成情况的判断结果来动态实时调整所述音乐训练内容的难易程度；
[0015] 其中，所述音乐训练内容的难易程度包括所述头戴式虚拟现实显示器显示的虚拟现实图形图像的复杂程度以及所述声音播放装置播放的音乐难度等级。
[0016] 可选地，所述音乐训练内容包括多个难度依次增加的等级，每个等级对应具有相应复杂程度的虚拟现实图形图像以及相应音乐难度等级的音乐。
[0017] 可选地，所述控制器为可穿戴设备、手持式设备或遥控器。
[0018] 可选地，所述控制器为手持式设备时，所述手持式设备的内部集成有微型振动
马达，所述微型振动马达用于在所述患者在进行音乐训练时产生与所述音乐训练内容相关联的振动，使所述患者与所述虚拟现实图形图像中的物体产生互动。
[0019] 可选地，所述头戴式虚拟现实显示器和所述控制器均内置有空间
定位模
块，用于根据所述患者在对音乐训练过程中对所述患者进行定位，以获得所述患者的与其所在三维空间所处的位置相关的行为动作，并将所述患者的三维空间所处的位置在所述虚拟现实图形图像中进行映射显示。
[0020] 可选地，所述头戴式虚拟现实显示器与所述患者的面部相
接触的接触界面材料选用柔软材料，并且所述接触界面的形状根据所述患者的面部的曲面进行拟合。
[0021] 可选地，所述神经发育障碍音乐训练系统还包括显示替代装置，用于替代所述头戴式虚拟现实显示器以在所述患者在佩戴适应期进行脱敏训练。
[0022] 可选地，所述神经发育障碍音乐训练系统还包括数据存储装置，所述数据存储装置用于存储生成所述虚拟现实图形图像的的相应素材、对应的音频文件以及所述患者的相关数据。
[0023] 根据本发明的方案，采用虚拟现实场景，可以节约大量场地材料且灵活多变，可根据实际需求进行变更。并且，在系统设计上采用了标准化设计的同时引入了动态实时反馈系统，使该系统在对神经发育障碍患者的训练上既有标准可循又可因地制宜，提升训练效率。
[0024] 本发明在集成了虚拟现实的
基础上，节省了实物操作所需的大量材料以及相应人员，程序化的操作方式也使得该训练系统更为规范标准。系统所具备的反馈式动态分级功能可以使系统依据患者的实际表现动态调整系统训练难度，从而有效提高训练的效果。
[0025] 根据下文结合
附图对本发明具体
实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
[0026] 后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
[0027] 图1示出了根据本发明一个实施例基于虚拟现实技术的神经发育障碍音乐训练系统的示意性结构图；
[0028] 图2示出了根据本发明另一个实施例基于虚拟现实技术的神经发育障碍音乐训练系统的示意性结构图；
[0029] 图3示出了根据本发明一个实施例的患者在音乐训练室内训练的示意性二维图。
具体实施方式
[0030] 图1示出了根据本发明一个实施例基于虚拟现实技术的神经发育障碍音乐训练系统的示意性结构图。如图1所示，该神经发育障碍音乐训练系统包括：音乐训练室1，具有训练标定空间以及用于标识所述训练标记空间的中央位置的地面标记点，患者在开始训练时站立在所述地面标记点处；头戴式虚拟现实显示器2，佩戴在所述患者头部，用于向所述患者提供与音乐训练内容相关的虚拟现实图形图像；声音播放装置3，设置在所述音乐训练室1内，与所述头戴式虚拟现实显示器2通信连接，用于在所述头戴式虚拟现实显示器2显示所述虚拟现实图形图像时，同步播放与所述音乐训练内容相关的音乐；控制器4，握持在所述患者手中，分别与所述头戴式虚拟现实显示器2和所述声音播放装置3通信连接，用于根据所述头戴式虚拟现实显示器2显示的所述虚拟现实图形图像和所述声音播放装置3播放的所述音乐作出行为动作，以完成所述音乐训练内容相应的音乐演奏。
[0031] 训练计划还可以根据后期要求进行人为的变更与重新更改与设计。虚拟现实场景可以根据实际需要进行重新设计与更改。
[0032] 所述神经发育障碍音乐训练系统为反馈式动态分级训练系统，该系统的
软件逻辑可实时监测患者的行为动作，并根据相关数据实时分析判断，依据判断结果实时调整所模拟的虚拟现实场景以及患者的当前目标难度。所述系统的软件逻辑可通过包括但不限于控制器4和头戴式虚拟现实显示器2在内的反馈数据进行实时判断并对系统进行动态调整。控制器4可以在场景中显示，且可被患者持握或穿戴。
[0033] 所述神经发育障碍音乐训练系统还包括：数据采集装置，与所述控制器4通信连接，用于采集所述患者的行为动作；中央处理器，与数据采集装置通信连接，用于分析所述患者的所述行为动作，并根据分析结果判断所述音乐训练内容的完成情况。
[0034] 所述中央处理器配置成根据所述音乐训练内容的完成情况的判断结果来动态实时调整所述音乐训练内容的难易程度；其中，所述音乐训练内容的难易程度包括所述头戴式虚拟现实显示器2显示的虚拟现实图形图像的复杂程度以及所述声音播放装置3播放的音乐难度等级。
[0035] 所述音乐训练内容包括多个难度依次增加的等级，每个等级对应具有相应复杂程度的虚拟现实图形图像以及相应音乐难度等级的音乐。
[0036] 所述控制器4可为穿戴式设备，如控制手套，亦可为持握式设备、
手柄、便携式遥控器等，且该控制器4可通过有线或者无线方式与控制系统产生通信。
[0037] 所述控制器4为手持式设备时，所述手持式设备的内部集成有微型振动马达，所述微型振动马达用于在所述患者在进行音乐训练时产生与所述音乐训练内容相关联的振动，使所述患者与所述虚拟现实图形图像中的物体产生互动。所述控制器4内部集成微型震动马达，可让患者与虚拟场景中物体产生互动，与反馈式动态分级训练系统产生通信，同时受系统控制对患者产生
触觉反馈。
[0038] 所述头戴式虚拟现实显示器2和所述控制器4均内置有空间定位模块，用于根据所述患者在对音乐训练过程中对所述患者进行定位，以获得所述患者的与其所在三维空间所处的位置相关的行为动作，并将所述患者的三维空间所处的位置在所述虚拟现实图形图像中进行映射显示。其中，控制器4通过无线方式或有线的方式与神经发育障碍音乐训练系统连接。
[0039] 所述控制器4内置
电能存贮装置，可为内部器件运作提供电力，可反复充电使用。
[0040] 所述头戴式虚拟现实显示器2与所述患者的面部相接触的接触界面材料选用柔软材料，并且所述接触界面的形状根据所述患者的面部的曲面进行拟合。
[0041] 所述神经发育障碍音乐训练系统还包括显示替代装置，用于替代所述头戴式虚拟现实显示器2以在所述患者在佩戴适应期进行脱敏训练。
[0042] 所述神经发育障碍音乐训练系统还包括数据存储装置，所述数据存储装置用于存储生成所述虚拟现实图形图像的的相应素材、对应的音频文件以及所述患者的相关数据，且该数据存储装置应符合高速数据吞吐以及大容量的特点。
[0043] 神经发育障碍音乐训练系统通过视觉、听觉和触觉方式引导患者完成场景所规定的相应音乐演奏。神经发育障碍音乐训练系统通过改变虚拟现实场景中特定物体的位置、
颜色、大小以及发光等外观等非文字语言信息对患者产生引导，从而达到特定目标。
[0044] 神经发育障碍音乐训练系统的计算核心为独立封装的
高性能计算核心，如高性能计算机，通过有线或无线方式与神经发育障碍音乐训练系统中其他
硬件软件设备进行数据交换，亦可为集成化的计算核心，被装配在头戴式虚拟现实显示器2或其他相关硬件设备之中直接与相关硬件进行通信。头戴式虚拟现实显示器2可以为头戴式头盔显示器，亦可为环绕式立体投影显示。头戴式虚拟现实显示器2可通过有线方式与其他系统组件进行连接与数据交换，亦可通过无线方式有系统其他组建进行数据交换。
[0045] 根据本发明的方案，采用虚拟现实场景，可以节约大量场地材料且灵活多变，可根据实际需求进行变更。并且，在系统设计上采用了标准化设计的同时引入了动态实时反馈系统，使该系统在对神经发育障碍患者的训练上既有标准可循又可因地制宜，提升训练效率。本发明在集成了虚拟现实的基础上，节省了实物操作所需的大量材料以及相应人员，程序化的操作方式也使得该训练系统更为规范标准。系统所具备的反馈式动态分级功能可以使系统依据患者的实际表现动态调整系统训练难度，从而有效提高训练的效果。
[0046] 本发明方案结合了前沿的虚拟现实技术，在传统音乐训练方法的基础上，集成了视觉、听觉和触觉等多种感官互动方式，具有互动训练的高效性和多样性。
[0047] 本发明的系统通过对患者位置动作反应时间的数据采集实时对其状态进行判断，动态的调整系统与场景的复杂程度以及训练目标的难易程度。在患者未能完成既定目标时可及时调整训练计划，确保训练效率。亦可在患者完成既定训练目标时动态提升可选训练难度，提升训练
质量。
[0048] 下面以具体的实施例为例进行详细说明：
[0049] 图2示出了根据本发明另一个实施例基于虚拟现实技术的神经发育障碍音乐训练系统的示意性结构图。如图2所示，该神经发育障碍音乐训练系统包括：头戴式虚拟现实显示器2、声音播放装置3、控制器4、定位装置、中央处理器、数据存储装置以及训练系统的软件逻辑。
[0050] 患者将头戴式虚拟现实显示器2佩戴于头部，同时手持控制器4，在预先标定的标准空间内进行训练活动。
[0051] 考虑到音乐训练的主要对象为年龄较小的儿童，可选择处理与储存核心与虚拟现实显示功能分离的轻量化头戴显示器，以确保儿童在使用时头颈部
应力的安全性。
[0052] 考虑到本具体实施方案中的音乐训练场景需要受训者在所标定空间中进行较大幅度的移动与转向，在训练系统各部分之间的通信方式上可选择无线通信的方式，以防止受训者在佩戴使用虚拟现实仪器时可能发生的意外跌倒以及传输线材缠绕等安全隐患的发生。
[0053] 根据具体实现方式的不同，系统可以将中央处理器与数据存储装置进行整合设计，以减少系统连接的复杂程度。
[0054] 因为年龄较小的神经发育障碍患者其心理生理发育均尚未完成，在认知、声音辨别、应能力以及对外部环境变化的接受程度可塑性较强，若能在儿童时期对其进行相应的训练，其上述各方面的发展
水平有较大可能获得提升。相关研究表明，针对神经发育障碍人群的音乐训练对6至12岁的儿童效果最为明显，因此本产品的主要定位人群为6至12岁的儿童。
[0055] 考虑到音乐训练的主要对象为儿童，持握式虚拟现实控制器4的大小不宜过大，应采用紧凑型设计，同时该控制器4应采用一体成形式设计，以防止小部件被儿童误吞咽。
[0056] 为了在内容上更加吸引儿童，虚拟场景的设计采用较为明亮简洁的卡通
风格设计，富有童趣且配有轻快活泼的背景音乐。
[0057] 针对特定的对虚拟现实显示器的佩戴有抵触情绪的儿童，该系统还提供可选的显示替代装置，用于儿童在佩戴适应期进行脱敏训练。
[0058] 考虑到该系统的主要使用人群为6至12岁儿童，对于头戴式虚拟现实显示器2贴合面部一侧的形状需根据典型儿童面部曲面进行拟合，考虑到产品的触觉刺激与安全性，头戴式虚拟现实显示器2的接触界面材料应选用绒毛或不织布等柔软材料。
[0059] 图3示出了根据本发明一个实施例的患者在音乐训练室1内训练的示意性二维图。如图3所示，神经发育障碍儿童在相关人员的辅助下佩戴好头戴式虚拟现实显示器2以及相应的控制器4，并站立于所标定空间的中央，以地面标记点标出。训练开始时会由声音播放装置3播放背景音乐以及提示音，表明训练开始。所述儿童需要在系统的指引下使用控制器
4在所标定的空间中进行移动，并且与相应的虚拟场景中的物体进行互动，从而达到系统所预先规定的训练任务。当正确完成相应任务或未能完成操作错误时，系统将以视觉(特定物体的变化，粒子光影特效等)、听觉(播放错误提示音)以及触觉(虚拟现实控制器4产生模式不同模式的震动)来进行提示与引导。
[0060] 具体训练内容：第一级：聆听，VR系统内播放音乐，
患儿聆听，患儿也可根据节奏摇摆身体或律动；第二级：节奏训练，VR系统内显示鼓等打击
乐器，患儿进行选择，然后根据提示教会患儿击打虚拟打击乐器，之后出现一些简单
节拍，让患儿击打；第三级：内播放音乐，患儿根据音乐节奏使用手柄击打虚拟鼓等打击乐器。第四级：在VR系统内显示虚拟琴键，患儿通过手柄击打琴键会发出相应音符，患儿可即兴击打。第五级：VR内播放简单旋律，首先VR系统会提示相应虚拟琴键指导患儿击打；第六级：VR内播放简单旋律，患儿击打相应虚拟琴键。
[0061] 反馈式动态分级音乐训练系统中的软件逻辑部分将根据从空间定位模块、头戴式虚拟现实显示装置以及控制器4所传输的患者的相关数据实时动态调整当前目标的难度与场景的复杂程度，以确保训练的有效性。
[0062] 至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或
修改。因此，本发明的范围应被理解和认定为
覆盖了所有这些其他变型或修改。
