一种声乐表演教学方法及系统 |
|||||||
| 申请号 | CN202110345912.2 | 申请日 | 2021-03-31 | 公开(公告)号 | CN112734946A | 公开(公告)日 | 2021-04-30 |
| 申请人 | 南京航空航天大学; | 发明人 | 张进; | ||||
| 摘要 | 本 发明 公开一种声乐表演教学方法及系统，教学方法通过以下过程实现：构建虚拟三维声乐表演教学环境场景模型，构建学习者模型；设计试验，利用 虚拟现实 场景刺 激素 材激发学习者产生不同的情绪，采集学习者的脑电 信号 ；将学习者在未使用VR头显设备时声乐学习的脑 电信号 ，与使用VR设备进行声乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整教学计划；涉及到的设备包括集成在VR头显设备中模型构建模 块 ，学习者的面部图像捕捉模块，手部图像捕捉模块，装备集成度高，采用本发明提供的装备和方法进行教学，能明显提升学习效果。 | ||||||
| 权利要求 | 1.一种声乐表演教学方法，其特征在于，包括如下步骤： |
||||||
| 说明书全文 | 一种声乐表演教学方法及系统技术领域[0001] 本发明涉及计算机科学技术领域，尤其涉及一种声乐表演教学方法及设备。 背景技术[0002] 声乐表演艺术是声乐演唱和舞台表演相融合的一种综合性的艺术，其涵盖了声乐表演者演唱技巧、艺术处理、舞台表演等方面的内容。声乐表演教学的模式是指声乐教师在教学的过程中采取的有利于学生学习的教学形式和内容的教学策略体系。不同于音乐学科中的其他专业教学，声乐教学较为抽象，既看不见，摸不着，同时又需要从整体性知觉情景、互动能力、情绪活动状态和情感表现方式等理性层面去把控教学内容与模式设定。 [0003] 然而，纵观高校声乐表演教学的发展史及现状，高校声乐表演教学多年来都延续着传统的“一对一”教学交往模式和“经验性示范与模仿”的教学方法，即“三个一”——一架钢琴，一个学生，一面镜子的教学模式。这种教学模式虽然经历了多年实践验证，存在一定的科学性和合理性，但也逐渐凸显出一些弊端。 [0004] 通过访谈形式对高校师生进行调研，并对访谈进行记录收集，对收集的数据进行有效的分析可以看出，现有声乐教学模式，手段单一，方法简单，空间受限，学生在这样的学习场域学习容易产生紧张的心理，对声乐学习的兴趣逐渐被消磨，限制了学生学习思维的能动性和创造性。另一方面，在某些特殊的声乐教学课程中，传统教学方式存在着教学不够直观，耗时耗力；搭建舞台、布置场景，购买音响设备、灯光等，打造舞台效果，需要投入大量人力、物力、时间等，由此造成教学成本高的问题，进一步导致了学习者学习效率不高，学习效果不好。 [0005] VR，英文全称为Virtual Reality，即虚拟现实，简称VR。VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，从而使用户沉浸到该环境中。在实际应用中，VR技术可广泛的应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害、教育培训等众多领域。但在声乐表演教学领域应用较少，也没有相关VR在该领域应用成果的相关研究。 发明内容[0006] 解决上述技术问题，本发明的目的是提供了一种基于VR技术的声乐表演教学方法，有效解决了现有技术中传统的肢体运动传统教学方式教学不够直观，耗时耗力，教学成本高，且学习者学习效率不高，学习效果不好的问题。 [0007] 本发明为一种声乐表演教学方法，包括如下步骤：S1，构建虚拟三维声乐表演教学环境场景模型，构建学习者模型； S2，学习者佩戴VR头显设备，使所述学习者位于场景中的设定位置，在所述虚拟三 维声乐表演教学环境场景中进行声乐学习、表演； S3，图像采集设备捕捉学习者表演的图像信息，并将所述图像信息与所述虚拟三 维声乐表演教学环境场景模型融合； S4，设计试验，利用虚拟现实场景刺激素材激发学习者产生不同的情绪，采集学习 者的脑电信号； S5，将学习者在未使用VR头显设备时声乐学习的脑电信号，与使用VR设备进行声 乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型或采取其他方式进一步提升教学效果。 [0008] 进一步的，S1中的所述虚拟三维声乐表演教学环境场景模型包括虚拟场景布置，包括舞台灯光、3D音乐音效、特效工具，以及虚拟麦克风、VR视频音频录制、VR全景相机拍摄、第三角度摄像机、智能语音、智能AI技术；S1中的学习者模型包括创建学习者面部和/或肢体的虚拟画面。 [0009] 进一步的，所述步骤S3具体为：点阵投影器向人脸投射不可见的光点所组成点阵，通过红外镜头读取点阵图案， 并与摄像头拍摄到的人脸进行联立计算，进而获得面部表情的深度信息，即真实的面部三维模型。 [0010] 作为本申请的一种优选实施方式，所述步骤S3面部图像捕捉通过以下方法进行优化方法：首先，预设素材库，所述素材库中包含图片、视频； 所述点阵投影器根据以下公式在不同光线下输出不同的结果： ； 其中，‑σ为点阵投影器发射出来的光线、σ为红外镜头接收光线， Ri 是设定的光 线条件，即明暗度，Tj为面部识别精度，(x,y)为点阵投影器对面部表情的深度信息；1为素材库中的人脸图像，0为素材库中的人脸视频图像，2为现场采集的立体图像。 [0011] 进一步的，所述步骤S3具体为：S31，通过图像采集设备，以及手部定位追踪器采集学习者手部的位置； S32，根据手部的位置，确定手部在设定范围内，根据设定的手部动作规则，确认手 部在虚拟三维声乐表演教学环境场景的动作； S33，将手部动作的画面与虚拟三维声乐表演教学环境场景模型相融合，使其在虚 拟三维声乐表演教学环境场景中能够被学习者实时观测。 [0012] 更进一步的，所述步骤S4根据不同学习者的演唱水平、知识背景和生活经历，设定不同情绪的歌曲作为刺激素材，所述刺激素材包含诱发产生愉悦、平静、悲伤三种情绪的歌曲。 [0013] 更进一步的，所述步骤S4中的试验具体包括：被试者首先收听事先准备好的加有歌曲讲解的伴奏三分钟，接着演唱一分钟，演 唱完毕后休息一分钟，接着进行第二首歌曲，重复以上流程，同种情绪的歌曲全部试验完成后休息三分钟；以上流程重复，直至包含三种情绪的六首歌曲全部完成，随后被试者开始佩戴VR设备，并观看歌曲相关的虚拟现实场景，同样以同种情绪为一组重复进行上述试验，直至全部完成。 [0014] 更进一步的，所述步骤S5中，根据得到的结果调整虚拟三维声乐表演教学环境场景模型或采取其他方式进一步提升教学效果，具体指：观察脑电功率谱密度地形图，得到使用VR设备进行声乐学习后刺激被试者导致情 绪变化大的频段，以及得到变化大的脑区部位，最终得到选用教学手段的结论，即在表达特定情绪的歌曲选用特定的教学方式。 [0015] 作为本申请的一种优选实施方式，所述步骤S5得到以下结论：使用VR设备进行声乐学习后，情绪变化反映在δ和θ频段；变化的脑区为前额叶、颞 叶和枕叶；在教学δ和θ频段的歌曲作品时，优先选择使用VR设备进行声乐教学。 [0016] 本申请还提供一种声乐表演教学系统，所述系统包括虚拟三维声乐表演教学环境场景模型构建模块，学习者模型构建模块；所述虚拟三维声乐表演教学环境场景模型构建模块用于生成声乐教学人机沉浸式交互的虚拟场景；所述学习者模型构建模块用于生成各学习者的仿真人物模型，结合面部图像捕捉 模块和/或手部图像捕捉模块实现学习者与虚拟三维声乐表演教学环境场景的实时交互； 还包括学习者的面部图像捕捉模块，手部图像捕捉模块，所述面部图像捕捉模块、 手部图像捕捉模块用于获取学习者面部的图像信息，以及手部的图像信息，并发送给处理器，经图像融合处理后发送给VR头显设备。 [0017] 进一步的，所述面部图像捕捉模块包括点阵投影器、红外镜头以及摄像头，所述点阵投影器向人脸投射不可见的光点所组成点阵，通过红外镜头读取点阵图案，并与摄像头拍摄到的人物画面相融合，形成VR头显中的图像。 [0018] 进一步的，所述手部图像捕捉模块包括图像采集设备，以及手部定位追踪器。 [0019] 与现有技术相比，本发明提供一种声乐表演教学方法至少具有以下有益效果：1、基于VR技术为学习者提供了沉浸式的学习氛围和学习环境，学生投入性强，在 声乐教学方面取得了非常好的效果； 2、在VR建模的过程中，采用了优化的画面算法，避免了现有VR人物显示表情生硬、 不自然，使人物模型更生动，更真实； 3、通过教学APP实现了在线教学，在不方便进行面授课程时，仍然能够完成教学计 划，尤其在疫情严重的特殊时期也能为学生、老师提供教学条件； 4、通过采集学习者的脑电数据，得到一套关于声乐教学的优化方法，即在哪些音 乐的教学中更适合用面授课，哪些更适合采用VR教学方式； 5、提供了一套教学系统，该教学系统涉及的硬件全部集成在VR头显设备中，方便 学生、老师使用。 附图说明 [0020] 为了更清楚地说明本发明中的技术方案，下面将对本发明中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其它附图。 [0021] 图1为舞台系统设置界面示意图；图2为舞台模型建模界面示意图； 图3为多人实时协同虚拟排演界面示意图； 图4为虚拟在线学习系统界面示意图； 图5为声乐练习评分考核流程图； 图6为舞台场景模型示意图； 图7为学习者面部模型图； 图8为面部捕捉后的效果图； 图9为手势识别示意图； 图10为多视角相机效果示意图； 图11为试验系统示意图； 图12为试验流程图； 图13为δ频段负向情绪VR刺激前后地形图； 图14为δ频段中性情绪VR刺激前后地形图； 图15为δ频段正向情绪VR刺激前后地形图； 图16为θ频段负向情绪VR刺激前后地形图； 图17为θ频段中性情绪VR刺激前后地形图； 图18为θ频段正向情绪VR刺激前后地形图； 图19为α频段负向情绪VR刺激前后地形图； 图20为α频段中性情绪VR刺激前后地形图； 图21为α频段正向情绪VR刺激前后地形图； 图22为β频段负向情绪VR刺激前后地形图； 图23为β频段中性情绪VR刺激前后地形图； 图24为β频段正向情绪VR刺激前后地形图； 图25为γ频段负向情绪VR刺激前后地形图； 图26为γ频段中性情绪VR刺激前后地形图； 图27为γ频段正向情绪VR刺激前后地形图。 具体实施方式[0023] 通过虚拟现实技术，实现一种声乐教学人机沉浸式交互系统、情境式虚拟场景及高仿真人物模型，展示虚拟现实技术在声乐教学方面的创新型实践运用。构建一套高仿真度、多感知维度的虚拟现实系统：创建多模态场景模型，建立完善的数据传输机制，并针对场景模型进行必要的优化处理；利用点阵技术精准模拟面部表情，借助投屏传输互动技术对虚拟角色进行实时绑定；配合定位追踪技术细化虚拟角色的手势动作，并在虚拟相机多视角的记录下完成关键数据的保存。经实践证明，该系统激发学生内在体验、舞台临场、情景代入等多种感知体验，从而有针对性地解决学生学习过程中的演唱情感体验与表达等问题，具有较强的实践应用价值。 [0024] 实施例1本实施例提供一种声乐表演教学方法，包括如下步骤： S1，构建虚拟三维声乐表演教学环境场景模型，构建学习者模型； S2，学习者佩戴VR头显设备，使所述学习者位于场景中的设定位置，在所述虚拟三 维声乐表演教学环境场景中进行声乐学习、表演； S3，图像采集设备捕捉学习者表演的图像信息，并将所述图像信息与所述虚拟三 维声乐表演教学环境场景模型融合； S4，设计试验，利用虚拟现实场景刺激素材激发学习者产生不同的情绪，采集学习 者的脑电信号； S5，将学习者在未使用VR头显设备时声乐学习的脑电信号，与使用VR设备进行声 乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型或采取其他方式进一步提升教学效果。 [0025] S1、声乐表演虚拟仿真教学试验平台交互系统的构建运用虚拟现实技术构建一处全新的虚拟空间，如沉浸式声乐表演舞台，让参与者 拥有全方位的沉浸体验，达到与真实外界隔离的效果，使参与者化身为虚拟角色，全身心投入到教学相关的启发式、体验式教学活动中。该虚拟仿真平台硬件设备主要系统包括头戴式显示系统，数据手套互设备及声音采样设备，Insta360 pro2，远程多人传输设备系统等。 该虚拟仿真平台软件主要系统基于Unity引擎编辑软件和720vr平台，Utovr视频传输软件系统等。 [0026] 1素材及其准备系统1.1多功能舞台设置系统 基础功能有场景道具布置，舞台灯光设置，3D音乐音效设置，特效创意工具，结合 图像增稳输出、虚拟麦克风、VR视频音频录制、VR全景相机拍摄、第三角度摄像机输出、虚拟仿真资源存储及调取等教学功能外，智能语音、智能AI等技术，“所见即所得”地对舞台模块和布景道具的运动进行实时预览，将二维世界的静态舞台艺术形式提升至高维度的动态交互空间，VR+舞台表演，让学生身临其境，如置身于真实舞台场景中或歌曲内容场景中进行演唱实践与学习。（见图1） 1.2素材库的获取制作与存储系统 通过MAYA三维建模软件及AE特效软件来进行模型、动画、特效组建。运用诺亦腾动 作捕捉系统及Leap motion手势识别系统来创造精准、自然的动作交互素材，如：手、身体及面部表情。将获得最初的动态三维模型素材和运动状态数据，对运动数据进行提取、检测与处理，继而进行转存和传输。存储系统基于Mysql或SQL Server，支持PC、移动终端访问。老师和学生可以实时提取素材库内预设的场景道具、人物角色动作、背景音乐素材、舞台灯光等，在虚拟现实环境中调用。学生和老师也可以自行制作素材库里的素材，逐步丰富和完善素材库。（见图2） 本实施例基于以下虚拟现实声乐表演舞台来说明具体的VR场景优化方法： 1. 模型的创建方法 模型在虚拟现实的制作及体验过程中至关重要。模型的结构准确性、面片分配状 况、精度等问题将直接影响虚拟现实的仿真程度与交互程度。 [0027] 1.1场景模型以某T型舞台场景为例，其主要制作方法为以下3个步骤： 1）首先，利用3ds Max中样条线编辑创建3000cm(长)×2200cm(宽)×1000cm(高) 的T型舞台，将其转换为多边形编辑，将各个顶点焊接为整体，以便于后续对各个边界布线连接； 2）其次，利用网格布线对整体模型的细节进行处理，配合连接、挤出、倒角、插入等 功能细化舞台模型的局部结构，对于舞台中心地面、背景、延长台上的造型可以通过独立建模后再对其进行整体的桥接处理； 3）最后，利用几何放样配合多边形编辑，对舞台周边的观众席、顶部灯架等辅助模 型进行创建，建模过程中可以利用镜像、复制简模的手段为主，逐渐丰富好整体场景，如图 6。 [0028] 1.2角色模型角色模型应在盒体元素下创建，利用多边形编辑对角色面部、肢体进行整体布线， 以四边形布线为主，尽量确保在面部五官、肢体关节等需要虚拟现实动画运动的区域重点布线，细化结构关系，在一些不参与动画运动的区域可以通过塌陷、面片合并等手段对模型面数进行有效控制，如图7所示。将模型中无法避免的三角形布线放置在角色不参与动画计算的隐蔽区域，避免模型在虚拟现实的动画过程中出现面片褶皱等不利现象。 [0029] S3、模型的优化方法将模型整体导入Unity3D中，设置预览虚拟现实的帧率FPS帧率为70 90,在引擎中 ~ 检测好模型面片的法线、顶点闭合情况，并在蓝图接口处，通过代码植入的方式对场景的细微局部进行二次优化，以满足模型的几何分割、空间坐标、面片处理、渲染烘焙等几个方面的优化工作，其程序设计如下： int main(int,char**){ osgProducer::Viewer viewer;//创建一个场景 viewer.setUPViewer(): //加载osga地形模型到节点变量中 osg::Node* node=osgDB::readNodefile(“Wutai.osga”): viewer.setSceneData(node);//加载模型到场景中 //进入渲染循环 viewer.realize(); while(!viewer.done()){ viewer.sync();//等待所有cull和draw线程的完成 viewer.update();//通过遍历节点更新场景 viewer.frame();//渲染更新结果 } viewer.sync();//退出程序前等待所有cull和draw线程的完成 return; } S3、图像采集设备捕捉学习者表演的图像信息，并将所述图像信息与所述虚拟三 维声乐表演教学环境场景模型融合； 本实施例提供的方案可捕捉学习者的面部情况、手势情况或肢体其他动作情况， 现以面部捕捉以及手势捕捉的技术做具体介绍： 面部捕捉的方法指使用机械装置、相机等设备记录人类面部表情和动作，将之转 换为一系列参数数据的过程。当今技术比较成熟，应用广泛的是光学式运动捕捉，通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。 [0030] 由于系统采用的结构光原理，需要通过向面部方向投射光线，再利用读取物体表面光照信息数据来确定人脸形状。为此，在选择面部采集设备时，除了需要配置距离传感器、话筒、前置摄像头外，还需要满足具备依序排列的红外镜头、泛光照明灯、泛光感应元件及点阵投影器。通常情况下，点阵投影器可以向人脸投射3万多个肉眼不可见的光点所组成的点阵，需要通过红外镜头读取点阵图案，并与前置摄像头拍摄到的人脸进行联立计算，进而获得面部表情的深度信息，即真实的面部三维模型，联立计算需要搭建的4个数据接口分别为：IFTFaceTracker ：人脸追踪主要接口。 [0031] IFTResult：人脸追踪运算结果。 [0032] IFTImage ：图像缓冲区。 [0033] IFTModel ：三维人脸模型。 [0034] 联立计算需要重点获取的数据信息分别为：FT_CAMERA_CONFIG：彩色或深度传感器数据。 [0035] FT_VECTOR2D：二维向量数据。FT_VECTOR3D：三维向量数据。 FT_Translate（X Y Z）：所有用于人脸追踪所需的输入数据。 [0036] FT_Rotate（X Y Z）：三维模型人脸角度数据。 [0037] FT_Scale（X Y Z）：权重矩阵数据，如图8所示。 [0038] 本实施例提供一种三维的成像方案，与通过二维图像进行面部捕捉的方法相比，Tj 的人脸识别精度在0.1mm，能够超过图像2、视频1及平面0。当光线条件Ri不够理想时，由点阵投影器发射出来的光线‑σ、接收光线σ这种主动获取面部信息的方法，也不会影响 Tj的识别效率，其面部捕捉系统的优化方法可以改变如下：首先，预设素材库，所述素材库中包含图片、视频； 所述点阵投影器根据以下公式在不同光线下输出不同的结果： ； 其中，‑σ为点阵投影器发射出来的光线、σ为红外镜头接收光线， Ri 是设定的光 线条件，即明暗度，Tj为面部识别精度，(x,y)为点阵投影器对面部表情的深度信息；1为素材库中的人脸图像，0为素材库中的人脸视频图像，2为现场采集的立体图像。 [0039] 光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。 [0040] 第二，手势捕捉的方法，手势捕捉是虚拟现实中的技术难点，手势是一种人类的基本特征，是人际交往过程中不可缺少的一部分。手势识别技术的发展，为人与机器或其他设备的交互提供了可能。根据手势在时间和空间上的差异，手势可分为静态手势和动态手势，对静态手势的研究主要考虑手势的位置信息，而研究动态手势除了要考虑手势空间位置变化，还需要考虑手势在时序中的变化规律。随着科技的发展，对手势识别技术的研究已经成为热口课题，基于手势识别技术的应用也开始渗透到人们生活的方方面面，这是一项技术走向成热的标志。同时，手势识别技术无论是在手势样本的采集，还是手势设计上都有自己的优势，手势识别的深入研究有着很重要的意义。 [0041] 手势捕捉需要通过演唱者戴着虚拟头显设备Oculus quest2，虚拟头显设备上有6各摄像头，以及手部定位追踪器与电脑进行相连。之后，在头显设备的前端再安装深度感应相机，且向下倾斜13.4°，以此使演唱者可以从虚拟现实的体验过程中实时观测到自己的双手，及时跟踪自己的指尖的变化，其手势从左到右依次为：向后、停止、向前。若指尖位置在零坐标静止区域区(zc)内，则无法产生运动；当指尖向前伸出至静止区域以外时，则被试运动速度的红色进度条会随指尖距离产生线性增加，当手指关节朝向另一个方向移动，且朝向掌心向下时，移动到静止区以外，红色进度条会向后产生微妙的运动。具体表现为一种手掌的自然伸缩变化的过程，该过程是以演唱者右手食指远端到手掌中心的距离以mm为单位，根据每人手掌尺寸按比例扩大2.74倍，以此减少在手指弯曲时所带来的噪波，其设置参数如下： 1）β‑‑beta coefficient，β表示斜率系数= 速度/γ（表示食指指尖到静止区边界 的距离），向前运动γ=(position×2.74)−(zc+dzw)，向后运动γ=(zc−dzw)−(position× 2.74)。 [0042] 2）静止区‑‑dead zone，在试验开始时，当测试者把他们的手放在一个放松的、轻轻弯曲的，当手指处于舒适的位置时，就可以确定手势的零静止位置，如图9所示。 [0043] 3)α‑‑exponent‑velocity=(β×γ)^α，当一个参数发生改变时，其他参数固定在他们的中间值。例如，β=21 m/s，dzw =25mm，α=1.0，三个参数的测试顺序依次为系数、静止区宽度、指数α。 [0044] 5 .多视角相机建立的方法为了更好地提高虚拟现实相机的稳定性，也为了使使演唱者能够从多个摄像机角 度审视自己在虚拟空间中的动作与面部表情的综合表现，需要对虚拟现实的程序底层进行必要的优化，虚拟相机的工作采样时通过三层构图实时计算，三层构图分为近景、中景与远景，来优化在移动中的掉帧、卡顿、性能低下等相关问题，这些问题在表现层上表现极为明显，当构图处于第一层（我们称之为近景）那么此时就不渲染2、3层，当构图处于第二层是（我们称之为中景）那么此时不渲染1、3层，当构图处于第三层（我们称之为远景）那么测试不渲染1、2层；其代码修改如下： Camera _camera; // Use this for initialization void Start () ｛ _camera = Camera.main; ｝ //unity前3个锁定，由低到高分别是nothing/everything/default/ transparentFX/ignore raycast/water/UI //从第1个到第3个可以自己设置 //第1个为cube层；第2个为sphere层；第3个为capsule层 void Update () ｛ if (Input.GetKeyDown(KeyCode.A)) ｛ _camera.cullingMask = 1<<1; //cube 只渲染第1个 ｝ if (Input.GetKeyDown(KeyCode.B)) ｛ _camera.cullingMask = 1<<2; //sphere 只渲染第2个 ｝ if (Input.GetKeyDown(KeyCode.S)) ｛ _camera.cullingMask = 1<<3; //capsule 只渲染第3个 ｝ 通过上述方法，可以观察出多视角相机的稳定性非常理想，便于后续对演唱者的 表现进行定量分析，如图10所示。 [0045] S4、设计试验，利用虚拟现实场景刺激素材激发学习者产生不同的情绪，采集学习者的脑电信号1、设计试验 为采集不同歌唱水平的参与者在不同情绪下的脑电信号，设计相关试验，利用虚 拟现实场景刺激素材激发参与者产生不同的情绪，并采集参与者VR刺激前与刺激后的脑电信号。通过对脑电信号的的分析处理，选择合适算法，探究参与者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响。同时，通过对脑电信号的分析，探究不同歌唱水平的参与者在不同情绪演唱时，脑电信号是否存在固定模式，为声乐表演虚拟仿真教学模式提供试验依据。将声乐表演教学研究置于VR声乐教学智慧学习环境平台的实践应用中。 [0046] 试验所选取的材料能否很好的使参与者产生目标情绪与歌唱状态是试验能否成功的关键。只有采集到足够的在虚拟现实场景刺激前后的脑电信号，我们才能分析不同歌唱水平的参与者在不同情绪下的歌唱状态是否有所不同。本次试验中，为了使所选择的素材能够起到较为理想的诱发效果，同时考虑到被试者的演唱水平、知识背景和生活经历，我们采用6首，包含3种不同情绪的中文歌曲作为刺激素材。由于试验条件与时间有限，所选取的刺激材料要在短时间内能够很好的诱发参与者情绪，且使情绪稳定保持在歌曲演唱完成之后，以确保在有限的时间内采集到足够的有效数据。 [0047] 本次试验中，刺激素材被设计诱发产生愉悦、平静、悲伤三种情绪。 [0048] 由于本次试验的参与者，均是以中文为母语的不同歌唱水平的人，所以对于中文歌曲的接受度更高，且情绪更易被诱发。在确定两种较为极端的情绪后，加入中性情绪的歌曲，可以使参与者在愉悦和悲伤的情绪转换时能够有一个缓冲、过渡的时间，使得每段情绪下的数据更加明确，同时可以缓解参与者情绪紧绷，疲劳的情况。素材选择的多样化促进情绪识别的多样化。在诱发素材的选择上，为了能够更好的引起参与者的共鸣，大多为大家耳熟能详且具有代表性的歌曲。对于正面情绪，我们选择《我和我的祖国》、《在希望的田野上》这种使人感到情绪激昂、愉悦的歌曲；对于中性情绪，我们选择《牧歌》、《贝加尔湖畔》这种使人感到平静、放松的歌曲；对于负面情绪，我们选择《时间都去哪了》、《烛光里的妈妈》这种煽情的歌曲。 [0049] 2、参与者情况本次试验中，160名音乐表演专业学生参与了试验。在试验开始之前，检查参与者 是否处于良好生理状态（疾病，疼痛，饥饿，睡眠缺少）；是否处于良好心理状态（情绪平稳，无压力感）；是否有过脑部创伤、是否进行过脑部手术。并按不同声乐演唱水平和男女性别划分小组，分别为4人/组，共4组。试验开始前，告知其本次试验的目的、试验流程以及所有设备的无害性，通过简单的交谈与了解，掌握参与者平时的歌唱习惯，确保参与者能够理解刺激素材内容。 [0050] 3、试验环境及设备选择为了保证试验过程中，参与者能够不被打扰并处在一个相对安静且密闭，温度适 宜的环境中，我们选择在录音棚进行该试验。试验场景见图7‑1，整个试验环境中所需使用的三个主要设备是：博睿康脑电系统，收集参与者脑电数据；Oaclas quest 2 VR头戴设备，为参与者提供虚拟现实环境，通过VR头戴设备以及手柄进行交互，使用steam串流技术， 将处在5G频段网络内的VR设备和手机进行无线数据传输，可以实时以穿戴VR设备者的视角进行观察；计算机通过不同插件与信号设备进行通讯，同步保存相应的生理数据（如图11）。 [0051] 4、试验流程试验流程如图12所示，主要分为以下几个步骤： 试验开始前，告知被试者具体试验流程、签署试验知情同意书以及佩戴脑电帽。 [0052] 试验过程中，被试者首先收听事先准备好的加有歌曲讲解的伴奏约三分钟，接着起身演唱约一分钟，演唱完毕后休息一分钟，接着进行第二首歌曲，重复以上流程，同种情绪的歌曲全部试验完成后，被试者填写自评表，填写完毕后休息三分钟。以上流程重复，直至三种情绪，六首歌曲全部完成。随后被试者开始佩戴VR设备，并观看实现准备好的歌曲相关的虚拟现实场景，同样以同种情绪为一组重复进行上述试验，直至全部完成。 [0053] 试验结束后，对被试者进行采访，留存试验相关数据及资料。 [0054] S5，将学习者在未使用VR头显设备时声乐学习的脑电信号，与使用VR设备进行声乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型或采取其他方式进一步提升教学效果。 [0055] 1、脑电数据地形图我们对想象情绪状态下和VR场景刺激状态下的脑电数据进行了预处理和分析，分 别绘制了三种情绪下，五个频段（δ：1‑4HZ，θ：4‑8HZ，α：8‑13HZ，β：13‑30HZ，γ：30‑45HZ）的脑电功率谱密度地形图。地形图如图13到27所示（已进行归一化）。 [0056] 图13为δ频段负向情绪VR刺激前后地形图，在负向情绪方面，δ频段的差异主要在前额叶和枕叶，VR刺激会导致更高的功率谱。 [0057] 图14为δ频段中性情绪VR刺激前后地形图，在中性情绪方面，δ频段的差异主要在额叶和枕叶，VR刺激会导致更高的功率谱。 [0058] 图15为δ频段正向情绪VR刺激前后地形图，在正向情绪方面，δ频段的差异主要在右侧额叶、右侧颞叶和枕叶，VR刺激会导致更高的功率谱。 [0059] 图16为θ频段负向情绪VR刺激前后地形图，在负向情绪方面，θ频段的差异主要在前额叶和左侧枕叶，VR刺激会导致更高的功率谱。 [0060] 图17为θ频段中性情绪VR刺激前后地形图，在中性情绪方面，θ频段的差异主要在前额叶和枕叶，VR刺激在前额叶会导致更高的功率谱，在枕叶会减小功率谱。 [0061] 图18为θ频段正向情绪VR刺激前后地形图，在正向情绪方面，θ频段的差异主要在前额叶和枕叶，VR刺激会导致更高的功率谱。 [0062] 图19为α频段负向情绪VR刺激前后地形图，在负向情绪方面，α频段的差异主要在枕叶，VR刺激会导致更高的功率谱。 [0063] 图20为α频段中性情绪VR刺激前后地形图，在中性情绪方面，α频段的差异主要在前额叶和右侧枕叶，VR刺激会导致更高的功率谱。 [0064] 图21α频段正向情绪VR刺激前后地形图，在正向情绪方面，α频段的差异主要在前额叶和枕叶，VR刺激在前额叶会导致更高的功率谱，在枕叶会减小功率谱。 [0065] 图22为β频段负向情绪VR刺激前后地形图，在负向情绪方面，β频段的差异主要在枕叶和颞叶，VR刺激会导致更高的功率谱。 [0066] 图23为β频段中性情绪VR刺激前后地形图，在中性情绪方面，β频段的差异主要在前额叶、枕叶和颞叶，VR刺激在前额叶和颞叶会导致更高的功率谱，在枕叶会减小功率谱。 [0067] 图24为β频段正向情绪VR刺激前后地形图，在正向情绪方面，β频段的差异主要在前额叶和左侧枕叶，VR刺激会导致更高的功率谱。 [0068] 图25为γ频段负向情绪VR刺激前后地形图，在负向情绪方面，γ频段的差异主要在左侧额叶、枕叶和颞叶，VR刺激会导致更高的功率谱。 [0069] 图26为γ频段中性情绪VR刺激前后地形图，在中性情绪方面，γ频段的差异主要在额叶、枕叶和颞叶，VR刺激在前额叶、左侧枕叶和颞叶会导致更高的功率谱，在右侧枕叶会减小功率谱。 [0070] 图27为γ频段正向情绪VR刺激前后地形图，在正向情绪方面，γ频段的差异主要在左侧前额叶和左侧枕叶，VR刺激会导致更高的功率谱。 [0071] 从脑电地形图可以观察到，VR前后情绪刺激的变化主要反映在δ和θ频段，α、β和γ频段也有部分差异；变化的脑区主要是前额叶、颞叶和枕叶，顶叶和顶枕区域也有部分差异。在多数频段和脑区中，VR刺激会导致更高的大脑激活，从而得到更高的功率谱密度，但在少数情况下，VR刺激抑制部分区域的大脑激活，从而导致较低的功率谱密度。 [0072] 通过以上教学试验得到以下结论：使用VR设备进行声乐学习后，情绪变化反映在δ和θ频段；变化的脑区为前额叶、颞 叶和枕叶；在教学δ和θ频段的歌曲作品时，优先选择使用VR设备进行声乐教学。 [0073] 设定情绪变化导致脑电地形图的变化系数s，当s小于设定值时，调整VR虚拟三维声乐表演教学环境场景模型中的灯光、音效等VR效果，如在正面情绪未受到充分提升时，增加舞台灯光效果，选用更能够渲染正面情绪的灯光颜色组合，或者增加特效音效，来增强虚拟三维声乐表演教学环境场景模型对学习者的情绪刺激。 [0074] 实施例2基于上述声乐表演教学方法本申请还提供其配套的线上教学系统软件部分，其包 含： 2.1远程多人实时协同排演系统 基于广域互联网的远程多人协同系统，打破了传统制约教学应用发展的空间以及 人数限制。得益于5G高速率，低延迟的特点，老师、学生和钢琴或乐队伴奏将可以异地实时共享本套系统。（见图3） 2.2在线教学系统 在VR虚拟环境中，老师可创建一对一单独房间，也可以创建一对多的房间，可设置 是否旁观、静音、按序发言、锁定房间等功能，通过多人语音、多人视频数据传输模式进行在线教学。实现多媒体声乐资源库的建立，学生可随时调取多媒体学习资源，实现线上个性化自主化学习模式。（见图4） 2.3评分评价考核系统 通过自定义编译的评分评价考核系统，可以对学生课后平时的学习过程进行有效 的跟踪及分析，学生在平台中录制音频和视频，上传云服务器，老师从云服务器下载后并及时给予有效的反馈和改进建议。（见图5）该考核系统具备用户身份管理、能提供用户认证和授权等级识别等管理功能，以及病毒防御功能，教师可发布公告，学习资源，新建任务，自定义考核时间，支持学生内部讨论、上传和发布作品等。 [0075] 通过该教学APP实现了在线教学，在不方便进行面授课程时，仍然能够完成教学计划，尤其在疫情严重的特殊时期也能为学生、老师提供教学条件。 [0076] 实施例3实施例提供声乐表演教学系统的硬件组成，所述系统包括虚拟三维声乐表演教学 环境场景模型构建模块，学习者模型构建模块；所述虚拟三维声乐表演教学环境场景模型构建模块用于生成声乐教学人机沉浸式交互的虚拟场景； 所述学习者模型构建模块用于生成各学习者的仿真人物模型，结合面部图像捕捉 模块和/或手部图像捕捉模块实现学习者与虚拟三维声乐表演教学环境场景的实时交互。 [0077] 本系统可选配学习者的面部图像捕捉模块，手部图像捕捉模块，所述面部图像捕捉模块、手部图像捕捉模块用于获取学习者面部的图像信息，以及手部的图像信息，并发送给处理器，经图像融合处理后发送给VR头显设备。 [0078] 所述面部图像捕捉模块包括点阵投影器、红外镜头以及摄像头，所述向点阵投影器人脸投射不可见的光点所组成点阵，通过红外镜头读取点阵图案，并与摄像头拍摄到的人物画面相融合，形成VR头显中的图像。 [0079] 所述手部图像捕捉模块包括图像采集设备，以及手部定位追踪器。 [0080] 上述系统中的硬件设备、软件程序（包含教学系统软件）都集成于VR头显设备中，该教学系统涉及的硬件全部集成在VR头显设备中，方便学生、老师使用。 [0081] 总的来说，对于虚拟教学技术的发展和虚拟仿真试验平台的推广，大部分的学生都抱有积极的态度，在今后的声乐虚拟教学模式的研发和普及中应侧重于对解决学生自身学习问题这一方面，更好的激发学生的学习热情和积极性。 [0082] 上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。 |
||||||
QQ群二维码
意见反馈
意见反馈