技术领域
[0001] 本
发明属于
虚拟现实(Virtual Reality，VR)技术的教学应用领域，更具体地，涉及一种面向野外实践教学的虚拟学习环境多通道融合展示方法。
背景技术
[0002] 野外实践是地理、地质、
生物等学科专业人才培养的重要实践环节，是培养学生理论联系实际并熟练掌握本学科
基础知识和基本技能，提高综合素质和实践创新能
力的重要教育活动。但目前野外实践存在诸多问题，如分类学基础扎实、野外实践经验丰富的教师缺乏；实践学生多，时间短，教师难以实现“一对一”的指导；实践内容和模式单一，基本停留在物种的辨认、标本的采集和制作的层面上，实践成果共享性和
互动性差；采集标本与环境保护相冲突；因季节、天气、生境的变化，导致在野外实践中很多应该完成的内容难以完成；野外实践存在山洪、塌方、泥石流等
自然灾害以及虫蛇叮咬、摔伤、夏天中暑等诸多安全
风险，导致学生野外实践的效果受到影响。应用VR技术构建野外实践环境，能突破时间和空间的限制，学生足不出户，就能身临其境地开展野外实践，而且可无限重复学习，直至达到理想效果，将成为野外实践教学的有益补充，既可有效解决野外实践中面临的众多困难，又可以大大提升学习者的学习兴趣。随着5G商用
进程的快速普及，VR内容所需的超高
分辨率、全视
角、低延迟等性能
瓶颈会在很大程度上得到解决。面向野外实践教学的虚拟学习环境将会拥有广阔的应用前景。
[0003] 当前采用全景方式虽能快速构建逼真的野外实践VR学习环境，但还不能充分满足野外实践教学的实际需求。例如，以生物学野外实践为例，VR全景视频可以采集到动物之间的沟通行为、社交行为和繁殖行为等画面，但很难向学习者传达其所隐喻的生物行为，譬如动物的发声机制、声音
信号特征、
声波接受、加工和识别在画面中就不易传达。通过多机位的声音同步处理，学习者能感受到四面八方的声音差异，全景声模拟的声源变化已能呈现自然逼真效果，但这是一种机位相对固定的情形，难以满足野外实践教学中对听觉的全方位呈现需求。
发明内容
[0004] 针对
现有技术的以上
缺陷或改进需求，本发明提供了一种面向野外实践教学的虚拟学习环境多通道融合展示方法，围绕野外实践教学虚拟仿真教学的需求，提出了一个内容生成、视听融合和协同交互的方案。根据VR学习环境中教学内容的特点，建立了一套从
数据采集、知识组织和场景切换的生成方法；通过空间
渲染方式，实现视听通道的同步更新；评估各交互通道的输入和输出优先级的评估，完成VR学习环境中学习者多感官协同交互。
[0005] 本发明的目的是通过以下技术措施实现的。
[0006] 一种面向野外实践教学的虚拟学习环境多通道融合展示方法，包括内容生成、视听通道融合和多通道交互设计三个步骤。
[0007] (1)内容生成：满足野外实践教学的需要，采用航拍和地面采集相结合的方式完成实践区域的VR全景内容采集，构建VR学习环境中不同层级、区域知识要素的组织方式，完成场景之间跳转效果的优化。
[0008] (1-1)数据采集。为真实还原野外实践教学过程，从地面观察点和航拍区两个层面，采集野外实践区的教学信息，以VR全景视频的方式完成数字化。
[0009] (1-1-1)地面观察点信息采集。针对地面观察实践内容，使用高清运动摄像机组，捕捉全角度动态影像，实现高
密度、多角度、实地实景信息采集，全面获得野外实践场景的素材信息。
[0010] (1-1-2)无人机航拍信息采集。针对宏观大尺度的野外实践区生境
鸟瞰和垂直分布情况的观察等实践内容，通过无人飞机在不同生态区拍摄航拍区生境，以获取全
视野的素材信息。
[0011] (1-1-3)两者映射。无人机航拍采集点需与地面观察点内容相对应，即一个区域采集一次全景航拍内容，相应地需要采集多个地面观察点的信息数据。
[0012] (1-2)数据组织。依据教学内容的递进关系和关联度，构建不同层级、不同区域知识要素之间的聚合模式；按照野外实践的流程动线，将学科知识内容与实践路线有机融合。
[0013] (1-2-1)采集点标注。采用
电子地图作为基础地理数据平台，用不同的符号表示地面观察和无人机航拍的VR全景采集点，并按照空间
位置将它们标注到电子地图上；
[0014] (1-2-2)纵向关联。利用金字塔层次结构模型构建VR学习环境中航拍场景到地面采集点的关联关系，实现宏观场景到微观对象的快速切换；
[0015] (1-2-3)横向关联。在实践区域的地形
地貌沙盘模型上，按照野外实践的移动路线，组合生态区航拍点、地面观测点、学科知识点，形成不同的考察路线。
[0016] (1-3)场景过渡。野外实践教学中，学习内容之间存在一定的关联性，为减少学习者在VR场景切换过程中眩晕感的现象，针对实习场地和内容之间的相互关系，设计场景之间跳转及转换效果的优化方案。
[0017] (1-3-1)引导元素提示。VR学习环境的交互界面由二维平面变成三维球体，超越传统显示器屏幕的限制。通过设计文字、符号、语音等媒体导航信息引导学习者更广阔的视野，令其关注重要学习内容。
[0018] (1-3-2)场景转换。根据两个场景在地理上的相对位置，在前一个场景中添加目标转换点的指示图标，作为后一个场景的跳转入口，图标的样式可以根据场景背景设计。
[0019] (1-3-3)过渡优化。针对场景切换时，存在的画面色彩、明暗度、内容差别较大的情况，采取相似、渐变融合和突出显示的方式，解决视觉特变现象。
[0020] (2)视听通道融合：采用线性体积-距离衰减法表示VR学习环境中学习对象与背景声源的衰减，实现VR场景中不同对象声音的空间渲染方式；结合头部追踪技术，实现学习者头部移动时全景视频与声音的同步更新。
[0021] (2-1)视听结合的空间渲染。基于
多普勒效应模型，结合双
耳定位音频技术，采用线性体积-距离衰减法表示VR学习环境中对象和其他背景声源的衰减，实现适用于VR场景中不同对象声音和背景声效的空间渲染方式。
[0022] (2-1-1)多声源模拟。按照位置、方向、衰减以及多普勒效应等动态变化参数，在VR学习环境中模拟相应对象的静态、动态点声源，以及无位置、速度等参数的背景声效。
[0023] (2-1-2)多声源混合。为了模拟野外真实环境下对象(如动物、
植物)的发声场景，将不同对象的声音的
频谱相互融合，生成多轨道混音。
[0024] (2-1-3)声音衰减效果表示。采用对数与线性相结合的衰减方式来还原野外真实环境中距离、方向等因素对声音衰减效果的影响，譬如对方向性点声源使用对数衰减模式，背景声源则采用线性距离衰减方式。
[0025] (2-1-4)双耳定位。基于声音的响度、频谱等特征所反映的声源运动、方向、位置和结构等属性，根据声音传播原理，定位VR学习环境中声源相对于学习者的位置。
[0026] (2-1-5)空间渲染。考虑多普勒效应，根据VR学习环境中学习者所处位置与声源方向、距离与运动变化，渲染不同强度的左、右耳声道。
[0027] (2-2)音视频的同步更新。结合头部追踪技术，支持VR学习环境中学习者头部移动时视频画面与声音的同步更新，实现视听觉的多通道融合展示。
[0028] (2-2-1)头、耳同步。根据VR画面的刷新
频率，实时
跟踪VR学习环境中学习者头部的位置和
姿态，重新确定声源相对于学习者的距离和方向，实现学习者观察到的图像画面与听到的声音渲染步调一致。
[0029] (2-2-2)视、听融合。根据教学要求，展现VR学习环境中的内容场景，学习者通过头部转换，将视角定位在相应内容上，按照学习者与该时间点的远近，渲染出不同声源的音量。
[0030] (2-2-3)消除多声源干扰。针对VR学习环境中存在多声源的现象，采用声源衰减函数，模拟声音的混响范围，从而减少多声源干扰因素。
[0031] (3)多通道交互设计。针对VR学习环境中学习者多感官协同交互的要求，按照交互任务—交互行为—交互体验的顺序，根据交互对象的相应参数，筛选、判断、决策与融合多感官交互行为。
[0032] (3-1)交互任务设计。通过合理设计交互任务，达到交互行为的有序参与，形成良好的交互体验，从而为多通道交互提供良好的机制。
[0033] (3-1-1)交互任务分解。任务设计时，需要分解任务的时间和空间属性，按照任务的属性，设计任务交互的方式、目的、动作、作用以及具体流程。
[0034] (3-1-2)空间任务设计。与其他传统多媒体学习资源相比，视觉增强是VR学习环境的优势，空间交互任务设计过程中要始终保证
视觉反馈的连贯性，执行时也应优先执行空间任务。
[0035] (3-1-3)时间任务设计。该类任务由于具备较长的时间单元，因而强调对听觉通道信息的设计，内容包括背景音乐、反馈音效等，重点考虑输出环节中声音的信息内容和准确性。
[0036] (3-2)任务决策。多通道交互信息输入后，首先判断它们之间的协作关系，完成多通道信息输入的融合；再根据各个输出信息权重和可靠性判断，将反馈信息准确传达至学习者的感官，完成多通道的融合。
[0037] (3-2-1)输入信息的合成。根据视、听、触觉等通道的输入信息，判断在任务执行中各个信息的协作关系，完成各个通道信息输入的合成。
[0038] (3-2-2)多通道整合。根据对各个通道的输入信息进行权重决策，以确保将输出信息准确地传达给VR学习环境中的学习者，形成多通道整合的条件。
[0039] (3-2-3)多通道融合。通过合理调配各个通道的输出信息，将反馈信息准确传达至学习者的各个感官，完成多通道的融合，使学习者
收获良好的交互体验。
[0040] 本发明面向野外实践教学的虚拟学习环境多通道融合展示方法，围绕野外实践教学虚拟仿真教学的需求，提出了一个内容生成、视听融合和协同交互的方案。根据VR学习环境中教学内容的特点，建立了一套从数据采集、知识组织和场景切换的生成方法；通过空间渲染方式，实现视听通道的同步更新；评估各交互通道的输入和输出优先级的评估，完成VR学习环境中学习者多感官协同交互。本发明通过增加听觉线索，增加多通道的用户交互判别方式，实现VR学习环境的融合展示，可提升学习环境的真实感，提高参与者的沉浸体验。
附图说明
[0041] 图1是本发明
实施例中野外实践教学的虚拟学习环境多通道融合展示方法
流程图。
[0042] 图2是本发明实施例中无人机航拍区与地面观察点的对应关系示意图。
[0043] 图3是本发明实施例中场景热点设计流程示意图。
[0044] 图4是本发明实施例中场景切换设计流程示意图。
[0045] 图5是本发明实施例中VR学习环境中音视频同步流程示意图。
[0046] 图6是本发明实施例中立体化音频处理流程示意图。
[0047] 图7是本发明实施例中声源音量的距离衰减模式示意图。
[0048] 图8是本发明实施例中点声源声场混响效果划分示意图。
[0049] 图9是本发明实施例中双耳定位模型示意图。
[0050] 图10是本发明实施例中学习者和听者的空间关系示意图。
[0051] 图11是本发明实施例中学习内容布设示意图。
[0052] 图12是本发明实施例中任务状态迁移图。
具体实施方式
[0053] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明进行进一步详细说明。
[0054] 如图1所示，本发明实施例提供一种面向野外实践教学的虚拟学习环境多通道融合展示方法，包括如下步骤：
[0055] (1)内容生成。
[0056] 内容生成涉及VR学习环境中野外实践教学知识的构建，采用航拍和地面采集相结合的方式完成实践区域的VR全景内容采集，构建VR学习环境中不同层级、区域知识要素的组织，实现场景之间跳转效果的优化。
[0057] 具体包括如下步骤：
[0058] (1-1)数据采集。为真实还原野外实践教学过程，如图2所示，根据教学需求按照春夏秋冬不同季节采集VR全景视频，从地面观察点和航拍区两个层面，采集野外实践区的教学信息，以VR全景视频的方式完成数字化。
[0059] (1-1-1)地面观察点信息采集。针对地面观察实践内容，使用高清运动摄像机组，捕捉全角度动态影像，实现高密度、多角度、实地实景信息采集，全面获得野外实践场景的相关全景教学信息。
[0060] (1-1-2)无人机航拍信息采集。针对宏观大尺度的野外实践区生境鸟瞰和垂直分布情况的观察等实践内容，通过无人飞机在不同生态区的高空
悬停定点(120-500米)和360°拍摄航拍区生境，以获取实践区域全视野的素材信息。
[0061] (1-1-3)两者映射。无人机航拍采集点需与地面观察点内容相关联，即一个全景航拍采集区域，关联其在该区域内采集的多个地面观察点的全景素材信息。
[0062] (1-2)数据组织。依据教学内容的递进关系和关联度，构建不同层级、不同区域知识要素之间的聚合模式；按照野外实践的流程动线，将学科知识内容与实践路线有机融合。
[0063] (1-2-1)采集点标注。由于采集的VR全景点比较多，可选用电子地图作为基础地理数据平台，用热点和
直升机符号表示地面观察和无人机航拍的VR全景采集点，并按照空间位置将它们标注到对应的空间位置上；
[0064] (1-2-2)纵向关联。利用金字塔层次结构模型表示VR学习环境中航拍与地面采集点的关联关系，可以实现宏观场景到微观对象的快速切换。
[0065] (1-2-3)横向关联。在实践区域的地形地貌沙盘模型上，按照野外实践相关知识内在逻辑，将生态区航拍点、地面观测点、学科知识点等内容关联起来，组成不同的考察路线。
[0066] (1-3)场景过渡。野外实践教学中，学习场地和内容之间存在一定的关联性；充分利用不同VR场景的关联性，设计场景之间切换及转场效果的优化方案，可减少学习者在跳转过程中的眩晕感。
[0067] (1-3-1)引导元素提示。文字、符号、语音等媒体导航信息均可引导学习者关注重要学习内容。图3展示了VR学习环境中热点(平面热点和透明热区)的设计和添加过程。
[0068] (1-3-2)场景转换。为实现图4中场景1和2之间的跳转，首先要在场景1中获取转场切换点，再在该位置处添加场景2的指示图标，作为场景2的跳转入口，图标的样式应根据场景背景设计，标明场景2的方向和名称。
[0069] (1-3-3)过渡优化。图4展示了场景切换时，针对不同场景差异采取不同处理方式，即相似场景采用融合显示、差异较大场景采用渐变显示以及为了强调目标场景采用推进显示的处理方案，用以解决视觉特变现象。
[0070] (2)视听通道融合。
[0071] 采用图5所示的工作流程，完成VR学习环境中
可视化和可听化内容的空间渲染；结合头部追踪技术，实现学习者头部移动时声音与画面的同步更新。
[0072] (2-1)视听结合的空间渲染。基于多普勒效应模型，结合双耳定位音频技术，采用线性体积-距离衰减法表示学习对象和背景声源的衰减，实现适用于VR场景中不同对象声音和背景声效的空间渲染方式。
[0073] (2-1-1)多声源模拟。按照位置、方向、衰减以及多普勒效应等动态变化参数，在VR学习环境中模拟相应对象的静态、动态点声源，以及无位置、速度等参数的背景声效。
[0074] (2-1-2)多声源混合。为了模拟野外真实环境下对象(如动物、植物)的发声，采用如图6所示的立体化音频处理方式，通过真实采集样本声音或从现有音频库中下载方式获取对象的声音数据，再通过音频编辑处理
软件生成标准音频文件，再将不同对象的声音的频谱相互融合，生成所需的多轨道VR音频。
[0075] (2-1-3)声音衰减效果表示。首先在
虚拟环境中考虑距离对衰减的影响，将学习者头部中心与声源之间的距离记做R，最大可听距离表示为Rmax、声源的最大音量表示为Vmax，并将衰减后的音量记为V，则衰减公式记为公式1：
[0076]
[0077] 其次，为了补偿VR学习环境中不同声源的衰减差异，需要为它们设定最小和最大衰减距离：
[0078] (a)最小衰减距离对应最大音量，更接近学习者，音量也不再变化；
[0079] (b)最大衰减距离对应最小音量，大于该距离，就听不到该声源发出的声音。
[0080] 结合公式1
和声源的音量—距离衰减模式(图7展示了一种衰减模式示意图)，将点声源的声场划分为如图8所示的不同混响区域。实际应用中，依据声源的衰减模式，譬如对方向性点声源使用对数衰减模式，背景声源则采用线性距离衰减方式，学习者在场景中与声源距离越近，接受到的混响效果越好。
[0081] (2-1-4)双耳定位。如图9所示，基于声源的频率、
相位、振幅等参数确定VR环境中声音的
水平、前后和垂直方向，完成声源的方向定位；再依据距离、位置和地形环境等影响声音传播的属性，确定运动视觉差、响度、初始时间延迟、多普勒效应、混响等距离属性，根据声源的方向和距离，使用头相关传输函数实时计算声源相对于VR学习环境中的学习者的距离、速度、方位等参数，使用卷积运算处理声源的信号，生成其立体声。
[0082] (2-1-5)空间渲染。根据学习者的初始位置、方向和运动速度，考虑多普勒效应下，结合声源的位置、方向和运动变化，获取它们在VR学习环境中的运动轨迹，根据学习者与声源的相对变化，在左、右耳声道渲染不同强度的音量，譬如声源的运动轨迹自右向左，距离越来越远，那么运动过程中右耳声道强度逐渐衰减；左耳声道强度逐渐变弱，直至声音消失。
[0083] (2-2)音视频的同步更新。结合头部追踪技术，支持VR学习环境中学习者头部移动时视频画面与声音的同步更新，实现视听觉的多通道融合展示。
[0084] (2-2-1)头、耳同步。根据VR画面的刷新频率，实时跟踪VR学习环境中学习者头部的位置和姿态，如图10所示，重新确定声源相对于学习者的距离和方向，实现学习者观察到的图像画面与听到的声音渲染步调一致。
[0085] (2-2-2)视、听融合。根据教学要求，在VR学习环境中布置展示内容(图11为某场景的内容布设图)，学习者转动头部时，可将视角定位在相应内容上，按照学习者与该内容处声源的远近和方位，在左右耳渲染出不同的音量。
[0086] (2-2-3)消除多声源干扰。针对VR学习环境中存在多声源的现象，采用声源衰减函数，模拟出如步骤(2-1-3)中所构建的声音混响范围模型，从而减少多声源干扰因素。
[0087] (3)多通道交互设计。针对VR学习环境中学习者多感官协同交互的要求，按照交互任务—交互行为—交互体验的顺序，根据交互对象的相应参数，筛选、判断、决策与融合多感官交互行为，图12展示了VR学习环境中任务状态转移图。
[0088] (3-1)交互任务设计。以植物生长史为例设计交互任务，学习者有序参与发芽、开花、形变和脱落过程中行为交互，形成良好的交互体验，从而为视、听、触觉通道交互提供良好的机制。
[0089] (3-1-1)交互任务分解。任务设计时，根据时间和空间属性，分离、设计任务的编号、属性、目的、输入动作和任务结果，确定任务的作用以及具体流程。如
蜜蜂授粉过程中，可定义编号：01，任务属性：空间任务，任务目的：完成授粉，任务动作(输入)：蜜蜂寻找花粉，任务结果(输出)：
接触到花粉；在该编号任务中关联的时间任务，在相同输入任务动作操作后，任务结果(输出)：嗡嗡声音。
[0090] (3-1-2)空间任务设计。空间交互任务设计过程中要始终保证视觉反馈的连贯性，执行时也应优先执行空间任务，在蜜蜂寻找花粉任务中蜜蜂模型的飞行动作要连贯、自然，不能出现跳跃，执行过程中也是先展现蜜蜂飞行动作，然后再播放时间任务的音效播放。
[0091] (3-1-3)时间任务设计。该类任务由于具备较长的时间单元，因而强调对听觉通道信息的设计，内容包括背景音乐、反馈音效等，重点考虑输出环节中声音的信息内容和准确性，蜜蜂嗡嗡声输出时要真实和准确。
[0092] (3-2)任务决策。多通道交互信息输入后，首先判断它们之间的协作关系，完成多通道信息输入的融合；再根据各个输出信息权重和可靠性判断，将反馈信息准确传达至学习者的视听触觉感官，完成多通道的融合。
[0093] (3-2-1)输入信息的合成。根据视、听、触觉等通道的输入信息，判断在任务执行中各个交互动作的协作关系，完成各个通道信息输入的合成(并发或顺序执行)。
[0094] (3-2-2)多通道整合。根据对各个通道的输入信息(如凝视交互、手势输入、语言识别)的权重判断，以确保将输出信息准确地传达给VR学习环境中的学习者，形成多通道整合的条件。
[0095] (3-2-3)多通道融合。通过合理调配各个通道的输出信息，在时间上需完成各个通道的协同反馈，在空间上由于听觉发声过程中，视觉成像会发生移动的偏移，根据多通道融合的相关理论，需加强蜜蜂视觉信息的权重，通过视觉主导性的凸显让学习者弱化听觉的发生位置；同时在声音反馈上，设计由弱变强的蜜蜂嗡嗡声，使其在时间上具有一定的可靠性。这种能综合考虑任务时间和空间的多通道融合，可使学习者收获良好的交互体验。
[0096] 本
说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
[0097] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
