技术领域
[0001] 本
发明涉及通信及计算机技术领域，尤其涉及一种基于5G网络的沉浸式可视化校园系统。
背景技术
[0002] 目前在校园教育方面，多采用投影仪或
平板电脑等方式进行教学及学习，学生的体验感不强，无法达到理想的教学及学习效果。
发明内容
[0003] 本发明提供了一种基于5G网络的沉浸式可视化校园系统，其特征在于，包括5G课堂教学系统和5G实训学习系统，所述5G课堂教学系统包括课室三屏全空间系统、师生控制三端系统、学生多端体验系统、以及利用5G通讯实现
云存储、云
渲染和云
定位视觉计算功能的校园云端；所述5G实训学习系统包括体验终端和校园云端，所述校园云端包括云存储中心模
块、云视觉计算模块、云虚拟物体状态计算模块、云渲染模块。
[0004] 作为本发明的进一步改进，在所述5G实训学习系统中，所述体验终端与所述校园云端利用5G网络进行通信，所述体验终端进行
信号采集、互动输入以及显示，数据的存储、包括定位在内的视觉计算、虚拟物体状态计算以及渲染由所述校园云端处理，所述云存储中心模块存储虚拟物
体模型、XR校园场景以及真实校园场景表征数据，云视觉计算模块根据体验终端采集的摄像头、惯性
传感器、卫星定位系统的信号，与云存储中心模块的校园场景表征进行配准，对体验终端进行实时定位，并进一步获取对校园场景当前状态的认知，还能够在一定规则下对校园场景表征进行修正；云虚拟物体状态计算模块根据互动输入、云视觉计算模块生成的定位信息以及场景认知信息，以及在一定的XR校园运行规则下实时计算XR校园内各虚拟物体的状态；对于每个体验终端，云渲染模块将从云虚拟物体状态计算模块获取需要渲染的虚拟物体列表和列表内各虚拟物体的状态，并需要提前从云存储中心模块读取相应的虚拟物体模型，然后，云渲染模块根据各体验终端在XR校园内的
位姿渲染图像。
[0005] 作为本发明的进一步改进，在所述5G实训学习系统中，体验终端与校园云端一起承担存储、视觉计算与渲染的功能，体验终端用于信号采集、互动输入以及显示，同时与校园云端一起承担存储、视觉定位与渲染的功能，体验终端不把采集的每
帧图像传输到校园云端，只把具有重要定位信息的关键帧图像传输到校园云端，云存储中心模块存储虚拟物体模型、XR校园场景以及真实校园场景表征，云视觉计算模块根据体验终端摄像头采集的关键帧图像、惯性传感器、卫星定位系统的信号，与云存储中心模块的校园场景表征进行配准，计算关键帧对应的体验终端位姿，并可以进一步获取对校园场景当前状态的认知，还可以在一定规则下对校园场景表征进行修正；体验终端对每帧图像进行定位计算，根据云视觉计算模块对关键帧的定位信息校准得到体验终端在校园内的准确位姿；云状态计算模块根据互动输入、云视觉计算模块生成的场景认知信息以及体验终端发送过来的视觉定位信息，实时计算XR校园内各虚拟物体的状态；云状态计算模块分配渲染任务，根据体验终端定位信息，以及虚拟物体的远近、虚拟物体是否静止因素综合决定校园云端和体验终端分别需要渲染的虚拟物体列表，并分别把这些虚拟物体的状态向量发送给云渲染模块和体验终端；云渲染模块不需要和体验终端在相同
频率下渲染图像，可以在较低频率下渲染图像，但渲染的单幅图像的视场要足够大，以满足能
覆盖一个时间段内体验终端视场的需求；云渲染模块根据从云状态计算模块发送过来的虚拟物体列表、各虚拟物体状态、终端的定位信息，从云存储中心模块提取相应的虚拟物体模型，渲染出大视场
角图像或者全景图像，并给出
深度图像；体验终端根据定位信息，以及云状态计算模块发送过来的虚拟物体列表，从云存储中心模块提取相应的虚拟物体模型，然后进一步云状态计算模块发送过来的各虚拟物体状态，渲染出图像；体验终端接收到校园云端渲染的图像后，通过计算生成在当前位姿下的图像，然后根据深度图像与终端自身生成的图像合成得到最终要显示的图像；校园云端与体验终端存储分工为：校园云端存储整个校园场景表征以及整个XR校园的场景，体验终端根据所处
位置，从校园云端提取并存储所在位置局部区域的校园场景表征以及局部XR校园场景；校园云端与体验终端定位功能不同，分工为：校园云端对关键帧视觉定位，体验终端对每帧图像进行定位计算，根据云视觉计算模块对关键帧的定位信息校准得到体验终端在校园内的准确位姿；校园云端与体验终端渲染帧频不同，校园云端的帧频可以低于体验终端；体验终端渲染的图像和校园云端渲染的图像要合成同一幅图像，由于校园云端渲染的图像是大视场角，可以用来与体验终端连续多帧图像进行合成。
[0006] 作为本发明的进一步改进，所述5G实训学习系统包括执行如下步骤：
[0007] 步骤1.校园初始化步骤：VR/AR校园场景初始化，云虚拟物体状态计算模块从云存储中心模块读取XR校园大场景数据，初始化XR校园大场景，以及各子场景虚拟物体状态；
[0008] 步骤2.读取真实校园场景表征数据步骤：云视觉计算模块从云存储中心模块提取体验终端周围区域的校园场景表征进行包括定位在内的视觉计算；
[0009] 步骤3.云视觉计算获取精准定位信息在的视觉计算步骤：云视觉计算模块进行图像到校园场景表征数据的配准，获得各体验终端高
精度定位，如果计算得出校园场景发生改变，可以在一定机制下
修改校园表征数据，并发送到云存储中心模块，而且也可以计算得到视场内真实物体的状态。
[0010] 步骤4.实时计算各虚拟物体状态步骤：云虚拟物体状态计算模块根据互动输入、体验终端定位信息以及各真实物体状态，在一定机制下实时计算各虚拟物体状态；
[0011] 步骤5.确定各体验终端需要渲染的虚拟物体步骤：根据各体验终端的定位信息，确定体验终端当前视场需要渲染的区域，由体验终端所在场景进一步确定需要渲染的虚拟物体列表，并把虚拟物体列表发送到云渲染模块；
[0012] 步骤6.云渲染步骤：云渲染模块获取云虚拟物体状态计算模块发送过来的各体验终端需要渲染的虚拟物体列表以及列表内虚拟物体的状态，据此和云渲染模块已有的虚拟物体模型比较，确定需要从云存储中心模块读取的虚拟物体模型，在获取到需要的虚拟模型后，分别渲染各体验终端的图像；
[0013] 步骤7.显示步骤：云渲染模块把对体验终端hi生成的虚拟场景图像 发送到体验终端hi，体验终端进行显示。
[0014] 作为本发明的进一步改进，所述5G实训学习系统包括执行如下步骤：
[0015] 步骤A.校园初始化步骤：VR/AR校园场景初始化，云状态计算模块从云存储中心模块读取XR校园大场景数据，初始化XR校园大场景，以及各子场景虚拟物体状态；
[0016] 步骤B.体验终端发送关键帧图像到校园云端步骤：对于任意体验终端hi，当前帧图像为 根据 与前一幅关键帧图像的差异度判断图像是否为关键帧，如果是，则把关键帧图像 发送到云视觉计算模块；
[0017] 步骤C.读取真实校园场景表征数据步骤：云视觉计算模块从云存储中心模块提取体验终端周围区域的校园场景表征进行包括定位在内的视觉计算；
[0018] 步骤D.校园云端对体验终端关键帧包括定位在内的视觉计算步骤：云视觉计算模块进行体验终端关键帧图像到校园场景表征数据的配准，获得各体验终端关键帧图像对应的高精度定位，并把定位数据发送到对应的体验终端，并进一步计算得到视场内真实物体的状态，如果计算得出校园场景发生改变，可以在一定机制下修改校园表征数据，并发送到云存储中心模块；
[0019] 步骤E.体验终端定位计算步骤：体验终端接收云视觉计算模块发送回来的关键帧图像对应的位姿数据，以关键帧位姿为基准，体验终端当前帧图像数据与关键帧配准，计算得到当前帧的位姿，将位姿数据发送到云虚拟物体状态计算模块；
[0020] 步骤F.实时计算各虚拟物体状态步骤：云虚拟物体状态计算模块接受体验终端发送过来的位姿信息、互动输入，以及云视觉计算模块生成的对校园内真实物体的认知，实时计算各虚拟物体状态；
[0021] 步骤G.分布式渲染步骤：由云渲染模块与体验终端进行分配完成渲染工作；
[0022] 步骤H.显示步骤：将合成的渲染图像进行显示。
[0023] 作为本发明的进一步改进，所述分布式渲染步骤包括：
[0024] 步骤a，分配渲染任务步骤：根据体验终端在XR校园的位姿，确定体验终端视场包含的虚拟物体，根据虚拟物体远近、是否动态因素确定的分配原则，云虚拟物体状态计算中心给出需要终端渲染的虚拟物体列表，以及虚拟物体列表中各虚拟物体的状态，并发送给体验终端；云渲染模块渲染的区域不仅包含体验终端当前视场，而且需要覆盖接下来的一个时间
片段的可能视场，所以，根据体验终端在XR校园的位姿，确定在当前以及接下来时间片段内体验终端可能的所有视场并集所包含的虚拟物体，根据分配原则，从这些虚拟物体内挑选出云渲染模块需要渲染的虚拟物体列表，以及列表内各虚拟物体状态，发送到云渲染模块；
[0025] 步骤b，云渲染步骤：云渲染模块获取需要渲染的虚拟物体列表以及虚拟物体的状态，据此和云渲染模块已有的虚拟物体资源比较，确定需要从云存储中心模块读取的虚拟物体资源，在获取到需要的虚拟资源后，分别渲染各体验终端的RGBD图像；如果是AR体验，还需要获取视场内真实物体列表，以及真实物体状态，并生成合成掩模图像，把虚拟物体RGBD图像和掩模图像发送给体验终端；
[0026] 步骤c，体验终端渲染步骤：体验终端获取云状态计算模块发送过来需要渲染的虚拟物体列表以及各虚拟物体状态值，据此和体验终端已有的虚拟物体资源比较，确定需要从云存储中心模块读取的虚拟资源，在获取到需要的虚拟资源后，渲染图像；如果是AR体验，还需要获取视场内真实物体列表，以及真实物体状态，并生成合成掩模图像；
[0027] 步骤d，计算云端RGBD图像在当前位姿下的深度图像步骤：在生成云端RGBD图像的终端位姿与当前时刻终端位姿不同的情况下，虚拟摄像头位姿发生变化，校园云端渲染虚拟物体对应的深度图也发生改变，由摄像机
坐标系的旋转平移关系求解出近似的深度图像；
[0028] 步骤e，计算云端RGBD图像在终端当前位姿下的RGB图像步骤，包括：
[0029] 步骤e1：计算任意
像素I0(u,v)对应物点Au,v在云渲染虚拟摄像头直角坐标系下的坐标值；
[0030] 步骤e2：计算任意像素I0(u,v)对应物点Au,v在XR校园坐标系下的坐标值；步骤e3：计算任意像素I0(u,v)对应物点Au,v在体验终端虚拟摄像头直角坐标系下的坐标值；
[0031] 步骤e4：求取待生成得图像 所有像素对应的物点；
[0032] 步骤e5：求取待生成得图像 所有像素对应的深度值；
[0033] 步骤e6：求取待生成得图像 所有像素对应的RGB值；
[0034] 步骤f，图像合成步骤：根据深度值将校园云端生成的图像与体验终端自身渲染的图像进行合成。
[0035] 作为本发明的进一步改进，在所述步骤2.读取真实校园场景表征数据步骤、或所述步骤C.读取真实校园场景表征数据步骤中，对于任意体验终端hi，根据卫星定位和惯性传感器信号预估当前位姿值，或根据前一时刻视觉定位值和惯性传感器信号预估，位姿估计值用 表示，其中 为位置估计值， 为
姿态角估计值，根据估计值的精度则hi的实际位置位于区域 内，真实姿态角在取值范围 内，令 表示为体验终端位置和姿态角分别为 内任意值所对应视场的并集，真实校园Fa区域读
取的真实校园表征数据为 为了避免频繁从云存储中心模块读取校园场
景表征，扩大hi的位姿值覆盖区间为 有
读取 当体验终端hi的位姿接近 区间边缘时，才需要重新
从云存储中心模块读取校园场景表征。
[0036] 作为本发明的进一步改进，在所述步骤3.云视觉计算获取精准定位信息步骤、或所述步骤D.校园云端计算体验终端关键帧对应的位姿步骤中，对于体验终端hi，云视觉计算模块从hi接收到的图像数据为 在步骤2已经得到位姿估计值为 云视觉计算模块获取到的校园场景表征数据为 视觉定位就是 到 的
配准计算，由此可得到任意体验终端hi在当前时刻得位姿(pi,θi)，云视觉计算并
三维重建校园内真实物体集合为U＝{u0,u1,u2,u3,…}，真实物体模型集合M′＝{m′0,m′1,m′2,m′3,…}，云视觉计算模块综合所有终端采集的图像数据获取U中真实物体的状态值Ψ＝{ψo,ψ1,ψ2,ψ3,…}，其中ψi为真实物体ui的状态参数向量，并可进一步计算得到hi在当前位置下的真实图像对应的深度图像
[0037] 作为本发明的进一步改进，在所述步骤4.实时计算各虚拟物体状态步骤、或步骤F.实时计算各虚拟物体状态步骤中，云虚拟物体状态计算模块从体验终端集合H接受所有体验终端的互动输入 其中 为体验终端hi采集的互动输入，校园内真实物体状态值Ψ＝{ψo,ψ1,ψ2,ψ3,…}，终端定位数据K＝{(p0,θ0),(p1,θ1),(p2,θ2),(p3,θ3),…}，以及前一时刻虚拟物体状态 其中 为虚拟物体vi
在t0前一时刻的状态向量值，根据XR校园虚拟物体运转规则 计算得
到当前时刻虚拟物体状态 F可根据教学需要进行确定。
[0038] 作为本发明的进一步改进，在所述步骤5，确定各体验终端需要渲染的虚拟物体步骤中，对于任意体验终端hi，选择进入的场景为sj，在步骤3计算得到hi的位姿值为(pi,θi)，在此位姿，终端hi视场为A′i，sj在区域A′i的虚拟物体集合Gj(A′i)，从Gj(A′i)挑选出对hi可见的虚拟物体集合G′j(A′i)，把G′j(A′i)中所有虚拟物体的状态向量集合 发送给云渲染模块；
[0039] 在所述步骤6.云渲染步骤、或步骤b.云渲染步骤中，对于任意体验终端hi，云渲染模块从云虚拟物体状态计算模块获取需要渲染的虚拟物体列表G′j(A′i)以及状态向量集合遍历虚拟物体列表G′j(A′i)，找出各虚拟物体所对应的虚拟物体模型的集合Ωi，确定需要从云存储中心模块读取的虚拟物体模型，为了避免频繁从云存储读取虚拟物体模型，选取体验终端hi当前位置附近区域σ′(p0)所有可能对应视场的并集Bi，其中覆盖 云渲染模块从云虚拟物体状态计算模块获取此区域内虚拟物体列表G′j(Bi)，找出各虚拟物体所对应的虚拟物体模型的集合Ωi′，从云存储虚拟物体模型集合M＝{m0,m1,m2,m3,…}内提取Ωi′，只有当体验终端hi接近σ′(p0)边缘才需要重新从云存储中心模块读取虚拟物体模型资源，据此云渲染模块渲染得到虚拟物体图像
[0040] 本发明的有益效果是：本发明集成了VR、AR、MR，在真实校园上以虚实结合的方式构建人眼可见可沉浸的知识王国，为在校师生提供了全新的立体沉浸式工作、学习、生活空间。
附图说明
[0041] 图1是5G课堂教学系统示意图；
[0043] 图3是5G网络成熟稳定阶段的5G实训学习系统示意图；
[0044] 图4是5G网络成熟稳定阶段的5G实训学习系统
流程图；
[0045] 图5是5G网络未成熟阶段的5G实训学习系统示意图；
[0046] 图6是5G网络未成熟阶段的5G实训学习系统流程图；
[0047] 图7是5G网络未成熟阶段的分布式渲染步骤的流程图；
[0048] 图8是由云渲染全景图生成双目图像示意图。
具体实施方式
[0049] 本发明公开了一种基于5G网络的沉浸式可视化校园系统，VR/AR/MR给了我们充足的教育沉浸式可视化手段，5G网络高并发、低延时、大带宽给VR/AR/MR技术在高职教育里的大规模应用插上了翅膀。人类长久以来有个美好的抽象概念“知识王国”，本发明在真实校园上以虚实结合的方式构建人眼可见可沉浸的知识王国，建设5G+VR/AR/MR智慧校园。这将给师生提供了全新的立体沉浸式工作、学习、生活空间。新的教育技术将带来新的教育革命。
[0050] AR与MR构建的都是真实与虚拟并存的空间；VR构建的是纯虚拟空间，为了使虚拟校园空间与真实校园空间良好地协同起来，在VR校园空间内给校园主要的真实物体匹配虚拟物体，这些匹配的虚拟物体与对应的真实物体在形状、行为等属性上相似，比如校园的
建筑物一定程度上对应有形状功能相似的虚拟建筑物，而且VR虚拟校园坐标系以真实校园为
基础构建。本发明将在真实校园确定一个坐标系，在此坐标下构建VR空间、AR空间、MR空间(VR空间、AR空间和MR空间可以分别由多个子空间构成)，师生根据需求选择要进入的空间。为了简便VR/AR/MR在后文缩写为XR。
[0051] 本发明搭建XR智慧教育的云中心，云中心承担XR校园资源存储、视觉计算、虚拟物体状态计算、渲染等重要功能。依靠高性能的视觉计算，XR智慧教育的云中心构建了虚拟物体与真实校园完美融合的XR校园，由此5G网络覆盖到哪，学校的XR校园就覆盖到哪。在此基础上，师生持5G移动终端，通过5G网络就可以随时进入5G+XR智慧校园空间，在这个基于真实校园但高于真实校园的新维度空间里，由于XR的高沉浸性与高
互动性，促使教学形式发生了革命性地变化，使学生从被动学习彻底转换为主动学习、自由学习，充分激活了学生学习的积极性。
[0052] 本发明的沉浸式可视化校园系统(简称XR校园系统)包括5G+XR实训学习系统和5G+XR课堂教学系统。根据5G网络、VR/AR/MR、
人工智能等新技术现况与发展趋势，以满足教学实际需要为目标，本发明XR校园系统突出多兼容性、循序渐进的特色，使XR校园真正实用与好用。本发明将分别就5G+XR课堂教学与5G+XR校园泛在实训学习的开展情况进行详细介绍。
[0053] 一.5G+XR课堂教学系统(简称5G课堂教学系统)
[0054] 在传统的黑板教室与多媒体教室，教师向学生推送知识的通道本质上都是2维的，同时区别于常见的纯粹资源体验式XR教学，本发明的5G+XR课堂是在真实教室基础上构建3维的沉浸式的教学新空间，使整个教学过程可以在此新空间进行，充分发挥XR的高沉浸性与互动性，显著提高教学
质量。
[0055] 5G+XR课堂教学系统如图1所示。系统包含课室三屏全空间系统(PPT展示遥控屏、VR教学空间知识点聚焦屏、MR混合空间展示屏)、师生控制三端系统、学生多端体验系统以及利用5G通讯实现云存储、云渲染和云定位功能等视觉计算的校园云端；其中在学生多端体验系统中，根据XR教学需要，学生可以在教学活动中穿插使用高端XR设备(VR头显、MR头显)，或者利用VR手机盒子/手机
支架以及学生自带手机等简易设备，便捷获得XR沉浸式体验，更好地展示知识与开展活动。
[0056] 基于一线教师在实际开展教学中进行课堂互动、评测、小组学习与竞赛等活动的需求出发，本发明的5G课堂教学系统包含教师控制和学生应用学习端APP软件，具备了自主组队、VR互动体验竞赛等功能。教师控制端软件界面简洁(图2)，可以通过无线网络控制课室三大屏幕，PPT内容与XR空间教学内容同步，教师利用控制端软件，即可轻松掌控课堂教学
进程、组织课堂活动、切换VR/MR/常规教学方式等。
[0057] 5G网络具备高带宽、低时延特性，更便于各项服务云端化发展，利于学生开展BYOD(自带设备的)学习。通过学生应用端软件APP，学生们可以在5G环境下的VR+智慧教学课堂上，把随身携带的手机转化为便捷有
力的学习利器。以煎药机课堂为例，当学生端开启VR模式，学生就能在手机里看到煎药机房里的煎药机，而且是近距离360°去观察它。学生端和教师端共享了同一套坐标系，也就是说学生和老师进入的是同一个虚拟世界。如果学生想同时看到课室中的老师和一起学习的小伙伴，就切换到MR模式，进行虚实两个世界的
叠加。另外，方案为每个学生都配置了神器——手机支架，它非常便宜，现在则帮助大家解放了双手，很实用。借助简易设备，学生还可以获得更进一步的立体体验。如果学生端开启VR头盔模式，手机上就会显示左右分割的两个画面；把手机放进VR盒子里，再戴上它，煎药机就栩栩如生地出现在眼前。
[0058] 二.5G实训学习系统：
[0059] 充分利用校园内所有空间，在真实校园上覆盖本发明的基于5G网络的沉浸式可视化校园系统，可以让全校学生在校园内随时随地、自由地、协作式开展XR实训学习。师生使用XR体验终端通过5G网络进入沉浸式可视化校园。
[0060] 5G技术高带宽、低延时、高并发，当5G网络性能成熟稳定后达到较为理想状态，XR校园需要计算处理的工作基本都可以交给云端处理。以5G网络性能成熟稳定达到理想状态为应用背景，如图3所示，本发明给出5G实训学习系统，系统分为体验终端与校园云端，体验终端与校园云端利用5G网络进行通信。体验终端主要功能为信号采集、互动输入以及显示，采集的信号有：摄像头采集到的图像、惯性传感器采集的位姿数据、卫星定位系统采集的定位信息等。数据的存储、包括定位在内的视觉计算、虚拟物体状态计算以及渲染都交给云端处理，所以云处理端主要由四个功能模块组成：云存储中心模块、云视觉计算模块、云虚拟物体状态计算模块、云渲染模块。云存储中心模块存储虚拟物体模型、XR校园场景以及真实校园场景表征数据；云视觉计算模块根据体验终端采集的摄像头、惯性传感器、卫星定位系统等信号，与云存储中心的校园场景表征进行配准，对体验终端进行实时定位，并可以进一步获取对校园场景当前状态的认知，还可以在一定规则下对校园场景表征进行修正。云虚拟物体状态计算模块根据互动输入、云视觉计算模块生成的定位信息以及场景认知信息，在一定的XR校园运行规则下实时计算XR校园内各虚拟物体的状态。其中，各虚拟物体的状态包括位姿、大小等状态参数。XR校园大场景一般将包含多个子场景。对于每个体验终端，云渲染模块将从云虚拟物体状态计算模块获取需要渲染的虚拟物体列表和列表内各虚拟物体的状态，并需要提前从云存储读取相应的虚拟物体模型。然后，云渲染模块根据各体验终端在XR校园内的位姿渲染图像。云计算中心和云渲染可以并发多个体验终端的计算需求。
[0061] 为了表述更便利，在云存储中心模块中，存储的虚拟物体模型集合表示为M＝{m0,m1,m2,m3,…}；XR校园大场景用S表示，校园大场景包含的子场景集合为S＝{s0,s1,s2,s3,…}，对于其中任意场景si所包含虚拟物体集合表示为Gi＝{gi,0,gi,1,gi,2,gi,3,…}，令A为校园内任意点x的邻域σ(x)，Gi(A)为场景si在区域A内包含的虚拟物体；整个真实校园场景表征数据为C，C(A)为A区域内的真实校园场景表征。校园真实物体集合表示为L＝{l0,l1,l2,l3,…}，在XR校园内5G移动XR体验终端集合为H＝{h0,h1,h2,h3,…}。
[0062] 成熟阶段的5G实训学习系统流程如图4所示，包括如下步骤：
[0063] 步骤1.校园初始化步骤：VR/AR校园场景初始化，云虚拟物体状态计算模块从云存储中心模块读取XR校园大场景数据，初始化XR校园大场景，以及各子场景虚拟物体状态。具体为：云虚拟物体状态计算模块从云存储中心模块读取XR场景集合S，S中的子场景可以根据需求增加和删减。分别初始化各子场景虚拟物体的位姿、大小等状态。
[0064] 步骤2.读取真实校园场景表征数据步骤：以
发明人所在校园为例，校园面积非常大，所以完整的真实校园场景高精度表征数据会非常大，为了计算便利，云视觉计算模块将从云存储中心模块提取体验终端周围区域的校园场景表征进行定位计算，体验终端当前位姿估计值越精准，需提取的校园表征区域可以越小。同时为了避免从云存储重复提取校园表征数据，要求每次提取的表征数据能覆盖体验终端一定的移动范围。当前时刻体验终端的位姿信息可以两种方式进行预估(作为视觉定位计算的初始值)，一种是卫星定位信号确定对应体验终端设备的位置，由惯性定位信号获得体验终端的姿态角的估计值；另外一种是，当体验终端前一时刻的视觉定位计算成功，根据前一时刻的体验终端位姿和惯导数据可获得准确度较高的位姿估计值。
[0065] 具体如下：对于任意体验终端hi，根据卫星定位和惯性传感器信号预估当前位姿值，或根据前一时刻视觉定位值和惯性传感器信号预估，位姿估计值用 表示，其中为位置估计值， 为姿态角估计值，根据估计值的精度则hi的实际位置位于区域 内，真实姿态角在取值范围 内，令 表示为体验终端位置和姿态角分别为内任意值所对应视场的并集(视场指的是人眼或成像设备在一定视角以及
一定距离范围成像所覆盖的区域)，真实校园Fa区域需读取的真实校园表征数据为为了避免频繁从云存储中心读取校园场景表征，扩大hi的位姿值覆盖区
间为 有 读取校园表征数据
当体验终端hi的位姿接近 区间边缘时，才需要重新从云存储读取校园场景表
征。
[0066] 步骤3.云视觉计算获取精准定位信息步骤：云视觉计算模块进行图像到校园场景表征数据的配准，获得各体验终端高精度定位。计算视场内真实物体的状态，如果计算得出校园场景发生改变，可以在一定机制下修改校园表征数据，并发送到云存储中心模块。
[0067] 具体为：对于体验终端hi，云视觉计算模块从hi接收到的图像数据为 在步骤2已经得到位姿估计值为 云视觉计算模块获取到的校园场景表征数据为视觉定位就是 到 的配准计算，配准方法可以参照ORB-SLAM、VINS等SLAM
和VIO方法进行设计。由此可得到任意体验终端hi在当前时刻得位姿(pi,θi)。云视觉计算并三维重建校园内真实物体集合为U＝{u0,u1,u2,u3,…}，真实物体模型集合M′＝{m′0,m′1,m′2,m′3,…}，云视觉计算模块综合所有终端采集的图像数据获取U中真实物体的状态值Ψ＝{ψo,ψ1,ψ2,ψ3,…}，其中ψi为真实物体ui的状态参数向量，根据一定的规则，依据Ψ对云存储中心的真实校园场景表征进行修正。并可进一步计算得到hi在当前位置下的真实图像对应的深度图像
[0068] 步骤4.实时计算各虚拟物体状态步骤：云虚拟物体状态计算模块根据互动输入、体验终端定位信息以及各真实物体状态，实时计算各虚拟物体状态。
[0069] 具体为：在当前时刻，云虚拟物体状态计算模块从体验终端集合H接受所有体验终端的互动输入 其中 为体验终端hi采集的互动输入，校园内真实物体状态值Ψ＝{ψo,ψ1,ψ2,ψ3,…}，终端定位数据K＝{(p0,θ0),(p1,θ1),(p2,θ2),(p3,θ3),…}，以及前一时刻虚拟物体状态 其中 为虚拟物体vi在t0前一时
刻的状态向量值，根据XR校园虚拟物体运转规则 计算得到当前时刻
虚拟物体状态 F可根据教学需要进行确定。
[0070] 步骤5.确定各体验终端需要渲染的虚拟物体步骤：根据各体验终端的定位信息，确定体验终端当前视场需要渲染的区域，由体验终端所在场景进一步确定需要渲染的虚拟物体列表，并把虚拟物体列表以及表内虚拟物体状态信息发送到云渲染模块。
[0071] 具体为：对于任意体验终端hi，选择进入的场景为sj，在步骤3计算得到hi的位姿值为(pi,θi)，在此位姿，终端hi视场为A′i，sj在区域A′i的虚拟物体集合Gj(A′i)，但由于隐私等原因，并不是此集合内所有虚拟物体都对hi可见，所以从Gj(A′i)挑选出对hi可见的虚拟物体列表G′j(A′i)，把G′j(A′i)以及列表内所有虚拟物体的状态向量集合 发送给云渲染模块。
[0072] 步骤6.云渲染步骤：云渲染模块获取云虚拟物体状态计算模块发送过来的各体验终端需要渲染的虚拟物体列表以及列表内虚拟物体的状态，据此和云渲染模块已有的虚拟物体模型比较，确定需要从云存储中心模块读取的虚拟物体模型，在获取到需要的虚拟模型后，分别渲染各体验终端的图像。
[0073] 具体为：对于任意体验终端hi，云渲染模块从云虚拟物体状态计算模块获取需要渲染的虚拟物体列表G′j(A′i)以及状态向量集合 遍历虚拟物体列表G′j(A′i)，找出各虚拟物体所对应的虚拟物体模型的集合Ωi，确定需要从云存储中心模块读取的虚拟模型，为了避免过于频繁的从云存储读取虚拟物体模型集合，选取体验终端hi当前位置附近区域σ′(p0)所有可能对应视场的并集Bi，其中覆盖 云渲染模块从云虚拟物体状态计算模块获取此区域内虚拟物体列表G′j(Bi)，找出各虚拟物体所对应的虚拟物体模型的集合Ωi′，从云存储虚拟物体模型集合M＝{m0,m1,m2,m3,…}内提取Ωi′，只有当体验终端hi接近σ′(p0)边缘才需要重新从云存储中心读取虚拟物体模型资源。据此云渲染模块渲染得到虚拟物体图像
[0074] 步骤7.显示步骤：云渲染模块把对体验终端hi生成的虚拟场景图像 发送到体验终端hi，体验终端进行显示。
[0075] 然而，在可见的这几年，5G技术还处在发展阶段，5G网络的性能并不能完全满足超
大数据量的超低延时传输，所以目前视觉定位与渲染还不能完全依靠云端处理，很大部分工作还需要5G移动终端来承担。以5G技术处于发展阶段，网络性能还未达完全达到理想状态为应用背景，如图5所示，本发明给出一种基于5G网络的XR校园系统方案，系统分为体验终端与校园云端，体验终端与校园云端一起承担存储、视觉定位与渲染的功能，云端承担计算量大、但实时性要求不是特别高的工作，尽可能减少体验终端与云端利用5G网络进行通信的需求。体验终端主要功能为信号采集、互动输入以及显示，同时与云端一起承担存储、视觉计算(包括定位)与渲染的功能，其中体验终端不把采集的每帧图像传输到校园云端，只把具有重要定位信息的关键帧图像传输到云端。体验终端采集的信号主要为：摄像头采集到的图像、惯性传感器采集的位姿数据、卫星定位系统采集的定位信息。校园云端承担的工作包括数据的存储、视觉计算、虚拟物体状态计算、渲染工作。校园云端承担的工作以计算量大，但实时性要求不是特别高的工作为主。体验终端承担的工作有
数据采集、互动输入、数据存储、视觉计算、图像渲染。校园云端包括：云存储中心模块、云视觉计算模块、云虚拟物体状态计算模块和云渲染模块。云存储中心模块存储虚拟物体模型、XR校园场景以及真实校园场景表征；云视觉计算模块根据体验终端摄像头采集的关键帧图像、惯性传感器、卫星定位系统的信号，与云存储中心模块的校园场景表征进行配准，计算关键帧对应的体验终端位姿。并可以进一步获取对校园场景当前状态的认知，还可以在一定规则下对校园场景表征进行修正。体验终端对每帧图像进行定位计算，根据云视觉计算模块对关键帧的定位信息校准得到体验终端在校园内的准确位姿。云状态计算模块根据互动输入、云视觉计算模块生成的场景认知信息以及体验终端发送过来的视觉定位信息，根据一定XR校园运行规则实时计算XR校园内各虚拟物体的状态。其中，各虚拟物体的状态包括位姿、大小等状态参数。云状态计算模块分配渲染任务，根据终端定位信息，以及虚拟物体的远近、虚拟物体是否静止等因素综合决定校园云端和体验终端分别需要渲染的虚拟物体列表，并分别把这些虚拟物体的状态向量发送给云渲染模块和体验终端。云渲染模块不需要和体验终端在相同频率下渲染图像，可以在较低频率下渲染图像，但渲染的单幅图像的视场要足够大，以满足能覆盖一个时间段内体验终端视场的需求。云渲染模块根据从云状态计算模块发送过来的虚拟物体列表、各虚拟物体状态、体验终端定位信息，从云存储中心模块提取相应的虚拟物体模型，渲染出大视场角图像或者全景图像，并给出深度图像。体验终端同样根据从云状态计算模块发送过来的虚拟物体列表、各虚拟物体状态、关键帧定位信息，从云存储中心模块提取相应的虚拟物体模型，渲染出图像。体验终端接收到云端渲染的图像后，要通过计算生成在当前位姿下的图像，然后根据深度值与终端自身生成的图像合成得到最终要显示的图像。校园云端与体验终端存储分工为：校园云端存储整个校园场景表征以及整个XR校园的场景，体验终端根据所处位置，从校园云端提取并存储所在位置局部区域的校园场景表征以及局部XR校园场景。云端与体验终端视觉定位功能不同，分工为：云端对关键帧定位，终端根据关键帧定位实时对每帧进行视觉定位计算。云端与体验终端渲染帧频不同，云端的帧频可以低于体验终端。其中，云端渲染静态物体以及较远的虚拟物体，但渲染的视场角大或者是全景，终端可以选择渲染的物体包括近距离、动态或者特别重要的，体验终端渲染的图像和云端渲染的图像要合成同一幅图像，由于云端渲染的图像是大视场角，可以用来与终端连续多帧图像进行合成。同样为了表述更便利，在云存储中心中，存储的虚拟物体模型集合表示为M＝{m0,m1,m2,m3,…}；XR校园大场景用S表示，校园大场景包含的子场景集合为S＝{s0,s1,s2,s3,…}，对于其中任意场景si所包含虚拟物体集合表示为Gi＝{gi,0,gi,1,gi,2,gi,3,…}，令为校园内任意点的邻域，Gi(A)为场景si在区域A内包含的虚拟物体；整个真实校园场景表征数据为C，C(A)为A区域内的真实校园场景表征。校园真实物体集合表示为L＝{l0,l1,l2,l3,…}，在XR校园内5G移动XR体验终端集合为H＝{h0,h1,h2,h3,…}。
[0076] 如图6所示，所述5G实训学习系统包括执行如下步骤：
[0077] 步骤A.校园初始化步骤：VR/AR校园场景初始化，云状态计算模块从云存储中心模块读取XR校园大场景数据，初始化XR校园大场景，以及各子场景虚拟物体状态。具体为：云状态计算模块从云存储中心模块读取XR场景集合S，S中的子场景可以根据需求增加和删减。分别初始化各子场景虚拟物体的位姿、大小等状态。
[0078] 步骤B.体验终端发送关键帧图像到校园云端步骤：对于任意体验终端hi，当前帧图像为 根据 与前一幅关键帧图像的差异度判断图像是否为关键帧，如果是，则把关键帧图像 发送到云视觉计算模块。
[0079] 步骤C.读取真实校园场景表征数据步骤：校园面积可能大，所以完整的真实校园场景高精度表征数据会非常大，为了计算便利，云视觉计算模块将从云存储中心模块提取体验终端周围区域的校园场景表征进行定位计算。
[0080] 步骤D.校园云端对体验终端关键帧进行包括定位在内的视觉计算步骤：云视觉计算模块进行体验终端关键帧图像到校园场景表征数据的配准，获得各体验终端关键帧图像对应的高精度定位，并把定位数据发送到对应的体验终端，计算视场内真实物体的状态，如果计算得出校园场景发生改变，可以在一定机制下修改校园表征数据，并发送到云存储中心模块。。
[0081] 步骤E.体验终端视觉计算步骤：体验终端接收云视觉计算模块发送回来的关键帧图像对应的位姿数据。以关键帧位姿为基准，体验终端当前帧图像数据与关键帧配准，计算得到当前帧的位姿。位姿数据发送到云虚拟物体状态计算模块。
[0082] 具体为：对于任意体验终端hi，在当前时刻t0，摄像机采集的图像数据为 从云视觉计算模块把接收了关键帧Ii,t′在XR校园内出的位姿[pt′,θt′]。此关键帧是hi在t′摄像头采集的图像，用Ii,t′表示，请注意由于可能关键帧云端定位计算和传输的延时，此关键帧可能不是最新生成的关键帧图像。配准 与Ii,t′，由Ii,t′的位姿[pt′,θt′]计算出 的位姿[pt,θt]。
[0083] 步骤F.实时计算各虚拟物体状态步骤：云虚拟物体状态计算模块接受体验终端发送过来的位姿信息、互动输入，以及云视觉计算模块生成的对校园内真实物体的认知，实时计算各虚拟物体状态。
[0084] 步骤G.分布式渲染步骤：
[0085] 当前5G网络延迟还未达到理想状态时，VR图像如果完全直接由校园云端渲染，VR用户仍能觉察到延迟以及可能由此带来的晕眩感。本发明根据一定的规则在云渲染模块与体验终端分配渲染工作，比如校园云端渲染远距离静态虚拟物体，体验终端渲染近距离和动态的虚拟物体。在本发明中，校园云端渲染画面传送到体验终端虽然有延迟，但云渲染的视场覆盖体验终端一个时间片段的视场，在体验终端计算出云渲染图像在当前时刻视场下的图像，然后由深度遮挡关系此图像与终端渲染图像进行合成。甚至，为了减少数据传输量，可以主动降低云渲染图像的帧率。之所以要留部分渲染工作给终端，因为由云渲染图像计算得到终端所需要的图像会存在一定程度的
缺陷，所以重要的虚拟物体、近的虚拟物体等还是尽可能的在体验终端进行本地渲染。
[0086] 如图7所示，步骤G.分布式渲染步骤包括：
[0087] 步骤a，分配渲染任务步骤：根据体验终端在XR校园的位姿，确定体验终端视场包含的虚拟物体。根据虚拟物体远近、是否动态等因素确定的分配原则，给出需要终端渲染的虚拟物体列表，以及列表中各虚拟物体的状态，并发送给体验终端。云渲染模块渲染的区域不仅包含体验终端当前视场，而且需要覆盖接下来的一个时间片段的可能视场。所以，根据体验终端在XR校园的位姿，确定在当前以及接下来时间片段内体验终端可能的所有视场并集所包含的虚拟物体，根据分配原则，从这些虚拟物体内挑选出云渲染模块需要渲染的虚拟物体列表，以及列表内各虚拟物体状态，发送到云渲染模块。
[0088] 具体为：对于任意体验终端hi，选择进入的场景为sj，在步骤5计算得到hi的位姿值为(pi,θi)，在此位姿，终端hi视场为A′i，sj在区域A′i的虚拟物体集合Gj(A′i)，但由于隐私等原因，并不是此集合内所有虚拟物体都对hi可见，所以从Gj(A′i)挑选出对hi可见的虚拟物体集合G′j(A′i)，根据分配原则Fp(x)，需要在体验终端hi渲染的虚拟物体列表为Fp(G′j(A′i))，把此列表中虚拟物体状态向量集合 发送给hi。hi在当前时刻以及接下来的一个时间片段△t内，所有可能位姿对应视场并集为 sj在区域 的虚拟物体集合 但由于隐私等原因，并不是此集合内所有虚拟物体都对hi可见，所以从 挑选出对hi可见的虚拟物体集合 根据分配原则Fp(x)，需要在体验终端hi渲染的虚拟物体列表为
把此列表中虚拟物体状态向量集合 发送给云渲染模块。
[0089] 步骤b，云渲染步骤：云渲染模块获取云虚拟物体状态计算模块发送过来虚拟物体列表以及各虚拟物体状态值。需要渲染的虚拟物体列表以及虚拟物体的状态，据此和云渲染模块已有的虚拟物体资源比较，确定需要从云存储中心模块读取的虚拟资源，在获取到需要的虚拟资源后，分别渲染各体验终端的图像。根据体验终端的位姿，判断是否需要渲染图像。如果是AR体验，还需要获取视场内真实物体列表，以及真实物体状态，并生成AR合成掩模图像，把虚拟物体图像和掩模图像发送给体验终端。具体方法同成熟阶段XR校园方案计算步骤6。
[0090] 云渲染模块给任意体验终端hi配备一个虚拟摄像头ci，ci的位姿为 ci的位置为体验终端hi当前的位置，但云端视场角要大于终端采用的视场角φ，用来覆盖体验终端一段时间范围内的视场，下面以生成全景图片为例说明。以全景图片为360度圆柱型为例，云渲染中心在t0时刻，为虚拟摄像头ci在位姿 下生成全景RGBD图像I0，并发送给体验终端hi。
[0091] 步骤c，体验终端渲染步骤：体验终端获取云状态计算模块发送过来虚拟物体列表以及各虚拟物体状态值。需要渲染的虚拟物体列表以及虚拟物体的状态，据此和体验终端已有的虚拟物体资源比较，确定需要从云存储中心模块读取的虚拟资源，在获取到需要的虚拟资源后，渲染图像。如果是AR体验，还需要获取视场内真实物体列表，以及真实物体状态，并生成AR合成掩模图像。具体方法同成熟阶段XR校园方案计算步骤6类似。
[0092] 体验终端hi根据需要可以生成单目图像或者双目图像，下面将以双目为例进行说明。令在t1时刻，体验终端hi根据位姿 生成双目RGBD图像 与 ( 为左眼图像，为右眼图像)。
[0093] 步骤d，计算云端RGBD图像在体验终端当前位姿下的深度图像步骤：在生成云端RGBD图像的终端位姿与当前时刻终端位姿不同的情况下，虚拟摄像头位姿发生变化，校园云端渲染虚拟物体对应的深度图也发生改变。虽然体验终端不能直接从云端RGBD图像生成深度图像，但可以由摄像机坐标系的旋转平移关系求解出近似的深度图像。
[0094] 如图8所示，云渲染虚拟摄像头是体验终端在t0时刻的位姿参数，体验终端双目虚拟摄像头在t1时刻位姿偏移云端虚拟摄像头。对于任意物点A，在云端虚拟摄像头成像点为a0，则在虚拟左眼摄像头成像点是a1，在虚拟右眼摄像头成像点是a2。
[0095] 具体计算过程如下：
[0096] 首先计算云渲染图像任意像素对应物点在云端
虚拟摄像机直角坐标系下坐标。
[0097] 以云端生成360圆柱形全景图为例，成像面不是平面，而是依照圆弯曲的曲面，令焦距用f表示(f也是圆柱体圆的半径)，单个像素物理尺寸中圆弧角度为γ，高度为τ。全景RGBD图片I0中心位置像素坐标为[u0,v0]，对于任意像素I0(u,v)，在圆柱体坐标系下弧度角为(u-u0)γ，在圆柱成像面高度为(v-v0)τ。
[0098] 像素I0(u,v)的成像对应的虚拟物体景物物点为Au,v，由像素的深度值，可获得物点au,v到
光心O0的深度值du,v。以虚拟摄像机光心为原点，光心到图像中心的延长线为z轴，圆柱形成像面垂直方向为y轴，由此建立摄像机三维直角坐标系。
[0099] 计算任意像素I0(u,v)对应物点Au,v在云渲染虚拟摄像头直角坐标系下的坐标值，令此坐标值用 表示，则：
[0100]
[0101] 计算任意像素I0(u,v)对应物点Au,v在XR校园坐标系下的坐标值具体计算过程如下：
[0102] 令H＝Rz(θ)Ry(β)Rx(α)为云渲染虚拟摄像头坐标系到XR校园坐标系的变换矩阵(矩阵具体参数参考式(1-4))，其中[αβθ]为终端在位姿(pi,θi)时的姿态角，[tx ty tz]为位移量。
[0103]
[0104]
[0105]
[0106]
[0107] 令C＝[cx cy cz]为摄像机直角坐标系下任意点，则此点在XR校园内坐标值可由式(5)计算得到
[0108]
[0109] 令C′＝[cx cy cz 1]T、W′＝[wx wy wz 1]T，则W′＝H·C′，其中：
[0110]
[0111] 由此可计算得到物点Au,v在XR校园坐标系坐标值 具体为：
[0112]
[0113] 计算任意像素I0(u,v)对应物点Au,v在体验终端虚拟摄像头直角坐标系下的坐标值 具体如下：
[0114] 令H1＝Rz(θ1)Ry(β1)Rx(α1)为云渲染虚拟摄像头坐标系到XR校园坐标系的变换矩阵(矩阵具体参数参考式(1-4))，其中[α1 β1 θ1]为终端在位姿 时的姿态角。
[0115] 则：
[0116] 其中H1的值参考式(6)。有公式(7)和式(8)，得：
[0117]
[0118] 令图像I0所对应物点集合为Ω。求取待生成得图像 所有像素对应的物点：
[0119] 对于任意像素 其成像物点很难刚好在集合Ω内，只能从集合内寻找最近似的物点。首先遍历集合Ω内物点，挑出处于体验终端当前视场的物点子集Ω′，根据摄像机成像公式，计算子集Ω′内各点的图像坐标。对于像素 其成像对应的物点近似物点可通过图像坐标与 图像坐标偏差最小或插值的方法获得。以图像坐标偏差最小为例，令物点A′在体验终端虚拟摄像头成像坐标为[u′v′]，用 表征偏差，A′
是Ω′中与 坐标偏差最小的物点，则 对应物点为A′。
[0120] 求取待生成得图像 所有像素对应的深度值：
[0121] 中任意像素 对应物点为A′，由式(9)已计算得到A′在体验终端中的坐标为[x′u,v y′u,v z′u,v]，则 对应深度值为z′u,v。
[0122] 步骤e，计算云端RGBD图像在终端当前位姿下的RGB图像步骤：
[0123] 令待生成得图像为 中任意像素 对应物点为A′，由于集合Ω中所有物点都是从云渲染图像I0中计算得到的，Ω中物点与I0中像素存在映射关系，令A′是与对应的，则 的RGB值就等于 的RGB值。
[0124] 步骤f，图像合成步骤：
[0125] 生成的图像 要和终端自身渲染的图像I1合成，合成的依据是像素深度值得大小，合成的图像用I2表示。对于任意图像坐标[u,v]，在 中像素 的深度值为 在I1中像素I1(u,v)的深度值为duv，则：
[0126] 如果 I2(u,v)的RGB值为I1(u,v)的RGB值，否则I2(u,v)的RGB值为的RGB值。
[0127] 本发明的有益效果：本发明集成了VR、AR、MR，在真实校园上以虚实结合的方式构建人眼可见可沉浸的知识王国，为在校师生提供了全新的立体沉浸式工作、学习、生活空间。
[0128] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
