技术领域
[0001] 本
发明涉及三维场景渲染技术领域，具体涉及一种基于视频几何分析的三维场景渲染加速方法及系统。
背景技术
[0002] 目前三维场景的渲染技术主要是场景可见性剔除、多
分辨率模型简化、以及模型数据组织等方法。场景可见性剔除，从模型坐标转换阶段之前剔除对最终图像渲染没有贡献的场景部分，然后将剩余场景发送到绘制管道，能有效降低场景的复杂程度和图形流
水线的负担，是提高场景绘制效率的一种非常有效的方法。多分辨率模型简化技术在预处理时可生成细节层次模型(Level of Detail,简称LOD)，简化掉模型中微小，不重要的部分和远端的场景，同时保证场景内容不会严重失真。模型数据组织需要将场景信息按一定的空间数据结构组织，可以有效提高查询速度。多视频几何分析目前采用多线程进行视频分析。
[0003] 多源海量实时监控视频与统一的三维虚拟场景融合
可视化过程中，大规模三维虚拟场景渲染和多视频几何分析处理需要消耗大量的时间和内存。场景可见性剔除技术在动态场景中，由于物体的运动，观察者与场景的交互，场景对应的遮挡树也随着改变。如果动态生成遮挡树，代价很大，甚至可能会超过整个场景的绘制时间。多分辨率模型简化在实际的应用过程中，静态的LOD模型在相邻层次之间切换会出现视觉上的抖动现象。动态的LOD模型在显示前需要实时的对每一个
顶点进行误差计算，数据量大的时候，计算量非常巨大，同时要求将数据全部读入内存，会占用大量内存。模型数据组织通常还需要一个预处理过程，因此较适用于静态场景。
发明内容
[0004] 有鉴于此，本
申请提供一种基于视频几何分析的三维场景渲染加速方法及系统，能够解决或者至少部分解决上述存在的问题。
[0005] 为解决以上技术问题，本发明提供的技术方案是一种基于视频几何分析的三维场景渲染加速方法，包括：
[0006] S1：对三维场景数据进行预处理；
[0007] S2：对三维场景数据构建层次细节模型；
[0008] S3：采用结合GPU的并行加速计算方法计算三维场景数据和视频数据。
[0009] 优选的，所述步骤S1的方法，包括：
[0010] S11：将需要加载的场景模型对象批量导入并解析，获取场景模型对象
包围盒的中心
位置、最大值和最小值参数；
[0011] S12：对已获取包围盒中心位置、最大值和最小值参数的三维模型构建树状索引结构，并对树状索引结构采用空间R树索引方法构建R树，其中每个
节点对应包含相应空间对象的最小包围立方体；
[0012] S13：通过分页技术将构建完成的R树从叶
子节点开始往上进行空间页面划分，获得每个空间页面上独立的R树，划分过程中记录当前层级信息与指向下一层的文件指向；
[0013] S14：将划分完成的多个R树依次放入相应队列中，若未包含叶子节点，则将该R树直接导出，若包含叶子节点，则对该R树进行细节层次LOD处理后再导出。
[0014] 优选的，所述步骤S13的方法，包括：
[0015] 对观察视
角的
视野范围进行视景体构建，并与三维模型的空间包围立方体进行求交运算，通过节点间空间关系获取位于视景体范围内的包围立方体索引，对应R树的相应节点即代表需要渲染显示的模型部分；
[0016] 通过分页技术，将选出节点对应的R树部分进行划分，局部最高层次非叶节点视作根节点，构建独立的小R树。
[0017] 优选的，所述步骤S2的方法，包括：
[0018] S21：将需要构建层次细节模型的对象按照四叉树分割分为若干节点，相应的细节在对象表面节点的四叉树上作为下一级节点存在，四叉树的分割决定了最终渲染的叶节点为哪一层；
[0019] S22：对视景体范围外的区域进行顶点的裁剪工作，将其分割信息设置为false，将视景体范围内的叶子节点的分割信息设置为true；
[0020] S23：通过设置观察点到具体节点的欧氏距离
阈值，以及一定区域内节点复杂度阈值，作为节点分割的评价标准，其中距离阈值设为4级，而复杂度阈值较距离阈值判断更优先一级；
[0021] S24：当分辨率切换时出现裂缝时，在分辨率等级较高的节点侧删除一条格网边，或在等级较低的节点一侧增加一条边，将相邻格网合并，同时相邻的分辨率等级差不超过2级；
[0022] S25：对当前完成分割的四叉树用递归方法深度优先遍历节点，对所有遍历到且分割信息为true的叶子节点进行渲染，从而完成层次细节模型的构建与渲染。
[0023] 优选的，所述步骤S23的方法，包括：
[0024] 生成基本模型节点，即在所有观察距离上都保留的节点，对其到观察视角视景体顶点的欧氏距离进行遍历计算，设置距离阈值为4级，随视点从远至近依次用节点分割的方式增加模型节点数量；
[0025] 为较复杂的模型局部区域设置模型节点间的距离加权平均值，即复杂度阈值，在层次模型节点数量上升的同时进行局部复杂度检测，决定是否启用较高复杂度模型节点，该阈值检测比距离阈值优先级更高。
[0026] 优选的，所述步骤S3的方法，包括：
[0027] S31：对三维场景
建筑物与地形模型对象经过预处理，获得大量小R树，将树索引载入GPU进行加速渲染；
[0028] S32：将视频数据以矩阵形式按具体分析要求分割成相应的小
块，同步载入GPU进行并行处理，实现GPU加速的运算处理效果；
[0029] S33：将场景数据与视频数据分析结果结合输出，完成最终需要的渲染效果。
[0030] 优选的，所述步骤S32的方法，包括：
[0031] 获取场景中映射至三维模型表面的视频数据，在渲染为视频纹理贴合至模型表面后，根据映射范围内模型表面的多个平面，在顶点
着色器中对相应位置顶点进行分类，在片元着色器中完成片元分割，之后利用GPU的集群计算单元进行分块并行计算处理，同步渲染视频纹理，从而加速渲染。
[0032] 本发明还提供一种基于视频几何分析的三维场景渲染加速系统，包括：
[0033] 处理模块，用于对三维场景数据进行预处理；
[0034] 构建模块：对三维场景数据构建层次细节模型；
[0035] 计算模块，用于采用结合GPU的并行加速计算方法计算三维场景数据和视频数据。
[0036] 本发明还提供一种基于视频几何分析的三维场景渲染加速系统，包括：
[0038] 处理器，用于执行所述计算机程序以实现上述基于视频几何分析的三维场景渲染加速方法的步骤。
[0039] 本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于视频几何分析的三维场景渲染加速方法的步骤。
[0040] 本申请与
现有技术相比，其有益效果详细说明如下：本申请提出一种基于GPU并行加速技术提升三维场景中视频信息映射与模型动态加载速度的方法，将三维场景数据进行预处理并分割索引结构，为三维模型构建便于加速渲染的层次细节模型，并为视频信息构建可分割矩阵，随后将分割完成的模型索引、层次细节模型与视频图像矩阵导入GPU并行计算，从而实现复杂三维场景与多视频结合的加速渲染。
附图说明
[0041] 为了更清楚地说明本发明
实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042] 图1为本发明实施例提供的基于视频几何分析的三维场景渲染加速方法的流程示意图；
[0043] 图2为本发明实施例提供的对三维场景数据进行预处理的流程示意图；
[0044] 图3为本发明实施例提供的对三维场景数据构建层次细节模型的流程示意图；
[0045] 图4为本发明实施例提供的采用结合GPU的并行加速计算方法计算三维场景数据和视频数据的流程示意图；
[0046] 图5为本发明实施例提供的基于视频几何分析的三维场景渲染加速系统的结构示意图。
具体实施方式
[0047] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
[0048] 为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。
[0049] 如图1所示，本发明实施例提供一种基于视频几何分析的三维场景渲染加速方法，包括：
[0050] S1：对三维场景数据进行预处理；
[0051] S2：对三维场景数据构建层次细节模型；
[0052] S3：采用结合GPU的并行加速计算方法计算三维场景数据和视频数据。
[0053] 如图2所示，针对现有技术中
硬件要求较高，渲染效率较低的问题，提供一种适用于高效渲染的城市三维场景中的模型数据预处理方法，将大规模建筑模型通过重新组织，使用户在场景渲染时只需要加载视景体范围内模型，大大降低渲染要求并提高了渲染效率，步骤S1的具体方法包括：
[0054] S11：将需要加载的场景模型对象批量导入并解析，获取场景模型对象包围盒的中心位置、最大值和最小值参数。
[0055] 具体的，将需要加载的场景模型，特别是大规模、带有复杂结构的建筑物三维模型作为预处理对象使用IO读写
插件转换为三维显示平台支持的数据格式，满足可处理与显示的要求并批量导入三维场景中；同时获取模型对象包围盒的中心位置、最大值和最小值参数。
[0056] S12：对已获取包围盒中心位置、最大值和最小值参数的三维模型构建树状索引结构，并对树状索引结构采用空间R树索引方法构建R树，其中每个节点对应包含相应空间对象的最小包围立方体。
[0057] 具体的，对已导入并获取包围盒位置参数的三维模型进行树状索引结构搭建，采用空间R树索引方法构建R树，其中每个节点对应包含着相应空间对象的最小包围立方体，具体构建方案为：使用一个最小边界立方体包含具有模型的空间区域，以建筑物模型集群为例，将该集群按照一定规则拆分成不同级别的建筑物单元，将拆分的每一级别个体都使用最小边界立方体包围，记录立方体的三个非共面顶点坐标以表示该节点索引；将最高级别的整体包围立方体坐标索引作为根节点，最小单元的包围立方体对应叶子节点，所有的非叶节点立方体均包含下层立方体，以此类推，构建区域建筑物的整体R树。
[0058] S13：通过分页技术将构建完成的R树从叶子节点开始往上进行空间页面划分，获得每个空间页面上独立的R树，划分过程中记录当前层级信息与指向下一层的文件指向。
[0059] 具体的，步骤S13的方法，包括：
[0060] 对观察视角的视野范围进行视景体构建，并与三维模型的空间包围立方体进行求交运算，通过节点间空间关系获取位于视景体范围内的包围立方体索引，对应R树的相应节点即代表需要渲染显示的模型部分；
[0061] 通过分页技术，将选出节点对应的R树部分进行划分，局部最高层次非叶节点视作根节点，构建独立的小R树。
[0062] 具体的，通过分页技术将构建完成的R树从叶子节点开始往上进行空间页面划分，获得每个空间页面上独立的R树，划分过程中记录当前层级信息与指向下一层的文件指向。该技术对应实际显示渲染过程，具体实现方案为：首先对观察视角的视野范围进行视景体构建，并与模型的空间包围立方体进行求交运算，通过节点间空间关系获取位于视景体范围内的包围立方体索引，对应R树的相应节点即代表需要渲染显示的模型部分；随后通过分页技术，将选出节点对应的R树部分进行划分，局部最高层次非叶节点视作根节点，构建独立的小R树。
[0063] S14：将划分完成的多个R树依次放入相应队列中，若未包含叶子节点，则将该R树直接导出，若包含叶子节点，则对该R树进行细节层次LOD处理后再导出。
[0064] 具体的，构建显示节点队列，用于渲染管线处理的预选过程，将划分完成的多个小R树索引对应的待显示节点依次放入队列中，未包含叶子节点的树将直接导出进行下一步处理；如果树中包含叶子节点，则对该R树对应包围立方体的模型进行细节层次LOD处理后再导出。
[0065] 如图2所示，针对目前三维场景中建筑物模型规模日渐增大、结构复杂以及DEM日渐精细化导致直接渲染效率低下，移动视角的时候
帧数
波动剧烈等问题，使用LOD(Level of detail)技术，按照距离视点远近对建筑物和地表构建分层次非等分辨率的模型，用以降低渲染的开销并提高显示效率，步骤S2的具体方法，包括：
[0066] S21：将需要构建层次细节模型的对象按照四叉树分割分为若干节点，相应的细节在对象表面节点的四叉树上作为下一级节点存在，四叉树的分割决定了最终渲染的叶节点为哪一层。
[0067] 具体的，对步骤S14中待渲染的三维场景模型对象(可为建筑物或
地块等单元)对应的小R树进行判别导出后，将包含叶子节点的R树索引按照四叉树分割分为若干层次节点，相应的细节在对象表面节点的四叉树上作为下一级节点存在，四叉树的分割结果决定了最终渲染的叶节点处于哪一层，以此将对应的模型对象按照视点的观察距离构建为多层次细节模型。
[0068] S22：对视景体范围外的区域进行顶点的裁剪工作，将其分割信息设置为false，将视景体范围内的叶子节点的分割信息设置为true。
[0069] 具体的，对视景体范围外的区域进行顶点的裁剪工作，将其分割判别信息设置为false，即对相应的R树部分不进行分页处理，仍保留原始的整体R树结构，从而使对应模型节点不会参与显示节点的构建队列，达到不渲染视野范围外模型的效果。对视景体范围内的叶子节点的分割信息设置为true。
[0070] S23：通过设置观察点到具体节点的欧氏距离阈值，以及一定区域内节点复杂度阈值，作为节点分割的评价标准，其中距离阈值设为4级，而复杂度阈值较距离阈值判断更优先一级。
[0071] 需要说明的是，步骤S23的方法，包括：
[0072] 生成基本模型节点，即在所有观察距离上都保留的节点，对其到观察视角视景体顶点的欧氏距离进行遍历计算，设置距离阈值为4级，随视点从远至近依次用节点分割的方式增加模型节点数量；
[0073] 为较复杂的模型局部区域设置模型节点间的距离加权平均值，即复杂度阈值，在层次模型节点数量上升的同时进行局部复杂度检测，决定是否启用较高复杂度模型节点，该阈值检测比距离阈值优先级更高。
[0074] 具体的，设置观察视点到具体节点的欧氏距离阈值，以及一定区域内节点复杂度阈值，作为节点分割的评价标准，而复杂度阈值较距离阈值判断更优先一级；具体方案如下：首先生成基本模型节点，即在所有观察距离上都保留的节点，对其到观察视角视景体顶点的欧氏距离进行遍历计算，设置距离阈值为4级，随视点从远至近依次用节点分割的方式增加模型节点数量以提升模型复杂度；同时为较复杂的模型局部区域设置模型节点间的距离加权平均值，即复杂度阈值，在层次模型节点数量上升的同时进行局部复杂度检测，决定是否启用较高复杂度模型节点，该阈值检测比距离阈值优先级更高。
[0075] S24：当分辨率切换时出现裂缝时，在分辨率等级较高的节点侧删除一条格网边，或在等级较低的节点一侧增加一条边，将相邻格网合并，同时相邻的分辨率等级差不超过2级。
[0076] 具体的，具有多层复杂度的模型对象在满足模型节点切换条件时，由于观察视点位置、阈值计算等原因会出现局部区域不同步的问题，从而发生不同复杂度的模型之间出现拼接裂缝的现象，针对这一问题的解决方案为：可选择在复杂度层级较高的模型节点一侧删除一条格网边，或在层级较低的节点一侧增加一条格网边，将相邻格网合并，同时相邻的复杂度层级相差不超过2级。
[0077] S25：对当前完成分割的四叉树用递归方法深度优先遍历节点，对所有遍历到且分割信息为true的叶子节点进行渲染，从而完成层次细节模型的构建与渲染。
[0078] 具体的，对当前完成分割的四叉树层次节点用递归方法进行深度优先遍历，选出所有被遍历到且分割信息为true即处于观察范围内的叶子节点，根据当前观察视点确定实际参与渲染的节点复杂度层级，并与步骤S14中未包含叶子节点树所对应的模型对象一同导出进行渲染的准备，从而完成层次细节模型的构建。
[0079] 如图4所示，步骤S3中三维场景数据和多视频数据采用结合GPU的并行加速计算的方法，借助硬件加速对前面两步骤生成的导入渲染队列的模型对象节点进行渲染处理，实现实质性的视觉效果，具体包括：
[0080] S31：对三维场景建筑物与地形模型对象经过预处理，获得大量小R树，将树索引载入GPU进行加速渲染。
[0081] 具体的，对数据预处理阶段产生的建筑物三维模型分割R树索引进行整合，按照深度优先遍历的顺序导入GPU计算单元，借助GPU对分割成大量小R树索引组织的模型进行加速渲染。
[0082] S32：将视频数据以矩阵形式按具体分析要求分割成相应的小块，同步载入GPU进行并行处理，实现GPU加速的运算处理效果。
[0083] 需要说明的是，步骤S32的方法，包括：
[0084] 获取场景中映射至三维模型表面的视频数据，在渲染为视频纹理贴合至模型表面后，根据映射范围内模型表面的多个平面，在
顶点着色器中对相应位置顶点进行分类，在片元着色器中完成片元分割，之后利用GPU的集群计算单元进行分块并行计算处理，同步渲染视频纹理，从而加速渲染。
[0085] 具体的，将由外部接入的、由监控设备或网络获取的视频信息映射至三维场景中，以矩阵形式按具体分析要求分割成相应的小块，同步载入GPU进行并行处理，实现GPU加速的运算处理效果。具体方案为：获取场景中映射至三维模型表面的视频信息数据，在渲染为视频纹理贴合至模型表面后，根据映射范围内模型表面的多个平面，在顶点着色器中对相应位置顶点进行分类，在片元着色器中完成片元分割，之后利用GPU的集群计算单元进行分块并行计算处理，同步渲染视频纹理，从而加速渲染。
[0086] S33：将场景数据与视频数据分析结果结合输出，完成最终需要的渲染效果。
[0087] 具体的，在三维场景中，将背景与利用GPU完成加速渲染的层次细节模型和其上的视频纹理一同输出，完成最终需要的渲染效果，另外还可以在视频信息的
基础上拓展对视频中的人、车等目标进行目标识别、
跟踪监控和数量统计等分析的应用。
[0088] 本申请提供的三维场景渲染加速方法，在多源海量实时监控视频与统一的三维虚拟场景融合可视化过程中，进行复杂三维场景渲染及多视频的几何分析采用结合GPU的并行加速计算，在一定的图形硬件条件下，提高三维场景的渲染速度和视频几何分析速度，保证实时绘制帧率。主要的优点包括：(1)能够保证三维场景的真实感和
沉浸感及多视频几何分析的流畅性，保证用户操作交互的及时响应。(2)采用并行加速渲染，有效的增加单位时间内三维地形的整体场景
数据处理量，从而保证数据的处理效率和处理
质量。
[0089] 如图5所示，本发明实施例还提供一种基于视频几何分析的三维场景渲染加速系统，包括：
[0090] 处理模块，用于对三维场景数据进行预处理；
[0091] 构建模块：对三维场景数据构建层次细节模型；
[0092] 计算模块，用于采用结合GPU的并行加速计算方法计算三维场景数据和视频数据。
[0093] 图5所对应实施例中特征的说明可以参见图1-图4所对应实施例的相关说明，这里不再一一赘述。
[0094] 本发明实施例还提供一种基于视频几何分析的三维场景渲染加速系统，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上述基于视频几何分析的三维场景渲染加速方法的步骤。
[0095] 本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于视频几何分析的三维场景渲染加速方法的步骤。
[0096] 以上对本发明实施例所提供的一种基于视频几何分析的三维场景渲染加速方法、系统和计算机可读存储介质进行了详细介绍。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明
权利要求的保护范围内。
[0097] 专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及
算法步骤，能够以
电子硬件、计算机
软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0098] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的
软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、
只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、
硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
