实现多路视频融合的三维增强现实的系统、方法及设备
阅读：432发布：2024-02-24
专利汇可以提供实现多路视频融合的三维增强现实的系统、方法及设备专利检索，专利查询，专利分析的服务。并且本 申请 实施例 公开了实现多路视频融合的三维 增强现实 的系统、方法及设备。本申请实施例提供的技术方案，通过对多路视频采集装置拍摄的影像生成 视频流 ，并对回传的视频流进行数据同步，在对视频流解算获取的 视频 帧 纹理映射至三维场景后，对纹理映射的重叠区域的纹理按照投影机的纹理贡献的权值情况进行纹理重建，减少多个投影机之间发生投影区域重叠的情况，提高 渲染 出的三维场景的展示效果。，下面是实现多路视频融合的三维增强现实的系统、方法及设备专利的具体信息内容。
1.实现多路视频融合的三维增强现实的系统，其特征在于，包括三维场景系统、视频实时解算系统、影像投影系统、影像融合系统和虚拟三维渲染系统，其中：
三维场景系统，保存有现场的三维场景；
视频实时解算系统，对接收到的视频流进行实时解算以得到视频帧；
影像投影系统，用于确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影；
影像融合系统，用于确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定；
虚拟三维渲染系统，对融合后的纹理和三维场景进行渲染。
2.根据权利要求1所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述系统还包括数据同步系统，所述视频流由多路影像采集系统对现场多个位置的影像进行采集而生成，所述多路影像采集系统生成的视频流经多路影像实时回传控制系统进行回传；
所述数据同步系统对回传的视频流进行数据同步，所述数据同步具体为时间同步，使得回传的同批次的视频流位于同一时间切片空间。
3.根据权利要求1所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述视频实时解算系统包括视频帧提取模块和硬件解码器，其中：
视频帧提取模块，利用FFMPEG库从视频流中提取帧数据；
硬件解码器，用于对帧数据进行解算以获得视频帧。
4.根据权利要求1所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述纹理映射重叠区域对应的投影机的纹理贡献的权值确定公式为r＝p/(α×d)；
其中r为投影机的纹理贡献的权值、p为投影机图像的像素分辨率、α为两直线的夹角、d为投影机位置到对应三维点的距离。
5.根据权利要求4所述的实现多路视频融合的三维增强现实的系统，其特征在于，纹理映射重叠区域各三维点对应的纹理值的确定公式为T＝(∑Ii×ri)/∑ri。
6.根据权利要求5所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述影像融合系统还用于确定分割线，所述分割线用于对不同路的视频帧进行截取，并将截取后的视频帧进行融合，在所述分割线周边的三维点的纹理由截取后的视频帧对应的投影机的纹理贡献的权值加权获得。
7.根据权利要求6所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述分割线的确定方式为：
将重叠区域对应的视频帧变换到同一视点下，利用GraphCut方法得到融合该重叠区域对应的视频帧的分割线。
8.根据权利要求7所述的实现多路视频融合的三维增强现实的系统，其特征在于，所述影像融合系统对不同路的视频帧进行截取时，其将所述分割线反投影回视频帧中，截取每个视频帧实际的使用区域，以获得对应的视频帧部分。
9.实现多路视频融合的三维增强现实的方法，其特征在于，包括：
三维场景系统保存现场的三维场景；
视频实时解算系统对接收到的视频流进行实时解算以得到视频帧；
影像投影系统确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影；
影像融合系统确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定；
虚拟三维渲染系统对融合后的纹理和三维场景进行渲染。
10.一种设备，其特征在于，包括：显示屏、存储器以及一个或多个处理器；
所述显示屏，用于进行融合多路视频的三维场景的显示；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求9所述的实现多路视频融合的三维增强现实的方法。
实现多路视频融合的三维增强现实的系统、方法及设备
技术领域
背景技术
[0003] 视频融合技术利用已有的视频图像，将它们融合到三维虚拟环境中，可以实现具有统一性的、深度的视频集成。
[0005] 本申请实施例提供实现多路视频融合的三维增强现实的系统、方法及设备，对纹理映射重叠区域的纹理进行重建，从而对纹理映射进行融合，减少因存在多个投影机之间发生投影区域重叠，而对场景的展示造成不良影响的情况
[0006] 在第一方面，本申请实施例提供了实现多路视频融合的三维增强现实的系统，包括三维场景系统、视频实时解算系统、影像投影系统、影像融合系统和虚拟三维渲染系统，其中：
[0007] 三维场景系统，保存有现场的三维场景；
[0010] 影像融合系统，用于确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定；
[0011] 虚拟三维渲染系统，对融合后的纹理和三维场景进行渲染。
[0012] 进一步的，所述系统还包括数据同步系统，所述视频流由多路影像采集系统对现场多个位置的影像进行采集而生成，所述多路影像采集系统生成的视频流经多路影像实时回传控制系统进行回传；所述数据同步系统对回传的视频流进行数据同步，所述数据同步具体为时间同步，使得回传的同批次的视频流位于同一时间切片空间。
[0014] 视频帧提取模块，利用FFMPEG库从视频流中提取帧数据；
[0015] 硬件解码器，用于对帧数据进行解算以获得视频帧。
[0016] 进一步的，所述纹理映射重叠区域对应的投影机的纹理贡献的权值确定公式为r＝p/(α×d)；
[0018] 进一步的，纹理映射重叠区域各三维点对应的纹理值的确定公式为T＝(∑Ii×ri)/∑ri。
[0019] 进一步的，所述影像融合系统还用于确定分割线，所述分割线用于对不同路的视频帧进行截取，并将截取后的视频帧进行融合，在所述分割线周边的三维点的纹理由截取后的视频帧对应的投影机的纹理贡献的权值加权获得。
[0020] 进一步的，所述分割线的确定方式为：
[0021] 将重叠区域对应的视频帧变换到同一视点下，利用GraphCut方法得到融合该重叠区域对应的视频帧的分割线。
[0022] 进一步的，所述影像融合系统对不同路的视频帧进行截取时，其将所述分割线反投影回视频帧中，截取每个视频帧实际的使用区域，以获得对应的视频帧部分。
[0023] 在第二方面，本申请实施例提供了实现多路视频融合的三维增强现实的方法，包括：
[0024] 三维场景系统保存现场的三维场景；
[0025] 视频实时解算系统对接收到的视频流进行实时解算以得到视频帧；
[0026] 影像投影系统确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影；
[0027] 影像融合系统确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定；
[0028] 虚拟三维渲染系统对融合后的纹理和三维场景进行渲染。
[0029] 在第三方面，本申请实施例提供了一种设备，包括：显示屏、存储器以及一个或多个处理器；
[0030] 所述显示屏，用于进行融合多路视频的三维场景的显示；
[0031] 所述存储器，用于存储一个或多个程序；
[0032] 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面所述的实现多路视频融合的三维增强现实的方法。
[0033] 本申请实施例通过多路影像采集系统拍摄现场的影像并生成视频流，多路影像实时回传控制系统和数据同步系统对视频流进行回传与时间同步，使得回传的同批次的视频流位于同一时间切片空间，并通过视频实时解算系统对回传的视频进行解算从而获得视频帧，并由影像投影系统将视频流解算获取的视频帧纹理映射至三维场景，其中纹理映射的重叠区域的纹理由影像融合系统按照投影机的纹理贡献的权值情况进行纹理重建，减少多个投影机之间发生投影区域重叠的情况，再通过虚拟三维渲染系统对融合后的纹理和三维场景进行渲染，提高渲染出的三维场景的展示效果。附图说明
[0034] 图1是本申请实施例提供的实现多路视频融合的三维增强现实的系统的结构示意图；
[0035] 图2是本申请实施例提供的另一种实现多路视频融合的三维增强现实的系统的结构示意图；
[0036] 图3是本申请实施例提供的实现多路视频融合的三维增强现实的方法的流程图；
[0037] 图4是本申请实施例提供的一种设备的结构示意图。
具体实施方式
[0038] 为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0039] 图1给出了本申请实施例提供的实现多路视频融合的三维增强现实的系统的结构示意图。参考图1，该实现多路视频融合的三维增强现实的系统包括三维场景系统110、视频实时解算系统140、影像投影系统150、影像融合系统160和虚拟三维渲染系统170。其中：
[0040] 三维场景系统110，保存有现场的三维场景，并将所述三维场景作为数字融合的底图。其中三维场景的来源可以是从外部服务器中添加获得，也可以是在本地进行三维建模得到，在获得三维场景后将其保存在本地，并将三维场景作为数字融合的底图，作为基本分析的出发点。
[0041] 视频实时解算系统140用于对接收到的视频流进行实时解算以得到视频帧。
[0042] 影像投影系统150用于确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影。
[0043] 影像融合系统160用于确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定。具体的，影像融合系统160根据GraphCut方法获得的分割线对视频帧进行切割。对不同路的视频帧进行截取时，影像融合系统160将分割线反投影回视频帧中，截取每个视频帧实际的使用区域，以获得对应的视频帧部分。其中，投影机应理解为视频采集装置(如摄像头、相机等)在虚拟场景中的表示。
[0044] 虚拟三维渲染系统170对融合后的纹理和三维场景进行渲染。示例性的，虚拟三维渲染系统170从三维场景系统110获取三维场景，并将三维场景作为底图，逐帧将融合后的纹理根据映射结果在三维场景中进行融合，并将融合后的三维场景渲染进行可视化展示。
[0045] 上述，通过视频实时解算系统140对接收到的视频流进行实时解算获取视频帧，由影像投影系统150确定视频帧的像素点在三维场景中的映射关系，并由影像融合系统160利用分割线对视频帧在纹理重叠区域进行切割，截取每个视频帧实际的使用区域，然后，影像融合系统160对切割后的视频帧进行拼接融合，最后经虚拟三维渲染系统170进行渲染，完成可视化直观展示。
[0046] 图2给出了本申请实施例提供的另一种实现多路视频融合的三维增强现实的系统的结构示意图。参考图2，该实现多路视频融合的三维增强现实的系统包括三维场景系统110、数据同步系统120、视频实时解算系统140、影像投影系统150、影像融合系统160和虚拟三维渲染系统170，其中数据同步系统120连接有多路影像实时回传控制系统130，多路影像实时回传控制系统130连接有多路影像采集系统180。
[0047] 通过多路影像采集系统180采集到的多路影像，经由多路影像实时回传控制系统130实时回传到数据同步系统120进行同步，同步后的视频流由视频实时解算系统140进行实时解算，解算结果经由影像投影系统150、影像融合系统160在虚拟三维渲染系统170中和三维场景映射、融合、可视化直观展示。
[0048] 具体的，三维场景系统110，保存有现场的三维场景，并将所述三维场景作为数字融合的底图。其中三维场景的来源可以是从外部服务器中添加获得，也可以是在本地进行三维建模得到，在获得三维场景后将其保存在本地，并将三维场景作为数字融合的底图，作为基本分析的出发点。
[0049] 进一步的，三维场景系统110将三维场景的三维数据进行区块划分，并且在现场的三维场景进行更新时，三维场景系统110接收对应区块的三维更新数据包，三维更新数据包应包含所指向的区块用于更新的三维数据，三维场景系统110将对应区块的三维数据更换成三维更新数据包中的三维数据，保证三维场景的时效性。
[0050] 具体的，多路影像采集系统180，包括多路视频采集装置，用于对现场多个位置进行影像采集并生成视频流。
[0051] 本实施例中，多路视频采集装置应包含支持最大数量不少于100个的视频采集装置(如摄像头、相机等)。其中，每个视频采集装置不低于200万像素，分辨率为1920X1080，还可根据实际需要选择以下功能：一体化ICR双滤光片日夜切换，透雾功能，电子防抖，多种白平衡模式切换，视频自动光圈，支持H.264编码等。
[0052] 每个视频采集装置对现场的不同区域进行监测，并且多路视频采集装置的监测范围应覆盖三维场景所对应的现场的范围，即现场所关心的范围均应被监测到。
[0053] 进一步的，多路影像实时回传控制系统130，用于对多路影像采集系统180生成的视频流进行回传。
[0054] 本实施例中，多路影像实时回传控制系统130的有效传输距离应不低于3KM，视频码流应不低于8Mpbs，时延应不高于80ms，保证展示效果的时效性。
[0055] 示例性的，在多路影像采集系统180侧设置接入交换机，对多路影像采集系统180生成的视频流进行收集，并将收集的视频流汇聚至汇聚交换机或中台中，汇聚交换机或中台将视频流进行预处理后发送至多路影像实时回传控制系统130，多路影像实时回传控制系统130将视频流回传至数据同步系统120进行同步处理。
[0056] 可选的，汇聚交换机或中台与两侧的接入交换机的连接可以通过有线和/或无线的方式进行通讯连接。通过有线连接时，可通过RS232、RS458、RJ45、总线等方式进行连接，通过无线进行连接时，若相互之间距离较近，可通过WiFi、ZigBee、蓝牙等近场通信模块进行无线通讯，在距离较远时，可通过无线网桥、4G模块、5G模块等进行远距离无线通讯连接。
[0057] 数据同步系统120，接收多路影像实时回传控制系统130回传的视频流并对回传的视频流进行数据同步。同步后的视频流发送至视频实时解算系统140进行解算。所述数据同步具体为时间同步，使得回传的同批次的视频流位于同一时间切片空间。本实施例中数据同步系统120应包含支持最大数量不少于100个视频采集装置回传视频流的数据同步。其中时间切片空间可理解为若干固定大小的真实时间区间抽象。
[0058] 具体的，视频实时解算系统140用于对所述视频流进行实时解算以得到视频帧。
[0059] 进一步的，视频实时解算系统140包括视频帧提取模块141和硬件解码器142，其中：
[0060] 视频帧提取模块141，利用FFMPEG库从视频流中提取帧数据。FFMPEG库是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，可实现本实施例中提取帧数据的要求。
[0061] 硬件解码器142，用于对帧数据进行解算以获得视频帧。本实施例中硬件解码器142为内置在NVIDIA显卡内部的独立的视频解码模块，支持H.264和H.265解码，最大分辨率
8K。
8K。
[0062] 具体的，影像投影系统150用于确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影。
[0063] 示例性的，需要求解相机的姿态信息，这样才能确定视频帧中的像素与三维虚拟环境中三维点之间的映射关系。视频帧与虚拟场景的配准，本质上是相机标定的问题，需要知道相机的内参和外参。相机在拍摄视频时相机的位置是清楚的，根据相机的空间位置和姿态可以得出二维图片在三维场景中的信息，根据二维图片在三维场景中的对应信息可得出对应的三维点。给定视频帧上的点(xi，yi)以及对应的三维点(Xi，Yi，Zi)，存在一个3×4的矩阵M，有如下关系：
[0064]
[0065] 其中，w是一个放缩因子，M能够被分解成一个3×3的相机内参矩阵K，一个3×3的旋转矩阵R以及平移向量T。Zi为三维点的深度值，其通过重建过程计算得出，即利用相机的不同方位姿态形成三角形，反算出深度信息，作为Zi的值。放缩因子w一般结合经验给出，平移向量T是相机的真实绝对位置，是相机在场景坐标系下的坐标表示，f是相机的焦距，s是相机的错切，通常为0，x0和y0表示视频帧的主点，一般为视频帧的中心点，3×4的矩阵M是实体相机本身的姿态、位置变换，一般可通过相机厂商提供的SDK获取相机的这些参数。理论上6组对应点就可以计算出矩阵M，但由于匹配时存在误差，因此需要寻找更多的对应点来进行相机的标定。
[0066] 由于标定出了相机的内外参数，可以得到三维场景中三维点与视频帧中像素的对应关系，这种映射关系本质上由一个4×4的矩阵N决定，4×4的矩阵N是代表图形学中虚拟相机的变换。本系统中投影纹理映射是基于OpenGL实现的，N可以分解为4×4的视图矩阵V和4×4的投影矩阵P。给定空间三维点，其纹理坐标计算如下:
[0067]
[0068] 其中，(s，t)表示纹理坐标，u用来判断三维点在相机前(>0)还是后(<0)，q表示三维点的深度值，这些值的范围在(–1，1)之间，需要归一化到(0，1)之间。由于考虑深度值，需要将相机内参矩阵K变成4×4的矩阵，P和V的计算方式如下：
[0069]
[0070] 其中，F为相机到远裁剪平面的距离，N为相机到近裁剪平面的距离，W和H为视频帧的宽和高。
[0071] 具体的，影像融合系统160用于确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定。
[0072] 进一步的，纹理映射重叠区域对应的投影机的纹理贡献的权值确定公式为r＝p/(α×d)；其中r为投影机的纹理贡献的权值、p为投影机图像的像素分辨率、α为两直线的夹角、d为投影机位置到对应三维点的距离，其中两直线的夹角是指投影机投影所形成的锥形区域两条相对的斜边所形成的夹角。
[0073] 另外，在得到权值后，根据纹理值的确定公式计算纹理值，纹理映射重叠区域各三维点对应的纹理值的确定公式为T＝(∑Ii×ri)/∑ri。其中Ii为对应的投影机的纹理原始颜色值,ri为对应的投影机的纹理贡献的权值。
[0074] 需要注意的是，影像融合系统160还用于确定分割线，其中分割线用于对不同路的视频帧进行截取，并将截取后的视频帧进行融合，在分割线周边的三维点的纹理由截取后的视频帧对应的投影机的纹理贡献的权值加权获得。
[0075] 示例性的，分割线的确定方式为，选择与虚拟视点最接近的影像作为主投影源，投影时先投影主投影源，再投影其他投影源。主投影源的确定主要根据投影机的位置、视角与虚拟视点的位置和方向的差异来确定，如果差异在阈值以内，则确定为主投影源。如果不存在主投影源，换言之，多个视频的贡献率相仿，将重叠区域对应的视频帧变换到同一视点下，利用GraphCut方法得到融合该重叠区域对应的视频帧的分割线。
[0076] 可选的，影像融合系统160根据GraphCut方法获得的分割线对视频帧进行切割。对不同路的视频帧进行截取时，影像融合系统160将分割线反投影回视频帧中，截取每个视频帧实际的使用区域，以获得对应的视频帧部分。在后续的融合过程中，只需根据先前获得的分割线获取视频帧的使用区域进行融合即可，减少融合过程的计算量，提高实时性。
[0077] 具体的，虚拟三维渲染系统170对融合后的纹理和三维场景进行渲染。示例性的，虚拟三维渲染系统170从三维场景系统110获取三维场景，并将三维场景作为底图，逐帧将融合后的纹理根据映射结果在三维场景中进行融合，并将融合后的三维场景渲染进行可视化展示。
[0078] 上述，通过多路影像采集系统180采集到的多路影像，经由多路影像实时回传控制系统130实时回传并由数据同步系统120进行时间同步，视频实时解算系统140再对同步后的视频流进行实时解算获取视频帧，由影像投影系统150确定视频帧的像素点在三维场景中的映射关系，并由影像融合系统160利用分割线对视频帧在纹理重叠区域进行切割，截取每个视频帧实际的使用区域，然后，影像融合系统160对切割后的视频帧进行拼接融合，最后经虚拟三维渲染系统170进行渲染，完成可视化直观展示。
[0079] 图3给出了本申请实施例提供的实现多路视频融合的三维增强现实的方法的流程图，本实施例提供的实现多路视频融合的三维增强现实的方法可以由实现多路视频融合的三维增强现实的系统来执行，该实现多路视频融合的三维增强现实的系统可通过硬件和/或软件的方式实现，并集成在计算机等设备中。参考图3，该实现多路视频融合的三维增强现实的方法包括：
[0080] S101：三维场景系统保存现场的三维场景。
[0081] 具体的，其中三维场景的来源可以是从外部服务器中添加获得，也可以是在本地进行三维建模得到，在获得三维场景后将其保存在本地，并将三维场景作为数字融合的底图，作为基本分析的出发点。
[0082] 进一步的，三维场景系统将三维场景的三维数据进行区块划分，并且在现场的三维场景进行更新时，三维场景系统接收对应区块的三维更新数据包，三维更新数据包应包含所指向的区块用于更新的三维数据，三维场景系统将对应区块的三维数据更换成三维更新数据包中的三维数据，保证三维场景的时效性。
[0083] S102：视频实时解算系统对接收到的视频流进行实时解算以得到视频帧。
[0084] 示例性的，视频流由多路影像采集系统对现场多个位置的影像进行采集而生成，多路影像采集系统生成的视频流经多路影像实时回传控制系统进行回传并由数据同步系统进行数据同步。
[0085] S103：影像投影系统确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影。
[0086] S104：影像融合系统确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定。
[0087] S105：虚拟三维渲染系统对融合后的纹理和三维场景进行渲染。
[0088] 示例性的，虚拟三维渲染系统从三维场景系统获取三维场景，并将三维场景作为底图，逐帧将融合后的纹理根据映射结果在三维场景中进行融合，并将融合后的三维场景渲染进行可视化展示。
[0089] 上述，通过视频实时解算系统对接收到的视频流进行实时解算获取视频帧，由影像投影系统确定视频帧的像素点在三维场景中的映射关系，并由影像融合系统利用分割线对视频帧在纹理重叠区域进行切割，截取每个视频帧实际的使用区域，然后，影像融合系统对切割后的视频帧进行拼接融合，最后经虚拟三维渲染系统进行渲染，完成可视化直观展示。
[0090] 在上述实施例的基础上，图4为本申请实施例提供的一种设备的结构示意图。参考图4，本实施例提供的设备可以为计算机，其包括：显示屏24、存储器22以及一个或多个处理器21；所述显示屏24，用于进行融合多路视频的三维场景的显示；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如本申请实施例所提供的实现多路视频融合的三维增强现实的方法。
[0091] 存储器22作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的实现多路视频融合的三维增强现实的方法。存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0092] 进一步的，该计算机设备还包括通信模块23，通信模块23用于与其他设备建立有线和/或无线连接，并进行数据传输。
[0094] 上述提供的计算机设备可用于执行上述实施例提供的实现多路视频融合的三维增强现实的方法，具备相应的功能和有益效果。
[0095] 本申请实施例还提供一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如本申请实施例所提供的实现多路视频融合的三维增强现实的方法，该实现多路视频融合的三维增强现实的方法包括：三维场景系统保存现场的三维场景；视频实时解算系统对接收到的视频流进行实时解算以得到视频帧；影像投影系统确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据所述映射关系将视频帧在三维场景中进行纹理映射，以完成视频帧的影像投影；影像融合系统确定纹理映射的重叠区域各三维点对应的纹理值，并根据所述纹理值重建纹理映射重叠区域的纹理，以完成纹理映射的融合，其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定；虚拟三维渲染系统对融合后的纹理和三维场景进行渲染。
[0096] 存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器21执行的程序指令(例如具体实现为计算机程序)。
[0097] 当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的实现多路视频融合的三维增强现实的方法，还可以执行本申请任意实施例所提供的实现多路视频融合的三维增强现实的方法中的相关操作。
[0098] 上述实施例中提供的实现多路视频融合的三维增强现实的系统和设备机可执行本申请任意实施例所提供的实现多路视频融合的三维增强现实的方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的实现多路视频融合的三维增强现实的系统和方法。
[0099] 上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 图像带宽压缩中的后选择预测方法 | 2020-05-08 | 14 |
| 一种带宽压缩中的预测方法 | 2020-05-08 | 410 |
| 使用元数据进行AC-耦合的视频链路的DC偏移校正 | 2020-05-08 | 93 |
| 显示装置 | 2020-05-11 | 144 |
| 深度信息补全方法及其装置、监控系统和存储介质 | 2020-05-08 | 922 |
| 用于超声感测的系统和方法 | 2020-05-08 | 124 |
| 带宽压缩中的后选择预测方法 | 2020-05-08 | 441 |
| 有机发光显示装置 | 2020-05-08 | 384 |
| 视频处理方法、装置、设备及存储介质 | 2020-05-08 | 606 |
| 一种基于量子混沌和混沌复动力系统的图像加密方法 | 2020-05-11 | 28 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈