一种海量监控视频使用和呈现方式
阅读：7发布：2020-08-04
专利汇可以提供一种海量监控视频使用和呈现方式专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种海量监控视频使用和呈现方式，包含以下步骤：A、视频图像截取。B、 图像配准 ：一幅图像拥有不同的可提取的特征，选择其中容易提取的，并能够在某种程度上表征待配准图像相似性的特征作为配准依据。本发明提出一种以现实场景三维模型为 基础 的，结合多路视频融合的，实时视频监控新方法，并研制系统样机、开发系统模 块 化 软件 。其特点表现在：1、以现实三维模型建立 虚拟环境 ，并以此作为视频融合载体和最终呈现主体；2、采用带约束的RANSAC 算法 实现多视频匹配与配准；3、采用高斯金字塔算法实现多视频融合的实时处理及显示。，下面是一种海量监控视频使用和呈现方式专利的具体信息内容。
1.一种海量监控视频使用和呈现方式，其特征在于，包含以下步骤：
A：视频图像截取；
B：图像配准：一幅图像拥有不同的可提取的特征，选择其中容易提取的，并能够在某种程度上表征待配准图像相似性的特征作为配准依据；
C:图像融合：对多源图像的同一场景、目标的同一像素级上的灰度进行综合处理，最后生成的新图像能够容纳源图像中所有像素点的信息；
D:纹理映射到三维模型。
2.根据权利要求1所述的一种海量监控视频使用和呈现方式其特征在于，所述图像配准具体包括：①提取SIFT特性；②计算距离与角度进行匹配；③RANSAC提纯。
3.根据权利要求1所述的一种海量监控视频使用和呈现方式其特征在于，所述图像融合具体包括：a、单应及排序，b、全图像融合。
一种海量监控视频使用和呈现方式
技术领域
背景技术
[0002] 目前来说，比较常用的全景视频图像采集的方法有两种，一是利用鱼眼镜头摄像机得到大范围的视频图像，但是其得到的图像变形会非常严重，难于跟三维模型结合，需要用算法对生成的图像进行矫正，从而得到全景平面视频图像。二是使用多摄像机的方法，然后对得到的图像进行拼接和融合处理。如美国IPIX公司的Command View系列产品，利用鱼眼镜头的宽广视角直接获取360°场景，再利用算法进行图像矫正得到一个环形范围的平面的全景视频图像；而Honeywell公司推出的PARASCAN全景摄像机则是由多个固定式的摄像机来拍摄不同空间场景，然后对得到的图像进行拼接，从而实现全景视频。
[0003] 目前，国外对于多镜头全景监控方面的理论和实践研究是一个相对空白的领域，目前还鲜有比较完善及方便实现的实用技术以及解决方案。类似的一些全景视频的或者虚拟显示的解决方案多事应用于一些大型展示或者视频会议，比如2010上海世博会的网上世博参观平台，就是全景现实虚拟技术的一项非常典型的应用。另外，在国防科技大学，浙江大学及中科院软件研究所等高校和科研院所也开展过类似方向的研究，并取得了一些成果，但是目前为止还没有提出一套完整可行的实施方案。
[0004] 在技术研究方面，视频的全景拼接技术可以分为两大类：基于图像配准的方式；基于流形思想的拼接方式。图像配准方法可归纳为对三个元素的选择问题：特征空间，相似性准则以及搜索策略。特征空间定义了用于配准的基本特征信息，相似性准则是特征分类的基本依据，而搜索策略则决定了从特征空间中根据相似性依据寻找同类特征的方法。具体的图像配准方式又可以分为以下两大类：
[0005] (1)基于灰度值信息的图像配准方法。
[0006] 该方法利用图像的灰度信息直接计算图像之间的关系，其关系的紧密程度用相似性度量函数来判定。根据相似性函数的不同又可将该方法分为两大类：基于时域的图像配准方法和基于频域的图像配准方法。总体来说，该方法比较简单，不需要复杂的预处理，但相似性度量程度的好坏直接影响图像配准的精度。因此，采用该方法时需要提供合适的相似性度量。
[0007] (2)基于特征点的方式。基于特征点的图像拼接方法需要预先提取图像的特征点，再根据特征点找出图像之间的对应关系，确定图像重叠的区域，然后再把各幅图像进行融合。该方法的难点在于如何提取和选择鲁棒的特征，以及特征之间的匹配关系如何确定。特征的形式多样，例如有Harris角点特征、Sift特征、Gist特征等等，需要根据实际情况选择鲁棒的特征。
[0008] 总的来说，无论从技术研究情况，还是实际应用情况，对于三维全景融合技术的研究都处于探索研发阶段，学界提出很多方法，但目前能够得到应用又能满足人们要求的方法还很有限。特别是在全景图效果和实现速度的要求很难达到人们的需求。
发明内容
[0009] 本发明的目的在于提供一种海量监控视频使用和呈现方式以解决上述背景技术中提出的问题。
[0010] 为实现上述目的，本发明提供如下技术方案：
[0011] 一种海量监控视频使用和呈现方式，包含以下步骤：
[0012] A、视频图像截取。
[0013] B、图像配准：一幅图像拥有不同的可提取的特征，选择其中容易提取的，并能够在某种程度上表征待配准图像相似性的特征作为配准依据。
[0015] D、纹理映射到三维模型。
[0016] 作为本发明再进一步的方案：所述图像配准具体包括：①提取SIFT特性；②计算距离与角度进行匹配；③RANSAC提纯。
[0017] 作为本发明再进一步的方案：所述图像融合具体包括：a、单应及排序，b、全图像融合。
[0018] 与现有技术相比，本发明的有益效果是：本发明提出一种以现实场景三维模型为基础的，结合多路视频融合的，实时视频监控新方法，并研制系统样机、开发系统模块化软件。其特点表现在：1、以现实三维模型建立虚拟环境，并以此作为视频融合载体和最终呈现主体；2、采用带约束的RANSAC算法实现多视频匹配与配准；3、采用高斯金字塔算法实现多视频融合的实时处理及显示。附图说明
[0019] 图1为本发明的工作流程图。
[0020] 图2为图像配准流程图。
具体实施方式
[0021] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022] 请参阅图1-2，本发明实施例中，一种海量监控视频使用和呈现方式，包含以下步骤：
[0023] A、视频图像截取。
[0024] B、图像配准：一幅图像拥有不同的可提取的特征，选择其中容易提取的，并能够在某种程度上表征待配准图像相似性的特征作为配准依据。
[0025] C、图像融合：对多源图像的同一场景、目标的同一像素级上的灰度进行综合处理，最后生成的新图像能够容纳源图像中所有像素点的信息。
[0026] D、纹理映射到三维模型。
[0027] 图像配准具体包括：①提取SIFT特性；②计算距离与角度进行匹配；③RANSAC提纯。
[0028] 图像融合具体包括：a、单应及排序，b、全图像融合。
[0029] 本发明的工作原理是：本课题的技术路线包括以下三个方面：
[0030] (1)图像配准
[0031] 基于特征的图像配准是配准中最常见的方法。一幅图像拥有不同的可提取的特征，选择其中容易提取的，并能够在某种程度上表征待配准图像相似性的特征作为配准依据。过程描述如下图2所示。
[0032] 本课题采用SIFT算法，该算法首要就是生成尺度空间，为了模拟图像数据的多尺度特性尺度空间是必要的，而实现尺度变换的唯一线性核是高斯卷积核，于是一幅图像的尺度空间定义为：
[0033] 其中是尺度可变高斯函数。，是空间坐标，是尺度坐标。
[0034] 每个SIFT特征均包含一个128维的归一化后的向量描述子，这样，这些特征就可以在向量空间中做相似性检测了。而且基于距离和角度的相似性测度的运算均是基本运算，速度快，所以适用于粗匹配阶段。
[0035] 因为粗匹配算法的缘故，得到的匹配特征点对集合中始终存在误配的特征对，同时在提取时也有一定的精度误差，所以需要一种鲁棒性很强的算法来进一步提纯特征点对，所以本文在细匹配阶段的第一步工作就是采用鲁棒的RANSAC估计算法。
[0036] (2)图像融合
[0038] 基于像素的融合，思想是对多源图像的同一场景、目标的同一像素级上的灰度进行综合处理，最后生成的新图像能够容纳源图像中所有像素点的信息。目前常用的方法有加权平均法、渐入渐出法和金字塔分解法。
[0039] 加权平均法可以表示为： 像素灰度的加权平均是用分析，获得表征各个源图像In(i,j)＝(n＝1,2,...,N)中某种特征强弱的权值Wn(i,j)(n＝1,
2,...,N)。
2,...,N)。
[0040] 渐进渐出的融合方法是，在相互重叠的部分从前幅图像均匀过渡到后幅图像，也就是将图像相互重叠的区域像素的灰度值，依据某个权值相加综合成新的图像，并修剪去垂直方向上相错开的图像部分。将相应的两幅图像重叠部分中的像素点的RGB值各自记作r1，g1，b1和r2，g2，b2，那么融合后的图像中对应像素RGB分量值r3，g3b3可以通过[0041] r3＝d×r1+(1-d)×r2
[0042] g3＝d×g1+(1-d)×g2
[0043] b3＝d×b1+(1-d)×b2
[0044] 计算获得，其中d为渐变系数。
[0045] 基于金字塔分解融合的思想是，首先对参与融合的源图像均做金字塔分解，接着利用源图像的金字塔，选择合适的参数来融合每一层上的金字塔，最后将融合后的各个金字塔进行反变换即可得到融合结果图像。
[0046] 若要建立图像的Laplace金字塔，首先要对图像进行Gauss金字塔分解：
[0047]
[0048] 从Laplace金字塔的顶层开始算起，逐层由上向下的方式，按下式进行递推即可恢复其相对应的Gauss金字塔，并最终得到原图像G0。
[0049]
[0050] (3)基于OGRE的3D引擎开发
[0051] 在三维显示软件中，渲染效率非常严重地影响到显示系统的性能，而渲染批次是显示系统中最小的渲染单元，在本监控系统的渲染当中又极大地影响渲染效率。例如：渲染1000个单元，若分10个批次，每批渲染100个，场景平均每秒渲染80.2帧图像；若分100个批次，每批渲染lO个场景平均每秒渲染36.8帧图像，可见渲染相同数量的物体，批次越少渲染速度越快，因此渲染批次应尽量少。
[0052] 在OGRE三维图形渲染引擎中本课题分别采用普通的加载方式、静态几何加载方式和实例几何加载方式对三维场景模型进行加载和渲染，通过分析比较，普通的加载方法当模型数量很少的时候渲染效率可以满足要求，而当数量不断增多的时候，效率不断下降，而静态几何与实例几何加载方式在不同模型数量的情况下都保持高效率渲染。由于机制的原因，静态几何体内所有物体不能相对动作，必须作为一个整体行动，而实例几何内的单个物体是可以自由动作的。在海量场景中如果有很多固定下来相对不动的物体，就可以采用静态几何的方式对它进行加载，而如果以后还要对物体进行动作，采用实例几加载模型即能提高渲染效率，又能满足功能需求。
[0053] 虽然OGRE引擎功能强大，但OGRE没有自己专用的数据库，本项目模型需要通过第三方软件建立模型或利用以建立的模型。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种液体火箭发动机虚拟试验平台及其试验方法 | 2021-11-12 | 5 |
| 用于确定虚拟环境中的虚拟机器人的配置的方法和系统 | 2020-09-06 | 7 |
| 划分高速缓存的方法及装置 | 2021-02-08 | 6 |
| 用于显示图像的方法、设备和计算机程序 | 2020-09-20 | 9 |
| 一种基于增强现实技术的手持式阅览设备 | 2021-02-19 | 4 |
| INITIATE EVENTS THROUGH HIDDEN INTERACTIONS | 2021-03-06 | 7 |
| APPARATUS AND METHODS FACILITATING THE USE OF FINANCIAL TRANSACTIONS IN A VIRTUAL ENVIRONMENT | 2021-10-06 | 4 |
| Avoiding silent data corruption and data leakage in a virtual environment with multiple guests | 2022-03-12 | 6 |
| Virtual environment experience display device | 2022-02-20 | 2 |
| SYSTEM AND METHOD FOR PROCESSING APPLICATION LOGIC OF A VIRTUAL AND A REAL-WORLD AMBIENT INTELLIGENCE ENVIRONMENT | 2021-11-11 | 5 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
虚拟环境热门专利
QQ群二维码
意见反馈
意见反馈