技术领域
[0001] 本
发明涉及视频图像信息
数据处理领域，具体而言，涉及一种基于Hadoop体系架构的视图库系统及其构建方法。
背景技术
[0002] 视频图像信息在社会公共安全相关部
门维护社会稳定、开展治安防控、
预防打击违法犯罪、保障公共安全等工作中发挥着越来越重要的作用，然而，随着社会治安防控体系建设、“智慧城市”建设等方面对视频图像信息应用要求的不断提升，视频图像信息综合应用体系建设尚不完善的问题逐步暴露，主要体现在视频图像信息联网共享不足和深度应用不足，因此，必须加快推进视频图像信息资源的整合和应用，构建纵向贯通、横向集成、共享共用、安全可靠的视图库，由于视频图像信息资源包含结构化和非结构化的数据，数据量庞大，因此，要做到视频图像信息资源的有效整合汇聚、高效存储、实时分析和快速检索，需要基于
大数据架构来设计视图库，另外，对于全国性的视频图像信息资源，无法全量进行采集和汇聚，需要构建分布式的视图库级联架构，开展分布式的视频图像信息应用体系。
[0003]
现有技术中，研究视图库的技术更多局限于少量的、单一的视频图像信息数据处理，基于传统关系
数据库或单一的数据处理组件实现，性能和可扩展性较差，无法
支撑千亿级别的视频图像信息数据处理，对视图库与视频图像信息解析和视频图像信息应用平台等外部系统的关系较为模糊，无法有效的利用视频图像信息资源，现有的视图库架构对
硬件和
基础平台
软件的依赖性较强，无法兼容大多数主流的硬件和大数据软件平台，另外，很多视图库系统的架构主要局限在本地化应用，无法支撑多级架构的分布式应用。
[0004] 例如中国
专利公开号为CN103235825A的发明专利公开了一种基于Hadoop
云计算
框架的海量
人脸识别搜索引擎设计方法，属于云计算和
模式识别领域，以Hadoop云计算框架为基础，由内层、
中间层和外层三层构成。内层用于存放海量的人脸图像及身份信息与提供分布式计算资源，中间层用于搜索引擎的索引表的建立与维护，外层用于接收任务与分配任务。为了在保证
精度的同时提高人脸图像在数据库中的搜索速度，该方法采用在中间层使用K均值聚类
算法建立人脸
特征向量聚类索引表与聚类名单表相结合的方法。该方法可以使用廉价的普通
服务器组构建海量人脸识别搜索引擎，并且采用经过大量实践证明的Hadoop云计算框架为基础实现，具有良好的
稳定性，方法简单，易于实施。
[0005] 再如中国专利公开号为CN106407463A的发明专利公开了一种基于Hadoop的
图像处理方法及系统，包括：若检测到本地缓存区中存在未上传至分布式文件系统HDFS的图像数据，则调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；通过并行计算框架MapReduce确定未上传的图像数据的
属性信息，将属性信息存入数据库Hbase，并将未上传的图像数据存入硬件层；可见，在本
实施例中，通过采用Hadoop云计算平台作为存储以及检索用的平台，将其部署在PC或服务器集群中，实现海量视频数据的存储、检索、备份和恢复等统一管理，具有易管理、扩展性高及可靠性高等优点，同时采用MapReduce算法实现视频数据的检索过程，大大提高系统的检索性能。
[0006] 现有技术中至少存在以下问题：
[0007] 目前，现有视图库技术的相关产品技术功能单一，只是实现部分种类视频图像数据的采集和存储，缺乏对多源异构视频图像数据的分类处理和组织，对视频图像数据典型的流式计算应用缺乏考虑，对视频图像数据检索、比对应用缺乏整体规划，无法满足当前社会公共安全相关部门对视频图像数据应用的需求。
[0008] 针对现有技术中视图库技术的相关产品技术功能单一，对视频图像数据典型的流式计算应用缺乏考虑，对视频图像数据检索、比对应用缺乏整体规划的问题，目前尚未提出有效的解决方案。
发明内容
[0009] 本发明的目的是针对现有技术的不足，提供一种基于Hadoop体系架构的视图库系统及其构建方法。
[0010] 所述基于Hadoop体系架构的视图库系统包括：基础能
力层、数据管理层、应用管理层、
接口服务层；
[0011] 首层为接口服务层，包括视图库采集接口、视图库数据服务接口和视图库级联接口，用于为应用管理层、基础能力层和数据管理层提供数据交换、资源检索和实时数据的接口服务；
[0012] 中上层为应用管理层，包括应用功能和管理功能，用于实现视图库的应用功能以及管理功能，应用功能包括注册与保活、对象CRUD操作、布控与报警、订阅与通知和联网服务，管理功能包括存储管理、用户管理、设备管理、运维管理、日志管理和时钟同步；
[0013] 中下层为数据管理层，包括资源库、专题库和基础库，用于对视频图像信息资源的存储管理以及业务库的创建和管理；
[0014] 底层为基础能力层，用于实现基础的数据存储能力以及数据计算能力，由大数据平台提供的多个组件构成。
[0015] 进一步地，首层所述的视图库采集接口为视图库与在线视频
图像采集设备、分析系统之间的服务接口，用于视图库与在线视频图像采集设备、分析系统之间数据的交互，首层所述的视图库级联接口为上、下级视图库之间的联网共享服务接口，用于上、下级视图库之间数据的交互，首层所述的视图库数据服务接口为视图库与综合应用平台、分析系统之间的服务接口，用于视图库与综合应用平台、分析系统之间数据的交互。
[0016] 进一步地，中下层所述的资源库包括车辆汇聚库、人像汇聚库和事件图像库，专题库包括车辆专题库、人像专题库和事件专题库，基础库包括元数据库、配置库、模型库、索引库和日志库，专题库为通过对数据资源的不同要素进行关联、面向应用构建的专题资源库。
[0017] 进一步地，底层所述的多个组件包括分布式消息队列Kafka、实时计算框架Spark Streaming、分布式存储HDFS/HBase、大数据处理引擎Spark、分布式缓存Redis、全文检索引擎Solr和分布式关系数据库MPPDB。
[0018] 本发明提供的所述基于Hadoop体系架构的视图库系统及其构建方法包括设计
数据采集流程、订阅通知流程、布控告警流程、数据分析流程和查询检索流程；
[0019] 数据采集流程，基于在线视频图像采集设备实现视频图像信息的采集,通过统一的视图库采集接口将视频图像信息数据上传到视图库系统；
[0020] 订阅通知流程、布控告警流程、数据分析流程，基于Kafka、Redis和Spark Streaming流处理大数据组件实现视频图像信息的实时处理，通过统一的视图库级联接口实现对视频图像信息进行订阅通知、布控告警和统计分析的处理任务；
[0021] 查询检索流程，基于ElasticSearch大数据组件实现视频图像信息的高效检索，能够满足视频图像信息的精确检索、模糊检索、全文检索、分类检索需求，通过统一的视图库数据服务接口对外提供数据共享服务。
[0022] 进一步地，数据采集流程包括以下步骤：
[0023] 步骤1，数据采集：
[0024] 步骤1.1，采集视频图像信息，视频图像信息包括人脸和车辆视频图像，视频图像信息包括来自前端设备或解析系统推送过来的视频图像信息和通过订阅智能推送过来的视频图像信息；
[0025] 步骤1.2，通过解析系统对采集的视频图像信息进行解析，提取结构化数据和非结构化数据；
[0026] 步骤1.3，将非结构化数据中的视频片断、图片写入对象存储组件中，同时生成对象存储路径；
[0027] 步骤1.4，将结构化数据中的路径信息替换成对象存储路径，将结构化数据存入KAFKA消息队列进行缓存；
[0028] 步骤1.5，部署在Spark Streaming中的数据入库流处理任务将结构化数据存入Hbase、ElasticSearch和MPPDB中。
[0029] 进一步地，订阅通知流程包括以下步骤：
[0030] 步骤2，订阅通知：
[0031] 步骤2.1，本级视图库通过订阅接口向下级视图库发起订阅数据
请求，订阅数据请求包含订阅规则；
[0032] 步骤2.2，下级视图库收到订阅数据请求，当有新的视频图像信息产生并符合订阅规则时，通过通知接口向本级视图库发送数据通知，数据通知包括订阅数据请求的视频图像信息；
[0033] 步骤2.3，本级视图库收到下级视图库发送的数据通知，完成数据采集；
[0034] 步骤2.4，本级视图库接收到上级视图库或应用系统发来的订阅数据请求，在本地创建订阅任务，通过定时机制判断订阅任务是否达到处理时间要求，对符合处理时间要求的订阅任务进行解析处理；
[0035] 步骤2.5，将订阅规则按照固定格式存入Redis内存数据库中，运行在Spark Streaming中的订阅处理程序会定期扫描订阅规则，通过与接收到的视频图像信息进行实时比对判断该数据是否需要通知给订阅请求方，当遇到有符合订阅规则的订阅数据时，订阅处理程序将数据推送到
指定的Kafka缓存队列中，通知接口定期将需要通知的订阅数据发送给订阅方。
[0036] 进一步地，布控告警流程包括以下步骤：
[0037] 步骤3，布控告警：
[0038] 步骤3.1，本级视图库通过布控接口向下级视图库发送布控任务；
[0039] 步骤3.2，下级视图库收到布控任务后进行布控处理，当有告警消息产生时，下级视图库通过告警接口向本级视图库发送告警消息；
[0040] 步骤3.3，本级视图库收到告警消息，将告警消息存储到业务库中，综合应用平台从业务库中取出告警消息进行展现；
[0041] 步骤3.4，当本级视图库接收到综合应用平台或上级视图库发来的布控请求时，在本地业务库中创建布控任务，通过定时机制判断布控任务是否达到处理时间要求，对符合处理时间要求的布控任务进行解析处理，将布控规则按照固定格式存入Redis内存数据库中，运行在Spark Streaming中的布控处理程序会定期扫描布控规则，通过与接收到的视频图像信息进行实时比对判断该数据是否符合布控规则，当遇到有符合布控规则的数据时，布控处理程序将数据推送到指定的Kafka缓存队列中，告警接口则将告警数据发送给布控方。
[0042] 进一步地，查询检索流程包括以下步骤：
[0043] 步骤4，查询检索：
[0044] 步骤4.1，本级视图库通过查询接口向下级视图库查询对象数据，对象数据包括设备、人脸、车辆的视频图像信息；
[0045] 步骤4.2，下级视图库收到查询请求后，根据查询条件在本地数据库完成查询操作，并返回查询结果给本级视图库；
[0046] 步骤4.3，本级视图库收到下级视图库的返回查询结果后，通过综合应用平台的界面进行展现；
[0047] 步骤4.4，本级视图库接收到综合应用平台或上级视图库的查询请求后，在本地全文检索数据库ElasticSearch中执行数据查询操作，查询出符合条件的数据后，即时向综合应用平台或上级视图库反馈查询结果。
[0048] 进一步地，数据分析流程包括以下步骤：
[0049] 步骤5，数据分析：
[0050] 步骤5.1，通过Hbase或HDFS+Spark实现视频图像信息的离线挖掘分析；
[0051] 步骤5.2，运用MPPDB实现视频图像信息的即时分析和碰撞比对；
[0052] 步骤5.3，将数据分析的结果推送到业务库进行展现。
[0053] 相对于现有技术，本发明所述的基于Hadoop体系架构的视图库系统及其构建方法具有以下显著的优越效果：
[0054] 1，本发明所设计的视图库可高效便捷的汇聚整合海量车辆、人员、事件等视频图像信息资源，并可扩展支持其他物联信息，为各业务系统提供视频图像信息数据资源服务，通过与其他部门业务信息的深度融合，充分发挥大数据的整体合力。
[0055] 2，视图库通过开放的标准架构，与前端设备、采集系统、解析系统、应用平台、其他业务系统进行对接，实现各系统之间的互联互通，有效支撑车辆、人员、事件等大数据分析业务应用，满足各种场景下视频图像信息的综合应用。
[0056] 3，视图库实现跨网跨域多级级联，构建上下逻辑一体的视频大数据资源体系，实现一体化的采集汇聚、查询检索、布控告警、分析处理等视频大数据业务协同。
[0057] 4，本发明采用领先的开放型大数据技术框架，基于分布式集群的数据采集和流式数据处理机制，达到流式数据采集秒级入库，PB级海量存储秒级检索，10万条/秒数据并发吞吐，满足高并发、大吞吐量的实时数据接收和处理要求。基于多模态数据分布式智能分级存储技术，支持非结构化/半结构化/结构化视频图像数据混合存储，提供高性能、海量的视频图像数据存储和管理，以及企业级可靠性和安全保障。
[0058] 5，实现数据与应用解耦，数据与基础平台解耦，构建独立视图库，创新开放性应用框架，形成以数据服务为核心的多算法融合、多应用整合的新型生态体系，更好地支持新技术、新产品的持续
迭代发展，满足快速增长的业务应用需求。
附图说明
[0059] 图1为本发明所述基于Hadoop体系架构的视图库系统的结构示意图；
[0060] 图2为本发明所述基于Hadoop体系架构的视图库系统的构建方法的流程示意图；
[0061] 图3为本发明所述基于Hadoop体系架构的视图库系统的分级部署示意图。
具体实施方式
[0062] 下面结合
说明书附图和具体实施方式对本发明进行进一步的详细描述。
[0063] 如图1所示，所述基于Hadoop体系架构的视图库系统包括：基础能力层、数据管理层、应用管理层、接口服务层；
[0064] 首层为接口服务层，包括视图库采集接口、视图库数据服务接口和视图库级联接口，用于为应用管理层、基础能力层和数据管理层提供数据交换、资源检索和实时数据的接口服务；
[0065] 中上层为应用管理层，包括应用功能和管理功能，用于实现视图库的应用功能以及管理功能，应用功能包括注册与保活、对象CRUD操作、布控与报警、订阅与通知和联网服务，管理功能包括存储管理、用户管理、设备管理、运维管理、日志管理和时钟同步；
[0066] 中下层为数据管理层，包括资源库、专题库和基础库，用于对视频图像信息资源的存储管理以及业务库的创建和管理；
[0067] 底层为基础能力层，用于实现基础的数据存储能力以及数据计算能力，由大数据平台提供的多个组件构成。
[0068] 进一步地，首层所述的视图库采集接口为视图库与在线视频图像采集设备、分析系统之间的服务接口，用于视图库与在线视频图像采集设备、分析系统之间数据的交互，首层所述的视图库级联接口为上、下级视图库之间的联网共享服务接口，用于上、下级视图库之间数据的交互，首层所述的视图库数据服务接口为视图库与综合应用平台、分析系统之间的服务接口，用于视图库与综合应用平台、分析系统之间数据的交互。
[0069] 进一步地，中下层所述的资源库包括车辆汇聚库、人像汇聚库和事件图像库，专题库包括车辆专题库、人像专题库和事件专题库，基础库包括元数据库、配置库、模型库、索引库和日志库，专题库为通过对数据资源的不同要素进行关联、面向应用构建的专题资源库。
[0070] 进一步地，底层所述的多个组件包括分布式消息队列Kafka、实时计算框架Spark Streaming、分布式存储HDFS/HBase、大数据处理引擎Spark、分布式缓存Redis、全文检索引擎Solr和分布式关系数据库MPPDB。
[0071] 如图2和图3所示，本发明提供的所述基于Hadoop体系架构的视图库系统的构建方法包括设计数据采集流程、订阅通知流程、布控告警流程、数据分析流程和查询检索流程：
[0072] 数据采集流程，基于在线视频图像采集设备实现视频图像信息的采集,通过统一的视图库采集接口将视频图像信息数据上传到视图库系统。
[0073] 订阅通知流程、布控告警流程、数据分析流程，基于Kafka、Redis和Spark Streaming流处理大数据组件实现视频图像信息的实时处理，通过统一的视图库级联接口实现对视频图像信息进行订阅通知、布控告警和统计分析的处理任务。
[0074] 查询检索流程，基于ElasticSearch大数据组件实现视频图像信息的高效检索，能够满足视频图像信息的精确检索、模糊检索、全文检索、分类检索需求，通过统一的视图库数据服务接口对外提供数据共享服务。
[0075] 进一步地，数据采集流程包括以下步骤：
[0076] 步骤1，数据采集：
[0077] 步骤1.1，采集视频图像信息，视频图像信息包括人脸和车辆视频图像，视频图像信息包括来自前端设备或解析系统推送过来的视频图像信息和通过订阅智能推送过来的视频图像信息；
[0078] 步骤1.2，通过解析系统对采集的视频图像信息进行解析，提取结构化数据和非结构化数据；
[0079] 步骤1.3，将非结构化数据中的视频片断、图片写入对象存储组件中，同时生成对象存储路径；
[0080] 步骤1.4，将结构化数据中的路径信息替换成对象存储路径，将结构化数据存入KAFKA消息队列进行缓存；
[0081] 步骤1.5，部署在Spark Streaming中的数据入库流处理任务将结构化数据存入Hbase、ElasticSearch和MPPDB中。
[0082] 进一步地，订阅通知流程包括以下步骤：
[0083] 步骤2，订阅通知：
[0084] 步骤2.1，本级视图库通过订阅接口向下级视图库发起订阅数据请求，订阅数据请求包含订阅规则；
[0085] 步骤2.2，下级视图库收到订阅数据请求，当有新的视频图像信息产生并符合订阅规则时，通过通知接口向本级视图库发送数据通知，数据通知包括订阅数据请求的视频图像信息；
[0086] 步骤2.3，本级视图库收到下级视图库发送的数据通知，完成数据采集；
[0087] 步骤2.4，本级视图库接收到上级视图库或应用系统发来的订阅数据请求，在本地创建订阅任务，通过定时机制判断订阅任务是否达到处理时间要求，对符合处理时间要求的订阅任务进行解析处理；
[0088] 步骤2.5，将订阅规则按照固定格式存入Redis内存数据库中，运行在Spark Streaming中的订阅处理程序会定期扫描订阅规则，通过与接收到的视频图像信息进行实时比对判断该数据是否需要通知给订阅请求方，当遇到有符合订阅规则的订阅数据时，订阅处理程序将数据推送到指定的Kafka缓存队列中，通知接口定期将需要通知的订阅数据发送给订阅方。
[0089] 进一步地，布控告警流程包括以下步骤：
[0090] 步骤3，布控告警：
[0091] 步骤3.1，本级视图库通过布控接口向下级视图库发送布控任务；
[0092] 步骤3.2，下级视图库收到布控任务后进行布控处理，当有告警消息产生时，下级视图库通过告警接口向本级视图库发送告警消息；
[0093] 步骤3.3，本级视图库收到告警消息，将告警消息存储到业务库中，综合应用平台从业务库中取出告警消息进行展现；
[0094] 步骤3.4，当本级视图库接收到综合应用平台或上级视图库发来的布控请求时，在本地业务库中创建布控任务，通过定时机制判断布控任务是否达到处理时间要求，对符合处理时间要求的布控任务进行解析处理，将布控规则按照固定格式存入Redis内存数据库中，运行在Spark Streaming中的布控处理程序会定期扫描布控规则，通过与接收到的视频图像信息进行实时比对判断该数据是否符合布控规则，当遇到有符合布控规则的数据时，布控处理程序将数据推送到指定的Kafka缓存队列中，告警接口则将告警数据发送给布控方。
[0095] 进一步地，查询检索流程包括以下步骤：
[0096] 步骤4，查询检索：
[0097] 步骤4.1，本级视图库通过查询接口向下级视图库查询对象数据，对象数据包括设备、人脸、车辆的视频图像信息；
[0098] 步骤4.2，下级视图库收到查询请求后，根据查询条件在本地数据库完成查询操作，并返回查询结果给本级视图库；
[0099] 步骤4.3，本级视图库收到下级视图库的返回查询结果后，通过综合应用平台的界面进行展现；
[0100] 步骤4.4，本级视图库接收到综合应用平台或上级视图库的查询请求后，在本地全文检索数据库ElasticSearch中执行数据查询操作，查询出符合条件的数据后，即时向综合应用平台或上级视图库反馈查询结果。
[0101] 进一步地，数据分析流程包括以下步骤：
[0102] 步骤5，数据分析：
[0103] 步骤5.1，通过Hbase或HDFS+Spark实现视频图像信息的离线挖掘分析；
[0104] 步骤5.2，运用MPPDB实现视频图像信息的即时分析和碰撞比对；
[0105] 步骤5.3，将数据分析的结果推送到业务库进行展现。
[0106] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明
权利要求的保护范围之内。
