技术领域
[0001] 本
申请涉及大数据应用领域，具体涉及一种电网设备NQI大数据系统。
背景技术
[0002] 在电网设备的生产及使用方面，生产企业、电网公司分别建立了相应的信息系统，以智能
电能表为例，生产企业建立了生产执行系统(MES)、产品全寿命周期管理系统(PLM)、企业计划系统(ERP)等，电网公司建立了国网调度平台系统(SG-MDS)、用电信息采集系统、营销业务系统等。这些系统产生的数据为产品及过程
质量监管提供了有效的
支撑，但是，如何将这些数据进行整合，并进行合理的利用，是目前亟需解决的问题。
发明内容
[0003] 本申请提供一种电网设备NQI大数据系统，用于解决电网设备的质量相关数据的整合与利用的问题。
[0004] 本申请提供一种电网设备NQI大数据系统，其特征在于，包括：
[0005] 数据接入模
块，用于电网设备质量相关的数据的接入；
[0006] 数据存储模块，用于存储接入的电网设备质量相关的数据，提供分布式文件存储、列式表格存储、分布式关系型
数据库存储
基础服务；
[0007] 数据计算模块，用于提供离线、实时计算平台
框架和平台，并提供经过数据验证的多维分析平台；
[0008] 数据服务模块，用于封装满足各种数据服务和应用服务的
数据集市，提供数据
访问的各种
接口与服务。
[0009] 优选的，所述数据接入模块，在电网设备质量相关的数据接入后，对数据进行清洗、标准化等处理工作，为数据体系环境提供高质量的数据输入。
[0010] 优选的，所述数据接入模块，数据接入的方式有NQI质量信息采集装置、JDBC适配器、ETL、数据复制、WebService。
[0011] 优选的，其特征在于，所述NQI质量信息采集装置，逻辑上包括：
[0012] 通信管理、接入管理、报文监视与存储、数据预处理、
数据处理、数据导入、规约处理、上层应用接口、安全管理模块，所述采集装置与相关系统对接，采集相关系统的质量数据，经过数据处理、规约处理，转换为大数据平台统一格式的质量信息数据。
[0013] 优选的，所述数据存储模块存储的数据，其中展示数据及统计数据可以选用关系数据库，业务明细数据可以存储在分布式文件系统中，缓存数据可以选用内存数据库。
[0014] 本申请提供一种电网设备NQI大数据系统，通过数据接入模块、数据存储模块、数据计算模块，以及数据服务模块，完成电网设备的质量相关数据的接入、存储与利用，解决电网设备的质量相关数据的整合与利用的问题。
附图说明
[0015] 图1是本申请
实施例提供的一种电网设备NQI大数据系统的结构示意图；
[0016] 图2是本申请实施例涉及的
数据采集方式示意图；
[0017] 图3是本申请实施例涉及的数据存储结构示意图；
[0018] 图4是本申请实施例涉及的数据处理框架示意图。
具体实施方式
[0019] 在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0020] 请参看图1，图1是本申请实施例提供的一种电网设备NQI大数据系统的结构示意图，下面结合图1对本申请实施例提供的平台进行详细说明。
[0021] 本申请提供一种电网设备NQI大数据系统，其特征在于，包括：
[0022] 数据接入模块，用于电网设备质量相关的数据的接入；
[0023] 数据存储模块，用于存储接入的电网设备质量相关的数据，提供分布式文件存储、列式表格存储、分布式关系型数据库存储基础服务；
[0024] 数据计算模块，用于提供离线、实时计算平台框架和平台，并提供经过数据验证的多维分析平台；
[0025] 数据服务模块，用于封装满足各种数据服务和应用服务的数据集市，提供数据访问的各种接口与服务。
[0026] NQI(National Quality Infrastructure)，国家质量基础。NQI支撑并服务于国民经济的各个领域，具有公共产品属性，技术性、专业性、系统性和国际性特征鲜明，不仅被国际公认是提升质量竞争能
力的基石，更是保障国民经济有序运行的技术规则、促进科技创新的重要技术平台、提升国际竞争力的重要技术手段。加强NQI研究与应用，对于推动我国经济发展保持中高速增长、迈向中高端
水平，具有重要的现实意义。
[0027] 国家质量基础(National Quality Infrastructure)是指一个国家建立和执行计量、标准、检验检测、认证认可所需质量体系框架的统称。NQI四要素间相互影响，相互促进，计量是控制质量的基础，标准引领质量提升，合格评定(检验检测和认证认可)控制质量并建立质量信任，三者形成完整的技术链条，相辅相成，共同支撑质量的发展。计量是标准和合格评定的基准；标准是合格评定的依据，是计量的重要价值体现；合格评定是推动计量溯源水平提升和标准实施的重要手段。简单地说，计量解决准确测量的问题，质量中的量值要求由标准统一规范，标准执行得如何就需要通过检验检测和认证认可来判定。
[0028] 所述NQI为质量数据模型，用于为数据采集和应用服务开发提供支撑，包括计量和标准两个要素，是NQI质量评定的依据和基准，也包括检验检测数据，是各环节质量评定的支撑数据，还包括各环节质量评定及认证认可数据，是NQI质量评定的核心业务。本申请根据NQI模型，对大数据系统接入的数据进行清洗、存储、计算，向各种服务提供相关的数据集市与访问接口。
[0029] 大数据系统在数据接入模块进行数据的采集及数据清洗、标准化等处理工作，为数据体系环境提供高质量的数据输入。数据汇聚过程是利用系统数据整合能力，将分布在不同系统、不同来源类型的数据统一传输到大数据系统。采集的过程中，一方面要保障系统的
稳定性，同时根据
数据治理的要求严格控制数据质量。通过数据接入层的工具完成各种源数据的获取，包括结构化数据、半结构化数据、非结构化数据和流式数据。并将采集进来数据进行清洗、归类、结构化、规范化，满足
数据仓库环境对数据质量的要求。
[0030] 数据接入模块，数据接入的方式有NQI质量信息采集装置、JDBC适配器、ETL、数据复制、WebService。以NQI质量信息采集装置为例，质量信息采集装置逻辑上包括通信管理、接入管理、报文监视与存储、数据预处理、数据处理、数据导入、规约处理、上层应用接口、安全管理等模块，本地与企业内部PLM系统、MES系统、质量管理系统等相关系统对接，采集各系统质量相关数据，经过数据处理、规约处理，转换为大数据系统统一格式的质量信息数据。
[0031] 质量信息数据采集方式包括自动采集、接口导入和人工采集，如图2所示：
[0032] 自动采集的数据项主要包括研发设计、生产制造、物料采购、出厂供货各环节的过程进度数据、质量控制数据，这些数据来自企业PLM、MES等相关系统，通过部署在企业侧的质量信息采集装置，与企业内部相关系统进行交互，提取相关质量信息数据，按照通信协议，自动传输到大数据平台。自动采集包含的定时自动采集，按照大数据系统设定的采集周期，自动采集质量信息数据，自动采集的时间、内容、对象可设置；随机采集，根据大数据系统实际需要，随机采集质量相关的辅助数据，以支持特定的分析、诊断等应用需求。
[0033] 通过接口方式导入质量信息数据，此种数据采集方式适用于以下两种情况：
[0034] 1)在系统建立之前，将已有的历史数据通过TXT、EXCEL、XML文件等格式，导入大数据平台，由NQI
云服务平台处理后存入数据库，可迅速提供系统运行所需的数据。
[0035] 2)在企业侧无相关信息系统的情况下，可按照统一格式将质量信息数据导入大数据平台，由大数据系统处理后存入数据库。常见的格式主要包括TXT、EXCEL、XML等。
[0036] 人工采集通过人工填报等方式，采集不易通过自动方式采集的数据，如特定分析所需要的相关辅助材料、非结构化数据如视频文件等。
[0037] 数据存储模块存储的数据，其中展示数据及统计数据可以选用关系数据库，业务明细数据可以存储在分布式文件系统中，缓存数据可以选用内存数据库。数据存储基于分布式存储，支持水平扩容，支持多种存储数据类型，提供结构化、半结构化、非结构化数据的存储解决方案，同时支持分布式式检索的索引存储、分布式关系数据库。结构化数据存储于分布式文件系统HDFS、分布式关系数据库，可以用上层的Hive建立大数据仓库，半结构化数据基于列存储HBase实现，非结构化数据根据实际需要可提供分布式对象存储，存储结构如图3所示。
[0038] 大数据系统提供HADOOP支持的各类计算引擎和方式，实时计算平台支持STORM、Spark streaming，离线计算平台支持MR、HIVE、SPARK、shell、python方式，
机器学习Tesla平台包含图计算、
深度学习、Spark，Python，R，XGBoost等计算框架，其数据处理框架如图4所示，各类计算可以通过大数据系统
可视化IDE工作流设计实现数据离线计算任务调度、实时分析以及机器学习。
[0039] 大数据系统不同客户群体对应用服务的需求不一样，而且差异比较大，导致要求提供的数据服务也不一样，为保证数据服务的及时性和便捷性，根据数据服务的业务特点，构建适合不同客户群体数据服务的数据集市，同时对外提供数据访问的各种接口与服务，使平台具备和外部数据相互贯通的能力。
[0040] 数据集市可以理解为是一种"小型数据仓库"，它只包含单个主题，且关注范围也非全局。
[0041] 数据集市可以分为两种，一种是独立数据集市，这类数据集市有自己的源数据库和ETL架构；另一种是非独立数据集市，这种数据集市没有自己的源系统，它的数据来自数据仓库。当用户或者应用程序不需要/不允许用到整个数据仓库的数据时，非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。
[0042] 本申请提供的一种电网设备NQI大数据系统，通过数据接入模块、数据存储模块、数据计算模块，以及数据服务模块，完成电网设备的质量相关数据的接入、存储与利用，解决电网设备的质量相关数据的整合与利用的问题。
[0043] 以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行
修改或者等同替换，而这些未脱离本发明精神和范围的任何修改或者等同替换，其均在申请待批的本发明的
权利要求保护范围之内。
