一种基于流计算的OPC数据实时采集监控智能系统及方法专利检索-基于段的缓存广播专利检索查询-专利查询网

一种基于流计算的OPC数据实时采集监控智能系统及方法

阅读：207发布：2020-05-08

专利汇可以提供一种基于流计算的OPC数据实时采集监控智能系统及方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种基于流计算的OPC数据实时采集监控智能系统及方法，包括OPC数采服务器、OPC集控管理服务器、Kafka 数据处理模块、OPC客户端。OPC数采服务器通过标准的OPC 接口从工业车间现场设备接收数据，将接收的实时数据存储到全厂实时数据库中，根据任务需求将数据传输到集控管理服务器上；Kafka数据处理模块接收监测数据放于分布式的消息队列中进行缓存，并构建一种基于流计算的处理架构对数据进行统一处理和存储。本发明简化了数据采集流程，提高了现场设备层、车间监控层和管理者决策层的集成能力；提高了监测结果推送和数据处理访问的实时性解决了响应速度低的问题，同时保证了数据的可靠性。，下面是一种基于流计算的OPC数据实时采集监控智能系统及方法专利的具体信息内容。

权利要求

1.一种基于流计算的OPC数据实时采集监控智能系统，其特征在于：包括OPC数采服务器、OPC集控管理服务器、Kafka 数据处理模块、OPC客户端，
所述OPC数采服务器通过标准的OPC 接口从工业车间现场设备接收数据，将接收的实时数据存储到全厂实时数据库中，根据任务需求将数据传输到OPC集控管理服务器上；
所述OPC集控管理服务器内设置MES接口和存储资源的分配，根据任务需求存储所述OPC数采服务器中的数据，通过Web Service标准接口服务，从MES系统获取生产计划工单，并把数据写入Kafka，经过数据处理后，存储至关系数据库，所述OPC集控管理服务器中的全厂实时数据为数据分析的基础，可以从OPC数采服务器中的数据库中恢复；
所述Kafka数据处理模块包括数据缓存模块、数据实时流计算模块和数据存储模块三个部分，将各动能设备的实时监控数据以流的方式，发布到所述数据缓存模块的Kafka分布式消息队列中进行缓存处理，所述数据实时流计算模块内设置计算组件，对监测数据进行实时处理后存入所述数据存储模块中，所述数据存储模块包括各类数据库和文件系统；
所述OPC客户端是数据的使用方，包括用户界面模块、数据通讯模块和定制结构模块，与所述OPC集控管理服务器之间采用同步或异步方式进行数据访问。
2.根据权利要求1所述的一种基于流计算的OPC数据实时采集监控智能系统，其特征在于：所述OPC数采服务器包括对象模块、通信管理模块、数据存储模块和用户界面模块四个模块，所述对象模块设置OPC规范的接口方法，实现符合OPC规范的各种对象，所述通信管理模块内设置终端采用的通信方式及其参数、数据协议，采用工业以太网实现数据采集通讯工作，所述数据存储模块包括本地历史数据库和全厂实时数据库，所述用户界面模块是对服务器的管理，包括采集设备、组合项的添加，将从现场设备采集的数据备份到本地历史数据库中，并将读取的实时数据存储到所述全厂实时数据库中。
3.一种基于流计算的OPC数据实时采集监控方法，其特征在于，采用权利要求1或2所述的智能系统，且步骤如下：
步骤一、OPC数据采集
1.1、现场设备的PLC控制器通过底层协议把设备中的数据信息传到OPC数采服务器，数据采集接口通过OPC协议采集OPC数采服务器的数据，可通过OPCDA访问接口程序，以访问任何一种现场总线所提供的OPCDA服务，并将采集的数据保存到本地历史数据库里进行缓存备份，数据采集接口从实时数据库中将数据提取出来，通过OPC协议，采用边采边计算的“流式计算”方式将采集的数据进行T时间窗口内的累计用量将数据传输到对应的OPC集控管理服务器的实时数据库中存储；
1.2、通过数据采集程序，从能管系统中获取各计量点在各时点的数据，将数据存于能管集控服务器的Oracle数据库中；
1.3、采集能源现场设备告警信息，将不关注的告警信息过滤掉，筛选出重要的告警信息，以便将信息推送给订阅者；
1.4、通过Web Service标准接口服务，从MES系统获取生产计划工单，经过数据处理后，存储至关系数据库中；
步骤二、实时数据存储
通过对所采集数据特性的分析，建立流计算处理整体架构和批处理整体架构，对数据统一进行处理和存储，以分布式的数据存储方式，根据存储配置将OPC集控管理服务器采集的实时数据点按主题分区存储到Kafka数据处理模块中，以便OPC客户端向系统提出订阅任务，并对Kafka数据处理模块的数据库中的数据进行分析诊断；
步骤三：实时数据查询
将查询请求分解到不同的实时数据库实例执行，并对查询结果进行归并，根据上一个T窗口内管道或设备自身引起的压力、流量的变化，以及生产工艺段发生的变化，结合上一个T窗口内的实际流量趋势及窗口内用量，滚动修正预测模型，预测下一个T时间窗口内的流量和用量的正常分布区域图，将仿真的流量曲线和实际的运行曲线实时对比，调用能源预警策略库，将落入仿真分布区域以外的流量数据以及能源质量异常数据，进行预警；
步骤四：实时数据订阅
根据订阅请求中的采集点信息进行订阅任务，如果订阅的任务为读请求，将订阅数据序列化成二进制流返回给客户端，若为写请求，将采集点名及采集点值，由OPC客户端输入到OPC 服务器中；
步骤五：现场设备的运行决策
通过订阅的数据决策出现场设备运行时间。

说明书全文

一种基于流计算的OPC数据实时采集监控智能系统及方法

技术领域

[0001] 本发明涉及车间各类设备的能源数据采集技术领域，具体涉及一种基于流计算的OPC数据实时采集监控智能系统及方法。

背景技术

[0002] 工业现场如卷烟厂动力车间锅炉、空调、制冷、空压、除尘、排潮等动能设备种类多、分布广，为了实现众多动能设备的有效运行，提高工业生产中信息管理与生产过程自动化水平，提高生产质量和效益，需要保障动力设备能源数据的安全性、可靠性和及时性，以及实时分析数据的稳定性。这就要求数据采集监控系统有如下具体要求：①能够实现现场各种设备的异构数据的实时收集；②能够对大量数据进行实时传输；③对整体动能的监视管控。

[0003] 而工业系统使用现有终端技术普遍存在以下问题：（1）工业现场由于使用的设备接口不统一，常规的数据传输系统无法满足多种通信协议的数据访问；（2）数据采集量大且更新速度快，动能管控信息服务平台中海量监测数据不能长久保存于关系型数据库中，且占用的存储空间大，不利于高效的检索查询，影响数据的实时性，不能及时预测或诊断现场设备的运行状况；（3）一般增量抽取的方法所抽取的数据准确性和性能不能两全，捕获的数据对最终的业务决策会有所影响。

发明内容

[0004] 为了解决上述的技术问题，本发明的第一个目的是提供一种基于流计算的OPC数据实时采集监控智能系统，该系统在恰当的时间为决策者提供恰当的信息，以作出准确的决策，提高工业生产的效率。本发明的第二个目的是提供使用该系统的数据实时采集监控方法。

[0005] 为了实现上述第一个目的，本发明采用了以下的技术方案：一种基于流计算的OPC数据实时采集监控智能系统，包括OPC数采服务器、OPC集控管理服务器、Kafka 数据处理模块、OPC客户端，
所述OPC数采服务器通过标准的OPC接口从工业车间现场设备接收数据，将接收的实时数据存储到全厂实时数据库中，根据任务需求将数据传输到OPC集控管理服务器上；
所述OPC集控管理服务器内设置MES接口和存储资源的分配，根据任务需求存储所述OPC数采服务器中的数据，通过Web Service标准接口服务，从MES系统获取生产计划工单，并把数据写入Kafka，经过数据处理后，存储至关系数据库，所述OPC集控管理服务器中的全厂实时数据为数据分析的基础，可以从OPC数采服务器中的数据库中恢复；
所述Kafka数据处理模块包括数据缓存模块、数据实时流计算模块和数据存储模块三个部分，将各动能设备的实时监控数据以流的方式，发布到所述数据缓存模块的Kafka分布式消息队列中进行缓存处理，所述数据实时流计算模块内设置计算组件，对监测数据进行实时处理后存入所述数据存储模块中，所述数据存储模块包括各类数据库和文件系统；
所述OPC客户端是数据的使用方，包括用户界面模块、数据通讯模块和定制结构模块，与所述OPC集控管理服务器之间采用同步或异步方式进行数据访问。

[0006] 作为优选方案：所述OPC数采服务器包括对象模块、通信管理模块、数据存储模块和用户界面模块四个模块，所述对象模块设置OPC规范的接口方法，实现符合OPC规范的各种对象，所述通信管理模块内设置终端采用的通信方式及其参数、数据协议，采用工业以太网实现数据采集通讯工作，所述数据存储模块包括本地历史数据库和全厂实时数据库，所述用户界面模块是对服务器的管理，包括采集设备、组合项的添加，将从现场设备采集的数据备份到本地历史数据库中，并将读取的实时数据存储到所述全厂实时数据库中。

[0007] 为了实现上述第二个目的，本发明采用了以下的技术方案：一种基于流计算的OPC数据实时采集监控方法，采用上述的智能系统，且步骤如下：
步骤一、OPC数据采集
1.1、现场设备的PLC控制器通过底层协议把设备中的数据信息传到OPC数采服务器，数据采集接口通过OPC协议采集OPC数采服务器的数据，可通过OPCDA访问接口程序，以访问任何一种现场总线所提供的OPCDA服务，并将采集的数据保存到本地历史数据库里进行缓存备份，数据采集接口从实时数据库中将数据提取出来，通过OPC协议，采用边采边计算的“流式计算”方式将采集的数据进行T时间窗口内的累计用量将数据传输到对应的OPC集控管理服务器的实时数据库中存储；
1.2、通过数据采集程序，从能管系统中获取各计量点在各时点的数据，将数据存于能管集控服务器的Oracle数据库中；
1.3、采集能源现场设备告警信息，将不关注的告警信息过滤掉，筛选出重要的告警信息，以便将信息推送给订阅者；
1.4、通过Web Service标准接口服务，从MES系统获取生产计划工单，经过数据处理后，存储至关系数据库中；
步骤二、实时数据存储
通过对所采集数据特性的分析，建立流计算处理整体架构和批处理整体架构，对数据统一进行处理和存储，以分布式的数据存储方式，根据存储配置将OPC集控管理服务器采集的实时数据点按主题分区存储到Kafka数据处理模块中，以便OPC客户端向系统提出订阅任务，并对Kafka数据处理模块的数据库中的数据进行分析诊断；
步骤三：实时数据查询
将查询请求分解到不同的实时数据库实例执行，并对查询结果进行归并，根据上一个T窗口内管道或设备自身引起的压力、流量的变化，以及生产工艺段发生的变化，结合上一个T窗口内的实际流量趋势及窗口内用量，滚动修正预测模型，预测下一个T时间窗口内的流量和用量的正常分布区域图，将仿真的流量曲线和实际的运行曲线实时对比，调用能源预警策略库，将落入仿真分布区域以外的流量数据以及能源质量异常数据，进行预警；
步骤四：实时数据订阅
根据订阅请求中的采集点信息进行订阅任务，如果订阅的任务为读请求，将订阅数据序列化成二进制流返回给客户端，若为写请求，将采集点名及采集点值，由OPC客户端输入到OPC 服务器中；
步骤五：现场设备的运行决策
通过订阅的数据决策出现场设备运行时间。

[0008] 本发明与现有技术相比，具有如下优点和有益效果：1、本发明所涉及的智能终端的数据采集协议为OPC协议，使软件开发者不需过多地知道硬件的操作过程，简化了数据采集流程，提高了现场设备层、车间监控层和管理者决策层的集成能力；
2、本发明对实时数据的采用分布式的存储方式，提高了监测结果推送和数据处理访问的实时性解决了响应速度低的问题，同时保证了数据的可靠性；
3、本发明采用基于流计算的数据处理技术，提供给OPC客户端设备生产中各类设备工作的数据，而数据的实时抽取需要实时的传送，采用Kafka分布式消息队列的方式传送数据，能够在客户和服务器之间提供同步和异步的连接，在任何时间进行消息的可靠传输和存储。
附图说明

[0009] 图1是本发明所述的OPC数据采集与监控智能终端总体框架图；图2是本发明所述的流计算处理的整体架构图；
图3是本发明Kafka队列系统架构图；
图4是本发明动能监测数据缓存队列模型图。

具体实施方式

[0010] 为了相关技术人员更清晰的了解本发明的技术方案，现结合附图对本发明做进一步的详细说明。

[0011] 参见图1，本实施例公开了一种OPC实时数据采集监控系统，与工厂自动化系统的信息集成，快速收集动力管控相关系统数据，并对生产过程统一集成与监测，整体架构包括现场设备层、数据采集处理层以及监控数据服务层，所述数据采集处理层包括数据采集模块和Kafka数据处理模块。

[0012] 所述现场设备层中工业生产动力管控体系的设备，通过相同的接口类型连接，其PLC控制器与OPC数采服务器的数据接口连接，OPC是为了连接数据源(OPC服务器)和数据的使用者(OPC应用程序)之间的软件接口标准。

[0013] 所述数据采集模块根据数据采集清单和任务运行要求（基于给定时间点/给定时间间隔/给定执行次数），采用定时器的方式触发任务的执行，支持任务的生成、编辑和删除，包括数采服务OPC解析、能管系统数据采集、设备告警信息采集、MES系统数据采集、气象数据采集和工厂周边微环境的监测采集。

[0014] 所述数采服务OPC解析是上层应用程序通过OPC接口与OPC服务器进行数据交互，间接获取现场信息访问现场总线设备中的数据信息，本发明中通过OPCDA访问接口程序，可以访问任何一种总线所提供的OPCDA服务，根据OPC协议解析数据后，把解析后的数据写入Kafka服务器；所述能管系统数据采集，是从能管系统获取各计量点在各时点的数据，采集后的数据写入Kafka；所述设备告警信息采集，是通过设备告警信息过滤掉不关注的告警信息后，筛选出重要的告警信息，并把数据写入Kafka，Kafka把数据推送至订阅者；所述MES系统数据采集，是通过Web Service标准接口服务，从MES系统获取生产计划工单，并把数据写入Kafka，经过数据处理后，存储至关系数据库；所述气象数据采集，是通过订购气象数据服务获取下一日各时段的温度、湿度预报数据（和空调启动有关），把数据写入Kafka；所述工厂周边微环境的监测采集是对工厂周边的微环境主要包括厂区周边的温湿度、车间内部、库房等对空间内工作环境有影响的气候因子，根据采集的微环境信息决策动能的运行状况。

[0015] 所述Kafka数据处理模块包括数据缓存模块、数据实时流计算模块和数据存储模块三个部分，以各动能设备的监控数据作为数据输入源，采用基于消息队列的方式，将流数据缓存于Kafka中，利用流计算组件对采集的监测数据进行实时处理，最后将计算结果存于各类数据库或文件系统中。

[0016] 所述监控数据服务层即OPC客户端，是数据的使用方，与OPC集控管理服务器之间采用同步或异步方式进行数据访问。

[0017] 参见图2，本实施例涉及的一种流计算处理整体架构，主要包括数据缓存模块、数据实时流计算模块和数据存储模块三个部分。以各动能设备的监控数据作为数据输入源，将其发布到Kafka分布式消息队列的不同主题分区中，Kafka消息队列将对监控数据进行缓存处理，Spark Streaming流计算模块使用数据读取组件从Kafka消息队列的不同主题中拉取监测数据，之后传递给计算组件对监测数据进行实时处理，计算完成后通过存储组件将计算结果存入数据库或文件系统中。

[0018] 本发明采用Spark Streaming进行流式计算，通过该框架实现高吞吐量的、具备容错机制的实时流数据的处理，已被成功用于多个领域的实时性场景中。Spark Streaming支持从多种数据源获取数据，包括Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP Sockets。为了实现对动能管控信息服务平台中海量监测数据的分布式缓存与低延迟处理，构建Spark Streaming实时流计算模型和Kafka分布式消息队列。

[0019] 本发明应用Kafka技术，一个分布式消息队列系统，针对海量且复杂的数据进行分布式缓存和传输。该技术具有高效的持久化能力、高吞吐率、支持集群缓存节点间的消息分区，具有良好的在线水平扩展能力等优点。上层应用可以通过消息队列来独立处理消息，解决异步通信、应用解耦、信息峰值压力等问题。

[0020] 参见图3，本发明涉及一种Kafka队列系统架构，该架构由ZooKeeper集群对 Kafka 消息队列进行协调服务，整个 Kafka 集群主要由消息生产者(Producer)、消息缓存节点(Broker)、消息消费者(Consumer)组成。消息生产者主要包括数采服务OPC解析、能管系统数据、设备告警信息以及MES系统数据等信息，消息生产者首先将消息推送到 Kafka 集群节点的主题分区中缓存，然后由流计算集群节点按照订阅要求，主动拉取所需主题的分区消息，这种消息获取方式使消息消费者可以根据自身消费情况自主选择消费模式，并且能够控制消息的拉取速度，这样可避免消息传输过快导致消息堆积的情况，同时可以提高消息消费者的消息处理效率。

[0021] 参见图4，本发明涉及一种利用Kafka消息队列分布式发布订阅监控系统的整体架构。动力车间采集到的设备运行和传感器数据首先作为消息生产者发布消息到消息缓存节点当中。在一个消息缓存节点当中包含一个领导者节点和多个跟随者节点，在领导者节点和跟随者节点中，分别存储有同一个故障报警主题中的不同分区，在节点之间可进行监测数据的副本同步备份，该副本备份机制可有效应对流计算集群中某节点突然宕机而造成的监测数据丢失问题。当动力车间将设备运行和传感器数据发布到分布式消息队列后，流计算集群中的Kafka数据读取、越限检测、故障报警和报警统计等组件将作为消息消费者从故障报警主题和能耗报警主题中拉取监测数据进行流式计算。为使整个流计算集群有序协调地运行，集群中的消息的生产者、消息缓存节点和消息消费者均将状态值注册到Zookeeper集群当中，使得Zookeeper集群能够协调分配消息队列的全局资源。

[0022] 以上所述的仅是本发明的优选实施方式。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明原理的情况下，还可以作出若干改进和变型，这也视为本发明的保护范围。

标题	发布/更新时间	阅读量
一种地图瓦片缓存方法及装置	2020-05-11	435
基于SCADA系统的风电场故障数据采集系统及采集方法	2020-05-12	624
不活动模式操作	2020-05-08	657
一种基于Linux系统实现路由器的portal认证报文转发方法和装置	2020-05-11	619
一种基于SDN控制器的DoS/DDoS攻击防御模块及方法	2020-05-12	935
一种交易验证方法及装置	2020-05-08	168
一种TTFC网络的任务调度模型及消息调度表生成方法	2020-05-11	801
将第一标识符映射到第二标识符	2020-05-12	362
基于云端的终端识别系统及识别方法	2020-05-08	694
一种基于FPGA的PCIe转三总线接口及方法	2020-05-08	589

一种基于流计算的OPC数据实时采集监控智能系统及方法

一种基于流计算的OPC数据实时采集监控智能系统及方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：