一种基于网络设备的数据采集系统及方法专利检索-规则引擎软件组件软件解决方案软件专利检索查询-专利查询网

一种基于网络设备的 数据采集系统及方法

阅读：1发布：2020-10-03

专利汇可以提供一种基于网络设备的数据采集系统及方法专利检索，专利查询，专利分析的服务。并且本发明提供一种基于网络设备的数据采集系统及方法，该系统包括采集引擎及规则引擎；所述采集引擎包括采集控制器、定时调度框架、消息服务接口、命令控制插件、设备发现插件、设备采集插件以及规则引擎；当采集系统启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；采集控制器用于接收系统监控控制命令；设备采集插件安装完毕后，采集控制器按照安装顺序依次启动设备采集插件，在启动过程中为设备采集插件分配调度作业以及数据上报；设备采集插件启动后按照之前分配的调度作业依据对应的监控协议工具获取设备数据，通过消息服务接口将数据上报给规则引擎。其应用实现实时检测，跨地区灵活部署，监控代理热部署。，下面是一种基于网络设备的数据采集系统及方法专利的具体信息内容。

权利要求

1.一种基于网络设备的数据采集系统，其特征在于：包括采集引擎及规则引擎；所述采集引擎包括采集控制器、定时调度框架、消息服务接口、命令控制插件、设备发现插件、设备采集插件以及规则引擎；当采集系统启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；所述采集控制器用于接收系统监控控制命令；设备采集插件安装完毕后，采集控制器按照安装顺序依次启动设备采集插件，在启动过程中为设备采集插件分配调度作业以及数据上报；设备采集插件启动后按照之前分配的调度作业依据对应的监控协议工具获取设备数据，通过消息服务接口将数据上报给规则引擎。
2.根据权利要求1所述的基于网络设备的数据采集系统，其特征在于：还包括用于监控、处理采集数据的监控引擎。
3.根据权利要求2所述的基于网络设备的数据采集系统，其特征在于：所述监控引擎运行框架使用Apache Felix框架，主控器接收控制台命令进行监控引擎的安装、启停、卸载操作，监控引擎启动后由工具服务提供定时的协议操作与消息数据处理操作接口完成监控任务。
4.根据权利要求1所述的基于网络设备的数据采集系统，其特征在于：所述采集引擎OSGI容器。
5.一种基于网络设备的数据采集方法，其特征在于，包括以下步骤：
S1：当采集器启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；
S2：设备采集插件采集基本指标时首先判断采集是否为性能数据，若基础指标为性能数据则直接采集，将数据存入内存中，并进入S4；若基础指标非性能指标则执行S3；
S3：采集设备关于此指标的数据并与嵌入式数据库中的信息进行对比；若数据库中取值为空或者两者数据不一致，则将其指标数据存入内存中并更新数据库中的信息，最终将这些基础指标数据传送至规则引擎；
S4：规则引擎对基础指标数据根据相关策略进行加工处理，并将处理之后的数据通过消息服务接口将这些设备数据上报至上一级MQ，由监控引擎进行监控。
6.根据权利要求5所述的基于网络设备的数据采集方法，其特征在于：S4中监控引擎对数据的监控包括以下步骤：
S41：采集引擎启动时向消息服务器发送启动信息，其中包括代理ID，安装位置，内置采集代理信息；
S42：系统控制台通过监听消息服务队列收到监控引擎启动信息；
S43：系统控制台将引擎信息存储在数据库引擎运行信息表中；
S44：系统控制台读取监控引擎信息；
S45：系统控制台:下发监控代理同步命令；
S46：监控引擎中的引擎控制器接收引擎同步命令，通过广播命令中引擎ID判断是否为自己的命令信息；
S47：监控引擎确认命令信息后，向系统控制台通过HTTP 请求方式下载引擎关联的监控代理；
S48：监控引擎控制器将下载到引擎安装目录下的监控代理解压并安装启动，开始执行监控任务。
7.根据权利要求5所述的基于网络设备的数据采集方法，其特征在于：S3中规则引擎进行如下处理：
S31：规则引擎启动加载指标告警阈值规则；
S32：监控引擎上报监控数据，规则引擎接收监控数据；规则引擎预先存储的应用规则处理监控数据；并将指标、告警数据存入内存队列；
S33：规则引擎将告警信息推送至语音消息队列、拓扑消息队列；
S34：规则引擎存储器将指标、告警信息更新存储至缓存并存储至数据库；
S35：系统控制台读取实时指标、告警信息；或系统控制台根据需求读取历史指标、告警信息；
S36：语音告警终端接收告警信息并播报；且拓扑展现接收告警信息。
8.根据权利要求5所述的基于网络设备的数据采集方法，其特征在于：采集引擎第一次启动时需通过脚本命令人工启动主程序。
9.根据权利要求5所述的基于网络设备的数据采集方法，其特征在于：还包括S5：由系统控制台对系统进行维护后通过MQ给采集引擎发送命令，命令完成后会给固定MQ的固定队列发送部署成功的命令。

说明书全文

一种基于网络设备的数据采集系统及方法

技术领域

[0001] 本发明属于数据采集领域，具体涉及一种基于网络设备的数据采集系统及方法。

背景技术

[0002] 随着信息化应用的不断加深，企业对信息系统的依赖程度越发紧密。任何应用设备的故障都会对业务的正常运行造成非常大的影响。因此，采集网络资源（防火墙、交换机、路由器、主机、中间件及数据库等）的配置、运行、性能等数据，为有效判断设备运行情况提供依据。然而市场上的类似工具多以使用线程池与系统集成运行的运行方式。

[0003] 基于J2EE和.NET为基础技术平台，采用SNMP、SSH、PING、JDBC等协议进行网络设备、主机、数据库、中间件运行状态和配置信息的采集、展示和管理的自有开发技术。

发明内容

[0004] 有鉴于此，本发明提供一种基于网络设备的数据采集系统及方法。

[0005] 本发明采用以下技术方案：一种基于网络设备的数据采集系统，其包括采集引擎及规则引擎；所述采集引擎包括采集控制器、定时调度框架、消息服务接口、命令控制插件、设备发现插件、设备采集插件以及规则引擎；当采集系统启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；所述采集控制器用于接收系统监控控制命令；设备采集插件安装完毕后，采集控制器按照安装顺序依次启动设备采集插件，在启动过程中为设备采集插件分配调度作业以及数据上报；设备采集插件启动后按照之前分配的调度作业依据对应的监控协议工具获取设备数据，通过消息服务接口将数据上报给规则引擎。

[0006] 进一步的，还包括用于监控、处理采集数据的监控引擎。

[0007] 较佳的，所述监控引擎运行框架使用Apache Felix框架，主控器接收控制台命令进行监控引擎的安装、启停、卸载操作，监控引擎启动后由工具服务提供定时的协议操作与消息数据处理操作接口完成监控任务。

[0008] 本发明还提供一种基于网络设备的数据采集方法，其包括以下步骤：S1：当采集器启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；S2：设备采集插件采集基本指标时首先判断采集是否为性能数据，若基础指标为性能数据则直接采集，将数据存入内存中，并进入S4；若基础指标非性能指标则执行S3；S3：采集设备关于此指标的数据并与嵌入式数据库中的信息进行对比；若数据库中取值为空或者两者数据不一致，则将其指标数据存入内存中并更新数据库中的信息，最终将这些基础指标数据传送至规则引擎；S4：规则引擎对基础指标数据根据相关策略进行加工处理，并将处理之后的数据通过消息服务接口将这些设备数据上报至上一级MQ，由监控引擎进行监控。

[0009] 进一步的，S4中监控引擎对数据的监控包括以下步骤：S41：采集引擎启动时向消息服务器发送启动信息，其中包括代理ID，安装位置，内置采集代理信息；S42：系统控制台通过监听消息服务队列收到监控引擎启动信息；S43：系统控制台将引擎信息存储在数据库引擎运行信息表中；S44：系统控制台读取监控引擎信息；S45：系统控制台:下发监控代理同步命令；S46：监控引擎中的引擎控制器接收引擎同步命令，通过广播命令中引擎ID判断是否为自己的命令信息；S47：监控引擎确认命令信息后，向系统控制台通过HTTP 请求方式下载引擎关联的监控代理；S48：监控引擎控制器将下载到引擎安装目录下的监控代理解压并安装启动，开始执行监控任务。

[0010] 进一步的，S3中规则引擎进行如下处理：S31：规则引擎启动加载指标告警阈值规则；S32：监控引擎上报监控数据，规则引擎接收监控数据；规则引擎预先存储的应用规则处理监控数据；并将指标、告警数据存入内存队列；S33：规则引擎将告警信息推送至语音消息队列、拓扑消息队列；S34：规则引擎存储器将指标、告警信息更新存储至缓存并存储至数据库；S35：系统控制台读取实时指标、告警信息；或系统控制台根据需求读取历史指标、告警信息；S36：语音告警终端接收告警信息并播报；且拓扑展现接收告警信息。

[0011] 进一步的，采集引擎第一次启动时需通过脚本命令人工启动主程序。

[0012] 进一步的，还包括S5：由系统控制台对系统进行维护后通过MQ给采集引擎发送命令，命令完成后会给固定MQ的固定队列发送部署成功的命令。

[0013] 与现有技术相比，本发明的技术方案对网络设备即应用实现实时检测，跨地区灵活部署，监控代理热部署。附图说明

[0014] 图1为采集引擎的主要结构原理框图。

[0015] 图2为监控引擎的结构示意图。

[0016] 图3为主要流程示意图。

[0017] 图4为监控引擎监控流程示意图。

[0018] 图5为规则引擎报警流程示意图。

[0019] 图6为采集引擎采集流程图。

具体实施方式

[0020] 下面结合附图和具体实施例对本发明做进一步解释说明。

[0021] 一种基于网络设备的数据采集系统，其包括采集引擎及规则引擎；所述采集引擎包括采集控制器、定时调度框架、消息服务接口、命令控制插件、设备发现插件、设备采集插件以及规则引擎；当采集系统启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；所述采集控制器用于接收系统监控控制命令；设备采集插件安装完毕后，采集控制器按照安装顺序依次启动设备采集插件，在启动过程中为设备采集插件分配调度作业以及数据上报；设备采集插件启动后按照之前分配的调度作业依据对应的监控协议工具获取设备数据，通过消息服务接口将数据上报给规则引擎。主要结构原理图参见图1。

[0022] 启动采集系统由采集控制器负责接收系统监控控制命令，收到系统发来的执行监控命令，控制器会按照命令描述向系统申请设备采集插件，并自动下载安装。收到停止监控命令，控制器会按照需要命令停止指定的监控任务并卸载设备采集插件。

[0023] 采集器工作过程：（1）将采集代理安装至各被监控设备所属网络，并配置采集消息接口可以接通消息服务。

[0024] （2）启动采集器由采集控制器负责接收系统监控控制命令，收到系统发来的执行监控命令，控制器会按照命令描述向系统申请设备采集插件，并自动下载安装。收到停止监控命令，控制器会按照需要命令停止指定的监控任务并卸载设备采集插件。

[0025] （3）设备采集插件安装完毕后，控制器按照安装顺序依次启动设备采集插件，在启动过程中为采集插件分配调度作业，以及数据上报消息接口服务。

[0026] （4）设备采集插件启动后会按照之前分配的调度作业依据对应的监控协议工具获取设备数据，通过消息服务接口将数据上报给规则引擎进行指标告警数据。

[0027] 进一步的，还包括用于监控、处理采集数据的监控引擎。

[0028] 较佳的，所述监控引擎运行框架使用Apache Felix框架，主控器接收控制台命令进行监控引擎的安装、启停、卸载操作，监控引擎启动后由工具服务提供定时的协议操作与消息数据处理操作接口完成监控任务。结构示意图参见图2。

[0029] 其中采集引擎采用OSGI技术（Open Service Gateway Initiative 面向java的动态模型）开发平台，基于OSGI可灵活采集扩展的框架，OSGi平台已经标准化了一个执行环境，能够被动态安装、开启、关闭、更新和卸载监控代理。实现了灵活部署与数据传输。

[0030] 本发明还提供一种基于网络设备的数据采集方法，其包括以下步骤：S1：当采集器启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；S2：设备采集插件采集基本指标时首先判断采集是否为性能数据，若基础指标为性能数据则直接采集，将数据存入内存中，并进入S4；若基础指标非性能指标则执行S3；S3：采集设备关于此指标的数据并与嵌入式数据库中的信息进行对比；若数据库中取值为空或者两者数据不一致，则将其指标数据存入内存中并更新数据库中的信息，最终将这些基础指标数据传送至规则引擎；S4：规则引擎对基础指标数据根据相关策略进行加工处理，并将处理之后的数据通过消息服务接口将这些设备数据上报至上一级MQ，由监控引擎进行监控。具体流程示意图参见图3。

[0031] 进一步的，S4中监控引擎对数据的监控包括以下步骤：S41：采集引擎启动时向消息服务器发送启动信息，其中包括代理ID，安装位置，内置采集代理信息；S42：系统控制台通过监听消息服务队列收到监控引擎启动信息；S43：系统控制台将引擎信息存储在数据库引擎运行信息表中；S44：系统控制台读取监控引擎信息；S45：系统控制台:下发监控代理同步命令；S46：监控引擎中的引擎控制器接收引擎同步命令，通过广播命令中引擎ID判断是否为自己的命令信息；S47：监控引擎确认命令信息后，向系统控制台通过HTTP请求方式下载引擎关联的监控代理；S48：监控引擎控制器将下载到引擎安装目录下的监控代理解压并安装启动，开始执行监控任务。流程示意图参见图4。

[0032] 进一步的，S3中规则引擎进行如下处理：S31：规则引擎启动加载指标告警阈值规则；S32：监控引擎上报监控数据，规则引擎接收监控数据；规则引擎预先存储的应用规则处理监控数据；并将指标、告警数据存入内存队列；S33：规则引擎将告警信息推送至语音消息队列、拓扑消息队列；S34：规则引擎存储器将指标、告警信息更新存储至缓存并存储至数据库；S35：系统控制台读取实时指标、告警信息；或系统控制台根据需求读取历史指标、告警信息；S36：语音告警终端接收告警信息并播报；且拓扑展现接收告警信息。流程示意图参见图5。

[0033] 进一步的，采集引擎第一次启动时需通过脚本命令人工启动主程序。

[0034] 进一步的，还包括S5：由系统控制台对系统进行维护后通过MQ给采集引擎发送命令，命令完成后会给固定MQ的固定队列发送部署成功的命令。

[0035] 具体采集引擎的过程示意图参见图6。采集引擎被放置在某网段的应用服务器上，第一次启动时通过脚本命令人工启动主程序，以后就不需要人工对其进行操作了。

[0036] 管理控制台在完成了一系列的维护工作之后，会通过消息队列给采集代理发送命令，命令中包括了命令的名称和参数。例如安装监控模板命令，采集代理在第一次启动后是没有采集实例在运行的。它会监听固定MQ的固定主题，当获取到对应ID的安装监控模板的指令后，会将命令中的参数转化成模板bundle，部署至自己的文件内。部署完成后会给固定MQ的固定队列发送部署成功的命令。之后按照部署的监控模板中的参数频率，启动不同频率的调度程序，按照监控模板中的资源信息去连接特定的资源获取参数信息，将信息进行整理发送到固定MQ的固定队列上。

[0037] 以上是本发明型的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

标题	发布/更新时间	阅读量
一种软件应用自动化测试方法	2020-09-14	3
汽车驾驶人驾驶技能练习辅导和考试评分装置及实现方法	2021-05-19	2
业务规则处理装置和业务规则处理方法	2021-09-18	1
多参与者游戏体系结构	2022-07-07	1
基于关注度的同源信息搜索引擎聚合显示方法	2021-11-30	2
采用人工智能技术自动产生标题的方法	2022-01-15	0
ONLINE TRAVEL RESERVATION SYSTEM AND METHOD DELIVERING RESTRICTION-AWARE TRAVEL OPPORTUNITIES	2021-12-29	2
RULES AND METHOD FOR IMPROVING IMAGE SEARCH RELEVANCE THROUGH GAMES	2022-01-17	2
Converting text content to a set of graphical icons	2020-12-04	3
SYSTEM AND METHOD FOR GENERATING GRAMMATICALLY CORRECT TEXT STRINGS	2022-08-18	1

一种基于网络设备的数据采集系统及方法

一种基于网络设备的数据采集系统及方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：