一种分布式监控系统及数据采集方法专利检索-计算机系统电脑零配件专利检索查询-专利查询网

一种分布式监控系统及 数据采集方法

阅读：787发布：2024-01-21

专利汇可以提供一种分布式监控系统及数据采集方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种分布式监控系统及数据采集方法，包括用于实现监控数据的采集与上传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数据的组织与管理、以及可视化展示的监控服务端。本系统运行的基础软硬件环境是由国产计算机系统构建，所述系统的监控服务端与监控代理端基于分布式架构实现，可线性扩展，实现大规模计算机集群系统的监控；所述系统的采集方法包括轮询、捕获、代理三种数据采集方法，针对不同平台环境下的数据采集，可以根据被监控对象的资源使用状态及压力负载情况自动调整与选择数据采集方法，最大限度地降低对监控对象作业业务的资源抢占。，下面是一种分布式监控系统及数据采集方法专利的具体信息内容。

权利要求

1.一种分布式监控系统，其特征在于，包括用于实现监控数据的采集与上传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数据的组织与管理、以及可视化展示的监控服务端，所述的监控客户端、监控代理端和监控服务端均互相通信连接，所述的监控客户端包括监控数据采集模块，并用于将本地的实体监控信息上传至监控服务端，所述监控代理端包括数据收集模块，并用于将缓存的监控数据定时上传至监控服务端。
2.根据权利要求1所述的一种分布式监控系统，其特征在于，所述的监控代理端为包括多个分布式代理终端的分布式架构，监控代理端从服务器收集到的监控数据，暂时存储在监控代理端，并定时同步至监控服务端。
3.根据权利要求1所述的一种分布式监控系统，其特征在于，所述的监控服务端包括监控服务端主机和监控服务端备机，监控服务端主机和监控服务端备机互为热备份。
4.根据权利要求1所述的一种分布式监控系统，其特征在于，所述的监控代理端包括主节点与从节点两个组成部分，监控代理端主节点用于与监控服务端进行数据同步通信以及管理采集方式，从节点则为数据收集器，收集监控数据。
5.根据权利要求1所述的一种分布式监控系统，其特征在于，所述的监控客户端、监控代理端和监控服务端均采用国产软硬件系统。
6.一种分布式监控系统的数据采集方法，其特征在于，采用如权利要求1-4任一所述的系统，包括以下采集方式：
方式一，轮询模式，在监控客户端采用本地代理的方式采集监控数据，上传至监控服务端，监控服务端被动接收监控数据；
方式二，捕获模式，在监控服务端采用集成的IPMI、SNMP、JMX、HTTP等协议采集监控客户端数据，监控服务端主动接收监控数据；
方式三，代理模式，在监控服务端与监控客户端数据传输之间采用分布式代理模式，将采集的监控数据缓存在分布式代理服务器群上，并定时上传至监控服务端。
7.根据权利要求6所述的一种分布式监控系统的数据采集方法，其特征在于，监控服务端根据监控客户端被检测指标动态变化剧烈，超过预设的安全阈值范围时采用捕获方式，当检测指标变化平缓，未超过预设的安全阈值范围时采用轮询方式。
8.根据权利要求7所述的一种分布式监控系统的数据采集方法，其特征在于，所述的被检测指标动态变化程度剧烈或平缓是通过预设时间段内数据变化的最高值与最低值的来判断其数据变化的剧烈性，当最高值与最低值相差超过预设的安全阈值时则判定为剧烈，未超过即判断为平缓。
9.根据权利要求6所述的一种分布式监控系统的数据采集方法，其特征在于，当监控服务端无法正常处理大规模的监控数据采集时，采用代理方式，将采集的数据放到监控代理端的缓冲池，并设定上传的时间间隔，同步至监控服务端。

说明书全文

一种分布式监控系统及 数据采集方法

技术领域

[0001] 本发明涉及服务器的监控领域，尤其是应用于大规模服务器群的分布式监控系统，具体设计一种分布式监控系统及数据采集方法。

背景技术

[0002] 随着云计算和大数据的兴起，主流的大规模服务器群的监控与管理都采用松耦合的架构，即跨平台的多样性，不用考虑监控管理服务器的性能，采用通用的商业和开源软件即能满足日常的监控与管理的需求。但是随着国家自主可控的程度化要求日益提高，而国产服务器的性能却远不能达到商用计算机的计算和通用能力，特别是同商业主流的监控软件相互之间兼容性差，抢占低性能服务器的计算资源，还需要对开源或商业源代码移植修改。因此，对于大规模国产服务器群的应用来说，效率低下且移植成本高，而且国产单机性能不足的问题对于监控效率和监控规模有很大的局限性，因此基于国产服务器平台构建监控系统的需求日益突出。

发明内容

[0003] 本发明目的在于解决上述问题，提供了一种基于国产服务器的分布式监控系统及其数据采集方法。通过监控服务端与监控代理端的分布式形式，以及采取自适应的数据采集方法，达到了国产服务器平台构建监控系统的目的，并具有良好的扩展性与可靠性。

[0004] 本发明的技术方案为：一种分布式监控系统，包括用于实现监控数据的采集与上传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数据的组织与管理、以及可视化展示的监控服务端，所述的监控客户端、监控代理端和监控服务端均互相通信连接，所述的监控客户端包括监控数据采集模块，并用于将本地的实体监控信息上传至监控服务端，所述监控代理端包括数据收集模块，并用于将缓存的监控数据定时上传至监控服务端。

[0005] 所述的一种分布式监控系统，所述的监控代理端为包括多个分布式代理终端的分布式架构，监控代理端从服务器收集到的监控数据，暂时存储在监控代理端，并定时同步至监控服务端。

[0006] 所述的一种分布式监控系统，所述的监控服务端包括监控服务端主机和监控服务端备机，监控服务端主机和监控服务端备机互为热备份。

[0007] 所述的一种分布式监控系统，所述的监控代理端包括主节点与从节点两个组成部分，监控代理端主节点用于与监控服务端进行数据同步通信以及管理采集方式，从节点则为数据收集器，收集监控数据。

[0008] 所述的一种分布式监控系统，所述的监控客户端、监控代理端和监控服务端均采用国产软硬件系统。

[0009] 一种分布式监控系统的数据采集方法，采用如权利要求1-4任一所述的系统，包括以下采集方式：

[0010] 方式一，轮询模式，在监控客户端采用本地代理的方式采集监控数据，上传至监控服务端，监控服务端被动接收监控数据；

[0011] 方式二，捕获模式，在监控服务端采用集成的IPMI、SNMP、JMX、HTTP等协议采集监控客户端数据，监控服务端主动接收监控数据；

[0012] 方式三，代理模式，在监控服务端与监控客户端数据传输之间采用分布式代理模式，将采集的监控数据缓存在分布式代理服务器群上，并定时上传至监控服务端。

[0013] 所述的一种分布式监控系统的数据采集方法，监控服务端根据监控客户端被检测指标动态变化剧烈，超过预设的安全阈值范围时采用捕获方式，当检测指标变化平缓，未超过预设的安全阈值范围时采用轮询方式。

[0014] 所述的一种分布式监控系统的数据采集方法，所述的被检测指标动态变化程度剧烈或平缓是通过预设时间段内数据变化的最高值与最低值的来判断其数据变化的剧烈性，当最高值与最低值相差超过预设的安全阈值时则判定为剧烈，未超过即判断为平缓。

[0015] 所述的一种分布式监控系统的数据采集方法，当监控服务端无法正常处理大规模的监控数据采集时，采用代理方式，将采集的数据放到监控代理端的缓冲池，并设定上传的时间间隔，同步至监控服务端。

[0016] 本发明采取上述方案，对比现行方案具有有益的效果是：

[0017] 采用分布式架构设计不但成功应用国产服务器作为监控服务器，还解决了基于国产服务器构建监控系统的性能不足问题，特别是适应未来大规模服务器集群应用的需要。并且监控规模能根据不同应用需求进行裁剪，接入方式简单快捷，具有良好的扩展性和可靠性。再针对国产服务器平台设计的自适应数据采集方法，能从最大程度上减少监控系统对监控对象的资源占用，具有轻量化、高利用特点，使监控系统的代理不再受单台计算机性能瓶颈的制约。

[0018] 高可靠性，从采集、处理、存储提供了合理可靠冗余量，能够有效规避国产服务器初期阶段可靠性设计的不足。

[0019] 高安全性，该监控系统基于国内自主研发的计算机平台设计，在安全上是完全自主可控的监控系统。附图说明

[0020] 图1本发明一个实施例的体系架构图；

[0021] 图2本发明一个实施例的软件架构图。

具体实施方式

[0022] 现结合附图1、2以及一个具体实施例对本发明作进一步的说明。

[0023] 本实施例装置包括包括用于实现监控数据的采集与上传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数据的组织与管理、以及可视化展示的监控服务端，监控客户端、监控代理端和监控服务端均互相通信连接，监控客户端包括监控数据采集模块，并用于将本地的实体监控信息上传至监控服务端，所述监控代理端包括数据收集模块，并用于将缓存的监控数据定时上传至监控服务端。

[0024] 监控代理端为包括多个分布式代理终端的分布式架构，监控代理端从服务器收集到的监控数据，暂时存储在监控代理端，并定时同步至监控服务端。

[0025] 监控服务端包括监控服务端主机和监控服务端备机，监控服务端主机和监控服务端备机互为热备份。

[0026] 监控代理端包括主节点与从节点两个组成部分，监控代理端主节点用于与监控服务端进行数据同步通信以及管理采集方式，从节点则为数据收集器，收集监控数据。

[0027] 监控客户端、监控代理端和监控服务端均采用国产软硬件系统。

[0028] 一种分布式监控系统的数据采集方法，采用上述的系统，包括以下采集方式：

[0029] 方式一，轮询模式，在监控客户端采用本地代理的方式采集监控数据，上传至监控服务端，监控服务端被动接收监控数据；

[0030] 方式二，捕获模式，在监控服务端采用集成的IPMI、SNMP、JMX、HTTP等协议采集监控客户端数据，监控服务端主动接收监控数据；

[0031] 方式三，代理模式，在监控服务端与监控客户端数据传输之间采用分布式代理模式，将采集的监控数据缓存在分布式代理服务器群上，并定时上传至监控服务端。

[0032] 监控服务端根据监控客户端被检测指标动态变化剧烈，超过预设的安全阈值范围时采用捕获方式，当检测指标变化平缓，未超过预设的安全阈值范围时采用轮询方式。

[0033] 被检测指标动态变化程度剧烈或平缓是通过预设时间段内数据变化的最高值与最低值的来判断其数据变化的剧烈性，当最高值与最低值相差超过预设的安全阈值时则判定为剧烈，未超过即判断为平缓。

[0034] 当监控服务端无法正常处理大规模的监控数据采集时，采用代理方式，将采集的数据放到监控代理端的缓冲池，并设定上传的时间间隔，同步至监控服务端。

[0035] 图1出示了本发明的基于国产服务器的分布式监控系统，包括监控服务端、2监控代理端、3监控客户端构成，三者通过局域网连接，其中：

[0036] 监控服务端1包括轮询w1、捕获w2、代理w3数据采集模块、配置11、数据库守护12、警告13、数据库14、WEB服务15模块组成。其中轮询w1为监控的主机定时被动发送监控信息给监控服务端。捕获w2为监控的主机主动发送监控信息给监控服务端。代理w3通过本地代理的方式发送到监控服务端。其中采样频率、轮询主机数、代理缓存大小、数据库同步时间等配置由配置11设定，采集的监控数据通过数据库守护12模块存储于数据库14。并通过WEB服务15模块对数据进行处理，分析与展示监控主机状态。如果监控主机的状态超过一定的安全阈值，则触发警告13模块，警告信息通过消息、邮件、弹窗形式发布。监控服务端通过心跳监听实现主机与备机互为热备，提高监控服务端的可靠性。

[0037] 监控代理端2包括轮询、捕获、代理数据采集模块，监控数据的预处理模块22。监控代理端是通过分布式的方式来扩展监控系统的监控规模，即通过增加监控代理端的服务器数量来扩大监控系统的监控规模。监控代理服务器添加由监控服务端的配置模块配置，接入服务器上安装监控代理程序，即可简单接入监控系统网络，方便快捷。监控代理端与监控客户端通过网络保持通信，收集监控数据，暂时存储至监控代理端的数据库。该端将监控数据均衡分配到每个时间段定时上传，不但避免了数据冲突，而且保证了数据传输的稳定性，以及减少了监控服务端收集监控数据的负载压力。

[0038] 监控客户端3由服务器以及数据采集套件31组成，该集群通过局域网连接构成，主要采集本机的硬件信息、软件信息，以及需要监控的关键应用信息，不局限于CPU、硬盘、风扇、数据库、关键程序等信息。该采集模块由轮询w1、捕获w2、代理w3构成，集成多种采集协议，每个采集模块需要在监控主机上预装。

[0039] 监控服务端、监控代理端、监控客户端三端都安装数据采集守护模块，三个模块通过网络通信。监控服务端定时采集监控主机状态，提前配置监控数据重要性级别、监控实体数量、数据采集频率、轮询对象等参数。当监控主机的资源利用状况与负载压力超过预设的安全阈值，根据以下逻辑规则选择数据采集方法：

[0040] 被监控对象性能不受限时，默认为本地轮询上传；

[0041] 当监控服务端判定被监控单机性能出现一般受限时，本地代理对数据采集规模进行裁剪，只上传本地的关键数据；

[0042] 当出现中度受限时，捕获上传本地的关键数据且采集频率减小；

[0043] 当出现严重受限时，监控客户端以邮件、消息、弹窗的形式预警，并停止数据上传。

[0044] 相应的受限程度根据具体的系统情况来确定，即监控客户端上的性能阈值达到用户预设值时判定为相应受限程度并启用受限厚的数据采集方法。

[0045] 该分布式监控系统部署于国产计算机系统上，监控系统运行的环境主要包括计算机设备、操作系统、数据库、中间件等国产关键软硬件。

[0046] 监控客户端、服务端、监控代理端的服务器数量是可以动态增减的。

[0047] 尽管结合优选实施方案具体展示和介绍了本发明，但所属的技术人员应该知道，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式和细节上对本发明做出各种变化，均为本发明保护的范围。

标题	发布/更新时间	阅读量
数据索引方法及装置	2020-05-08	172
一种FPGA故障自恢复的电路及方法	2020-05-08	906
一种基于区块链的远程抄表方法和系统	2020-05-08	479
神经网络处理方法、计算机系统及存储介质	2020-05-08	367
访问内存的方法、存储级内存及计算机系统	2020-05-11	337
数据访问方法以及计算机系统	2020-05-11	595
一种任务处理方法、装置及计算机系统	2020-05-08	560
报表自动推荐系统、方法及计算机系统	2020-05-08	325
一种测试方法、装置、系统、计算机可读存储介质	2020-05-08	60
确定对于测量心输出量的需要的系统和方法	2020-05-11	860

一种分布式监控系统及数据采集方法

一种分布式监控系统及数据采集方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：