首页 / 专利库 / 电脑零配件 / 计算机系统 / 高可用性计算机系统 / 基于多种设备日志复合分析的故障判断方法

基于多种设备日志复合分析的故障判断方法

阅读:766发布:2020-05-08

专利汇可以提供基于多种设备日志复合分析的故障判断方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及 计算机系统 集成及应用技术领域,具体为一种基于多种设备日志复合分析的故障判断方法,通过分布式日志处理 框架 采用中介者模式构建集成化数据 中间层 ,形成集成数据中介管理服务,针对分布式存储日志的检索也通过集成化数据中间层实现,集成化数据中间层负责日志进行采集、格式化、缓存并分发存储于分布式存储 节点 上,存储节点运行于较低性能的 服务器 上;当所述服务状态出现故障时,按预设规则分析所述故障并生成故障码;按预存的故障码与解决方案的对应关系,查找与所述故障码对应的解决方案。本发明设备故障时不再依赖于管理员的人工监控与解决,从而能够及时地解决设备故障,使设备尽快恢复正常,保证了设备高可用性。,下面是基于多种设备日志复合分析的故障判断方法专利的具体信息内容。

1.基于多种设备日志复合分析的故障判断方法,其特征在于:该方法通过分布式日志处理框架采用中介者模式构建集成化数据中间层,形成集成数据中介管理服务;所述集成化数据中间层独立运行于高性能服务器上,主要负责日志进行采集、格式化、缓存并分发存储于分布式存储节点上,同时,针对分布式存储日志的检索也通过集成化数据中间层实现;
该数据中介服务采集设备日志进行分布式存储在各分布式存储点上并进行数据连接,若需增加分布式存储点时,采用分布式存储点动态扩展机制实现;
集成化数据中间层独立运行于高性能服务器上,集成化数据中间层采用JDBC协议对各分布式数据存储节点进行连接,每个数据存储节点都对应单独的管理线程,集成化数据中间层负责日志进行采集、格式化、缓存并分发存储于分布式存储节点上,所述的分布式存储节点通过MariaDB开源存储引擎建立;监控各存储节点的服务器状态;
存储节点运行于较低性能的服务器上,分布式存储节点之间不进行通讯;当所述服务状态出现故障时,按预设规则分析所述故障并生成故障码;按预存的故障码与解决方案的对应关系,查找与所述故障码对应的解决方案。
2.如权利要求1所述的基于多种设备日志复合分析的故障判断方法,其特征在于监控各存储节点的服务器状态,具体方法为:接收各所述节点的主进程的心跳信号;根据所述心跳信号中携带的状态信息监控所述服务器服务状态。
3.如权利要求1所述的基于多种设备日志复合分析的故障判断方法,其特征在于数据中间层实现日志数据分布式存储的核心数据架构是事件分表,事件分表的核心思想在于利用日志数据的特点,将海量日志数据进行合理的分存储在多台存储服务器上并作为数据源子节点;根据各事件分表的数据结构完全一致,只存储格式化后的日志,事件分表可从时间与空间两个维度进行划分。
4.如权利要求1所述的基于多种设备日志复合分析的故障判断方法,其特征在于各分布式存储点由存储节点管理服务进行监控和管理,包括:数据备份、数据恢复、数据中间表统计,并将对各分布式存储节点服务器的监控数据上报至集成化数据中间层。

说明书全文

基于多种设备日志复合分析的故障判断方法

技术领域

[0001] 本发明涉及计算机系统集成及应用技术领域,具体为一种基于多种设备日志复合分析的故障判断方法。

背景技术

[0002] 随着网络环境规模的日益扩大,网络中各种设备的数量急剧增加,来自外部和内部的各种安全和攻击也在急剧增加,威胁着网络信息安全。为了不断应对新的安全挑战,企业和组织先后部署了防病毒系统、防火墙、入侵检测系统、漏洞扫描系统、UTM 等等。在这种复杂的安全体系下,安全审计变的极为重要。安全审计的数据基础是防病毒系统、防火墙、入侵检测系统、漏洞扫描系统、UTM、运行主机、交换机、路由器、数据库系统、中间件等日志事件、状态事件和网络数据包信息。在目前的网络环境中,各种设备的日志已经成为海量数据,syslog 作为主要的日志类型,被各种操作系统,网络设备和安全设备广泛支持,成为日志的重要标准。
[0003] 由于网络中各种设备的数量多、日志量极大,日志数据的复合分析及故障判断效率较低,尤其是在单点存储方案中,调用多个数据库内的数据并进行复合分析的效率非常低下,现有的程序及方法无法有效对全局数据进行有效的复合分析,亟需一种高效率的设备日志复合分析的故障判断方法。

发明内容

[0004] 针对现有的现有的程序及方法无法有效对全局数据进行有效的复合分析的问题,本发明提出一种基于多种设备日志复合分析的故障判断方法。
[0005] 本发明的基于多种设备日志复合分析的故障判断方法,其特征在于:该方法通过分布式日志处理框架采用中介者模式构建集成化数据中间层,形成集成数据中介管理服务;所述集成化数据中间层独立运行于高性能服务器上,主要负责日志进行采集、格式化、缓存并分发存储于分布式存储节点上,同时,针对分布式存储日志的检索也通过集成化数据中间层实现;该数据中介服务采集设备日志进行分布式存储在各分布式存储点上并进行数据连接,若需增加分布式存储点时,采用分布式存储点动态扩展机制实现;
集成化数据中间层独立运行于高性能服务器上,集成化数据中间层采用JDBC协议对各分布式数据存储节点进行连接,每个数据存储节点都对应单独的管理线程,集成化数据中间层负责日志进行采集、格式化、缓存并分发存储于分布式存储节点上,所述的分布式存储节点通过MariaDB开源存储引擎建立;监控各存储节点的服务器状态;
存储节点运行于较低性能的服务器上,分布式存储节点之间不进行通讯;当所述服务状态出现故障时,按预设规则分析所述故障并生成故障码;按预存的故障码与解决方案的对应关系,查找与所述故障码对应的解决方案。
[0006] 具体的,监控各存储节点的服务器状态,具体方法为:接收各所述节点的主进程的心跳信号;根据所述心跳信号中携带的状态信息监控所述服务器服务状态。
[0007] 进一步的,所述数据中间层实现日志数据分布式存储的核心数据架构是事件分表,事件分表的核心思想在于利用日志数据的特点,将海量日志数据进行合理的分存储在多台存储服务器上并作为数据源子节点;根据各事件分表的数据结构完全一致,只存储格式化后的日志,事件分表可从时间与空间两个维度进行划分。
[0008] 进一步的,各分布式存储点由存储节点管理服务进行监控和管理,包括:数据备份、数据恢复、数据中间表统计,并将对各分布式存储节点服务器的监控数据上报至集成化数据中间层。
[0009] 进一步的,所述的分布式存储点动态扩展机制指当需要增加分布式存储点时,从原有存储点中分一个事件分表给新增存储点;从该时刻起,原有存储点不再向该事件分表中写入数据,该存储点中对应的事件分表仅提供查询,新增存储点向该事件分表中写入数据。
[0010] 在现有技术中,对于服务器的故障处理方法为管理员在发现故障后人为处理故障,由于集群规模较大,管理员常常不能及时发现、处理故障,从而可能会造成集群的数据库存储出现严重问题。本发明所提供基于多种设备日志复合分析的故障判断方法,以存储节点为单位,设定监控与故障分析规则,监控各个节点的服务器状态,当发现故障时按预设规则分析故障、生成故障码,并按照预设的故障码与解决方案的对应关系,查找与故障码对应的解决方案,自行解决故障,形成了一套由分布式系统自行发现设备故障并解决故障的方案,使得在分布式系统中设备故障时,不再依赖于管理员的人工监控与解决,从而不仅能够及时地解决设备故障,使设备尽快恢复正常,保证了设备高可用性,还大大减轻了管理员的监控工作压

具体实施方式

[0011] 实施例1:本发明采用过的基于多种设备日志复合分析的故障判断方法,其特征在于:该方法通过分布式日志处理框架采用中介者模式构建集成化数据中间层,形成集成数据中介管理服务;所述集成化数据中间层独立运行于高性能服务器上,主要负责日志进行采集、格式化、缓存并分发存储于分布式存储节点上,同时,针对分布式存储日志的检索也通过集成化数据中间层实现;数据中间层实现日志数据分布式存储的核心数据架构是事件分表,事件分表的核心思想在于利用日志数据的特点,将海量日志数据进行合理的分块存储在多台存储服务器上并作为数据源子节点;根据各事件分表的数据结构完全一致,只存储格式化后的日志,事件分表可从时间与空间两个维度进行划分。
[0012] 该数据中介服务采集设备日志进行分布式存储在各分布式存储点上并进行数据连接,若需增加分布式存储点时,采用分布式存储点动态扩展机制实现;各分布式存储点由存储节点管理服务进行监控和管理,包括:数据备份、数据恢复、数据中间表统计,并将对各分布式存储节点服务器的监控数据上报至集成化数据中间层。
[0013] 集成化数据中间层独立运行于高性能服务器上,集成化数据中间层采用JDBC协议对各分布式数据存储节点进行连接,每个数据存储节点都对应单独的管理线程,集成化数据中间层负责日志进行采集、格式化、缓存并分发存储于分布式存储节点上,所述的分布式存储节点通过MariaDB开源存储引擎建立;监控各存储节点的服务器状态,接收各所述节点的主进程的心跳信号;根据所述心跳信号中携带的状态信息监控所述服务器服务状态。
[0014] 存储节点运行于较低性能的服务器上,分布式存储节点之间不进行通讯;当所述服务状态出现故障时,按预设规则分析所述故障并生成故障码;按预存的故障码与解决方案的对应关系,查找与所述故障码对应的解决方案。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈