一种用于集群系统的改进ELK日志分析方法专利检索-群件软件计算机系统电脑零配件专利检索查询-专利查询网

一种用于集群系统的改进ELK日志分析方法

阅读：159发布：2020-05-08

专利汇可以提供一种用于集群系统的改进ELK日志分析方法专利检索，专利查询，专利分析的服务。并且本发明涉及软件日志分析技术领域，公开了一种用于集群系统的改进ELK日志分析方法，包括Elasticsearch、Logstash和Kibana，所述Elasticsearch用于实时全文搜索和分析引擎，且Elasticsearch具备搜集、分析和存储三大主要功能，所述Logstash用于搜集、分析和过滤日志，且Logstash支持多类型日志数据。本发明通过kafka工具对中间日志文件进行缓存，再通过合理限制流量阀值输送至Logstash进行过滤，从而提高了日志的传输量，通过Filebeat、kafka、Elasticsearch、Logstash和Kibana集中独立地搜集管理各个服务和服务器上的日志信息，实现集中管理，通过Filebea和kibana对日志展示进行数据展示，处理分析，从而使得日志展示界面整洁、美观，方便操作者使用。，下面是一种用于集群系统的改进ELK日志分析方法专利的具体信息内容。

权利要求

1.一种用于集群系统的改进ELK日志分析方法，包括Elasticsearch、Logstash和Kibana，其特征在于，所述Elasticsearch用于实时全文搜索和分析引擎，且Elasticsearch具备搜集、分析和存储三大主要功能，所述Logstash用于搜集、分析和过滤日志，且Logstash支持多类型日志数据，所述Kibana用于日志分析的前端展现，且Kibana通过Rest 接口对接Elasticsearch来检索、分析日志。
2.根据权利要求1所述的一种用于集群系统的改进ELK日志分析方法，其特征在于，分析方法包括以下步骤：
S1、Web Server服务器通过Logs将日志输出到文件系统；
S2、File Beat通过增量的方式负责收集日志内容，并将日志推送至Kafka队列中进行缓冲，再通过合理限制流量阀值输送至Logstash进行过滤，当File Beat收集的日志内容无实时性要求时，可以通过控制Log文件更新速度限制Beats传输日志流量；
S3、Logstash监控Kafka，将缓冲的日志写入Elasticsearch中存储，由Kibana负责存储的日志读取分析。
3.根据权利要求1所述的一种用于集群系统的改进ELK日志分析方法，其特征在于，所述Kibana是一个基于Web的图形界面，且Kibana用于搜索、分析和可视化存储在Elasticsearch指标中的日志数据，其不仅允许用户创建自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。
4.根据权利要求1所述的一种用于集群系统的改进ELK日志分析方法，其特征在于，所述kafka用于对中间日志文件进行缓存，中间日志文件还可以使用redis进行缓存。
5.根据权利要求1所述的一种用于集群系统的改进ELK日志分析方法，其特征在于，所述Beats包括六种工具：Packetbeat、Metricbea、Filebeat、Winlogbeat、Auditbeat和Heartbeat，所述File Beatt隶属于Beats，且File Beat为一种轻量级日志处理工具，从而可以节省Web Server服务器的资源消耗，并且适合在把各个服务器上面部署收集日志，并直接传输给Web Server服务器，并通过kibana进行日志展示。
6.根据权利要求1所述的一种用于集群系统的改进ELK日志分析方法，其特征在于,所述logs泛指各种日志文件以及日志信息，包括windows日志文件、Linux日志文件、negix日志文件、tomcat日志文件和webserver日志文件，从而可以使得系统支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志，系统还可以从多种来源接收日志。

说明书全文

一种用于集群系统的改进ELK日志分析方法

技术领域

[0001] 本发明涉及软件日志分析技术领域，具体是一种用于集群系统的改进ELK日志分析方法。

背景技术

[0002] 在复杂的企业应用服务群中,记录日志方式多种多样，并且不易归档以及提供日志监控的机制。无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题，也没有高效搜索日志内容从而快速定位问题的方式，因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息，集中管理，并提供良好的UI界面进行数据展示，处理分析，而ELK提供一套开源的解决方案，能高效、简便的满足以上场景，ELK日志系统是Elasticsearch、Logstash、Kiban三个开源软件的组合，在实时数据检索和分析场合，三者通常是配合共用。

[0003] 日志收集在单机中存储,当在多台服务器集群时，需要考虑日志文件的同步问题，同时现有的日志收集方案，在遇到高并发的情况下，会出现处理能力不足的情况，由于logstash消耗性能较高，在高并发场景容易遇到流量上的瓶颈，即使使用logstash集群也是如此，情况并没有得到改观，中国专利公开了一种基于ELK和Zabbix的日志分析监控系统和方法(公告号CN110309030A)，该专利技术通过对目标日志数据进行监控，若监控到目标日志数据存在异常，进行告警，并且可以可视化显示日志数据，使得日志数据直观显示，但是其没有对日志进行缓存处理，进而导致Logstash消耗性能较高，容易在高并发场景容易遇到流量上的瓶颈。因此，本领域技术人员提供了一种用于集群系统的改进ELK日志分析方法，以解决上述背景技术中提出的问题。

发明内容

[0004] 本发明的目的在于提供一种用于集群系统的改进ELK日志分析方法，以解决上述背景技术中提出的问题。

[0005] 为实现上述目的，本发明提供如下技术方案：

[0006] 一种用于集群系统的改进ELK日志分析方法，包括Elasticsearch、Logstash和Kibana，所述Elasticsearch用于实时全文搜索和分析引擎，且Elasticsearch具备搜集、分析和存储三大主要功能，所述Logstash用于搜集、分析和过滤日志，且Logstash支持多类型日志数据，所述Kibana用于日志分析的前端展现，且Kibana通过Rest 接口对接Elasticsearch来检索、分析日志。

[0007] 作为本发明进一步的方案：分析方法包括以下步骤：

[0008] S1、Web Server服务器通过Logs将日志输出到文件系统；

[0009] S2、File Beat通过增量的方式负责收集日志内容，并将日志推送至Kafka队列中进行缓冲，再通过合理限制流量阀值输送至Logstash进行过滤，当File Beat收集的日志内容无实时性要求时，可以通过控制Log文件更新速度限制Beats传输日志流量；

[0010] S3、Logstash监控Kafka，将缓冲的日志写入Elasticsearch中存储，由Kibana负责存储的日志读取分析。

[0011] 作为本发明再进一步的方案：所述Kibana是一个基于Web的图形界面，且Kibana用于搜索、分析和可视化存储在Elasticsearch指标中的日志数据，其不仅允许用户创建自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

[0012] 作为本发明再进一步的方案：所述kafka用于对中间日志文件进行缓存，中间日志文件还可以使用redis进行缓存，从而可以避免Logstash消耗过多的资源，解决了在高并发场景容易遇到流量上的瓶颈，提高了系统的处理能力。

[0013] 作为本发明再进一步的方案：所述Beats包括六种工具：Packetbeat、Metricbea、Filebeat、Winlogbeat、Auditbeat和Heartbeat，所述File Beatt隶属于Beats，且File Beat为一种轻量级日志处理工具，从而可以节省Web Server服务器的资源消耗，并且适合在把各个服务器上面部署收集日志，并直接传输给Web Server服务器。

[0014] 作为本发明再进一步的方案：所述logs泛指各种日志文件以及日志信息，包括windows日志文件、Linux日志文件、negix日志文件、tomcat日志文件和webserver日志文件，从而可以使得系统支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志，系统还可以从多种来源接收日志。

[0015] 与现有技术相比，本发明的有益效果：

[0016] 1、通过kafka工具对中间日志文件进行缓存，再通过合理限制流量阀值输送至Logstash进行过滤，从而提高了日志的传输量，进而解决了在高并发场景容易遇到流量上的瓶颈，提高了系统的处理能力。

[0017] 2、通过Filebeat、kafka、Elasticsearch、Logstash和Kibana集中独立地搜集管理各个服务和服务器上的日志信息，实现集中管理，通过Filebea把各个服务器上面日志部署收集，直接传输给Web Server服务器，并且通过kibana进行日志展示进行数据展示，处理分析，从而使得日志展示界面整洁、美观，方便操作者使用。附图说明

[0018] 图1为一种用于集群系统的改进ELK日志分析方法的工作原理图；

具体实施方式

[0019] 请参阅图1，本发明实施例中，一种用于集群系统的改进ELK日志分析方法，包括Elasticsearch、Logstash和Kibana，Elasticsearch用于实时全文搜索和分析引擎，Elasticsearch具备搜集、分析和存储三大主要功能，Logstash用于搜集、分析和过滤日志，Logstash支持多类型日志数据，Kibana用于日志分析的前端展现，Kibana通过Rest接口对接Elasticsearch来检索、分析日志。

[0020] 优先的，分析方法包括以下步骤：

[0021] S1、Web Server服务器通过Logs将日志输出到文件系统；

[0022] S2、File Beat通过增量的方式负责收集日志内容，并将日志推送至Kafka队列中进行缓冲，再通过合理限制流量阀值输送至Logstash进行过滤，当File Beat收集的日志内容无实时性要求时，可以通过控制Log文件更新速度限制Beats传输日志流量；

[0023] S3、Logstash监控Kafka，将缓冲的日志写入Elasticsearch中存储，由Kibana负责存储的日志读取分析。

[0024] 优先的，Kibana是一个基于Web的图形界面，Kibana用于搜索、分析和可视化存储在Elasticsearch指标中的日志数据，其不仅允许用户创建自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

[0025] 优先的，kafka用于对中间日志文件进行缓存，中间日志文件还可以使用redis进行缓存，从而可以避免Logstash消耗过多的资源，解决了在高并发场景容易遇到流量上的瓶颈，提高了系统的处理能力。

[0026] 优先的，Beats包括六种工具：Packetbeat、Metricbea、Filebeat、Winlogbeat、Auditbeat和Heartbeat，File Beatt隶属于Beats，File Beat为一种轻量级日志处理工具，从而可以节省Web Server服务器的资源消耗，并且适合在把各个服务器上面部署收集日志，并直接传输给Web Server服务器，并通过kibana进行日志展示。

[0027] 优先的，logs泛指各种日志文件以及日志信息，包括windows日志文件、Linux日志文件、negix日志文件、tomcat日志文件和webserver日志文件，从而可以使得系统支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志，系统还可以从多种来源接收日志。

[0028] 以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

标题	发布/更新时间	阅读量
一种高清变焦镜头和安防摄像装置	2020-05-08	899
一种面向用户需求变化的微服务自适应方法及系统	2020-05-08	26
一种基于骨骼点检测的无人机快速姿势控制系统与方法	2020-05-08	493
一种存储集群中的消息通知处理方法及装置	2020-05-08	536
一种数据迁移方法	2020-05-08	115
一种用于集群系统的改进ELK日志分析方法	2020-05-08	159
一种在防腐基础上现场制作安装玻璃钢群罐的装置	2020-05-11	552
一种便携式防水鞋	2020-05-11	353
一种高性能录波主站架构	2020-05-08	970
皮膚損傷の処置に使用するための細菌セクレトーム	2020-05-11	589

一种用于集群系统的改进ELK日志分析方法

一种用于集群系统的改进ELK日志分析方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：