首页 / 专利库 / 电脑编程 / 临时别名 / 一种基于日志通用性规则引擎的规则处理方法

一种基于日志通用性规则引擎的规则处理方法

阅读:629发布:2020-05-13

专利汇可以提供一种基于日志通用性规则引擎的规则处理方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于日志通用性 规则引擎 的规则处理方法,包括:步骤S100):规则配置,设定需要作用在日志数据上的规则,规则包括统计规则、指令规则和过滤规则;步骤S200):规则解析,将配置好的规则进行解析,并加载到规则引擎中对日志进行处理;步骤S300):对接收的日志数据按照规则进行过滤、匹配处理;步骤S400):对数据聚合结合做研判处理或者结构化处理,并将处理后的数据存入 数据库 或消息队列。本发明通过统计规则、指令规则、过滤规则的设计,针对不同的源日志数据进行处理,同时基于 时间窗 口的设计,将聚合统计的计算次数控制在最小,大大提高了日志在规则引擎上处理的能 力 。,下面是一种基于日志通用性规则引擎的规则处理方法专利的具体信息内容。

1.一种基于日志通用性规则引擎的规则处理方法,其特征在于,包括:
步骤S100):规则配置,设定需要作用在日志数据上的规则,所述规则包括统计规则、指令规则和过滤规则;
步骤S200):规则解析,将配置好的规则进行解析,并加载到规则引擎中对日志进行处理;
步骤S300):对接收的日志数据按照规则进行过滤、匹配处理;
步骤S400):对数据聚合结合做研判处理或者结构化处理,并将处理后的数据存入数据库或消息队列。
2.根据权利要求1所述的一种基于日志通用性规则引擎的规则处理方法,其特征在于,所述步骤S100)中:
统计规则包括统计别名、统计算法、统计字段、时间窗口和统计规则表达式,所述统计算法作用在所述统计字段上,所述统计规则表达式只包括匹配表达式;
指令规则包括规则别名、时间窗口和指令规则表达式,所述指令规则表达式包括匹配表达式和研判表达式;
过滤规则只包括过滤匹配表达式。
3.根据权利要求2所述的一种基于日志通用性规则引擎的规则处理方法,其特征在于,所述步骤S100)中还包括指令设计,所述指令设计包括指令别名、告警时间间隔、最终告警时间、剩余告警次数和指令规则集,所述指令规则集中的各规则是“与”的关系。
4.根据权利要求3所述的一种基于日志通用性规则引擎的规则处理方法,其特征在于,所述步骤S300)具体包括:
步骤S310):接收日志数据,并判断对所述日志数据是否设置了过滤规则,如果是,则进入步骤S320,否则进入步骤S330);
步骤S320):采用过滤规则的过滤匹配表达式进行处理,进入下一步;
步骤S330):分别采用统计规则表达式的匹配表达式和令规则表达式的匹配表达式进行数据处理,进入步骤S400)。
5.根据权利要求4所述的一种基于日志通用性规则引擎的规则处理方法,其特征在于,所述步骤S330)中采用指令规则表达式的匹配表达式进行处理的步骤包括:
A1:在时间窗口的临时桶保存当前时间点的数据,聚合上一个时间点的数据;
A2:指令中的所有规则均遍历使用聚合的结果进行研判;
A3:当所有规则均研判通过,指令触发,产生告警数据。
6.根据权利要求5所述的一种基于日志通用性规则引擎的规则处理方法,其特征在于,所述步骤S400)具体包括:
用指令规则处理的日志数据的数据聚合结果进行研判处理,如果研判成功,收集指令告警结构化数据,存入数据库或消息队列;
用统计规则处理的日志数据的数据聚合结果进行结构化处理,处理后直接存入数据库或消息队列。

说明书全文

一种基于日志通用性规则引擎的规则处理方法

技术领域

[0001] 本发明涉及规则设计、规则解析和日志数据领域,具体的说,是一种基于日志通用性规则引擎的规则处理方法。

背景技术

[0002] 随着互联网迅速普及和蓬勃发展,大型企业软件应用日趋成熟、庞大,各个企业公司的日志数据也逐渐得到相关人员的高度重视。公司和企业开始利用自己的日志数据进行统计和分析,来为公司业务的发展走向做出更优的决策和业务安全保驾护航,日志数据的价值远远大于他未被发现时的价值,公司和企业为了打造自己的专属业务日志分析处理系统,但是这些系统基本上是针对该类业务日志,对于其他类的应用日志则需要再配置一套另外的系统,表面上该系统并不具备通用性,实则是规则引擎不具备通用性。

发明内容

[0003] 本发明的目的在于提供一种基于日志通用性规则引擎的规则处理方法,用于解决现有技术中不同类型的应用日志需要在不同的业务日志分析处理系统上处理的问题。
[0004] 本发明通过下述技术方案解决上述问题:
[0005] 一种基于日志通用性规则引擎的规则处理方法,包括:
[0006] 步骤S100):规则配置,设定需要作用在日志数据上的规则,所述规则包括统计规则、指令规则和过滤规则;
[0007] 步骤S200):规则解析,将配置好的规则进行解析,并加载到规则引擎中对日志进行处理;
[0008] 步骤S300):对接收的日志数据按照规则进行过滤、匹配处理;
[0009] 步骤S400):对数据聚合结合做研判处理或者结构化处理,并将处理后的数据存入数据库或消息队列。
[0010] 进一步地,所述步骤S100)中:
[0011] 统计规则包括统计别名、统计算法、统计字段、时间窗口和统计规则表达式,所述统计算法作用在所述统计字段上,所述统计规则表达式只包括匹配表达式;
[0012] 指令规则包括规则别名、时间窗口和指令规则表达式,所述指令规则表达式包括匹配表达式和研判表达式;
[0013] 过滤规则只包括过滤匹配表达式。
[0014] 进一步地,所述步骤S100)中还包括指令设计,所述指令设计包括指令别名、告警时间间隔、最终告警时间、剩余告警次数和指令规则集,所述指令规则集中的各规则是“与”的关系。
[0015] 进一步地,所述步骤S300)具体包括:
[0016] 步骤S310):接收日志数据,并判断对所述日志数据是否设置了过滤规则,如果是,则进入步骤S320,否则进入步骤S330);
[0017] 步骤S320):采用过滤规则的过滤匹配表达式进行处理,进入下一步;
[0018] 步骤S330):分别采用统计规则表达式的匹配表达式和令规则表达式的匹配表达式进行数据处理,进入步骤S400)。
[0019] 进一步地,所述步骤S330)中采用指令规则表达式的匹配表达式进行处理的步骤包括:
[0020] A1:在时间窗口的临时桶保存当前时间点的数据,聚合上一个时间点的数据;
[0021] A2:指令中的所有规则均遍历使用聚合的结果进行研判;
[0022] A3:当所有规则均研判通过,指令触发,产生告警数据。
[0023] 进一步地,所述步骤S400)具体包括:
[0024] 用指令规则处理的日志数据的数据聚合结果进行研判处理,如果研判成功,收集指令告警结构化数据,存入数据库或消息队列;
[0025] 用统计规则处理的日志数据的数据聚合结果进行结构化处理,处理后直接存入数据库或消息队列。
[0026] 本发明与现有技术相比,具有以下优点及有益效果:
[0027] (1)本发明通过统计规则、指令规则、过滤规则的设计,针对不同的源日志数据进行处理,采用同一套规则引擎,便可轻松统计和分析出各类日志的相关数据;同时基于时间窗口的设计,将聚合统计的计算次数控制在最小,大大提高了日志在规则引擎上处理的能
[0028] (2)根据滑动的时间窗口,通用型规则引擎匹配的数据根据数据时间节点处理,将当前时间点的数据保存到临时桶中,将上个节点(前一个临时桶中)的数据聚合进行研判,有效保证性能的稳定性和高效性。附图说明
[0029] 图1为本发明的流程图
[0030] 图2为指令规则时间窗口匹配处理示意图。

具体实施方式

[0031] 下面结合实施例对本发明作进一步地详细说明,但本发明的实施方式不限于此。
[0032] 实施例1:
[0033] 结合附图1所示,一种基于日志通用性规则引擎的规则处理方法,包括:
[0034] 步骤S100):规则配置,设定需要作用在日志数据上的规则,所述规则包括统计规则、指令规则和过滤规则,其中:
[0035] 统计规则包括统计别名、统计算法、统计字段、时间窗口和统计规则表达式,所述统计算法作用在所述统计字段上,所述统计规则表达式只包括匹配表达式;
[0036] 指令规则包括规则别名、时间窗口和指令规则表达式,所述指令规则表达式包括匹配表达式和研判表达式;
[0037] 过滤规则只包括过滤匹配表达式。
[0038] 还包括指令设计,所述指令设计包括指令别名、告警时间间隔、最终告警时间、剩余告警次数和指令规则集,所述指令规则集中的各规则是“与”的关系。
[0039] 步骤S200):规则解析,将配置好的规则进行解析,并加载到规则引擎中对日志进行处理;
[0040] 步骤S300):对接收的日志数据按照规则进行过滤、匹配处理,具体包括:
[0041] 步骤S310):接收日志数据,并判断对所述日志数据是否设置了过滤规则,如果是,则进入步骤S320,否则进入步骤S330);
[0042] 步骤S320):采用过滤规则的过滤匹配表达式进行处理,进入下一步;
[0043] 步骤S330):采用统计规则表达式的匹配表达式进行数据处理,采用指令规则表达式的匹配表达式进行数据处理,具体如下:
[0044] A1:在时间窗口的临时桶保存当前时间点的数据,聚合上一个时间点(若以秒级计算,则计算上一秒)的数据;
[0045] A2:指令中的所有规则均遍历使用聚合的结果进行研判;
[0046] A3:当所有规则均研判通过,指令触发,产生告警数据。
[0047] 结合附图2所示,需要在RULE-01,RULE-02,RULE-03均匹配的情况下,即当前时间点为8时,会聚合计算时间点7的数据,然后研判,时间点为7时,规则集中所有规则均触发,则指令触发,产生告警数据。
[0048] 步骤S400):对数据聚合结合做研判处理或者结构化处理,并将处理后的数据存入数据库或消息队列。
[0049] 用指令规则处理的日志数据的数据聚合结果进行研判处理,如果研判成功,收集指令告警结构化数据,存入数据库或消息队列;
[0050] 用统计规则处理的日志数据的数据聚合结果进行结构化处理,处理后直接存入数据库或消息队列。
[0051] 规则设计主要包括两类:统计规则的设计、指令规则的设计以及过滤规则。
[0052] 统计规则包括统计别名、统计算法、统计字段、时间窗口、统计规则表达式。统计算法作用在统计字段之上,统计规则表达式中只包括匹配表达式,统计规则表达式(匹配表达式)中涉及到匹配算法、逻辑运算符、算术运算符、匹配算法作用的字段。统计规则表达式设计如表1。
[0053]
[0054] 表1统计规则表达式
[0055] 匹配算法:统计规则中匹配算法支持值匹配和正则匹配;
[0056] 匹配字段:匹配字段为提取的可选特征字段;
[0057] 分隔符:统计规则设计中采用英文冒号“:”作为分隔符;
[0058] 关系运算符:支持>、<、>=、<=、==运算符;
[0059] 值:正则匹配算法时值可以为字符串,否则值必须为数字类型或不等表达式如34*23+(34+23*12);
[0060] 逻辑运算符:支持and与or,必须用空格将前后表达式分割。
[0061] 统计规则中的统计算法支持count、sum、average、unique_count、percentile、topn等。
[0062] 指令规则的设计包括规则别名、时间窗口、指令规则表达式。指令规则表达式由匹配表达式和研判表达式组成,其中匹配表达式中涉及到匹配算法、逻辑运算符、算术运算符、匹配算法作用的字段,研判表达式中涉及到研判算法、逻辑运算符、关系运算符、研判算法作用的字段。
[0063] 指令的设计包括指令别名、告警时间间隔、最终告警时间、剩余告警次数、指令规则集。其中指令规则集是指规则的集合,规则集中所有的规则匹配成功后指令才会触发告警,即规则集中各规则之间是“与”的关系。指令规则表达式设计如表2:
[0064]
[0065] 表2指令规则表达式
[0066] 匹配算法:统计规则中匹配算法支持值匹配和正则匹配;
[0067] 匹配字段:匹配字段为提取的可选特征字段;
[0068] 分隔符:统计规则设计中采用英文冒号“:”作为分隔符;
[0069] 关系运算符:支持>、<、>=、<=、==运算符;
[0070] 值:正则匹配算法时值可以为字符串,否则值必须为数字类型或不等表达式如34*23+(34+23*12);
[0071] 逻辑运算符:支持and与or,必须用空格将前后表达式分割;
[0072] 研判字段:当前研判字段仅以justify做标识;
[0073] 研判算法:研判算法支持count、sum、average、unique_count、percentile、frequency(frequency_count)等。
[0074] 过滤规则。过滤规则仅仅只包含过滤匹配表达式,通过过滤匹配表达式对日志数据进行过滤处理,保证最终处理的数据为该过滤条件下的数据。过滤规则在某些应用场景是非常有意义的,如统计WEB访问日志,某个API下出现响应码的占比,此时的这个占比是在该API下出现的各个响应码之间的比例关系,这个过滤条件仅仅需要过滤这个API即可。过滤规则并不独立存在,而是通过与统计规则和指令规则进行组合,在统计规则和指令规则处理之前,会优先进行过滤规则处理。过滤规则表达式设计如表3。
[0075]
[0076] 表3过滤规则表达式
[0077] 过滤规则表达式在语法上类似统计规则表达式。
[0078] 对不同来源的日志,可以根据预处理后的结构化数据进行特征字段进行处理,可以灵活的配置用户需要的统计规则和指令规则,以及过滤规则;统计规则单条独立,指令规则实际应用较为广泛的是组合规则集,应用组合规则集能处理日志数据,达到一种通用型的规则引擎的设计。
[0079] 尽管这里参照本发明的解释性实施例对本发明进行了描述,上述实施例仅为本发明较佳的实施方式,本发明的实施方式并不受上述实施例的限制,应该理解,本领域技术人员可以设计出很多其他的修改和实施方式,这些修改和实施方式将落在本申请公开的原则范围和精神之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈