专利汇可以提供一种基于规则生成的DPI解析方法和系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于规则自动生成的DPI解析方法和系统,方法包括S1:监控模 块 根据现有规则库应用情况,识别规则库中 覆盖 率偏差异常规则和当前主要未识别业务,当业务识别率低于 阈值 时,进入步骤S2;S2:将未识别业务的特征与规则库进行关联度匹配,若关联,则根据关联度最高的特征生成识别规则,若不关联,进入步骤S3;S3:对未识别业务进行协议域名、uri提取,提取成功时,通过爬虫自动爬取域名生成识别规则,并更新规则库的DPI识别规则;提取不成功时,通过人工抓包、拨测、分析,生成识别规则;S4:利用更新的规则库的DPI识别规则进行DPI解析。本发明在满足DPI应用识别的同时,提高DPI应用识别的时效性和覆盖率,保障DPI识别规则的机密性。,下面是一种基于规则生成的DPI解析方法和系统专利的具体信息内容。
1.一种基于规则生成的DPI解析方法,其特征在于,包括以下步骤:
S1:监控模块根据现有规则库应用情况,识别规则库中覆盖率偏差异常规则和当前主要未识别业务,当业务识别率低于阈值时,进入步骤S2;
S2:将未识别业务的特征与规则库进行关联度匹配,若关联,则根据关联度最高的特征生成识别规则,若不关联,进入步骤S3;
S3:对未识别业务进行协议域名、uri提取,提取成功时,通过爬虫自动爬取域名生成识别规则,并更新规则库的DPI识别规则;提取不成功时,通过人工抓包、拨测、分析,生成识别规则;
S4:利用更新的规则库的DPI识别规则进行DPI解析。
2.根据权利要求1所述的基于规则生成的DPI解析方法,其特征在于,步骤S3中更新规则库的DPI识别规则前对生成的识别规则进行加密,步骤S4中利用更新的规则库的DPI识别规则进行DPI解析时,先对识别规则进行解密。
3.根据权利要求1所述的基于规则生成的DPI解析方法,其特征在于,步骤S4包括以下步骤:
S4.1:将DPI识别规则编译成spark程序并将spark程序上传至集群,建立规则临时表;
S4.2:生成DPI解析任务计划Map;
S4.3:读取数据源表;
S4.4:执行spark程序,解析数据源表的数据;
S4.5:删除规则临时表;
S4.6:输出DPI解析结果。
4.根据权利要求3所述的基于规则生成的DPI解析方法,其特征在于,步骤S4.1中将DPI识别规则编译成spark程序,具体包括以下步骤:
S4.1.1:系统初始化:通过传入的参数,所述参数包括需要处理数据日期,设定系统时间;
S4.1.2:读取任务计划配置文件信息,通过任务计划配置文件中的步骤配置信息stepConfig读取任务计划的所有步骤steps的配置;
S4.1.3:通过所有步骤steps的配置,生成对应的任务计划Map,其中,key是临时表名,value是SQL;
S4.1.4:源数据配置文件:sourceTable.properties;根据配置读取不同数据源的读取方式,如果是parquet或者orc格式的数据,通过路径和执行时间配置成hdfs路径,将数据读取到spark中,并注册临时表;如果是jdbc的方式,则使用jdbc配置连接oracle,并将指定的表在spark上注册成临时表;
S4.1.5:遍历执行任务计划Map,通过sparkSQL将任务计划中的SQL按顺序执行,并将结果数据写入到目标表中。
5.根据权利要求4所述的基于规则生成的DPI解析方法,其特征在于,步骤S4.1.3包括以下步骤:
S4.1.3.1:普通步骤为产生临时表,通过直接封装临时表名,和SQL封装成任务计划Map,所述普通步骤在hive上直接执行;
S4.1.3.2:规则步骤为将配置好的规则组装成SQL,再变为临时表;规则步骤包括读取数据库、解密、组合;具体为先取规则id,通过jdbc读取指定规则,组装成case when语句;根据任务计划步骤配置中各个列的别名信息,为每个列设定别名;利用任务计划步骤配置中的来源表信息,和前面组装成的SQL,将组装好的SQL与任务计划配置中的临时表名封装成任务计划Map。
6.根据权利要求3所述的基于规则生成的DPI解析方法,其特征在于,步骤S4.3中的数据源表包括234G话单、家宽话单。
7.一种基于规则生成的DPI解析系统,其特征在于,包括:
监控模块,所述监控模块分析现有规则库应用情况,识别并告警规则库中覆盖率偏差异常规则和当前主要未识别业务,触发DPI规则自检测识别引擎自动推导,保障规则库更新的及时性;
DPI规则自检测识别引擎,将未识别业务的特征与规则库进行关联度匹配,若关联,则根据关联度最高的特征生成识别规则,若不关联,则对未识别业务进行协议域名、uri提取,提取成功时,通过爬虫自动爬取域名生成识别规则,并更新规则库的DPI识别规则;提取不成功时,通过人工抓包、拨测、分析,生成识别规则;
Spark模块,根据配置文件或者程序内容,将新的DPI规则编译成spark程序,利用管理模块将spark程序提交到集群运行;
管理模块,调度所有DPI任务,包括规则更新上传、spark任务、跨集群传输任务;
集群,spark程序在集群运行,实现DPI解析。
8.根据权利要求7所述的基于规则生成的DPI解析系统,其特征在于,还包括传输模块,所述传输模块调用多租户平台提供的跨集群API实现跨集群传输任务。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种信息点数据冗余的判别方法和设备 | 2020-05-08 | 1038 |
一种知识图谱驱动型的法律智能咨询系统 | 2020-05-12 | 820 |
内容分发网络服务提供方法及处理系统 | 2020-05-13 | 254 |
一种业务功能链操作、管理和维护方法及节点设备 | 2020-05-13 | 544 |
基于要素和关系的交互式展示方法 | 2020-05-08 | 899 |
一种无监督学习的空间信号源和室内位置关联的方法 | 2020-05-12 | 612 |
实现多个社交媒体别名的社交媒体平台 | 2020-05-12 | 570 |
防癌药及其配方 | 2020-05-14 | 151 |
SQL语句的执行方法、装置、设备和存储介质 | 2020-05-11 | 648 |
物流订单的自动分配方法及装置、电子设备、存储介质 | 2020-05-13 | 353 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。