基于ZORRO系统的数据挖掘任务创建方法专利检索-数据挖掘挖矿资料储存系统专利检索查询-专利查询网

基于ZORRO系统的 数据挖掘任务创建方法

阅读：948发布：2020-05-11

专利汇可以提供基于ZORRO系统的数据挖掘任务创建方法专利检索，专利查询，专利分析的服务。并且本发明公开了基于ZORRO系统的数据挖掘任务创建方法，包括：在ZORROWEB系统中填写ZORRO任务配置信息，调用配置生成接口生成数据挖掘计划任务服务所需的DLL文件和XML文件，启动数据挖掘计划任务，校验计划任务，设定任务执行计划，选择数据挖掘计划任务运行模式，根据数据总量分配计划任务处理线程数，为每个处理线程分配需要挖掘的数据，执行数据挖掘任务。本发明能够满足定制化复杂逻辑数据挖掘应用场景的数据同步，解决了任务停止产生的数据同步中断问题以及页面查询响应速度慢的问题，大大提高了用户体验。，下面是基于ZORRO系统的数据挖掘任务创建方法专利的具体信息内容。

权利要求

1.基于ZORRO系统的数据挖掘任务创建方法，其特征在于，所述方法包括：
S1：根据数据挖掘任务要求在ZORRO WEB系统中填写ZORRO任务配置信息；
S2：调用ZORRO API配置生成接口，根据ZORRO任务配置信息生成数据挖掘计划任务服务所需的DLL文件和XML文件；
S3：检测到有新的ZORRO任务配置信息产生，根据配置文件要求，启动执行数据挖掘计划任务；
S4：启动数据挖掘计划任务自检线程，校验包括任务配置、计划执行时间在内的参数信息，并设定任务执行计划；
S5：根据预先设定的数据挖掘计划任务运行模式执行数据挖掘计划任务；
S6：查询参与本次数据挖掘计划任务的数据总量，并根据数据总量自动分配数据挖掘计划任务的处理线程数；
S7：将处理线程加入线程调度队列，并为处理线程分配需要挖掘的数据，执行对应的处理线程任务，对应的处理线程任务执行完毕后校验处理结果；
S8：重复步骤S7直到所有处理线程全部运行完毕，回收本次数据挖掘计划任务所占用的系统资源。
2.如权利要求1所述的基于ZORRO系统的数据挖掘任务创建方法，其特征在于，所述数据挖掘计划任务运行模式包括：极速模式和普通模式。
3.如权利要求2所述的基于ZORRO系统的数据挖掘任务创建方法，其特征在于，所述方法还包括在普通模式下，需要将数据挖掘任务运行信息记录至数据库。
4.如权利要求1所述的基于ZORRO系统的数据挖掘任务创建方法，其特征在于，所述方法还包括：
在数据挖掘计划任务执行过程中，生成数据挖掘计划任务的运行日志和实时日志，包括：程序错误日志、程序异常日志、程序调试日志、程序普通日志，在ZORRO WEB系统中可以查看全部日志内容。
5.如权利要求1所述的基于ZORRO系统的数据挖掘任务创建方法，其特征在于，所述方法还包括：
数据挖掘任务执行之前，在IIS服务器上部署ZORRO WEB系统、ZORRO API系统，创建DLL文件和XML文件的执行路径，以及安装ZORRO数据挖掘计划任务服务，并将1)DLL文件和XML文件的执行路径；2)数据挖掘计划任务的日志存放路径写入配置文件中。

说明书全文

基于ZORRO系统的数据挖掘任务创建方法

技术领域

[0001] 本发明涉及数据挖掘技术，属于基于ZORRO系统的数据挖掘任务创建方法。

背景技术

[0002] 目前在大数据领域的各种应用中，存在着各种各样复杂的数据情况，例如：数据量大，数据结构复杂、数据表设计不合理，这些情况将导致数据查询速度慢，页面数据呈现困难，数据模型建立难度大，客户体验较差等问题。现有业界通用的各种软件或工具，多数应用于数据全量或增量同步，对于处理客户提出的复杂数据同步场景，则无法满足要求，这使得技术人员通常需要重复编写各种计划任务来适应客户提出的各种数据同步应用场景，产生了开发成本增加，项目开发周期变长，运维难度变大等问题，对项目交付造成一定的影响。

发明内容

[0003] 本发明的目的在于提供一种基于ZORRO系统的数据挖掘任务创建方法，包括：在ZORRO WEB系统中填写ZORRO任务配置信息，调用配置生成接口生成数据挖掘计划任务服务所需的DLL文件和XML文件，启动数据挖掘计划任务，校验计划任务，设定任务执行计划，选择数据挖掘计划任务运行模式，根据数据总量分配计划任务处理线程数，为每个处理线程分配需要挖掘的数据，执行数据挖掘任务。本发明能够满足定制化复杂逻辑数据挖掘应用场景的数据同步，解决了任务停止产生的数据同步中断问题以及页面查询响应速度慢的问题，大大提高了用户体验。

[0004] 为达到上述目的，本发明提供如下技术方案：

[0005] S1：根据数据挖掘任务要求在ZORRO WEB系统中填写ZORRO任务配置信息。

[0006] S2：调用ZORRO API配置生成接口，根据ZORRO任务配置信息生成数据挖掘计划任务服务所需的DLL文件和XML文件。

[0007] S3：检测到有新的ZORRO任务配置信息产生，根据配置文件要求，启动执行数据挖掘计划任务。

[0008] S4：启动数据挖掘计划任务自检线程，校验包括任务配置、计划执行时间在内的参数信息，并设定任务执行计划。

[0009] S5：根据预先设定的数据挖掘计划任务运行模式执行数据挖掘计划任务。

[0010] S6：查询参与本次数据挖掘计划任务的数据总量，并根据数据总量自动分配数据挖掘计划任务的处理线程数。

[0011] S7：将处理线程加入线程调度队列，并为处理线程分配需要挖掘的数据，执行对应的处理线程任务，对应的处理线程任务执行完毕后校验处理结果。

[0012] S8：重复步骤S7直到所有处理线程全部运行完毕，回收本次数据挖掘计划任务所占用的系统资源。

[0013] 进一步地，所述数据挖掘计划任务运行模式包括：极速模式和普通模式，在普通模式下，需要将数据挖掘任务运行信息记录至数据库。

[0014] 进一步的，所述方法还包括：

[0015] 在数据挖掘计划任务执行过程中，生成数据挖掘计划任务的运行日志和实时日志，包括：程序错误日志、程序异常日志、程序调试日志、程序普通日志，在ZORRO WEB系统中可以查看全部日志内容。

[0016] 进一步的，在数据挖掘任务执行之前，在IIS服务器上部署ZORRO WEB系统、ZORRO API系统，创建DLL文件和XML文件的执行路径，以及安装ZORRO数据挖掘计划任务服务，并将1)DLL文件和XML文件的执行路径；2)数据挖掘计划任务的日志存放路径写入配置文件中。

[0017] 本发明的有益效果在于：

[0018] (1)解决了页面功能查询响应速度慢的问题，大大提高了页面响应速度，提高了客户体验。

[0019] (2)满足定制化的复杂逻辑需求场景的数据同步，弥补了现有市面上仅支持全量或增量数据同步的不足。

[0020] (3)实现了插件化方式的数据同步编程机制，满足动态更新插件、并发编程，使得宿主和插件可以同时进行开发，互不干扰，缩短项目开发周期。

[0021] (4)增加断点续传模块，解决了因服务器意外停机、重启而导致任务停止产生的数据同步中断、需要数据重新开始同步的问题。

[0022] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

[0023] 图1为基于ZORRO系统的数据挖掘任务创建方法步骤图。

[0024] 图2为基于ZORRO系统的数据挖掘任务创建方法流程图。

[0025] 图3为ZORRO直观图。

具体实施方式

[0026] 下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

[0027] 结合图3，数据挖掘任务执行之前，用户在IIS服务器上部署ZORRO WEB系统、ZORRO API系统，接着安装ZORRO数据挖掘计划任务服务(ZORRO SERVICES)，创建ZORRO数据挖掘计划任务运行BIN目录，包括：DLL启动目录、XML配置目录、Logs日志目录以及Completed DLL目录，并将目录信息存入数据库。在ZORRO SERVICES的配置文件中，将DLL文件和XML文件的执行路径指向DLL启动目录、XML配置目录、Completed DLL目录，将数据挖掘任务的日志存放路径指向Logs日志目录。

[0028] 完成准备配置工作后，启动ZORRO SERVICES，开始进行数据挖掘任务创建工作，结合图1、图2，本发明提及的一种基于ZORRO系统的数据挖掘任务创建方法包括如下步骤：

[0029] S1：根据数据挖掘任务要求在ZORRO WEB系统中填写ZORRO任务配置信息。

[0030] S2：调用ZORRO API配置生成接口，根据ZORRO任务配置信息生成数据挖掘计划任务服务所需的DLL文件和XML文件，并返回执行结果。

[0031] S3：ZORRO SERVICES检测到有新的ZORRO任务配置信息产生，根据配置文件要求，启动执行数据挖掘计划任务。

[0032] S4：启动数据挖掘计划任务自检线程，校验包括任务配置、计划执行时间在内的参数信息，并设定任务执行计划。

[0033] S5：根据预先设定的数据挖掘计划任务运行模式执行数据挖掘计划任务。

[0034] 优选的，数据挖掘计划任务运行模式包括：极速模式和普通模式。在普通模式下，需要将数据挖掘运行信息记录至数据库。

[0035] S6：查询参与本次数据挖掘计划任务的数据总量，并根据数据总量自动分配数据挖掘计划任务的处理线程数。

[0036] S7：将处理线程加入线程调度队列，并为处理线程分配需要挖掘的数据，执行对应的处理线程任务，对应的处理线程任务执行完毕后校验处理结果。

[0037] S8：重复步骤步骤S7直到所有处理线程全部运行完毕，回收本次数据挖掘计划任务所占用的系统资源。

[0038] 此外，在数据挖掘计划任务执行过程中，在ZORRO SERVICES运行过程中会持续生成各数据挖掘计划任务处理线程的运行日志和实时日志，包括：程序错误日志、程序异常日志、程序调试日志、程序普通日志，在ZORRO WEB系统中可以查看全部日志内容。

[0039] 本发明提及的一种基于ZORRO系统的数据挖掘任务创建方法，包括：在ZORRO WEB系统中填写ZORRO任务配置信息，调用配置生成接口生成数据挖掘计划任务服务所需的DLL文件和XML文件，启动数据挖掘计划任务，校验计划任务，设定任务执行计划，选择数据挖掘计划任务运行模式，根据数据总量分配计划任务处理线程数，为每个处理线程分配需要挖掘的数据，执行数据挖掘任务。本发明能够满足定制化复杂逻辑数据挖掘应用场景的数据同步，解决了任务停止产生的数据同步中断问题以及页面查询响应速度慢的问题，大大提高了用户体验。

[0040] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0041] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

标题	发布/更新时间	阅读量
一种基于房产信息数据的智能服务防护方法及其系统	2020-05-08	939
一种基于数据中台的用户窃电行为分析预警方法	2020-05-08	433
基于机动车状态监控数据挖掘的驾驶风险防范方法及系统	2020-05-11	367
一种独居老人意外发生联动控制预警方法及系统	2020-05-08	945
一种声音直播用户的年龄预测方法	2020-05-11	318
基于条件的多媒体影像评论数据挖掘与处理方法及系统	2020-05-11	133
一种基于内容画像的播单评分方法	2020-05-11	773
一种高效的用户兴趣类别预测方法	2020-05-11	258
一种对数据文件的数据清洗方法和数据文件处理方法	2020-05-11	978
一种多维多权重价格预测方法	2020-05-11	70

基于ZORRO系统的数据挖掘任务创建方法

基于ZORRO系统的数据挖掘任务创建方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：