一种支持ETL任务调度可视化的方法
专利汇可以提供一种支持ETL任务调度可视化的方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及服务端开发技术领域，具体涉及一种支持ETL任务调度 可视化 的方法，对ETL任务脚本文件校验处理； 请求 查询ETL任务脚本内容，生成DAG数据返回；若接收ETL任务脚本文件 修改 请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；配置动态执行触发机制；实时执行ETL任务请求，并实时显示任务执行日志，本发明可以在不修改和应用ETL carte应用的情况下，实现任务可视化、上传或修改ETL任务脚本以及动态执行任务，使得运维人员可直接通过 web界面 掌控掌控ETL任务脚本的运行状态和运行结果，提升了业务的 稳定性 和扩展性。，下面是一种支持ETL任务调度可视化的方法专利的具体信息内容。
1.一种支持ETL任务调度可视化的方法，其特征在于，包括：
对ETL任务脚本文件校验处理；
请求查询ETL任务脚本内容，生成DAG数据返回；
若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；
配置动态执行触发机制；
实时执行ETL任务请求，并实时显示任务执行日志。
2.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于， 对ETL任务脚本文件校验处理，包括：
在第一服务端获取客户端上传的ETL任务脚本文件,其中ETL任务脚本文件为kjb文件；
校验ETL任务脚本文件的内容合法性，包括检查ETL任务脚本文件的后缀是否规范、能否以XML方式将ETL任务脚本文件读取出来、检查是否符合kettle脚本规范；
通过vsftp服务将ETL任务脚本文件传送至第二服务端，并向客户端返回上传结果及文件地址。
3.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，请求查询ETL任务脚本内容，生成DAG数据并返回，包括：
通过第一服务端接收客户端查询ETL任务脚本内容请求，并查询文件地址；
根据查询到的文件地址在第二服务端请求下载ETL任务脚本文件，并向第一服务端返回任务文件流；
在第一服务端读取任务文件流，获取ETL任务脚本内容并组装成DAG数据结构；
返回客户端DAG数据，在客户端绘制任务DAG有向环形图。
4.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于， 接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容，包括：
通过第一服务端接收客户端发送的ETL任务脚本文件修改请求，并保存ETL任务脚本文件；
将原始的ETL任务脚本文件解析成XML文档，并将修改的内容覆盖原XML文档的节点内容，保存成新的ETL任务脚本文件；
通过vsftp服务上传新的ETL任务脚本文件至第二服务端覆盖原文件保存。
5.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，配置动态执行触发机制，包括：
通过ThreadPoolTaskScheduler调度器创建一个新的定时任务，并将定时任务信息保存在数据库中；
到定时时间向第二服务端触发调用carte接口的请求；
第二服务端返回任务执行日志流至第一服务端，第一服务端保存日志流信息到数据库中。
6.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，执行ETL任务请求，并实时显示任务执行日志，包括：
通过第一服务端获取客户端发送的执行ETL任务请求；
调用Rest http接口执行ETL任务请求，并监听第二服务端carte服务的日志返回流至第一服务端；
第一服务端将日志流格式化组装后返回客户端，在客户端实时显示任务执行日志。
7.根据权利要求1-6任一项所述的一种支持ETL任务调度可视化的方法，其特征在于，第一服务端为应用调度服务端，第二服务端为kettle carte服务端。
8.一种计算机可读存储设备，存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现权利要求1至6任意一项所述的支持ETL任务调度可视化的方法。
9.一种移动终端，其特征在于，包括：
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现权利要求1至6任意一项所述的支持ETL任务调度可视化的方法。
10.一种支持ETL任务调度可视化的系统，其特征在于，包括服务器；
服务器包括处理器和存储设备；
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现权利要求1至6任意一项所述的支持ETL任务调度可视化的方法。
一种支持ETL任务调度可视化的方法
技术领域
背景技术
发明内容
请求查询ETL任务脚本内容，生成DAG数据返回；
若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；
配置动态执行触发机制；
实时执行ETL任务请求，并实时显示任务执行日志。
校验ETL任务脚本文件的内容合法性，包括检查ETL任务脚本文件的后缀是否规范、能否以XML方式将ETL任务脚本文件读取出来、检查是否符合kettle脚本规范；
通过vsftp服务将ETL任务脚本文件传送至第二服务端，并向客户端返回上传结果及文件地址。
根据查询到的文件地址在第二服务端请求下载ETL任务脚本文件，并向第一服务端返回任务文件流；
在第一服务端读取任务文件流，获取ETL任务脚本内容并组装成DAG数据结构；
返回客户端DAG数据，在客户端绘制任务DAG有向环形图。
将原始的ETL任务脚本文件解析成XML文档，并将修改的内容覆盖原XML文档的节点内容，保存成新的ETL任务脚本文件；
通过vsftp服务上传新的ETL任务脚本文件至第二服务端覆盖原文件保存。
到定时时间向第二服务端触发调用carte接口的请求；
第二服务端返回任务执行日志流至第一服务端，第一服务端保存日志流信息到数据库中。
调用Rest http接口执行ETL任务请求，并监听第二服务端carte服务的日志返回流至第一服务端；
第一服务端将日志流格式化组装后返回客户端，在客户端实时显示任务执行日志。
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现上述的支持ETL任务调度可视化的方法。
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现上述的支持ETL任务调度可视化的方法。
附图说明
具体实施方式
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现所述的支持ETL任务调度可视化的方法。
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现所述的支持ETL任务调度可视化的方法。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种支持ETL任务调度可视化的方法 | 2020-05-08 | 688 |
| 水培植物自动控制系统 | 2020-05-11 | 599 |
| 在基于代理的网络通信中的控制数据的传输 | 2020-05-11 | 187 |
| 一种基于USB网卡技术的独立Web服务测试设备 | 2020-05-08 | 741 |
| 一种基于流计算的OPC数据实时采集监控智能系统及方法 | 2020-05-08 | 627 |
| 一种基于移动端的防作弊在线考试方法 | 2020-05-11 | 108 |
| 自动生成测试知识产权价值的方法及系统 | 2020-05-08 | 363 |
| 一种模块化编程方法、装置、存储介质及电子设备 | 2020-05-08 | 362 |
| 基于Ambari实现自定义服务的监控管理系统 | 2020-05-08 | 251 |
| 一种基于WEB进行流程管理的方法 | 2020-05-08 | 737 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
