一种通用大数据平台稳定性测试系统及方法专利检索-消息中间件中间件软件专利检索查询-专利查询网

一种通用大数据平台稳定性测试系统及方法

阅读：479发布：2020-05-12

专利汇可以提供一种通用大数据平台稳定性测试系统及方法专利检索，专利查询，专利分析的服务。并且本发明涉及数据平台测试领域，具体提供了一种通用大数据平台稳定性测试系统及方法。与现有技术相比，本发明的通用大数据平台稳定性测试系统，由场景管理模块、场景编排模块、测试输出模块和问题跟踪模块组成，所述场景管理模块与场景编排模块、测试输出模块和问题跟踪模块依次连接；所述场景管理模块包含硬件层、操作系统层和/或应用层的异常脚本；所述场景编排模块用于保证平台服务不中断的前提下，来模拟不同组件不同场景的异常；所述测试输出模块用于测试结果进行输出；所述问题跟踪模块用于测试结果异常时，跟踪定位记录是哪种异常场景组合导致本次异常。快速构建测试场景，构建的测试场景整体、全面，便于发现日常测试中难以发现的隐藏问题，具有良好的推广价值。，下面是一种通用大数据平台稳定性测试系统及方法专利的具体信息内容。

权利要求

1.一种通用大数据平台稳定性测试系统，其特征在于，由场景管理模块、场景编排模块、测试输出模块和问题跟踪模块组成，所述场景管理模块与场景编排模块、测试输出模块和问题跟踪模块依次连接；
所述场景管理模块用于管理稳定性测试所需要的各种场景的脚本，包含硬件层、操作系统层和/或应用层的异常脚本；
所述场景编排模块用于保证平台服务不中断的前提下，来模拟不同组件不同场景的异常；
所述测试输出模块用于测试结果进行输出；
所述问题跟踪模块用于测试结果异常时，跟踪定位记录是哪种异常场景组合导致本次异常。
2.根据权利要求1所述的一种通用大数据平台稳定性测试系统，其特征在于，所述应用层包含组件和软件层面。
3.根据权利要求2所述的一种通用大数据平台稳定性测试系统，其特征在于，在场景管理模块中操作系统层有11大场景，硬件层有3大场景，组件和软件层面11大场景。
4.根据权利要求3所述的一种通用大数据平台稳定性测试系统，其特征在于，操作系统层的11大场景由软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0和模拟网络流量打满组成。
5.根据权利要求3所述的一种通用大数据平台稳定性测试系统，其特征在于，硬件层的
3大场景由拔掉网线、直接关闭电源和拔掉硬盘组成。
6.根据权利要求3所述的一种通用大数据平台稳定性测试系统，其特征在于，组件和软件层面的11大场景由停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启组成。
7.一种通用大数据平台稳定性测试方法，其特征在于，场景管理用于管理稳定性测试需要的各种场景的脚本，对各种场景的脚本进行处理，在保证核心业务正常的情况下，通过场景编排对测试场景进行统一调度管理，使用算法对已存在的测试场景进行汇编、排序，对测试输出的结果进行判定，在核心业务异常或者测试结束时对整个测试结果进行输出，当测试结果不符合预期时，进行问题跟踪，清晰记录每个时间点所执行的操作以及结果的记录。
8.根据权利要求7所述的一种通用大数据平台稳定性测试方法，其特征在于，在场景编排中使用的算法主要有随机、顺序、紧前、紧后、同时几种类型。
9.根据权利要求8所述的一种通用大数据平台稳定性测试方法，其特征在于，在场景编排中至少要保证同一时刻有节点是正常的。
10.根据权利要求7所述的一种通用大数据平台稳定性测试方法，其特征在于，在场景管理中的硬件层、操作系统层、组件和软件层面中的场景为通用场景，通用场景为软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0、模拟网络流量打满、拔掉网线、直接关闭电源、拔掉硬盘、停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启25种场景。

说明书全文

一种通用大数据平台稳定性测试系统及方法

技术领域

[0001] 本发明涉及数据平台测试领域，具体提供一种通用大数据平台稳定性测试系统及方法。

背景技术

[0002] 随着互联网+时代的到来，各行各业的数据都产生了爆炸式增长，如何让数据更有价值，发掘、分析这些海量数据使之相互作用形成有价值的信息。是每个企业重点关注的内容之一，大数据平台为企业解决了这个难题。

[0003] 一方面，大数据平台的复杂性，平台架构及组件的开源性、开放性，导致了平台的稳定难以预测，在常规的测试中通常对单个组件或特定的平台应用进行稳定性测试，测试的异常场景覆盖度不高，且不同组件间的相互影响与依赖不能有效覆盖，这也就造成平台上线后，总会出现这样或那样的异常情况。

[0004] 另一方面，由于平台自身的复杂性、组件的多样性，任何一个组件出现异常都可能造成整个平台的异常，不同组件的异常状况组合往往会产生难以预测的结果，传统测试往往针对独立组件、核心应用进行稳定性测试，整个测试缺乏整体性、全面性，不能发现隐藏的深层次的问题。

发明内容

[0005] 本发明是针对上述现有技术的不足，提供一种设计合理，安全适用的通用大数据平台稳定性测试系统。

[0006] 本发明进一步的技术任务是提供一种实用性强的通用大数据平台稳定性测试方法。

[0007] 本发明解决其技术问题所采用的技术方案是：

[0008] 一种通用大数据平台稳定性测试系统，由场景管理模块、场景编排模块、测试输出模块和问题跟踪模块组成，所述场景管理模块与场景编排模块、测试输出模块和问题跟踪模块依次连接；

[0009] 所述场景管理模块用于管理稳定性测试所需要的各种场景的脚本，包含硬件层、操作系统层和/或应用层的异常脚本；

[0010] 所述场景编排模块用于保证平台服务不中断的前提下，来模拟不同组件不同场景的异常；

[0011] 所述测试输出模块用于测试结果进行输出；

[0012] 所述问题跟踪模块用于测试结果异常时，跟踪定位记录是哪种异常场景组合导致本次异常。

[0013] 进一步的，应用层包含组件和软件层面。

[0014] 作为优选，在场景管理模块中操作系统层有11大场景，硬件层有3大场景，组件和软件层面11大场景。

[0015] 进一步的，操作系统层的11大场景由软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0和模拟网络流量打满组成。

[0016] 进一步的，硬件层的3大场景由拔掉网线、直接关闭电源和拔掉硬盘组成。

[0017] 进一步的，组件和软件层面的11大场景由停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启组成。

[0018] 一种通用大数据平台稳定性测试方法，场景管理用于管理稳定性测试需要的各种场景的脚本，对各种场景的脚本进行处理，在保证核心业务正常的情况下，通过场景编排对测试场景进行统一调度管理，使用算法对已存在的测试场景进行汇编、排序，对测试输出的结果进行判定，在核心业务异常或者测试结束时对整个测试结果进行输出，当测试结果不符合预期时，进行问题跟踪，清晰记录每个时间点所执行的操作以及结果的记录。

[0019] 作为优选，在场景编排中使用的算法主要有随机、顺序、紧前、紧后、同时几种类型。

[0020] 进一步的，在场景编排中至少要保证同一时刻有节点是正常的。

[0021] 进一步的，在场景管理中的硬件层、操作系统层、组件和软件层面中的场景为通用场景，通用场景为软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0、模拟网络流量打满、拔掉网线、直接关闭电源、拔掉硬盘、停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启25种场景。

[0022] 本发明的通用大数据平台稳定性测试系统及方法和现有技术相比，具有以下突出的有益效果：

[0023] 本发明的大数据平台稳定性测试中，可以快速构建测试场景，构建的测试场景整体、全面，便于发现日常测试中难以发现的隐藏问题。场景扩充方便灵活，整个测试过程自动化高，可以大量节省人力、时间、资源等成本。附图说明

[0024] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0025] 附图1是一种通用大数据平台稳定性测试系统的结构示意图。

具体实施方式

[0026] 为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

[0027] 下面给出一个最佳实施例：

[0028] 如图1所示，本实施例中通用大数据平台稳定性测试系统由场景管理模块、场景编排模块、测试输出模块和问题跟踪模块组成，场景管理模块与场景编排模块、测试输出模块和问题跟踪模块依次连接。场景管理模块用于管理稳定性测试所需要的各种场景的脚本，包含硬件层、操作系统层和/或应用层的异常脚本。场景编排模块用于保证平台服务不中断的前提下，来模拟不同组件不同场景的异常。测试输出模块用于测试结果进行输出。问题跟踪模块用于测试结果异常时，跟踪定位记录是哪种异常场景组合导致本次异常。

[0029] 其中，应用层包含组件和软件层面。组件和软件层面有11大场景，分别为停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启。

[0030] 在场景管理模块中操作系统层有11大场景，分别为软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0和模拟网络流量打满。硬件层有3大场景分别为拔掉网线、直接关闭电源和拔掉硬盘。

[0031] 基于上述系统，实现该系统的方法为：场景管理主要用于管理稳定性测试需要的各种场景的脚本，对各种场景的脚本进行处理，在保证核心业务正常的情况下，通过场景编排对测试场景进行统一调度管理，使用算法对已存在的测试场景进行汇编、排序，对测试输出的结果进行判定，在核心业务异常或者测试结束时对整个测试结果进行输出，当测试结果不符合预期时，进行问题跟踪，清晰记录每个时间点所执行的操作以及结果的记录。

[0032] 通过场景编排对测试场景进行统一调度管理、通过编排提高测试覆盖度，使测试场景相互作用相互影响，通过问题跟踪可发现复杂场景下，对系统稳定性的影响，找出问题根源提高系统的稳定性。

[0033] 具体的步骤为：

[0034] 场景管理：主要是对硬件层、操作系统层、组件和软件层的脚本进行管理，其中，操作系统层面有软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0和模拟网络流量打满11大场景。硬件层有拔掉网线、直接关闭电源和拔掉硬盘3大场景。组件和软件层面有停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启11大场景。

[0035] 以上场景为通用场景，根据不同项目不同组件可自行扩充。

[0036] 场景编排：对已存在的场景进行汇编，排序。

[0037] 场景编排有一个大前提就是在保证核心业务正常的情况下，对已存在的测试场景进行组合编排，场景编排的算法主要是随机、顺序、紧前、紧后、同时几种类型。如：某个大数据平台有6个数据节点，场景编排时可以让2个节点重启服务器，1个节点丢数据，1个节点杀进程，1个节点拔掉网线。但是至少要保证同一时刻有节点是正常的。

[0038] 测试输出：对测试结果进行判定，在核心业务异常或测试结束时，对整个测试结果进行输出。

[0039] 问题跟踪：当测试结果不符合预期时，说明该混合测试过程、步骤对业务系统产生无法预测的破坏。如：业务系统设计只有一个节点存活，那么服务就不中断，场景编排时的逻辑也是如此。但是在经过一系列的异常场景的混合、混沌测试后发现系统异常了，那么通过问题跟踪可以清晰的记录每个时间点所执行的操作以及结果记录。可以及时协助人员发现问题的原因。

[0040] 上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的通用大数据平台稳定性测试系统及方法权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。

[0041] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

标题	发布/更新时间	阅读量
一种电磁数据收集处理装置及方法	2020-05-13	837
通信数据同步及处理方法和系统	2020-05-08	43
基于CDN和MEC的车联网移动性管理方法	2020-05-08	530
信息处理方法、装置、电子设备及存储介质	2020-05-11	49
一种服务动态配置的管理方法及装置	2020-05-13	337
IoT系统中的数据传输方法、装置、设备及存储介质	2020-05-11	632
一种消息数据推送方法、系统及装置	2020-05-12	574
基于消息中间件的异步会计核算与交易分离方法及系统	2020-05-12	499
一种运维监控聚合管理系统	2020-05-13	144
主机监控与审计系统服务器的数据处理方法	2020-05-11	13

一种通用大数据平台稳定性测试系统及方法

一种通用大数据平台稳定性测试系统及方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：