专利汇可以提供基于负载均衡机制的权重优先Task任务调度方法专利检索,专利查询,专利分析的服务。并且本 发明 属于资源分配技术领域,公开了一种基于负载均衡机制的权重优先Task任务调度方法,避免单个高权值worker 节点 负载过高,以及大的task任务直接被丢弃的问题进行改进;首先将task任务进行分类,以task任务读取速度和占用资源量的大小两个条件,将task任务分为四类;在各个worker节点上加入负载均衡模 块 ,使之成为分布式负载均衡模型;并动态监测各worker节点上的资源使用和负载情况,在master节点上根据权值的大小,再通过与task分类情况进行映射至各个worker节点,再进行task任务的调度。解决各个高权值worker节点间负载不均衡及队列拥堵的问题。,下面是基于负载均衡机制的权重优先Task任务调度方法专利的具体信息内容。
1.一种基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述基于负载均衡机制的权重优先Task任务调度方法包括:将task任务进行分类,以task任务读取速度和占用资源量的大小两个条件,将task任务分为四类;在各个worker节点上加入负载均衡模块,使之成为分布式负载均衡模型;并动态监测各worker节点上的资源使用和负载情况,在master节点上根据权值的大小,再通过与task分类情况进行映射至各个worker节点,再进行task任务的调度。
2.如权利要求1所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述基于负载均衡机制的权重优先Task任务调度方法包括以下步骤;
步骤一,将task任务按照读取速度及占用资源量的大小进行分类;
步骤二,结合加权轮转算法的思想,对worker节点进行权值的计算;
步骤三,在原有模型上加入分布式负载均衡框架;
步骤四,将计算出的worker节点上的权值和task分类后的情况进行映射;并且worker权值为0的节点不进行分配,且占用数据量大且读取速度慢类型的task直接进行慢任务备份,并等待权值最大的worker节点进行分配。
3.如权利要求2所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述步骤一具体包括:分为占用数据量小且读取速度快、占用数据量小且读取速度慢、占用数据量大且读取速度快、占用数据量大且读取速度慢四类;
其中判断task任务大小的方法:
判断task任务是否为慢任务的方法:
一个进程上Task平均进度增长率-所以进程上Task平均任务增长率≤σ×慢节点阈值。
4.如权利要求2所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述步骤二具体包括:CU代表:CPU的利用率;MU代表:内存利用率;WCL代表:单个worker节点上负载的队列长度;capacity代表:该worker节点的权值;count代表:权值计算过程中的计算次数;
其中,CPU利用率的计算方法:
内存利用率的计算方法:
MU实时可用=M总量-MBuffer-Mcache;
其中,M总量表示内存总量;MU实时可用表示目前可以使用的内存容量;MFree表示空闲内存容量;Mcache表示缓存容量;
单个worker节点上负载的队列长度计算方法:
其中,WTask表示该worker机上负载task的数量;总Task表示正在运行的task的数量;W权值表示该worker机的权值;总权值表示所有worker机的总权值。
5.如权利要求2所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述步骤四的慢任务备份条件:未在进程上失败过的task;没有备份过的task;Task所占用的资源量大;属于慢任务。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
加热控制方法、设备、家用电器和计算机可读存储介质 | 2020-05-08 | 758 |
内容推荐方法、装置、电子设备及存储介质 | 2020-05-08 | 618 |
IGBT功率模块老化测试系统及方法 | 2020-05-08 | 28 |
一种高稳定性和可维护性的嵌入式设备 | 2020-05-08 | 699 |
一种重组麻疹病毒及其制备方法和应用 | 2020-05-08 | 545 |
直播服务系统及直播连接的建立方法 | 2020-05-08 | 885 |
一种高分子生物降解材料的动态降解装置 | 2020-05-11 | 382 |
收线架 | 2020-05-11 | 280 |
一种用于自动化装片的暗袋 | 2020-05-11 | 608 |
抛光粉闪蒸干燥机 | 2020-05-11 | 102 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。