一种分布式资源调度方法及装置专利检索-大规模并行处理计算机网络专利检索查询-专利查询网

一种分布式资源调度方法及装置

阅读：414发布：2020-05-14

专利汇可以提供一种分布式资源调度方法及装置专利检索，专利查询，专利分析的服务。并且本发明涉及一种分布式资源调度方法及装置。所述方法包括步骤：将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；估算完成各所述子任务所需要的第一硬件资源；获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。本发明能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。，下面是一种分布式资源调度方法及装置专利的具体信息内容。

权利要求

1.一种分布式资源调度方法，其特征在于，所述方法包括步骤：
将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；
估算完成各所述子任务所需要的第一硬件资源；
获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；
更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。
2.根据权利要求1所述的分布式资源调度方法，其特征在于，所述将分布式计算系统待完成的总任务划分为多个可并行处理的子任务的步骤，包括：
将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。
3.根据权利要求2所述的分布式资源调度方法，其特征在于，所述将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源的步骤，包括：
根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。
4.根据权利要求1至3任一项所述的分布式资源调度方法，其特征在于，所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。
5.根据权利要求4所述的分布式资源调度方法，其特征在于，所述方法包括：
将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重。
6.一种分布式资源调度装置，其特征在于，所述装置包括：
任务划分模块，用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；
硬件资源估算模块，用以估算完成各所述子任务所需要的第一硬件资源；
硬件资源比较模块，用以获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；
硬件资源列表更新模块，用以更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。
7.根据权利要求6所述的分布式资源调度装置，其特征在于，所述任务划分模块用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。
8.根据权利要求7所述的分布式资源调度装置，其特征在于，所述硬件资源比较模块，用以根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。
9.根据权利要求6至8任一项所述的分布式资源调度装置，其特征在于，所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。
10.根据权利要求9所述的分布式资源调度装置，其特征在于，所述硬件资源比较模块将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重。

说明书全文

一种分布式资源调度方法及装置

技术领域

[0001] 本发明涉及分布式计算技术领域，尤其是涉及一种分布式资源调度方法及装置。

背景技术

[0002] 作为信息领域研究热点的分布式计算，主要是通过计算机网络或互联网连接大量的资源，为不同的用户提供存储和计算等各种服务。分布式计算面对的计算任务庞大，任务调度和资源分配问题成为分布式计算效率的关键，针对用户对分布式计算平台的不同的任务需求，要求分布式计算服务提供商能够制定合适的服务策略。

[0003] 发明人在研究中发现，传统技术中的分布式系统中集群节点数量庞大，资源利用率低，定制的任务对资源的需求不同，任务之间往往也出现抢资源的问题，不适当的资源分配会造成任务完成时间过长，也会造成大规模的资源浪费。

发明内容

[0004] 有鉴于此，有必要针对上述的问题，提供一种分布式资源调度方法及装置，能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。

[0005] 一种分布式资源调度方法，包括：

[0006] 将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；

[0007] 估算完成各所述子任务所需要的第一硬件资源；

[0008] 获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；

[0009] 更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。

[0010] 所述将分布式计算系统待完成的总任务划分为多个可并行处理的子任务的步骤，包括：

[0011] 将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。

[0012] 所述将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源的步骤，包括：

[0013] 根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。

[0014] 所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。

[0015] 所述方法包括：

[0016] 将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重。

[0017] 一种分布式资源调度装置，包括：

[0018] 任务划分模块，用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；

[0019] 硬件资源估算模块，用以估算完成各所述子任务所需要的第一硬件资源；

[0020] 硬件资源比较模块，用以获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；

[0021] 硬件资源列表更新模块，用以更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。

[0022] 所述任务划分模块用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。

[0023] 所述硬件资源比较模块，用以根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。

[0024] 所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。

[0025] 所述硬件资源比较模块将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重。

[0026] 本发明的分布式资源调度方法和装置，将待完成的总任务划分为多个并行处理的子任务，估算各个子任务完成所需要的硬件资源，获取节点列表，并未各个子任务分配最适合的节点及硬件资源，相比于传统技术，能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。附图说明

[0027] 图1是本发明的一种分布式资源调度方法的流程示意图；

[0028] 图2是本发明的一种分布式资源调度方法的应用场景示意图；

[0029] 图3是本发明的一种分布式资源调度装置的结构示意图。

具体实施方式

[0030] 参见图1，在本发明的一个实施例中提供了一种分布式资源调度方法，包括：

[0031] 步骤101，将分布式计算系统待完成的总任务划分为多个可并行处理的子任务。

[0032] 具体的，本步骤中，将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。

[0033] 步骤102，估算完成各子任务所需要的第一硬件资源。

[0034] 具体的，第一硬件资源可以包括CPU资源、内存资源和GPU资源等。例如CPU资源包括线程数目、主频等。

[0035] 步骤103，获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将第一硬件资源与第二硬件资源进行比较，为各子任务分配最适合处理的节点及硬件资源。

[0036] 具体的，本步骤根据各子任务的优先级的先后顺序，将第一硬件资源与第二硬件资源进行比较，为各子任务分配最适合处理的节点及硬件资源。

[0037] 本步骤中，将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重，例如可以但不限于将内存资源的参数设置最大的比较权重，即分配节点时优先选取可用内存最大的节点来处理子任务。

[0038] 步骤104，更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。

[0039] 参见图2，在一个应用场景中具体说明本发明的分布式资源调度方法。

[0040] 如图2所示，包括一个主节点Master和四个子节点Slave。主节点与子节点的硬件配置如下：

[0041] Master：16核32线程，主频4.0，64G内存，P5000显卡，512G SSD；

[0042] Slave1：8核16线程，主频4.0，32G内存，P6000显卡，512G SSD；

[0043] Slave2：8核16线程，主频4.0，32G内存，P6000显卡，512G SSD；

[0044] Slave3：8核16线程，主频4.0，32G内存，P6000显卡，512G SSD；

[0045] Slave4：8核16线程，主频4.0，32G内存，P6000显卡，512G SSD；

[0046] 本实施例中，主节点Master把总任务T划分为5个可并行处理的子任务t1、t2、t3、t4、t5，5个子任务皆为同一个优先级。

[0047] Master估算5个子任务所需要的硬件资源：假设5个子任务所需要的第一硬件资源为：

[0048] t1:14线程，10G内存，50％GPU使用率；

[0049] t2:3线程，3G内存，10％GPU使用率；

[0050] t3:1线程，500M内存，0GPU使用率；

[0051] t4:5线程，5G内存，20％GPU使用率；

[0052] t5:2线程，2G内存，15％GPU使用率；

[0053] Master获取分布式系统中的所有子节点，组成节点列表node＝[Slave1,Slave2,Slave3,Slave4]。

[0054] Master获取node中剩余可使用的硬件资源，假设4个Slave剩余硬件资源为：

[0055] Slave1：16线程，25G内存，GPU使用率80％；

[0056] Slave2：13线程，25G内存，GPU使用率80％；

[0057] Slave3：8线程，20G内存，GPU使用率60％；

[0058] Slave4：8线程，16G内存，GPU使用率40％；

[0059] 则第二硬件资源列表src＝{Slave1：[16,25,80％],Slave2：[13,25,80％],Slave3：[8,20,60％],Slave4：[8,16,40％]}

[0060] 由于5个子任务优先级相同，则从t1开始，从src中获取资源。

[0061] 由于t1所需要的硬件资源为[14,10,50]，因此，Slave1的剩余可使用资源可执行任务t1；

[0062] t2所需要的硬件资源为[3,3,10％]，由于Slave1资源不够，因此t2在Slave2上执行；

[0063] t3所需要的硬件资源为[1,0.5,0]，Slave1执行t1任务后剩余的硬件资源足够执行t3，因此t3在Slave1上执行；

[0064] t4、t5所需要的硬件总和低于Slave执行t2任务后剩余的硬件资源，因此t4、t5任务可以由Slave2执行。

[0065] 分配完5个子任务后，更新硬件资源列表，4个节点剩余的硬件资源[0066] src＝{Slave1:[1,14.5,30％],Slave2:[3,15,35％],Slave3：[8,20,60％],Slave4：[8,16,40％]}。

[0067] 参见图3，一种分布式资源调度装置，包括：

[0068] 任务划分模块，用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；

[0069] 硬件资源估算模块，用以估算完成各所述子任务所需要的第一硬件资源；

[0070] 硬件资源比较模块，用以获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；

[0071] 硬件资源列表更新模块，用以更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。

[0072] 所述任务划分模块用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。

[0073] 所述硬件资源比较模块，用以根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。

[0074] 所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。

[0075] 所述硬件资源比较模块将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重。

[0076] 本发明的分布式资源调度方法和装置，将待完成的总任务划分为多个并行处理的子任务，估算各个子任务完成所需要的硬件资源，获取节点列表，并未各个子任务分配最适合的节点及硬件资源，相比于传统技术，能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。

[0077] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

标题	发布/更新时间	阅读量
大规模并行处理器数据库系统和方法	2020-05-08	834
用于油气二次运移的大规模高分辨率模拟的侵入渗流的并行处理	2020-05-08	296
面向暂态电能质量综合评估的大数据分析系统	2020-05-15	732
一种数据驱动的用户透明的可扩展编程方法	2020-05-16	15
一种大规模无序图像快速运动恢复结构的方法及系统	2020-05-14	166
一种基于3D-DnCNN网络的叠后三维地震资料随机噪声压制方法	2020-05-16	520
灵活的分布式大规模并行处理(MPP)系统和方法	2020-05-17	252
一种图形处理器的设计模型及设计方法	2020-05-11	842
分布式数据处理方法、装置、系统及电子设备	2020-05-12	677
一种全链路数据管理系统及其管理方法	2020-05-11	465

一种分布式资源调度方法及装置

一种分布式资源调度方法及装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：