基于资源预分配与公共引导代理的多核作业调度方法
专利汇可以提供基于资源预分配与公共引导代理的多核作业调度方法专利检索，专利查询，专利分析的服务。并且本 发明 是基于资源预分配与公共引导代理的多核作业调度方法，采用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换；获取 站点 资源配置信息，依据不同的层次对站点资源信息进行分类；依据当前资源管理系统提供的站点资源使用情况，得出用户作业的需求类型；以站点作业调度队列信息、引导代理作业的提交数量、引导代理作业的大小、用户的认证信息以及作业的运行共享目录为参数，向用户 指定 站点的作业调度队列提交引导代理作业并占据与引导代理大小相同的计算资源；依据作业的标识信息，创建调度 进程 执行用户作业。本发明的计算资源分配方式简单、耗时短，以公用引导代理的方实现了多核作业的调度，大大的减少了内存资源的消耗问题。，下面是基于资源预分配与公共引导代理的多核作业调度方法专利的具体信息内容。
1.基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，该方法包括以下步骤：
步骤1）用户作业分类
用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换，并通过分析用户作业的需求特征，把相同特征的用户作业归入同一作业队列，形成规范化作业；
步骤2）资源状态采集
获取站点资源配置信息，依据不同的层次对站点资源信息进行分类，获取单核和多核队列的资源状态，依据当前资源管理系统提供的站点资源使用情况，得出各个队列所支持的用户作业的需求类型，将资源信息与作业队列需求进行匹配检测，记录满足需求的队列的资源特征；
步骤3）分布式资源分配
对用户作业指定站点的作业处理环境进行检测，依据当前作业等待队列的源需求，利用资源管理系统提供的当前引导代理的运行状态，以站点作业调度队列信息、引导代理的提交数量、引导代理的大小、用户的认证信息以及作业的运行共享目录为参数，通过资源公共访问接口，向用户指定站点的作业调度队列提交引导代理作业并占据与引导代理大小相同的计算资源，以方便用户作业的拉取；
步骤4）作业调度
检测满足资源需求的作业等待队列，依据检测结果，以当前可利用的计算资源为主，在作业等待队列中随机匹配满足资源需求的用户作业，将成功匹配的作业添加到执行队列，并为作业提供执行所需的基本信息，监控作业运行情况以及资源状态，实时更新作业的状态和引导代理的可利用资源数；
步骤5）作业并行化执行
初始化引导代理作业的资源共享池，依据该作业的标识信息，从资源管理系统中获取作业的输入文件、输出日志和文件信息的配置信息，获取当前资源之内的可利用资源数，并依据本地站点调度队列的资源类型，将计算资源分配给当前用户作业，在资源池内创建调度进程执行用户作业，并实时监控作业的运行情况。
步骤6）获取作业输出结果文件，日志文件以及错误信息。
2.根据权利要求1所述的基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，所述步骤1）中的规范化作业包括以下三个部分：
A.基本信息
描述作业的基本属性，包括作业号、作业类型、所属用户、作业组、作业优先级及相关联的文件信息；
B.需求信息
描述作业调度和执行所需的存储、内存和CPU资源的信息，包括执行环境、指定站点、所需CPU资源、存储空间、内存需求及CPU运行时间；
C.状态信息
描述用户作业在生命周期内的状态以及资源实际使用的信息，包括作业的基本状态、创建时间、开始执行时间、完成时间、所处节点信息、内存实际消耗、CPU实际运行时间。
3.根据权利要求1所述的基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，所述步骤3）中采用资源预分配策略，将引导代理作业作为资源预留容器发送到分布式计算平台的指定站点，引导代理大小被指定为该调度队列可支持最大作业核数和当前最大作业需求核数两者的最小值，引导代理作业的数量则是由资源状态和作业队列信息共同决定的，计算公式为：
pilotsToSubmit=max(0,min(totalSlots,totalTQJobs-totalWaitingPilots))，其中，pilotsToSubmit为站点代理一次循环下提交引导代理作业的数量，totalSlots为该站点资源数量，totalTQJobs为当前队列的作业等待数量，totalWaitingPilots为当前等待占取资源的引导代理数量。
4.根据权利要求1所述的基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，所述步骤4）至步骤5）是在公用引导代理调度模式下，完成多核作业的调度与执行，作业的调度从计算站点移动到引导代理内部，假设现有M个混合作业等待调度，是第i个作业的核数，i∈[1,M]，若站点存在N核引导代理，当 +...+ ≤N时，其中1≤k≤m≤M，则作业 ... 可被引导代理同时调度执行，若 +...+=N，则表示引导代理资源无空闲，反之则会产生资源碎片；
在多用户不同类型作业的调度与执行情况下，将作业的完成情况及资源利用率作为系统性能的评价指标，作业资源利用率的计算公式可表示为：
，
其中，站点可用资源数为N，作业完成数目为n， 为第i个作业的核数， 为该作业的运行时间。
5.根据权利要求2所述的基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，所述作业的基本状态包括等待、匹配、运行、结束和失败。
基于资源预分配与公共引导代理的多核作业调度方法
技术领域
背景技术
发明内容
步骤1）用户作业分类
用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换，并通过分析用户作业的需求特征，把相同特征的用户作业归入同一作业队列，形成规范化作业；
步骤2）资源状态采集
获取站点资源配置信息，依据不同的层次对站点资源信息进行分类，获取单核和多核队列的资源状态，依据当前资源管理系统提供的站点资源使用情况，得出各个队列所支持的用户作业的需求类型，将资源信息与作业队列需求进行匹配检测，记录满足需求的队列的资源特征；
步骤3）分布式资源分配
对用户作业指定站点的作业处理环境进行检测，依据当前作业等待队列的源需求，利用资源管理系统提供的当前引导代理的运行状态，以站点作业调度队列信息、引导代理的提交数量、引导代理的大小、用户的认证信息以及作业的运行共享目录为参数，通过资源公共访问接口，向用户指定站点的作业调度队列提交引导代理作业并占据与引导代理大小相同的计算资源，以方便用户作业的拉取；
步骤4）作业调度
检测满足资源需求的作业等待队列，依据检测结果，以当前可利用的计算资源为主，在作业等待队列中随机匹配满足资源需求的用户作业，将成功匹配的作业添加到执行队列，并为作业提供执行所需的基本信息，监控作业运行情况以及资源状态，实时更新作业的状态和引导代理的可利用资源数；
步骤5）作业并行化执行
初始化引导代理作业的资源共享池，依据该作业的标识信息，从资源管理系统中获取作业的输入文件、输出日志和文件信息的配置信息，获取当前资源之内的可利用资源数，并依据本地站点调度队列的资源类型，将计算资源分配给当前用户作业，在资源池内创建调度进程执行用户作业，并实时监控作业的运行情况。
描述作业的基本属性，包括作业号、作业类型、所属用户、作业组、作业优先级及相关联的文件信息；
B.需求信息
描述作业调度和执行所需的存储、内存和CPU资源的信息，包括执行环境、指定站点、所需CPU资源、存储空间、内存需求及CPU运行时间；
C.状态信息
描述用户作业在生命周期内的状态以及资源实际使用的信息，包括作业的基本状态、创建时间、开始执行时间、完成时间、所处节点信息、内存实际消耗、CPU实际运行时间。
在多用户不同类型作业的调度与执行情况下，将作业的完成情况及资源利用率作为系统性能的评价指标，作业资源利用率的计算公式可表示为：
，
其中，站点可用资源数为N，作业完成数目为n， 为第i个作业的核数， 为该作业的运行时间。
附图说明
具体实施方式
用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换，并通过分析用户作业的需求特征，把相同特征的用户作业归入同一作业队列，形成规范化作业；
步骤2）资源状态采集
获取站点资源配置信息，依据不同的层次对站点资源信息进行分类，获取单核和多核队列的资源状态，依据当前资源管理系统提供的站点资源使用情况，得出各个队列所支持的用户作业的需求类型，将资源信息与作业队列需求进行匹配检测，记录满足需求的队列的资源特征；
步骤3）分布式资源分配
对用户作业指定站点的作业处理环境进行检测，依据当前作业等待队列的源需求，利用资源管理系统提供的当前引导代理的运行状态，以站点作业调度队列信息、引导代理的提交数量、引导代理的大小、用户的认证信息以及作业的运行共享目录为参数，通过资源公共访问接口，向用户指定站点的作业调度队列提交引导代理作业并占据与引导代理大小相同的计算资源，以方便用户作业的拉取；
步骤4）作业调度
检测满足资源需求的作业等待队列，依据检测结果，以当前可利用的计算资源为主，在作业等待队列中随机匹配满足资源需求的用户作业，将成功匹配的作业添加到执行队列，并为作业提供执行所需的基本信息，监控作业运行情况以及资源状态，实时更新作业的状态和引导代理的可利用资源数；
步骤5）作业并行化执行
初始化引导代理作业的资源共享池，依据该作业的标识信息，从资源管理系统中获取作业的输入文件、输出日志和文件信息的配置信息，获取当前资源之内的可利用资源数，并依据本地站点调度队列的资源类型（单核或多核），将计算资源分配给当前用户作业，在资源池内创建调度进程执行用户作业，并实时监控作业的运行情况。
描述作业的基本属性，包括作业号、作业类型、所属用户、作业组、作业优先级及相关联的文件信息；
B.需求信息
描述作业调度和执行所需的存储、内存和CPU资源的信息，包括执行环境、指定站点、所需CPU资源、存储空间、内存需求及CPU运行时间；
C.状态信息
描述用户作业在生命周期内的状态以及资源实际使用的信息，包括作业的基本状态、创建时间、开始执行时间、完成时间、所处节点信息、内存实际消耗、CPU实际运行时间。
在多用户不同类型作业的调度与执行情况下，将作业的完成情况及资源利用率作为系统性能的评价指标，作业资源利用率的计算公式可表示为：
，
其中，站点可用资源数为N，作业完成数目为n， 为第i个作业的核数， 为该作业的运行时间。
2)以循环时间为时间间隔，遍历站点集S，检测并统计S的资源状态；
3)根据作业队列中作业的资源需求，采用本发明的资源预分配策略，将引导代理作业集P={pt1,pt2 ,..., pti ,...,ptn}提交到指定站点集S中的工作节点WNj；
4)工作节点WNj为引导代理作业pti分配计算资源，pti启动作业代理，并初始化剩余资源；
5)通过匹配服务，根据可利用资源数动态匹配作业队列中等待作业；
6)若作业jobk匹配成功，资源池会主动获取作业jobk的参数信息，执行作业jobk，并更新剩余资源；
7)作业jobk执行成功后，更新剩余资源，并反馈作业信息；若作业出现错误，则pti结束并释放计算资源；
8)若pti到达生命周期，则pti结束并主动释放工作节点的计算资源，并把引导代理信息反馈至监控系统。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 加热控制方法、设备、家用电器和计算机可读存储介质 | 2020-05-08 | 758 |
| 内容推荐方法、装置、电子设备及存储介质 | 2020-05-08 | 618 |
| IGBT功率模块老化测试系统及方法 | 2020-05-08 | 28 |
| 一种高稳定性和可维护性的嵌入式设备 | 2020-05-08 | 699 |
| 一种重组麻疹病毒及其制备方法和应用 | 2020-05-08 | 545 |
| 直播服务系统及直播连接的建立方法 | 2020-05-08 | 885 |
| 一种高分子生物降解材料的动态降解装置 | 2020-05-11 | 382 |
| 收线架 | 2020-05-11 | 280 |
| 一种用于自动化装片的暗袋 | 2020-05-11 | 608 |
| 抛光粉闪蒸干燥机 | 2020-05-11 | 102 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
