技术领域
[0001] 本
发明属于云计算领域,涉及一种并发数据处理技术,具体是一种基于云计算的并发数据处理方法。
背景技术
[0002] 云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层
基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能
力,拥有这么强大的计算能力可以模拟核爆炸、预测
气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入
数据中心,按自己的需求进行运算。
[0003] 对云计算的定义有多种说法。对于到底什么是云计算,至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络
访问,进入可配置的计算资源共享池(资源包括网络,
服务器,存储,应用
软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互;
[0004] 但是当前由于社会需要,在借助云计算的过程中经常会涉及到一些并发数据的处理,但是,当前没有一种有效的并发数据处理方法;为了解决上述
缺陷,现提供一种解决方案。
发明内容
[0005] 本发明的目的在于提供一种基于云计算的并发数据处理方法。
[0006] 本发明所要解决的技术问题为:
[0007] (1)如何标定待处理
进程的轻重缓急程度,并给予标识便于相关单元识别,从而实现合理安排执行顺序;
[0008] (2)如何
指定处理大量的待处理并发进程;
[0009] (3)如何根据对规则内影响判定待处理并发进程顺序的关键因素的重要性而对影响因素做出数据修正。
[0010] 本发明的目的可以通过以下技术方案实现:
[0011] 一种基于云计算的并发数据处理方法,包括云处理单元、执行记录模
块、数据监控模块、进程监控模块、数据修正模块、计时单元、
控制器、显示模块、执行记录模块和数据输入模块;
[0012] 其中,所述数据输入模块用于输入所需要处理的待处理数据信息,所述数据输入模块还用于输入待处理数据信息对应的优先级数;所述数据输入模块用于将待处理数据信息和对应的优先级数传输到云处理单元,所述云处理单元用于对待处理数据信息进行处理计算;
[0013] 所述进程监控模块用于获取处理当前待处理进程信息组和云处理单元所能处理的计算进程总量信息以及正在处理的当前进程信息组,所述进程监控模块还通信联接有计时单元,所述计时单元用于获取待处理进程信息组的排队时间信息组;排队时间信息组包括若干组排队时间信息,排队时间信息为待处理进程等待处理的时间信息;所述数据监控模块用于获取云处理单元待处理进程信息组的
锁定情况和待处理进程信息组对应的优先级数信息组;
[0014] 数据修正模块用于结合数据监控模块、进程监控模块、计时单元和云处理单元制定出进程处理规则,进程处理规则具体表现为:
[0015] 步骤一:利用进程监控模块获取得到云处理单元的计算进程总量信息,将计算进程总量信息标记为Qy;
[0016] 步骤二:利用进程监控模块获取得到待处理进程信息组和当前进程信息组,将待处理进程信息组对应的待处理计算量信息组标记为Qpi,i=1...n:将当前进程信息组对应的当前计算量信息组标记为Qzi,i=1...n:
[0017] 步骤三:利用数据监控模块获取得到待处理进程信息组对应的优先级数,并将优先级数信息组标记为Hi,i=1...n;优先级数的确定规则如下:
[0018] S1:当待处理进程急于解决时在待处理进程后面加上注释SSS,将Hi的值标定为1;
[0019] S2:当待处理进程不急于解决处于正常情况时在待处理进程后面加上注释SS,将Hi的值标定为0.5;
[0020] S3:当待处理进程可以延迟解决时在待处理进程后面加上注释S,将Hi的值标定为0;
[0021] S4:根据待处理进程后面的注释获取得到对应待处理进程的优先级数Hi值;
[0022] 步骤四:利用计时单元获取得到待处理进程的排队时间信息组Wi,i=1...n;
[0023] 步骤五:利用数据监控模块获取云处理单元待处理进程信息组的锁定情况,将锁定情况信息组标记为Di,i=1...n;锁定情况信息组值标定规则如下:
[0024] S1:对待处理进行信息组内待处理信息的资源锁定情况进行检测;
[0025] S2:当检测到
请求锁定待处理信息资源成功的话,将对应Di值标定为1;
[0026] S3:当检测到请求锁定待处理信息资源不成功的话,则将对应Di值标定为0,并继续对该待处理信息进行锁定资源处理;
[0027] 步骤六:利用公式 得到剩余计算量Qs;
[0028] 步骤七:根据待处理进程对应排队的排队时间信息组Wi、待处理计算量信息组Qpi和优先级数信息组Hi来确定待处理进程的处理顺序,顺序判定规则具体表现为:
[0029] S1:因为排队时间信息组Wi、待处理计算量信息组Qpi和优先级数信息组Hi值不同,对于待处理进程组进行处理的影响程度不同,因此首先对上述三个影响赋予修正值,具体赋予过程为:
[0030] SS1:将排队时间信息组Wi的修正值标定为X1,X1为预设值;
[0031] SS2:将待处理计算量信息组Qpi的修正值标定为X2,X2为预设值;
[0032] SS3:将优先级数信息组Hi的修正值标定为X3,X3为预设值;
[0033] SS4:其中X1+X2+X3=1,且X2>X3>X1;
[0034] S2:利用公式Si=(Wi*X1+Hi*X2+Qi*X3)*Di计算得到处理优先值信息组Si,i=1...n;且Si与Qpi一一对应;
[0035] S3:将待处理计算量信息组Qpi按照其对应的Si由大到小进行排序;并将排序后的待处理计算量信息组Qpi标定为计算量处理信息组Qxi,i=1...n,且Qx1对应的Si值S1为最大值;
[0036] S4:获取满足判定公式 的所有计算量处理信息组Qxi并将其标定为优先处理信息组Yi,i=1...n;优先处理信息组Yi与待处理进程信息组一一对应;
[0037] S5:获取Yi对应的待处理进程信息组并将其标记为处理进程信息组;
[0038] 所述数据修正模块用于将处理进程信息组传输到控制器,所述控制器用于将处理进程信息组传输到云处理单元进行处理,云处理单元在处理完待处理进程信息组时将处理结果传输到执行记录单元进行记录。
[0039] 进一步地,所述数据修正模块还用于将待处理进程信息组和与其对应的Qpi以及当前进程信息组和与其对应的Qzi传输到显示模块,所述显示模块接收控制器传输的待处理进程信息组、Qpi和当前进程信息组、Qzi并进行实时显示。
[0040] 进一步地,所述数据修正模块还用于将Yi及与其对应的处理进程信息组传输到控制器,所述控制器用于将Yi及与其对应的处理进程信息组传输到显示器,所述显示器接收控制器传输的Yi及与其对应的处理进程信息组并进行实时显示。
[0041] 进一步地,所述数据输入模块还用于输入用户输入X1、X2和X3的值,所述数据输入模块用于将X1、X2和X3传输到控制器,所述控制器接收数据输入模块传输的X1、X2和X3并将其传输到数据修正模块。
[0042] 本发明的有益效果:
[0043] (1)本发明通过数据监控模块获取得到待处理进程信息组对应的优先级数,并将优先级数信息组标记为Hi,i=1...n;优先级数的确定规则表现为,当待处理进程急于解决时在待处理进程后面加上注释SSS,将Hi的值标定为1;当待处理进程不急于解决处于正常情况时在待处理进程后面加上注释SS,将Hi的值标定为0.5;当待处理进程可以延迟解决时在待处理进程后面加上注释S,将Hi的值标定为0;根据待处理进程后面的注释获取得到对应待处理进程的优先级数Hi值;根据数据监控模块读取对应注释即可得到待处理进程的轻重缓急程度;
[0044] (2)本发明通过数据监控模块、进程监控模块和计时单元结合数据修正模块,读取到影响处理待处理进程顺序的因素,之后按照相关
算法计算得到待处理进程的优先值,并按指定规则陆续导入待处理进程到云处理单元进行处理,从而合理的对大量的待处理并发进程做到有序处理;
[0045] (3)本发明通过数据修正模块将排队时间信息组Wi的修正值标定为X1;将待处理计算量信息组Qpi的修正值标定为X2;将优先级数信息组Hi的修正值标定为X3;其中X1+X2+X3=1,且X2>X3>X1;从而形成上述因素的修正值,之后根据相关算法计算得到各待处理进程的优先值,避免了因为统一计算待处理进程影响力不同的因素而对其优先值的影响;本发明简单有效,且易于实用。
附图说明
[0046] 为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
具体实施方式
[0048] 如图1所示,一种基于云计算的并发数据处理方法,包括云处理单元、执行记录模块、数据监控模块、进程监控模块、数据修正模块、计时单元、控制器、显示模块、执行记录模块和数据输入模块;
[0049] 其中,所述数据输入模块用于输入所需要处理的待处理数据信息,所述数据输入模块还用于输入待处理数据信息对应的优先级数;所述数据输入模块用于将待处理数据信息和对应的优先级数传输到云处理单元,所述云处理单元用于对待处理数据信息进行处理计算;
[0050] 所述进程监控模块用于获取处理当前待处理进程信息组和云处理单元所能处理的计算进程总量信息以及正在处理的当前进程信息组,所述进程监控模块还通信联接有计时单元,所述计时单元用于获取待处理进程信息组的排队时间信息组;排队时间信息组包括若干组排队时间信息,排队时间信息为待处理进程等待处理的时间信息;所述数据监控模块用于获取云处理单元待处理进程信息组的锁定情况和待处理进程信息组对应的优先级数信息组;
[0051] 数据修正模块用于结合数据监控模块、进程监控模块、计时单元和云处理单元制定出进程处理规则,进程处理规则具体表现为:
[0052] 步骤一:利用进程监控模块获取得到云处理单元的计算进程总量信息,将计算进程总量信息标记为Qy;
[0053] 步骤二:利用进程监控模块获取得到待处理进程信息组和当前进程信息组,将待处理进程信息组对应的待处理计算量信息组标记为Qpi,i=1...n:将当前进程信息组对应的当前计算量信息组标记为Qzi,i=1...n:
[0054] 步骤三:利用数据监控模块获取得到待处理进程信息组对应的优先级数,并将优先级数信息组标记为Hi,i=1...n;优先级数的确定规则如下:
[0055] S1:当待处理进程急于解决时在待处理进程后面加上注释SSS,将Hi的值标定为1;所述注释SSS由用户通过数据输入模块输入待处理数据时输入,下同;
[0056] S2:当待处理进程不急于解决处于正常情况时在待处理进程后面加上注释SS,将Hi的值标定为0.5;
[0057] S3:当待处理进程可以延迟解决时在待处理进程后面加上注释S,将Hi的值标定为0;
[0058] S4:根据待处理进程后面的注释获取得到对应待处理进程的优先级数Hi值,并在读取完成之后会自动删除待处理进程后端的注释一面形成信息错误;
[0059] 步骤四:利用计时单元获取得到待处理进程的排队时间信息组Wi,i=1...n;
[0060] 步骤五:利用数据监控模块获取云处理单元待处理进程信息组的锁定情况,将锁定情况信息组标记为Di,i=1...n;锁定情况信息组值标定规则如下:
[0061] S1:对待处理进行信息组内待处理信息的资源锁定情况进行检测;
[0062] S2:当检测到请求锁定待处理信息资源成功的话,将对应Di值标定为1;
[0063] S3:当检测到请求锁定待处理信息资源不成功的话,则将对应Di值标定为0,并继续对该待处理信息进行锁定资源处理;
[0064] 步骤六:利用公式 得到剩余计算量Qs;
[0065] 步骤七:根据待处理进程对应排队的排队时间信息组Wi、待处理计算量信息组Qpi和优先级数信息组Hi来确定待处理进程的处理顺序,顺序判定规则具体表现为:
[0066] S1:因为排队时间信息组Wi、待处理计算量信息组Qpi和优先级数信息组Hi值不同,对于待处理进程组进行处理的影响程度不同,因此首先对上述三个影响赋予修正值,具体赋予过程为:
[0067] SS1:将排队时间信息组Wi的修正值标定为X1,X1为预设值;
[0068] SS2:将待处理计算量信息组Qpi的修正值标定为X2,X2为预设值;
[0069] SS3:将优先级数信息组Hi的修正值标定为X3,X3为预设值;
[0070] SS4:其中X1+X2+X3=1,且X2>X3>X1;
[0071] S2:利用公式Si=(Wi*X1+Hi*X2+Qi*X3)*Di计算得到处理优先值信息组Si,i=1...n;且Si与Qpi一一对应;
[0072] S3:将待处理计算量信息组Qpi按照其对应的Si由大到小进行排序;并将排序后的待处理计算量信息组Qpi标定为计算量处理信息组Qxi,i=1...n,且Qx1对应的Si值S1为最大值;
[0073] S4:获取满足判定公式 的所有计算量处理信息组Qxi并将其标定为优先处理信息组Yi,i=1...n;优先处理信息组Yi与待处理进程信息组一一对应;
[0074] S5:获取Yi对应的待处理进程信息组并将其标记为处理进程信息组;
[0075] 所述数据修正模块用于将处理进程信息组传输到控制器,所述控制器用于将处理进程信息组传输到云处理单元进行处理,云处理单元在处理完待处理进程信息组时将处理结果传输到执行记录单元进行记录。
[0076] 所述数据修正模块还用于将待处理进程信息组和与其对应的Qpi以及当前进程信息组和与其对应的Qzi传输到显示模块,所述显示模块接收控制器传输的待处理进程信息组、Qpi和当前进程信息组、Qzi并进行实时显示。
[0077] 所述数据修正模块还用于将Yi及与其对应的处理进程信息组传输到控制器,所述控制器用于将Yi及与其对应的处理进程信息组传输到显示器,所述显示器接收控制器传输的Yi及与其对应的处理进程信息组并进行实时显示。
[0078] 所述数据输入模块还用于输入用户输入X1、X2和X3的值,所述数据输入模块用于将X1、X2和X3传输到控制器,所述控制器接收数据输入模块传输的X1、X2和X3并将其传输到数据修正模块。
[0079] 一种基于云计算的并发数据处理方法,在工作时,首先通过数据输入模块输入要处理的数据并将其传输到云处理单元,大量数据堆积之后形成正在处理的进程信息和等待处理的进程信息,之后通过数据监控模块和进程监控模块获取得到影响待处理进程处理顺序的几个关键因素,如计算进程总量信息标记为Qy和待处理计算量信息组标记为Qpi等,之后结合相关规则和对应的算法,处理得到在正在处理进程结束部分之后应该接入的待处理进程信息;并通过云处理单元对其进行处理,并将处理结果传输到执行记录模块进行存储方便日后查看;
[0080] 本发明的有益效果如下:
[0081] (1)本发明通过数据监控模块获取得到待处理进程信息组对应的优先级数,并将优先级数信息组标记为Hi,i=1...n;优先级数的确定规则表现为,当待处理进程急于解决时在待处理进程后面加上注释SSS,将Hi的值标定为1;当待处理进程不急于解决处于正常情况时在待处理进程后面加上注释SS,将Hi的值标定为0.5;当待处理进程可以延迟解决时在待处理进程后面加上注释S,将Hi的值标定为0;根据待处理进程后面的注释获取得到对应待处理进程的优先级数Hi值;根据数据监控模块读取对应注释即可得到待处理进程的轻重缓急程度;
[0082] (2)本发明通过数据监控模块、进程监控模块和计时单元结合数据修正模块,读取到影响处理待处理进程顺序的因素,之后按照相关算法计算得到待处理进程的优先值,并按指定规则陆续导入待处理进程到云处理单元进行处理,从而合理的对大量的待处理并发进程做到有序处理;
[0083] (3)本发明通过数据修正模块将排队时间信息组Wi的修正值标定为X1;将待处理计算量信息组Qpi的修正值标定为X2;将优先级数信息组Hi的修正值标定为X3;其中X1+X2+X3=1,且X2>X3>X1;从而形成上述因素的修正值,之后根据相关算法计算得到各待处理进程的优先值,避免了因为统一计算待处理进程影响力不同的因素而对其优先值的影响;本发明简单有效,且易于实用。
[0084] 以上内容仅仅是对本发明结构所作的举例和说明,所属
本技术领域的技术人员对所描述的具体
实施例做各种各样的
修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本
权利要求书所定义的范围,均应属于本发明的保护范围。