技术领域
[0001] 本
发明涉及
数据处理技术领域，具体地，涉及一种基于区域气温差异化的跨数据中心节能负载均衡方法。
背景技术
[0002] 数据中心因为在
基础架构中采用更高效的
电子元件或者使用更加先进的能耗技术而使数据中心的
能源效率得到巨大的提升。但是
云服务的数量以及规模也在不断增长，导致数据中心的能耗也在因此不断增长。最新的研究结果显示，过去几年美国的数据中心能耗已经大幅增加。在2014年，约占美国用电量的1.8％，用电量从2010-2014年度增加了约4％。预计数据中心能耗将在不久的继续上涨，可以预测2014-2020年将增长4％。根据目前的增长趋势估计，到2020年，美国的数据中心能耗约730亿千瓦时。降低数据中心的能耗成本和优化数据中心工作负载的执行性能是目前云计算方向的一个热
门研究方向。
[0003] 冷却能耗在数据中心总能耗的占比逐渐提高。现代数据中心是一个庞大的建筑并拥有大量的空间，内部配置了大量用于处理，存储和传输数字信息的IT设备的
服务器阵列及相关网络交换设备。当数据中心外界
温度比内部温度高时，庞大的数据中心建筑会因为热传导而产生大量的热量，同时IT设备上电运行同样会产生大量的热量。为了保证数据中心IT设备的高效运行以及保持IT设备的可靠性，需要保证设备的运行环境在适合设备工作状态的温度。图1展示了10个数据中心的能耗调查的结果，它揭示了一些代表性的数据中心的能源消耗分布和变化情况，调查结果显示数据中心冷却能耗占总能耗的30％至55％，而平均冷却能耗占总能耗约50％。因此，相对于提高IT设备的工作效率，通过节省数据中心冷却能耗降低数据中心的总能耗，节能效果也会更加明显。
[0004] 不同于一般的
建筑物内部的冷却能耗模型，数据中心的冷却能耗因为存在产生热量的IT设备因此相对一般的建筑物复杂很多。数据中心的冷却能耗不仅需要考虑外界温度较高导致的热传导，同时需要考虑IT设备自身产生的热量。IT设备自身产生的热量与IT设备正常工作的能耗相关，通常与IT设备当前的工作功率正相关。所以数据中心冷却系统的能耗随外部温度以及数据中心的负载的变化而变化。因为不同的数据中心地理
位置，外部温度是不同的，尽管在同一个地理位置，气温也随着时间的变化而变化。如果使用冷却设备使数据中心保持在合适的温度，则冷却设备的能耗将根据不同的位置和不同的时间而变化。制冷度日数(Cooling Degree Day，CDD)是测量室外空气温度高于特定基准温度的度数(以摄氏度为单位)以及持续的时间(天)。制冷度日数可以用于建筑物冷却所需能耗的相关计算。例如，平均气温高于建筑物的最适温度时，冷却系统开始工作，否则冷却系统暂停工作。对于一个特定类型的建筑，一个特定的制冷度日数会对应一个估计的冷却能耗。
[0005] 通常热传导总是趋向于使两者温度一致。目前云服务提供商在全球不同的地方部署了多个数据中心，因此为了降低数据中心总体冷却能耗，云服务的工作负载可以调度到内外温差较低的数据中心中运行，并关闭原来数据中心不必要的冷却设备。但是，在对这些工作负载进行重新调度需要考虑一些其他因素，例如应该把工作负载调度到那个数据中心才是最优的；重新调度的云服务必须仍然能够满足尾延迟要求；为了提供高可用性，云服务需要的基础数据通常会在数据中心之间进行备份，并且备份是数据中心基础设施提供的基本特性，因此并不考虑数据的备份需要的能耗。对于云服务提供商，他们的目标是在保证云服务能满足尾延迟要求的前提下，尽可能多地调度工作负载到内外温差较低的数据中心。
[0006] 综上所述，关于优化云服务工作负载的调度分布降低数据中心冷却能耗的研究，具有较强的实用性和推广价值。
发明内容
[0007] 针对
现有技术中的
缺陷，本发明的目的是提供一种基于区域气温差异化的跨数据中心节能负载均衡方法。
[0008] 根据本发明提供的一种基于区域气温差异化的跨数据中心节能负载均衡方法，包括：
[0009] 步骤1：通过拟合确定因为热传导导致的冷却能耗方程，记为拟合方程；
[0010] 步骤2：确定数据中心每个IT设备正常工作的能耗方程，记为子能耗方程；
[0011] 步骤3：根据拟合方程、子能耗方程、IT设备的配置以及相应的数量确定数据中心的总能耗方程；
[0013] 步骤5：根据调度向量，确定调度到数据中心的工作负载；
[0014] 步骤6：根据工作负载确定基于
服务水平协议的尾延迟约束；
[0015] 步骤7：根据尾延迟约束计算每个云服务请求的延迟概率；
[0016] 步骤8：根据总能耗方程构建气温
感知的云服务调度架构。
[0017] 较佳的，所述步骤1包括：
[0018] 利用能耗记录和制冷度日数样本数据集具进行拟合，拟合方程为f(c)＝a*c+b，令f(c)表示估计的线性回归函数，参数a和参数b分别为拟合方程的斜率与截距，反映了冷却能耗与制冷度日数的关系，与数据中心地理位置以及
气候状况相关，参数c是特定数据中心的制冷度日数，f(c)的结果是在不运行IT设备的情况下冷却数据中心所需的能耗。
[0019] 较佳的，所述步骤2包括：
[0020] 步骤2.1：当IT设备按照额定功率正常工作h小时，计算相应的工作能耗：
[0021] C1＝h*W/l000.
[0022] 步骤2.2：当IT设备工作小时并产生热量，计算相应的冷却能耗：
[0023]
[0024] W、B分别表示一个特定配置的IT设备的额定功率、英制热量BTU，其中除1000表示将单位Wh转化为kWh，0.293表示将1000BTU约等为293Wh，冷却设备的能源转换效率COP等于以每小时产生的实际冷却
能量除以全部的能量输入，COP越高冷却设备的制冷效率越高。
[0025] 较佳的，所述步骤3包括：
[0026] 根据一个确定的制冷度日数得到该制冷度日数下热传导产生热量的冷却能耗，同时根据K个IT设备的额定功率和设备的运行时间得到K个IT设备总功耗以及相应的冷却能耗，将所有能耗相加得到数据中心运行aj工作负载h小时的总能耗：
[0027]
[0028] 较佳的，所述步骤4包括：
[0029] 令S表示一组云服务的请求源； 表示所有请求源的调度决策向量，令g表示请求源i所发送请求的目标数据中心组；令 表示请求源i发送到
目标数据中心组g的调度决策向量，其中，云服务请求的实际调度通过
指定请求的目的地址实现。
[0030] 较佳的，所述步骤5包括：λij≥0表示请求源i发送到数据中心j的请求量，
叠加所有发送到数据中心j的所有请求，得到相应的工作负载：
[0031]
[0032] 较佳的，所述步骤6包括：
[0033] 步骤6.1：定义请求源到数据中心的请求链路，将云服务调度的目标数据中心组作为一个黑盒系统并忽略每个数据中心内部每个云服务请求的相互关系；
[0034] 步骤6.2：定义单个云服务请求在链路上的延迟概率，当工作负载aj在数据中心j运行，令 表示请求源i通过路径rij发送请求到数据中心j的响应时间小于延迟
阈值的概率；
[0035] 步骤6.3：定义在一个数据中心的工作负载的延迟概率，请求源i到数据中心j的所有请求的尾延迟概率表示为 λij≥0表示请求源i发送到数据中心j的请求量；
[0036] 步骤6.4：确定云服务的百分位尾延迟，发自请求源i的请求被调度分布到一个数据中心组，对发送到数据中心组g的所有请求的尾延迟概率求平均得到相应的百分位尾延迟：
[0037]
[0038] 其中 表示所有发送到数据中心组g的请求。
[0039] 较佳的，所述步骤7包括：
[0040] 步骤7.1：建立云服务请求响应时间的广义指数分布函数：
[0041]
[0042] 其中μ和α是一组决策参数；
[0043]
[0044]
[0045] 其中，ψ(·)、ψ′(.)分别表示伽
马函数、伽马函数的导函数，μ和α由云服务请求响应时间的均值E(X)以及方差V(X)决定，基于样本的均值和方差，通过求解得到决策参数μ和α。
[0046] 步骤7.2：建立云服务在确定数据中心组运行的尾延迟广义指数分布，假设映射到不同数据中心的请求响应时间是相互独立的随机变量，并且云服务请求在所有数据中心的响应时间是均匀分布的，云服务的尾延迟概率分布函数进一步简化为：
[0047]
[0048] 步骤7.3：根据
服务水平协议，求解步骤7.2得到的公式得到对应的延迟阈值，当高百分位尾延迟约束设置为p时，计算得到发送自请求源i的请求的尾延迟阈值Di：
[0049]
[0050] 步骤7.4：测试数据中心是否满足延迟约束，考虑请求源i在每个调度分布决策周期内向数据中心j发送W个请求，采用如下计算高百分位延迟概率：
[0051]
[0052] 其中，dij是每个请求的响应时间，对于第w个请求，运算[dij≤Dij]w表示一个统计方法，当dij≤Dij时，结果为1，否则为0。
[0053] 较佳的，所述步骤8包括：
[0054] 步骤8.1：定义优化方程：
[0055] Minimize
[0056]
[0057] Subject to
[0058]
[0059]
[0060]
[0061] S表示一组云服务请求源，N表示全部数据中心。前两个约束表示每一个云服务都必须满足基于服务水平协议的尾延迟要求， 表示发送自请求源i的云服务尾延迟，表示尾延迟约束，其中Λi表示请求源i发送到数据中心组g的所有请求；第三约束表示工作负载的调度分布不超过数据中心最大处理能
力，aj和Uj分别表示数据中心当前的工作负载以及最大能够处理的工作负载；
[0062] 步骤8.2：以降低数据中心总体冷却能耗的气温驱动云服务调度方法，包括三个主要组成部分：计算冷却能耗组件，基于服务水平协议的尾延迟评估组件和调度决策组件。
[0063] 较佳的，所述步骤8.2包括：
[0064] 步骤8.2.1：计算冷却能耗组件的输入包括数据中心能耗数据和每个数据中心位置的制冷度日数，根据能耗模型计算数据中心的总能耗；
[0065] 步骤8.2.2：尾延迟评估组件的输入包括云服务请求的延迟分布和服务水平协议，首先计算每个云服务请求的延迟阈值，然后发送测试请求到候选数据中心组并统计输出每个云服务的高百分位尾延迟概率；
[0066] 步骤8.2.3：调度决策组件根据以上两个组件的输出通过求解器求解步骤8.1的优化方程，并输出优化的工作负载调度决策，以更改云服务请求头目的地址的方式调度到不同的数据中心；
[0067] 步骤8.2.4：云服务请求的响应时间返回尾延迟评估组件。
[0068] 与现有技术相比，本发明具有如下的有益效果：
[0069] 本发明在确保云服务满足基于服务水平协议的尾延迟要求下对云服务工作负载进行重新调度分布，将云服务的工作负载重新调整到内外温差最小的数据中心，对比不进行重新调度，数据中心总体冷却消耗降低了40％以上，同时云服务仍然可以满足基于服务水平协议的尾延迟约束。
附图说明
[0070] 通过阅读参照以下附图对非限制性
实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0071] 图1为数据中心不同组件的能耗情况；
[0072] 图2为基于天气感知的云服务调度架构；
[0074] 图4至图7为三个Microsoft Azure数据中心位置在四至七月内的制冷度日数；
[0075] 图8至图10为延迟均值方差和计算得到的延迟阈值的累积概率分布图；
[0076] 图11至图14为三个数据中心在不同拟合函数情况下的总节能情况。
具体实施方式
[0077] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0078] 如图3所示，本发明提供的一种基于区域气温差异化的跨数据中心节能负载均衡方法，包括：
[0079] 步骤1：通过拟合确定因为热传导导致的冷却能耗方程。封闭空间不会与外界进行热传导，因此与外界隔绝的
密闭空间的空气温度是恒定不变的。利用能耗记录和制冷度日数样本数据集，使用MATLAB等工具进行拟合。拟合方程以(1)的形式给定，令f(c)表示估计的线性回归函数，参数a和参数b分别为拟合方程的斜率与截距，反映了冷却能耗与制冷度日数的关系，与数据中心地理位置以及气候状况相关，参数c是特定数据中心的制冷度日数。特别地，f(c)的结果是在不运行IT设备的情况下冷却数据中心所需的能耗。
[0080] f(c)＝a*c+b (1)
[0081] 步骤2：确定数据中心每个IT设备正常工作的能耗方程。为了计算因为IT设备正常运行产生热量而需要的冷却能耗，必须知道各种配置的IT设备的工作功耗以及相应全功率运行时所产生的热量(既设备功耗与所产热量的转化方程)。令W和B分别表示一个特定配置的IT设备的额定功率和英制热量(British Thermal Unit，BTU)。特别地，BTU是用作
空调系统的功率单位，其中除1000表示将Wh转化为kWh，0.293表示1000BTU约为293Wh。假设运行一个IT设备h小时，维持这个IT设备正常工作的总能耗可以分为两部分，C1表示用于维持设备的正常工作的能耗，C2表示抵消该设备产生热量的冷却能耗。其中冷却设备的能源转换效率(Coefficient of Performance，COP)等于以每小时产生的实际冷却能量除以全部的能量输入，COP越高冷却设备的制冷效率越高。
[0082] 步骤2.1：当IT设备按照额定功率正常工作h小时，计算相应的工作能耗。
[0083] C1＝h*W/1000 (2)
[0084] 步骤2.2：当IT设备工作h小时并产生热量，计算相应的冷却能耗。
[0085]
[0086] 步骤3：根据拟合方程以及IT设备的配置以及相应的数量确定数据中心的总能耗方程。一个确定的制冷度日数可以得到该制冷度日数下热传导产生热量的冷却能耗，同时根据K个IT设备的额定功率和设备的运行时间可以得到K个IT设备总功耗以及相应的冷却能耗。将所有能耗相加可以得到数据中心运行aj工作负载h小时的总能耗：
[0087]
[0088] 步骤4：定义云服务请求的调度向量。令s表示一组云服务的请求源；令表示所有请求源的调度决策向量。令g表示请求源i所发送请求的目标数据中心组；令 表示请求源i发送到目标数据中心组g的调度决策向量。其中，
云服务请求的实际调度可以通过指定请求的目的地址实现。
[0089] 步骤5：确定调度到数据中心的工作负载。因为工作负载实际由一系列的云服务请求协同完成，当知道云服务请求的调度决策，那么可以得到在确定的调度决策向量下每个数据中心的工作负载分布。λij≥0表示请求源i发送到数据中心j的请求量，叠加所有发送到数据中心j的所有请求，得到相应的工作负载：
[0090]
[0091] 步骤6：确定基于服务水平协议的尾延迟约束。因为云服务需要多个数据中心协同完成，尾延迟通常由最晚响应的数据中心决定。
[0092] 步骤6.1：定义请求源到数据中心的请求链路。发送自请求源的云服务请求的延迟是建立在连接数据中心的一条链路上的，考虑从请求源i到数据中心j的一条链路rij，由于主要关注数据中心上层工作负载的调度决策，将云服务调度的目标数据中心组作为看做一个黑盒系统并忽略每个数据中心内部每个云服务请求的相互关系(执行顺序，中间结果的延迟传输等)。
[0093] 步骤6.2：定义单个云服务请求在链路上的延迟概率。当工作负载aj在数据中心j运行，令 表示请求源i通过路径rij发送请求到数据中心j的响应时间小于延迟阈值的概率。
[0094] 步骤6.3：定义在一个数据中心的工作负载的延迟概率。请求源i到数据中心j的所有请求的尾延迟概率可以表示为 λij≥0表示请求源i发送到数据中心j的请求量，特别地，同一个链路上的不同请求概率延迟可能是不同的，因为不同请求的处理时间不一致。
[0095] 步骤6.4：确定云服务的百分位尾延迟。由于发自请求源i的请求被调度分布到一个数据中心组，所以对发送到数据中心组g的所有请求的尾延迟概率求平均可以得到相应的百分位尾延迟。其中 表示所有发送到数据中心组g的请求。
[0096]
[0097] 步骤7：计算每个请求的延迟概率。结合解决高流量负载的排队模型，概率延迟可以通过广义指数分布并拟合求解得到。
[0098] 步骤7.1：建立云服务请求响应时间的广义指数分布函数。其中μ和α是一组决策参数。
[0099]
[0100] 其中，ψ(.)、ψ′(.)分别表示伽马函数、伽马函数的导函数，μ和α由云服务请求响应时间的均值W(X)以及方差V(X)决定，另括号里的x,X是概率论里面用到的记号，没有特殊的含义。基于样本的均值和方差，通过MATLAB等工具求解(8)和(9)求解得到决策参数μ和α。
[0101]
[0102]
[0103] 步骤7.2：建立云服务在确定数据中心组运行的尾延迟广义指数分布。步骤7.1得到了单个云服务请求发送到一个数据中心的广义指数分布函数，因为云服务请求需要发送到一个数据中心组，所以需要在(7)的基础上得到发送到数据中心组g的尾延迟广义指数分布。假设映射到不同数据中心的请求响应时间是相互独立的随机变量，并且云服务请求在所有数据中心的响应时间是均匀分布的，云服务的尾延迟概率分布函数可以进一步简化为：
[0104]
[0105] 步骤7.3：根据服务水平协议，求解步骤7.2得到的公式得到对应的尾延迟阈值。当高百分位尾延迟约束设置为p时(例如，p＝95)，通过公式(11)可以计算得到发送自请求源i的请求的尾延迟阈值Di。其中尾延迟阈值Di是关于服务水平协议以及历史请求得到的可信的数值。
[0106]
[0107] 步骤7.4：测试数据中心是否满足延迟约束。当仅考虑单个数据中心，即g＝{j}时，根据(11)可以得到对应数据中心j的延迟阈值Dij。当得到了延迟阈值，那么可以通过简单的概率统计方法求得高百分位尾延迟。考虑请求源i在每个调度分布决策周期内向数据中心j发送W个请求。定义如下计算高百分位延迟的方法：
[0108]
[0109] 其中，dij是每个请求的响应时间，对于第w个请求，运算[dij≤Dij]w表示一个统计方法，当dij≤Dij时，结果为1，否则为0。根据大数定律，基于大量延迟的概率分布获得的延迟均值应接近真实值。当在延迟预测中增加响应预测样本，延迟估计将越来越准确。
[0110] 步骤8：气温感知的云服务调度架构设计。
[0111] 步骤8.1：定义优化方程。结合能耗方程以及尾延迟模型，得到优化方程(13)。约束(13a)和(13b)表示每一个云服务都必须满足基于服务水平协议的尾延迟要求。约束(13c)表示工作负载的调度分布应该不超过数据中心最大处理能力。
[0112] Minimize
[0113]
[0114] Sub.ject to
[0115]
[0116]
[0117]
[0118] S表示一组云服务请求源，N表示全部数据中心。前两个约束表示每一个云服务都必须满足基于服务水平协议的尾延迟要求， 表示发送自请求源i的云服务尾延迟，表示尾延迟约束，其中Λi表示请求源i发送到数据中心组g的所有请求；第三约束表示工作负载的调度分布不超过数据中心最大处理能力，aj和Uj分别表示数据中心当前的工作负载以及最大能够处理的工作负载。
[0119] 步骤8.2：以降低数据中心总体冷却能耗的气温驱动云服务调度方法。调度架构如图3所示，包括三个主要组成部分：计算冷却能耗组件，基于服务水平协议的尾延迟评估组件和调度决策组件。
[0120] 步骤8.2.1：计算冷却能耗组件的输入包括数据中心能耗数据和每个数据中心位置的制冷度日数，根据能耗模型计算数据中心的总能耗。
[0121] 步骤8.2.2：尾延迟评估组件的输入包括云服务请求的延迟分布和服务水平协议，首先计算每个云服务请求的延迟阈值，然后发送测试请求到候选数据中心组并统计输出每个云服务的高百分位尾延迟。
[0122] 步骤8.2.3：调度决策组件根据以上两个组件的输出通过求解器求解优化方程(13)，并输出优化的工作负载调度决策，以更改云服务请求头目的地址的方式调度到不同的数据中心。
[0123] 步骤8.2.4：云服务请求的响应时间返回尾延迟评估组件。因为云服务尾延迟阈值的评估是基于历史数据的，因此每个云服务请求完成以后需要记录相应的响应时间。
[0124] 本设计旨在通过调度云服务到内外温差较低的数据中心实现降低数据中心总体冷却能耗。总的来说，外界温度越高，冷却数据中心所需的能量越多，因为热传导总是趋向于使温差为0，当外界温度较高时，数据中心需要更多的能量消除因为热传导产生的热量。同时外界温度因为不同的地理位置而不同，并且同一个地理位置，也随着时间的变化而变化。冷却系统使数据中心保持在合适的温度(合适的温度是指最适合IT设备工作的温度)，相应使用的能量根据不同的位置在不同的时间差异很大。为了降低冷却能耗，云服务相关的工作负载可以调度到外界气温较低的数据中心中运行，然后把外界气温较高的数据中心的冷却设备关闭，尽量降低数据中心的冷却面积以此减少热传导对冷却数据中心的影响。
[0125] 因此，本设计需要优化工作负载的调度分布，尽可能地降低数据中心的冷却能耗。因为不同地理位置的数据中心的内外温差差异很大，并且与当地天气变化有关，考虑利用制冷度日数和IT设备功耗与产热的转化函数对数据中心总体冷却能耗进行建模，另外利用适合高负载数据中心的排队模型对云服务基于服务水平协议的尾延迟进行评估计算，得到的延迟最终作为最小化冷却能耗的约束，最终通过求解优化方程(13)得到调度分布决策。
总的来说，本设计是通过整合冷却能耗模型以及尾延迟模型得到一种在多个地理位置不同的数据中心利用气温感知动态调度云服务工作负载的方法。实验结果表明，在对数据中心工作负载进行重新调度以后，对比不进行重新调度，数据中心总体冷却消耗降低了40％以上，同时云服务仍然可以满足基于服务水平协议的尾延迟约束。
[0126] 另外对于降低数据中心冷却能耗还缺少利用制冷度日数计算冷却能耗的相关研究，某些相关的研究往往面向单个数据中心提高IT设备的效率或者通过工作负载的整合以关闭不必要的IT设备。因此本设计开创性地通过优化工作负载在多个数据中心的调度分布以降低数据中心总体的冷却能耗，并设计了一种方法达到了相应的预期效果。
[0127] 数据中心：利用Microsoft Azure的数据中心进行了实验，选取了位于芝加哥，昆西和圣安东尼奥三个地方的数据中心。数据中心IT设备的额定功能以W表示，并且可以从产品规格中计算出来。每个IT设备的BTU可以用转换函数B＝0.293*W计算。
[0128] 工作负载：每个云服务包括将被安排到不同数据中心的多个工作负载。工作负载对应的请求在调度决策时间段内相对稳定并且能够预测得到，通过重做数据中心云服务历史请求产生相应的工作负载仿真验证
算法性能。
[0129] 能耗数据和制冷度日数：通过自主监测或者从能源供应商获得能耗数据。数据中心相对固定的冷却模式可以确保冷却能耗模型的可用性。关于冷却能耗的拟合需要数据中心位置的制冷度日数，Degree days.net提供了获得制冷度日数的方法，图4至图7展示了三个不同地理位置(芝加哥、昆西、圣安东尼奥)的Azure数据中心在4、5、6和7月份的制冷度日数数据。
[0130] 其中，工作负载调度的流程如下：
[0131] 步骤1确定数据中心冷却能耗的线性回归函数。可以从能源提供商处获得冷却能耗数据或者自己实际测量，然后利用MATLAB等工具对冷却能耗与制冷度日数数据进行拟合得到一个线性函数f(c)。表1展示了4个线性回归函数，通常线性回归函数用于预测在一定的制冷度日数下冷却能耗，但是冷却能耗不仅跟外界温度相关，与光照、
风速等也相关，因此这4个线性回归函数将作为参数分别叠加到总能耗方程。
[0132] 表1线性回归函数
[0133]f(c) a b
1677.5c+14605 1677.5 14605
1500c+14000 1500 14000
1297.2c+12305 1297.2 12305
1000c+11000 1000 11000
[0134] 步骤2计算数据中心IT设备正常工作的功耗及冷却能耗。根据每个数据中心IT设备的功率情况得到正常工作的能耗C1以及需要的冷却能耗C2；数据中心IT设备的功耗可以通过实际产品信息或者进行精确测量得到，每个IT设备的功耗可以不同，并且IT设备应该包括全部能源驱动的设备。
[0135] 步骤3最后叠加步骤1和2的能耗得到总能耗。得到的总能耗应该是一段时间的总和，这个时间段同时也是云服务重新调度决策的时间，因为外界温度在一个小时内是相对稳定的，因此可以把时间设置为1个小时。
[0136] 步骤4计算云服务请求的延迟阈值。云服务在每个数据中心的历史请求将会被记录，得到的云服务请求记录作为样本求解公式(7)-(11)得到每个云服务请求在候选数据中心的延迟阈值。图8和图9分别展示了大量请求记录得到的均值和方差的累积概率分布，图10展示了基于得到的均值和方差求解的延迟阈值的累积概率分布。
[0137] 步骤5确定数据中心的高百分位尾延迟。在每个调度决策时间尝试给每个候选数据中心组发送云服务请求，得到数据作为样本结合步骤4的延迟阈值求解(12)。利用求解得到的每个请求链路的概率延迟并结合公式(6)求得云服务在每个候选数据中心的百分位尾延迟。
[0138] 步骤6根据得到的能耗函数以及高百分位尾延迟，数值求解并进行调度决策。利用贪心算法按冷却能耗从低到高逐个判断云服务调度到所有可能的数据中心组是否满足服务水平协议，如果满足标记该云服务已经决策，否则测试下一个候选数据中心组。对于大规模云服务调度决策，可以利用求解器(MATLAB线性规划工具箱，GLPK求解器等)求解优化方程(13)得到最终的调度决策。
[0139] 图11、12、13、14分别表示在不同的拟合情况下，本方法的能耗节省情况。总能耗是多个数据中心的能耗总和，而且是在图4至图7所示的4个月内的总能耗。对比图11、12、13、14，可以发现在不同拟合情况下，能耗的节省是存在差异的，总的来说，当热传导导致的能耗越多，那么节能效率更好，因为本方法是气温驱动的，主要是通过降低这一部分的冷却能耗。另外随着服务水平协议约束降低(如图11，服务水平从0.99到0.93)，节能效果更好。因为当约束降低，那么候选数据中心将会变得更多，换言之就是云服务可能调度到气温更低的数据中心。
[0140] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在
权利要求的范围内做出各种变化或
修改，这并不影响本发明的实质内容。在不冲突的情况下，本
申请的实施例和实施例中的特征可以任意相互组合。
