技术领域
[0001] 本
发明涉及云端
服务器中磁盘领域，特别是涉及一种云端服务系统中磁盘预期寿命值的延长方法及其系统。
背景技术
[0002] 计算机中的磁盘是用来储存数据，供应用程序运作所需的主要设备。无论何种型态，比如
硬盘、固态硬盘，甚或是磁带，在一段长时间使用之后，该磁盘终究会故障而无法工作。如果并未于故障之前适当地执行数据备份或归档，磁盘中的数据会遗失，因为其中可能会包含重要数据，如磁盘中的
操作系统与
计算机系统配置数据，这将造成灾难。通常，磁盘会在故障前会显现某些迹象。举例来说，储存的数据消失或程序运转频繁失常。使用者可容易地察觉这些迹象并采取行动替换磁盘及储存其中的数据。因为该计算机可能仅有少数的磁盘，且该用户可以透过计算机性能表现每天持续观察磁盘，这做法是可行的。
[0003] 对于运作云端服务系统的架构来说，也会遭遇如同前述磁盘的相同问题。然而，比较复杂的情况是该架构通常包含大量用于数据存取的磁盘。因为储存数据性质及内容的不同，某一磁盘可能会较其它磁盘更常被存取。经常性的磁盘存取是缩短磁盘寿命值的重要因素。然而，频繁且持续地观察每一磁盘的物理性能是非常困难的。对云端服务系统的管理人员来说，常常执行数据备份并替换故障的磁盘并不是一种符合经济效益的方法。
[0004] 传统预测存储装置寿命的方法使用来自日志的数据，如系统日志、应用程序日志，或
数据库日志的数据(运作行为信息)，用于训练以及预测寿命。虽然日志中的数据可能不会告知磁盘的实际情况，但可由纪录中获得某些磁盘
健康状态的暗示，这是因为纪录内不正常的数值与对应磁盘的真实寿命值之间是有关联的，可有效地使用历史数据来进行预测。如果该方法能藉日志所透漏内容，精确地为所有磁盘找出寿命值，对一特定型号的磁盘，基于相同的制造流程与
质量要求，其真实寿命值应介于特定范围内，例如，使用4,000至5,000小时。然而，事实上，某些相同型号的磁盘只能工作一段短的时间，某些工作较长的时间，而大多数磁盘的寿命值落于该预测的范围内。即使两个磁盘有相似的运作行为信息，它们可能不会有相同的寿命值。这意味着分析中缺少一些关键因素。
[0005] 对有相似的日志却有不同寿命值的二个磁盘来说，如果检视某些性能数据，如IOPS(Input/Output Per Second，每秒输入/输出操作次数)、延迟时间，与流通量(Throughput)，或相关信息，如
中央处理器(Central Processing Unit，CPU)负载或主机内存使用量，可以发现该二个磁盘运行方式不同，而这差异可能就是导致不同寿命值的因素。举例来说，二个磁盘一年内有相似的存取及故障纪录，一个在其中三个月内被密集地存取而另一个在一年内平均地被存取。因此，亟需一种更精确地预测云端服务系统中磁盘寿命的方法，可进一步由分析输入/输出模式，延长磁盘的预期寿命值。
发明内容
[0006] 基于此，有必要针对传统对云端服务系统中磁盘寿命预测不够精确的问题，提供一种能够更为精确地预测云端服务系统中磁盘寿命的云端服务系统中磁盘预期寿命值的延长方法及其系统，从而延长云端服务系统中磁盘的预期寿命值。
[0007] 在其中一个
实施例中，本发明提出一种云端服务系统中磁盘预期寿命值的延长方法，该方法包含步骤：
[0008] A、由历史数据中搜集云端服务系统中的每一磁盘的性能数据；
[0009] B、滤除来自故障的磁盘或寿命值短于默认值的磁盘的性能数据；
[0010] C、将所述磁盘依照其性能数据对应的寿命值级别进行分组；
[0011] D、将所述性能数据与所述寿命值常规化为无单位性能值与无单位寿命值；
[0012] E、对每一组中每一磁盘的无单位性能值执行LSTM建模
算法，以得到每一磁盘在未来一段时间内所述无单位性能值的预测走势；
[0013] F、基于该组中所述无单位性能值的预测走势，分别对每一组中所有的磁盘
指定特定无单位性能值；
[0014] G、执行k-平均丛集算法，以输入集来得到输出集，其中每一输入集代表对应的磁盘并包含特定无单位性能值与无单位寿命值；
[0015] H、将每一输出集反常规化以分别得到性能极限与目标寿命值；及
[0016] I、为形成储存设备的磁盘设置性能极限，以便每一磁盘在所述未来一段时间内具有的期望寿值不短于所述目标寿命值。
[0017] 在其中一个实施例中，在步骤I之后进一步包括步骤J：
[0018] J、为每一储存设备配置工作负载，所述工作负载具有的性能需求匹配或低于所述性能极限。
[0019] 在其中一个实施例中，所述性能数据包括延迟时间、流通量、中央处理器负载、内存使用量，或IOPS。
[0020] 在其中一个实施例中，所述无单位性能值由将性能数据值与所有性能数据值中最小者间的第一差异值除以所有性能数据值中最大者与最小者间的第二差异值而计算出。
[0021] 在其中一个实施例中，所述无单位寿命值由将寿命值与所有寿命值中的最大者间的第三差异值除以所有寿命值中的最大者与最小者间的第四差异值而计算出。
[0022] 在其中一个实施例中，所述磁盘包括硬盘或固态硬盘。
[0023] 在其中一个实施例中，所述寿命值级别均匀地分布在所有寿命值中的最大者与最小者间的范围内。
[0024] 在其中一个实施例中，所述特定无单位性能值由平均该组中在所述未来一段时间内预测的无单位性能值而得到。
[0025] 在其中一个实施例中，所述历史数据来自系统日志、应用程序日志、数据库日志，或S.M.A.R.T.日志。
[0026] 在其中一个实施例中，步骤G中的所述输出集为每一丛集的中央集。
[0027] 本发明还提供一种云端服务系统。该系统包括：
[0028] 主机，用于运作工作负载并执行数据存取；
[0029] 多个磁盘，连接到所述主机，用以储存数据供工作负载存取；及
[0030] 预期寿命延长模
块，配置到或安装于所述主机，用以由历史数据中搜集每一磁盘的性能数据；滤除来自故障的磁盘或寿命值短于默认值的磁盘的性能数据；将所述磁盘依照其性能数据对应的寿命值级别进行分组；将所述性能数据与寿命值常规化为无单位性能值与无单位寿命值；对每一组中每一磁盘的无单位性能值执行LSTM建模算法，以得到每一磁盘在未来一段时间内所述无单位性能值的预测走势；基于该组中所述无单位性能值的预测走势，分别对每一组中所有的磁盘指定特定无单位性能值；执行k-平均丛集算法，以输入集来得到输出集，其中每一输入集代表对应的磁盘并包含特定无单位性能值与无单位寿命值；将每一输出集反常规化以分别得到性能极限与目标寿命值；及为形成储存设备的磁盘设置性能极限，以便每一磁盘在所述未来一段时间内具有的期望寿值不短于所述目标寿命值。
[0031] 在其中一个实施例中，所述预期寿命延长模块进一步用以为每一储存设备配置工作负载，所述工作负载具有的性能需求匹配或低于所述性能极限。
[0032] 在其中一个实施例中，所述性能数据包括延迟时间、流通量、中央处理器负载、内存使用量，或IOPS。
[0033] 在其中一个实施例中，所述无单位性能值由将性能数据值与所有性能数据值中最小者间的第一差异值除以所有性能数据值中最大者与最小者间的第二差异值而计算出。
[0034] 在其中一个实施例中，所述无单位寿命值由将寿命值与所有寿命值中的最大者间的第三差异值除以所有寿命值中的最大者与最小者间的第四差异值而计算出。
[0035] 在其中一个实施例中，所述磁盘包括硬盘或固态硬盘。
[0036] 在其中一个实施例中，所述寿命值级别均匀地分布在所有寿命值中的最大者与最小者间的范围内。
[0037] 在其中一个实施例中，所述特定无单位性能值由平均该组中在所述未来一段时间内预测的无单位性能值而得到。
[0038] 在其中一个实施例中，所述历史数据来自系统日志、应用程序日志、数据库日志，或S.M.A.R.T.日志。
[0039] 在其中一个实施例中，所述输出集为来自k-平均丛集算法的每一丛集的中央集。
[0040] 本发明的有益效果至少包括：
[0041] 本发明使用LSTM建模及k-平均丛集算法来找出性能极限与目标寿命值，以让丛集的磁盘可指定用于运行于云端服务系统上的特定工作负载。磁盘能被预测出其最小寿值，且可以满足该工作负载的需求。此外，该最小寿值是该磁盘所能持续运作的最长寿命。
附图说明
[0042] 图1为一个实施例中的云端储存设备系统的示意图；
[0043] 图2为一个实施例中的云端服务系统中磁盘预期寿命值的延长方法的流程示意图；
[0044] 图3为一个实施例中的显示磁盘状态的窗体；
[0045] 图4为一个实施例中显示磁盘分组结果的窗体；
[0046] 图5为一个实施例中的显示过去一段时间内搜集的无单位性能值的图表；
[0047] 图6为一个实施例中显示未来24小时的无单位性能值预测走势的图表；
[0048] 图7为一个实施例中的3个在高组中磁盘的IOPS预测走势；
[0049] 图8为一个实施例中的显示输入集分布的图表。
具体实施方式
[0050] 本发明将参照下述的实施方式而更具体地描述。
[0051] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明云端服务系统中磁盘预期寿命值的延长方法及其系统进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0052] 图1为本发明一个实施例中的云端服务系统的理想架构示意图。云端服务系统10包括主机100与30个磁盘(这些磁盘依序编号为201到230，以供以下全面的说明之用)。主机100可以是一台服务器，用来运作工作负载并为该工作负载执行数据存取。主机100是通过因特网、局域网络(Local Area Network，LAN)，或广域网(Wide Area Network，WAN)，接收来自客户端设备，如个人计算机、平板计算机，与智能型手机，及其它远程设备的需求的
硬件。磁盘201到230连接到该主机100，用以储存数据供工作负载存取。虽然本实施例中磁盘的数量为30个，但这不意味限制本发明的应用。事实上，只要能达到工作负载的需求，云端服务系统10可以具有任何数量的磁盘。磁盘可以是硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid State Disk，SSD)。在本实施例中，磁盘201到230都是固态硬盘。对本发明的应用而言，磁盘的型态应该一致。最好，磁盘的型号能相同(来自相同的制造商及具有一致的架构)。这样可以进行基于相同情况的统一比较。使得该方法提供的预测结果可以更精准。
[0053] 主机100具有多个关键部件：中央处理器(Central Processing Unit，CPU)101、内存102，及预期寿命延长模块103。中央处理器101负责主机100的运作。内存102可以是一个静态随机存取内存(Static Random Access Memory，SRAM)或动态随机存取内存(Dynamic Random Access Memory，DRAM)，用来暂时储存数据或程序以运行云端服务系统10。预期寿命延长模块103是实现本发明提供方法的一个实施例中的设备，它配置到主机100中。预期寿命延长模块103的主要功能是由历史数据中搜集每一磁盘的性能数据；滤除来自故障的磁盘或寿命值短于默认值的磁盘的性能数据；将磁盘依照其性能数据对应的寿命值级别进行分组；将性能数据与寿命值常规化为无单位性能值与无单位寿命值；对每一组中每一磁盘的无单位性能值执行LSTM(Long Short Term Memory)建模算法，以得到每一磁盘在未来一段时间内该无单位性能值的预测走势；基于该组中这些无单位性能值的预测走势，分别对每一组中所有的磁盘指定特定无单位性能值；执行k-平均丛集算法，以输入集来得到输出集，其中每一输入集代表对应的磁盘并包含特定无单位性能值与无单位寿命值；将每一输出集反常规化以分别得到性能极限与目标寿命值；及为形成储存设备的磁盘设置性能极限，以便每一磁盘在未来该段时间内具有的期望寿值不短于该目标寿命值。此外，预期寿命延长模块103能进一步为每一储存设备配置工作负载，该工作负载具有的性能需求匹配或低于该性能极限。后续本发明一个实施例中的方法中会详细地说明这些功能。应注意的是，在其它实施例中，预期寿命延长模块103可能是以
软件的型式，安装于主机100(储存于内存102中并由中央处理器101操作)中。在另外一些实施例中，预期寿命延长模块103可以是独立的设备并平行配置到主机100中。
[0054] 参见图2，该图为为一个实施例中云端服务系统中磁盘预期寿命值的延长方法的流程示意图。该方法的第一步骤为：S01，由历史数据中搜集云端服务系统10中的每一磁盘的性能数据。此处，这些性能数据能从云端服务系统10的任何部件中搜集，它们可不需要与磁盘的物理性能有关，但要和云端服务系统10的一部分相关联。举例来说，性能数据可以是延迟时间、流通量(Throughput)、中央处理器(Central Processing Unit，CPU)负载、内存使用量或IOPS(Input/Output Per Second，每秒输入/输出操作次数)。历史数据是过去连续搜集的数据，包含性能数据、元数据或其它需要的信息，它们可能来自系统日志、应用程序日志、数据库日志，或S.M.A.R.T.(Self-Monitoring Analysis and Reporting Technology，自我监测分析和报告技术)日志。这意味由上述的来源取得性能数据。在本实施例中，以IOPS来说明。此外，用于任一磁盘的性能数据是不可中断的，比如在过去6个月连续且周期性地记录，但漏失了第三个月中的某一周的性能数据，这样是不行的。对中断纪录的性能数据来说是没有意义的，因为无法找出该性能的输入/输出模式。
[0055] 接着，第二步骤为：S02，滤除来自故障的磁盘或寿命值短于默认值的磁盘的性能数据。为了有较好的理解，请参见图3，该图为一个实施例中的显示磁盘201到230状态的窗体。很明显地，由图3可知在分析进行的瞬间，某些磁盘的状态是“故障的”。故障的磁盘可能是全然地失效等待更换，也可指的是具有较差性能的磁盘，诸如具有超过一定程度的死块(dead blocks)或很容易
过热的磁盘。磁盘221到225被判定为“故障的”而无法由本发明所应用。剩余的磁盘都是好的。然而，对所有磁盘来说纪录的寿命值都不尽相同。寿命值指的是磁盘至今正常运作时间(天数)，它可以继续工作一段长时间或可能很快故障。寿命值(lifespan)不同于寿值(lifetime)，后者定义为一磁盘在故障前所能工作的所有时间。换言之，寿值是一个确定的值而寿命值其范围随时会变动。除了来自“故障的”磁盘的性能数据无法使用，来自好的磁盘的性能数据但搜集时间太短(寿命值)也不具代表性。寿命值短到如何的程度而导致该磁盘的数据不具代表性并不为本发明所限制。在本实施例中，将具有的寿命值短于50天的磁盘去除不用。因此，放弃使用磁盘226到230。
[0056] 下一步骤是：S03，将磁盘依照其性能数据对应的寿命值级别进行分组(好的且具有寿命值长于50天的)。请参见图4，该图为一个实施例中的显示磁盘分组结果的窗体。分组(grouping)或分级(binning)，是一种数据预先处理技术，用来减少次要观测误差效应。组的数量不限制。在本实施例中，组的数量为5组，它们被分成较高、高、中等，低，与较低。在其它实施例中，组的数量可以是3组且分成高、中等，及低。寿命值级别是两邻近组的界限值。最好，该些寿命值级别均匀地分布在所有寿命值中的最大者与最小者间的范围内。此处，寿命值级别设定为122、187、252，及317(天)。因此，由图4可知，磁盘214是在较高组中，磁盘
213、215与208是在高组中，磁盘218、203、219，与204是在中等组中，磁盘216、201、220、212、
211，217及202是在低组中，磁盘205、210、209、206，与207是在较低组中。磁盘具有相应性能数据的归类到前述各组的一组中。
[0057] 本方法的第四步骤是：S04，将这些性能数据与寿命值常规化为无单位性能值与无单位寿命值。在一个实施例中，无单位性能值由将性能数据值与所有性能数据值中最小者间的第一差异值除以所有性能数据值中最大者与最小者间的第二差异值而计算出。而无单位寿命值由将寿命值与所有寿命值中的最大者间的第三差异值除以所有寿命值中的最大者与最小者间的第四差异值而计算出。两者的计算是类似的，但应用目标不同。请参见图4。以寿命值的常规化作为例子。在图4中，所有寿命值中最小者为56，最大者为382。第四差异值为326(由382减56而获得)。对磁盘216来说，它的寿命值是154，第三差异值是98(由154减
56而获得)而无单位寿命值是0.301(由98除以326而获得)。
[0058] 接着，S05，对每一组中每一磁盘的无单位性能值执行LSTM(Long Short Term Memory)建模算法，以得到每一磁盘在未来一段时间内该无单位性能值的预测走势。LSTM建模算法是
人工神经网络(Artificial Neural Network，ANN)的一种类型，它每一个
节点有特殊设计，适合预测长期数据的趋势。LSTM建模算法的详细设计不是本发明之重点，任何的LSTM建模算法都可应用，虽然其导出结果有某种程度的差异。请参见图5，该图为一个实施例中的显示在过去时间内搜集的无单位性能值的图表，及图6为一个实施例中的显示未来24小时无单位性能值预测走势的图表。二图表是用于相同的磁盘，如在高组中的磁盘208。
图5中实在线的每一点是磁盘208的IOPS的纪录。搜集资料的间隔可能是5分钟、10分钟、30分钟，或一小时，本发明并未限定之。图6中的虚线显示IOPS在未来24小时的预测走势。有20个磁盘用来进行分析，在未来这段时间内无单位性能值预测走势的图就有20幅。
[0059] 接着，S06，基于该组中的无单位性能值的预测走势，分别对每一组中所有的磁盘指定特定无单位性能值。应注意的是，因为本发明的目的在预测磁盘在未来这段时间内的预期寿命值，并配置最佳磁盘组合给不同的工作负载已延长所有磁盘的寿命值，其结果对磁盘来说，应于“未来一段时间”内可行。举例来说，未来一段时间可指接下来的1小时、接下来的6小时、首6小时后的接下来的1小时等等。因此，该指定的特定无单位性能值可随”未来一段时间”的不同定义而改变。为了对步骤S06有较佳理解，请参阅图6，该图显示3个在高组中磁盘的IOPS预测走势。为了对接下来的6小时以本方法找出结果，分别由这些图表中取样3个预测的值(黑点)。特定无单位性能值由平均高组中第6小时(在接下来的6小时中任一时点都可被使用)这些预测的无单位性能值而获得。如图4所示为0.43。对其它的组而言，特定无单位性能值也给定于图4中。当然，其它方式，如加权平均值或几何平均值也可以用来找出该特定无单位性能值，本发明并未限定之。
[0060] 本方法的第7步骤是：S07，执行k-平均丛集(k-means clustering)算法，以输入集来得到输出集。此处，每一输入集代表对应的磁盘并包含特定无单位性能值与无单位寿命值。图7为一个实施例中的显示输入集分布的图表。横轴值为特定无单位性能值(基于IOPS)，纵轴值为无单位寿命值。输入集由实心菱形所标示。在运算之后，k-平均丛集算法可将输入集分为3个或更多的丛集(在本实施例中，使用3个丛集)而不论每一输入集可能属于哪一组。步骤S07中每一丛集的中央集被选作为输出集。如图7所示，每一丛集的输出集由一空心圆形所标示。
[0061] 接着的步骤为：S08，将每一输出集反常规化以分别得到性能极限与目标寿命值。在步骤S08中，反常规化意味将输出集中的值乘以对应的第二差异值与第四差异值，并加上各自的最小值，以得到IOPS值与寿命值。对高IOPS与高寿命值丛集而言，性能极限为1542的IOPS与284天的寿命值。对中等IOPS与较短寿命值丛集而言，性能极限为1150的IOPS与85天的寿命值。对于低IOPS与中等寿命值丛集而言，性能极限为544的IOPS与147天的寿命值。接着，S09，为这些形成储存设备的磁盘设置性能极限，以便每一磁盘在上述未来一段时间内具有的期望寿值不短于该目标寿命值。此处使用的“储存设备”同于“丛集”，也就是多个磁盘连接起来用于特定的工作负载，勿与k-平均丛集算法中的”丛集”混淆。如果储存设备中的磁盘设定具有1542的IOPS性能极限，这意味当具有最低IOPS低于1542的工作负载应用时，该储存设备中每一磁盘具有期望寿值284天。
[0062] 当所有磁盘都设定了性能极限，本方法的最后一步骤为：S10，为每一储存设备(多个磁盘)配置工作负载，该工作负载具有的性能需求匹配或低于该性能极限。在这样的情况下，这些磁盘能被预测具有最小寿值且工作负载(IOPS)的需求可以被满足。此外，该最小寿值是磁盘能维持运作的最长寿命。然而，要强调的是步骤S09的结果仅在“未来一段时间”内成立。当“未来一段时间”的定义改变，比如从接下来1小时改为6小时，步骤S09的结果也会随之改变。储存设备中的磁盘配置是动态的。
[0063] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过
计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
[0064] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本
说明书记载的范围。
[0065] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明
专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干
变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附
权利要求为准。
[0066] 【符号说明】
[0067] 10云端服务系统；100主机；101中央处理器；102内存；103预期寿命延长模块；201～230磁盘。
