系统监控方法和装置

申请号 CN201610493494.0 申请日 2016-06-28 公开(公告)号 CN106126391A 公开(公告)日 2016-11-16
申请人 北京百度网讯科技有限公司; 发明人 王栋; 王博; 苗贝贝; 陈云; 郭宣佑; 曲显平;
摘要 本 申请 公开了系统监控方法和装置,所述方法的一个具体实施方式包括:周期性地采集被 监控系统 的状态指标数据,生成状态指标数据序列;从所述状态指标数据序列中按照 数据采集 时间由新到旧的顺序选取预定数目个状态指标数据;从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别;从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据;利用所述特征数据计算所述系统的状态指标在预测时刻的预测值;根据所述预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。该实施方式能够快速准确地发现系统的异常。
权利要求

1.一种系统监控方法,其特征在于,所述方法包括:
周期性地采集被监控系统的状态指标数据,生成状态指标数据序列;
从所述状态指标数据序列中按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据;
从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别,其中,所述预定的类别是通过对历史状态指标数据进行聚类分析得到的;
从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据;
利用所述特征数据计算所述系统的状态指标在预测时刻的预测值;
根据所述预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。
2.根据权利要求1所述的系统监控方法,其特征在于,所述对历史状态指标数据进行聚类分析,包括:
将所述历史状态指标数据进行归一化处理;
计算经归一化处理后的历史状态指标数据的直方图;
计算所述直方图的累积分布函数
采用kmeans聚类方法对所述累积分布函数进行聚类;
根据聚类结果确定分类规则。
3.根据权利要求1所述的系统监控方法,其特征在于,所述利用所述特征数据计算所述系统的状态指标在预测时刻的预测值,包括:
当所述预定数目个状态指标数据中的疑似异常数据数目小于预设的异常数据数目阈值时,用疑似异常数据对应的数据采集时刻的特征数据代替疑似异常数据来计算所述预测值,其中,所述疑似异常数据是所述状态指标的真实值与所述预测值相比小于预设的第一阈值,或者大于预设的第二阈值的数据。
4.根据权利要求1所述的系统监控方法,其特征在于,所述从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据,包括:
计算该类别的状态指标数据在不同周期的相同时刻的平均值作为该类别的特征数据。
5.根据权利要求1所述的系统监控方法,其特征在于,所述根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常,包括:
当所述真实值与所述预测值相比小于预设的第三阈值时或者当所述真实值与所述预测值相比大于预设的第四阈值时,判断该系统异常,其中,所述第三阈值小于所述第一阈值,所述第四阈值小于所述第二阈值。
6.一种系统监控装置,其特征在于,所述装置包括:
采集单元,配置用于周期性地采集被监控系统的状态指标数据,生成状态指标数据序列;
滑动窗单元,配置用于从所述状态指标数据序列中按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据;
分类单元,配置用于从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别,其中,所述预定的类别是通过对历史状态指标数据进行聚类分析得到的;
选取单元,配置用于从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据;
计算单元,配置用于利用所述特征数据计算所述系统的状态指标在预测时刻的预测值;
判断单元,配置用于根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。
7.根据权利要求6所述的系统监控装置,其特征在于,所述分类单元进一步配置用于:
将所述历史状态指标数据进行归一化处理;
计算经归一化处理后的历史状态指标数据的直方图;
计算所述直方图的累积分布函数;
采用kmeans聚类方法对所述累积分布函数进行聚类;
根据聚类结果确定分类规则。
8.根据权利要求6所述的系统监控装置,其特征在于,所述计算单元进一步配置用于:
当所述预定数目个状态指标数据中的疑似异常数据数目小于预设的异常数据数目阈值时,用疑似异常数据对应的数据采集时刻的特征数据代替疑似异常数据来计算所述预测值,其中,所述疑似异常数据是所述状态指标的真实值与所述预测值相比小于预设的第一阈值,或者大于预设的第二阈值的数据。
9.根据权利要求6所述的系统监控装置,其特征在于,所述选取单元进一步配置用于:
计算该类别的状态指标数据在不同周期的相同时刻的平均值作为该类别的特征数据的。
10.根据权利要求6所述的系统监控装置,其特征在于,所述判断单元进一步配置用于:
当所述真实值与所述预测值相比小于预设的第三阈值时或者当所述真实值与所述预测值相比大于预设的第四阈值时,判断该系统异常,其中,所述第三阈值小于所述第一阈值,所述第四阈值小于所述第二阈值。

说明书全文

系统监控方法和装置

技术领域

[0001] 本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及系统监控方法和装置。

背景技术

[0002] 随着业务的不断发展,互联网系统的规模和复杂性不断增加,如何快速准确的发现异常和定位问题成为一件极具挑战的任务。现在通行的做法是监控一些能够反应这些系统状态的外在指标,例如,搜索引擎响应用户点击的数量,贴吧、微博等网站收到用户上传、发布的消息数,以及服务器在运行过程中产生的日志数据等等。这些指标与用户行为密切相关,能够反映机器或服务的运行状况,具有特定的变化规律。如果数据不符合正常的变化规律,就表明用户行为发生了异常或者系统出现了故障。
[0003] 在互联网系统中,这样的监控项数据不仅数量巨大,而且种类繁多,单纯靠运维人员通过人工监控的方式来发现数据是否发生异常是不太现实的,因此,通常利用同比或环比的方法来得到当前数据预期的正常值,将预期的正常值与当前的正常值做比较求得差值,通过对差值设置阈值来实现自动化监测。但是,这样的方式难以满足变化剧烈指标的监控要求,而且一些监控指标由于受到特定时间和日期等因素的影响,会呈现出不一致的变化规律。例如,用户搜索并点击广告链接的行为会受到白天与夜晚、工作日与周末、法定节假日(清明节、端午节、劳动节、中秋节、国庆节、春节)、新兴节日(情人节、圣诞节、双十一等)等时间和日期的影响导致检测结果不理想。
[0004] 对于以上问题,一个可能的解决方案是依赖运维人员的经验,频繁调整监控项的阈值。但是这样做一则会增加监控成本,二则由于有限的人和经验,也难以对所有的监控项实现及时调整。因此,运维人员迫切希望能够自适应地预测监控项数据,降低监控对人力监督的过度依赖。发明内容
[0005] 本申请的目的在于提出一种系统监控方法和装置,来解决以上背景技术部分提到的技术问题。
[0006] 第一方面,本申请提供了一种系统监控方法,所述方法包括:周期性地采集被监控系统的状态指标数据,生成状态指标数据序列;从所述状态指标数据序列中按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据;从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别,其中,所述预定的类别是通过对历史状态指标数据进行聚类分析得到的;从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据;利用所述特征数据计算所述系统的状态指标在预测时刻的预测值;根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。
[0007] 在一些实施例中,所述对历史状态指标数据进行聚类分析,包括:将所述历史状态指标数据进行归一化处理;计算经归一化处理后的历史状态指标数据的直方图;计算所述直方图的累积分布函数;采用kmeans聚类方法对所述累积分布函数进行聚类;根据聚类结果确定分类规则。
[0008] 在一些实施例中,所述利用所述特征数据计算所述系统的状态指标在预测时刻的预测值,包括:当所述预定数目个状态指标数据中的疑似异常数据数目小于预设的异常数据数目阈值时,用疑似异常数据对应的数据采集时刻的特征数据代替疑似异常数据来计算所述预测值,其中,所述疑似异常数据是所述状态指标的真实值与所述预测值相比小于预设的第一阈值,或者大于预设的第二阈值的数据。
[0009] 在一些实施例中,所述从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据,包括:计算该类别的状态指标数据在不同周期的相同时刻的平均值作为该类别的特征数据。
[0010] 在一些实施例中,所述根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常,包括:当所述真实值与所述预测值相比小于预设的第三阈值时或者当所述真实值与所述预测值相比大于预设的第四阈值时,判断该系统异常,其中,所述第三阈值小于所述第一阈值,所述第四阈值小于所述第二阈值。
[0011] 第二方面,本申请提供了一种系统监控装置,所述装置包括:采集单元,配置用于周期性地采集被监控系统的状态指标数据,生成状态指标数据序列;滑动窗单元,配置用于从所述状态指标数据序列中按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据;分类单元,配置用于从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别,其中,所述预定的类别是通过对历史状态指标数据进行聚类分析得到的;选取单元,配置用于从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据;计算单元,配置用于利用所述特征数据计算所述系统的状态指标在预测时刻的预测值;判断单元,配置用于根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。
[0012] 在一些实施例中,所述分类单元进一步配置用于:将所述历史状态指标数据进行归一化处理;计算经归一化处理后的历史状态指标数据的直方图;计算所述直方图的累积分布函数;采用kmeans聚类方法对所述累积分布函数进行聚类;根据聚类结果确定分类规则。
[0013] 在一些实施例中,所述计算单元进一步配置用于:当所述预定数目个状态指标数据中的疑似异常数据数目小于预设的异常数据数目阈值时,用疑似异常数据对应的数据采集时刻的特征数据代替疑似异常数据来计算所述预测值,其中,所述疑似异常数据是所述状态指标的真实值与所述预测值相比小于预设的第一阈值,或者大于预设的第二阈值的数据。
[0014] 在一些实施例中,所述选取单元进一步配置用于:计算该类别的状态指标数据在不同周期的相同时刻的平均值作为该类别的特征数据。
[0015] 在一些实施例中,所述判断单元进一步配置用于:当所述真实值与所述预测值相比小于预设的第三阈值时或者当所述真实值与所述预测值相比大于预设的第四阈值时,判断该系统异常,其中,所述第三阈值小于所述第一阈值,所述第四阈值小于所述第二阈值。
[0016] 本申请提供的系统监控方法和装置,通过将系统的历史状态指标数据进行分类,按类别提取特征数据,用已经采集到的状态指标数据计算未来某一时刻的状态指标的预测值,再通过比较预测值和真实值确定系统是否异常,从而能够快速、准确地发现和定位系统的问题。附图说明
[0017] 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
[0018] 图1是本申请可以应用于其中的示例性系统架构图;
[0019] 图2是根据本申请的系统监控方法的一个实施例的流程图
[0020] 图3是根据本申请的系统监控方法的一个应用场景的示意图;
[0021] 图4是根据本申请的系统监控方法的又一个实施例的流程图;
[0022] 图5是根据本申请的系统监控装置的一个实施例的结构示意图;
[0023] 图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

[0024] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
[0025] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0026] 图1示出了可以应用本申请的系统监控方法或系统监控装置的实施例的示例性系统架构100。
[0027] 如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
[0028] 用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0029] 终端设备101、102、103可以是具有网络功能的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
[0030] 服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上运行的应用提供数据支持的后台数据服务器,还可以是统计网站收到用户上传、发布的消息数,或者采集后台数据服务器在运行过程中产生的日志数据的服务器。
[0031] 需要说明的是,本申请实施例所提供的系统监控方法一般由服务器105执行,相应地,系统监控装置一般设置于服务器105中。
[0032] 应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
[0033] 继续参考图2,示出了根据本申请的系统监控方法的一个实施例的流程200。所述的系统监控方法,包括以下步骤:
[0034] 步骤201,周期性地采集被监控系统的状态指标数据,生成状态指标数据序列。
[0035] 在本实施例中,系统监控方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式周期性地采集系统的状态指标数据,生成状态指标数据序列,例如,搜索引擎响应用户点击的数量,贴吧、微博等网站收到用户上传、发布的消息数,以及服务器在运行过程中产生的日志数据等等。
[0036] 步骤202,从状态指标数据序列中按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据。
[0037] 在本实施例中,从历史状态指标数据中选取离待预测时间最近的预定数目个状态指标数据。其中,预定数目可以是一个采集周期内状态指标数据的数目,也可以小于一个采集周期内状态指标数据的数目。例如,周期是一天,每个小时都对应一个状态指标数据,预定数目可以小于等于24。
[0038] 步骤203,从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别。
[0039] 在本实施例中,从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别,其中,预定的类别是通过对历史状态指标数据进行聚类分析得到的。例如,预定的类别可包括:周末、法定假日、工作日等。
[0040] 在本实施例的一些可选的实现方式中,对历史状态指标数据进行聚类分析,包括:将历史状态指标数据进行归一化处理;计算经归一化处理后的历史状态指标数据的直方图;计算所述直方图的累积分布函数;采用kmeans聚类方法对所述累积分布函数进行聚类;
根据聚类结果确定分类规则。
[0041] 例如,如果仅利用kmeans聚类方法,可以通过比较最小粒度周期内(比如系统采集数据的周期为1天,则其最小粒度周期为1天而不是一周)数据的欧氏距离,来进行相似度匹配。但是,由于这些数据含有噪声、异常数据和趋势性,导致聚类结果与自然属性有很大差别,例如,1月25日、26日、27日分别为周一、周二、周三,但kmeans聚类会认为该段时间内的状态指标数据与1月15日、1月22日的周五状态指标数据比较接近,并将其聚为同一类周五类,但是,这样的聚类规则不利于运维人员确定分类规则,需要进行改进。
[0042] 为了避免噪声、异常数据以及趋势性等因素的影响,本发明采用了cdf(cumulative distribution function,累积概率分布函数)与kmeans结合的聚类方法(cdf-kmeans方法),首先计算最小粒度周期内状态指标数据的累积概率分布函数,进而对累积概率分布函数采用kmeans的方法进行聚类。例如,对2015年3月1日-2016年1月4日期间的状态指标数据利用cdf-kmeans方法进行聚类,最终确定的分类规则为:周一至周日七类、3天小假期属于周日类、国庆类、春节类、新兴节日类等,与运维人员根据自然属性标记的分类结果进行对比,结果如表1。可见聚类结果准确率很高。
[0043]
[0044] 表1 分类效果
[0045] 步骤204,从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据。
[0046] 在本实施例中,一个类别的特征数据由多个特征值组成,每个采集时刻都有一个特征值,一个采集周期内的所有特征值构成了特征数据。例如,要预测周六中午12点时状态指标数据时,选取了周六上午0-11点对应的状态指标数据,0-11点对应的状态指标数据为周六类别则从属于周六类别的状态指标数据中选取一天的指标数据作为该类别的特征数据,一天中的每个小时对应一个特征值,例如上个周六的7点时的发贴量为1000,8点时的发贴量为1500,则7点时的特征值为1000,8点时的特征值为1500。
[0047] 在本实施例的一些可选的实现方式中,计算该类别的状态指标数据在不同周期的相同时刻的平均值作为该类别的特征数据。例如,待预测周六中午12点时状态指标数据,可以取该周六之前4个周六类数据相同时刻的均值,还可以是中值,分位点等统计量作为周六类的特征数据。
[0048] 步骤205,利用所述特征数据计算所述系统的状态指标在预测时刻的预测值。
[0049] 在本实施例中,预测时刻的特征值与预测值之比等于预定数目个特征值总和与所选取的预定数目个状态指标数据总和之比。例如计算预测值时采用公式1:
[0050]
[0051] 其中,k表示待预测的时刻,是自然数,m代表所选取的数据的窗口长度,是自然数,X(l)表示l时刻的采集到的状态指标的真实值, 表示k时刻的预测值,x(k)表示类别特征数据在k时刻的特征值,l和j是取值范围在k-m到k-1之间的自然数。
[0052] 步骤206,根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。
[0053] 在本实施例中,根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差可以确定系统是否异常。例如,如果在周六11点时预测12点时的网站点击量为10000,但到了12点时实际采集到的点击量的真实值为100,则可认为系统出现异常,并可以触发异常报警。
[0054] 在本实施例的一些可选的实现方式中,当所述真实值与所述预测值相比小于预设的第三阈值时或者当所述真实值与所述预测值相比大于预设的第四阈值时,判断该系统异常,其中,所述第三阈值小于所述第一阈值,所述第四阈值小于所述第二阈值。其中,第三第四阈值可设为5%。例如,如果在周六11点时预测12点时的网站点击量为10000,到了12点时采集到的点击量的真实值为100,则可认为系统出现异常,但如果12点时采集到的点击量的真实值为11000时,则认为系统正常。
[0055] 继续参见图3,图3是根据本实施例的系统监控方法的应用场景的一个示意图。在图3的应用场景中,从真实数据301中选取从k-1时刻开始到k-n时刻的状态指标数据,判断出该数据的类别后选择出其特征数据302,然后使用所选取的真实数据301和特征数据302计算待预测时刻k时的预测值。从图3中可以看出真实数据与之前计算得到的预测值,即理论数据303相比有偏差,偏差的部分为疑似异常数据304。因此可以判断出系统是否出现异常。
[0056] 本申请的上述实施例提供的方法通过基于累积概率分布函数和kmeans聚类法将系统的历史状态指标数据分类后取得每类别对应的特征数据,并用该特征数据和真实状态指标数据相结合计算出待预测时刻的状态指标的预测值,因此预测值能够快速跟踪正常数据的趋势,从而快速、准确地监控系统是否出现异常以便于工作人员快速定位问题。
[0057] 进一步参考图4,其示出了系统监控方法的又一个实施例的流程400。该系统监控方法的流程400,包括以下步骤:
[0058] 步骤401,周期性地采集被监控系统的状态指标数据,生成状态指标数据序列。
[0059] 步骤402,从状态指标数据序列中按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据。
[0060] 步骤403,从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别。
[0061] 步骤404,从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据。
[0062] 步骤401-404与步骤201-204基本相同,因此不再赘述。
[0063] 步骤405,当预定数目个状态指标数据中的疑似异常数据数目小于预设的异常数据数目阈值时,用疑似异常数据对应的数据采集时刻的特征数据代替疑似异常数据来计算预测值。
[0064] 在本实施例中,所述疑似异常数据是所述状态指标的真实值比所述预测值状态指标的真实值与所述预测值相比小于第一阈值预设的第一阈值以上,或者大于第二阈值预设的第二阈值以上的数据,其中,第一阈值预设的第一阈值可以设为10%,第二阈值预设的第二阈值可以设为20%。为了提高预测精度,用疑似异常数据对应的数据采集时刻的特征数据代替疑似异常数据来计算预测值,但如果预定数目个状态指标数据中的疑似异常数据数目不小于预设阈值的最小整数时仍采用公式1所述的方法计算。其中,异常数据数目阈值可以与预定数目相同,即当预定数目个数据全部疑似异常时,仍采用公式1所述的方法计算预测值,异常数据数目阈值还可以设为小于预定数目,例如,所选取的预定数目的数据中超过一半数目的数据异常时采用公式1所述的方法计算预测值。这样不会导致预测结果受特征数据的影响权重过大而无法快速跟踪真实数据。
[0065] 例如,采用以下的公式2来计算预测值:
[0066]
[0067] 其中,k表示待预测的时刻,是自然数,m代表所选取的数据的窗口长度的自然数,R表示k-1时刻之前m窗口内的非疑似异常数据集合,W表示k-1时刻之前m窗口内的疑似异常数据集合,X(l)表示l时刻的采集到的状态指标的真实值,l是取值范围在1至len_R之间的自然数,len_R表示所选取的预定数目个真实数据中数据正常的个数, 表示k时刻的预测值,x(k)表示类别特征数据在k时刻的特征值,j是取值范围在k-m到k-1之间的自然数,L是取值范围在1到len_W之间的自然数,len_W表示所选取的预定数目个真实数据中疑似异常数据个数,当len_W等于预设的异常数据数目阈值时,重新将W集合置空,即采用公式1计算。其中,疑似异常数据是状态指标的真实值与预测值相比小于预设的第一阈值,或者大于预设的第二阈值的数据,其中,预设的第一阈值可以设为10%,预设的第二阈值可以设为20%。
[0068] 步骤406,根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。
[0069] 步骤406与步骤206基本相同,因此不再赘述。
[0070] 从图4中可以看出,与图2对应的实施例相比,本实施例中的系统监控方法的流程400突出了对疑似数据处理的步骤。由此,本实施例描述的方案可以提高预测精度,能够更准确地确定系统异常。
[0071] 进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种系统监控装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
[0072] 如图5所示,本实施例所述的系统监控装置500包括:采集单元501、滑动窗单元502、分类单元503、选取单元504、计算单元505和判断单元506。其中,采集单元501配置用于周期性地采集被监控系统的状态指标数据,生成状态指标数据序列;滑动窗单元502配置用于从所述状态指标数据序列中按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据;分类单元503配置用于从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别,其中,所述预定的类别是通过对历史状态指标数据进行聚类分析得到的;选取单元504配置用于从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据;计算单元505配置用于利用所述特征数据计算所述系统的状态指标在预测时刻的预测值;判断单元506配置用于根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。
[0073] 在本实施例中,在计算单元505计算完预测值并且采集单元501采集到新的状态指标数据之后,滑动窗单元502重新按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据。
[0074] 在本实施例中,采集单元501采集到状态指标在预测时刻的真实值之后,与计算单元505计算出的预测值比较来判断系统是否异常。
[0075] 在本实施例的一些可选的实现方式中,分类单元503进一步配置用于:将所述历史状态指标数据进行归一化处理;计算经归一化处理后的历史状态指标数据的直方图;计算所述直方图的累积分布函数;采用kmeans聚类方法对所述累积分布函数进行聚类;根据聚类结果确定分类规则。
[0076] 在本实施例的一些可选的实现方式中,计算单元505进一步配置用于:当所述预定数目个状态指标数据中的疑似异常数据数目小于预设的异常数据数目阈值时,用疑似异常数据对应的数据采集时刻的特征数据代替疑似异常数据来计算所述预测值,其中,所述疑似异常数据是所述状态指标的真实值与所述预测值相比小于预设的第一阈值,或者大于预设的第二阈值的数据。例如,第一阈值可设为10%,第二阈值可设为20%。
[0077] 在本实施例的一些可选的实现方式中,选取单元504进一步配置用于:计算该类别的状态指标数据在不同周期的相同时刻的平均值作为该类别的特征数据。
[0078] 在本实施例的一些可选的实现方式中,判断单元506进一步配置用于:当所述真实值与所述预测值相比小于预设的第三阈值时或者当所述真实值与所述预测值相比大于预设的第四阈值时,判断该系统异常,其中,所述第三阈值小于所述第一阈值,所述第四阈值小于所述第二阈值。例如第三第四阈值可设为5%。
[0079] 下面参考图6,其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。
[0080] 如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
[0081] 以下部件连接至I/O接口605:包括键盘鼠标等的输入部分606;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0082] 特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。
[0083] 附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0084] 描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括采集单元、滑动窗单元、分类单元、选取单元、计算单元和判断单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,采集单元还可以被描述为“周期性地采集被监控系统的状态指标数据,生成状态指标数据序列的单元”。
[0085] 作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:周期性地采集被监控系统的状态指标数据,生成状态指标数据序列;从所述状态指标数据序列中按照数据采集时间由新到旧的顺序选取预定数目个状态指标数据;从预定的类别中确定出所选取的预定数目个状态指标数据所属的类别,其中,所述预定的类别是通过对历史状态指标数据进行聚类分析得到的;从历史状态指标数据中选取与所选取的预定数目个状态指标数据属于同一类别的一个采集周期内的状态指标数据作为该类别的特征数据;利用所述特征数据计算所述系统的状态指标在预测时刻的预测值;根据所计算的系统的状态指标在预测时刻的预测值与在预测时刻所采集的系统的状态指标的真实值之差确定系统是否异常。
[0086] 以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
QQ群二维码
意见反馈