一种网络异常检测方法和装置
阅读：178发布：2023-02-20
专利汇可以提供一种网络异常检测方法和装置专利检索，专利查询，专利分析的服务。并且本 申请 实施例 提供一种网络 异常检测 方法和装置，涉及AI领域，能够提高网络异常检测结果的准确率。其方法为：将目标网络分层成至少一级子网络；对于每一级子网络，通过网络表示学习 算法 确定该级子网络的相似矩阵，相似矩阵用于指示该级子网络的拓扑信息；根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型；将目标网络的当前性能数据输入异常检测模型，输出检测结果。本申请实施例应用于对电信网络、 有线电视 网络或 计算机网络 等网络进行异常检测的场景。，下面是一种网络异常检测方法和装置专利的具体信息内容。
1.一种网络异常检测方法，其特征在于，包括：
将目标网络分层成至少一级子网络；
对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，所述相似矩阵用于指示该级子网络的拓扑信息；
根据所述至少一级子网络的相似矩阵和所述目标网络的历史性能数据训练得到异常检测模型；
将所述目标网络的当前性能数据输入所述异常检测模型，输出检测结果。
2.根据权利要求1所述的网络异常检测方法，其特征在于，所述至少一级子网络包括：
网元级子网络、单板级子网络或端口级子网络中的一个或多个。
3.根据权利要求1或2所述的网络异常检测方法，其特征在于，对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵包括：
对于每一级子网络，确定该级子网络中的一个节点，模拟步长为L的随机游走，构建该级子网络的全部线路序列，L大于0；
从所述全部线路序列中抽取部分线路序列作为样本，将所述样本输入神经网络模型；
学习所述神经网络模型的隐藏层的权重，所述隐藏层的权重包括该级子网络的N条链路之间的连接关系、临近关系和归属关系中的至少一种，N为大于等于1的整数；
根据所述隐藏层的权重确定该级子网络的相似矩阵，所述相似矩阵包括N行，每行对应该级子网络的一条链路，所述相似矩阵包括K列，K是所述神经网络模型的超参数。
4.根据权利要求1-3任一项所述的网络异常检测方法，其特征在于，对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵包括：
对于每一级子网络，根据该级子网络的节点的相似矩阵确定该级子网络的链路的相似矩阵；
若每条链路的源节点向量和宿节点向量都是K维，所述根据该级子网络的节点的相似矩阵确定该级子网络的链路的相似矩阵包括以下方式：
方式一、用所述宿节点向量和所述源节点向量的和表示链路向量，所述链路向量为2K维；
方式二、用所述宿节点向量和所述源节点向量的平均值表示链路向量，所述链路向量为K维；
方式三、用所述源节点向量和所述宿节点向量的乘积表示链路向量，所述链路向量为K维；
方式四、用所述源节点向量和所述宿节点向量的差值的L1范数表示链路向量，所述链路向量为K维；
方式五、用所述源节点向量和所述宿节点向量的差值的L2范数表示链路向量，所述链路向量为K维。
5.根据权利要求1-4任一项所述的网络异常检测方法，其特征在于，所述根据所述至少一级子网络的相似矩阵和所述目标网络的历史性能数据训练得到异常检测模型包括：
基于主动学习算法，根据所述至少一级子网络的相似矩阵和所述目标网络的历史性能数据训练得到所述异常检测模型。
6.一种网络异常检测装置，其特征在于，包括：
分层单元，用于将目标网络分层成至少一级子网络；
确定单元，用于对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，所述相似矩阵用于指示该级子网络的拓扑信息；
训练单元，用于根据所述至少一级子网络的相似矩阵和所述目标网络的历史性能数据训练得到异常检测模型；
输入输出单元，用于将所述目标网络的当前性能数据输入所述异常检测模型，输出检测结果。
7.根据权利要求6所述的网络异常检测装置，其特征在于，所述至少一级子网络包括：
网元级子网络、单板级子网络或端口级子网络中的一个或多个。
8.根据权利要求6或7所述的网络异常检测装置，其特征在于，所述确定单元用于：
对于每一级子网络，确定该级子网络中的一个节点，模拟步长为L的随机游走，构建该级子网络的全部线路序列，L大于0；
从所述全部线路序列中抽取部分线路序列作为样本，将所述样本输入神经网络模型；
学习所述神经网络模型的隐藏层的权重，所述隐藏层的权重包括该级子网络的N条链路之间的连接关系、临近关系和归属关系中的至少一种，N为大于等于1的整数；
根据所述隐藏层的权重确定该级子网络的相似矩阵，所述相似矩阵包括N行，每行对应该级子网络的一条链路，所述相似矩阵包括K列，K是所述神经网络模型的超参数。
9.根据权利要求6-8任一项所述的网络异常检测装置，其特征在于，所述确定单元用于：
对于每一级子网络，根据该级子网络的节点的相似矩阵确定该级子网络的链路的相似矩阵；
若每条链路的源节点向量和宿节点向量都是K维，所述根据该级子网络的节点的相似矩阵确定该级子网络的链路的相似矩阵包括以下方式：
方式一、用所述宿节点向量和所述源节点向量的和表示链路向量，所述链路向量为2K维；
方式二、用所述宿节点向量和所述源节点向量的平均值表示链路向量，所述链路向量为K维；
方式三、用所述源节点向量和所述宿节点向量的乘积表示链路向量，所述链路向量为K维；
方式四、用所述源节点向量和所述宿节点向量的差值的L1范数表示链路向量，所述链路向量为K维；
方式五、用所述源节点向量和所述宿节点向量的差值的L2范数表示链路向量，所述链路向量为K维。
10.根据权利要求6-9任一项所述的网络异常检测装置，其特征在于，所述训练单元，用于：
基于主动学习算法，根据所述至少一级子网络的相似矩阵和所述目标网络的历史性能数据训练得到所述异常检测模型。
11.一种网络异常检测装置，其特征在于，包括处理器，所述处理器与存储器耦合，所述存储器中存储有指令，所述处理器调用并执行所述指令时，使所述网络异常检测装置执行权利要求1至5中任一项所述的网络异常检测方法。
12.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行权利要求1至5中任一项所述的网络异常检测方法。
一种网络异常检测方法和装置
技术领域
背景技术
[0002] 随着网络规模的不断扩大以及用户对数据服务越来越多样化的需求，网络通信企业需要面对更大规模的数据通信及更加复杂的数据分析处理任务，这无疑会造成网络额外的开销与负荷。在这种大环境下，网络设备异常的概率也大大增加了，从而导致用户评价度的下跌，对企业的经营与发展造成了不良影响。因此必须加强网络运维质量，提高故障排查效率。
[0003] 目前，在网络异常点检测工作中，使用较多的方法是被动监测法，即通过设置静态阈值来监测网络流量是否超过设定的上限值，若超过则判定为有异常发生，此时向管理人员发出警告信息，否则即认定网络处于正常运行状态。
[0004] 如图1所示，为一种基于专家经验的(rule-based)的异常检测方案的流程示意图。该方法主要通过业务专家对处理网络异常总结出的相关经验，结合产品的设计阈值，对相应的指标给出一个硬门限值。在网络传输过程中，若指标低于对应的阈值，则认为出现异常。例如，若信噪比(signal noise ratio，SNR)小于网规设计值或稳态值的情况在24小时内出现6次，表示链路劣化，否则表示链路正常；若不可用秒(unavailable second，UAS)大于150s，或者严重误码秒(severely errored seconds，SES)大于300s，或者误码秒(errored seconds，ES)大于600s，表示链路劣化；若接收信号电平(receive signal level，RSL)小于网规设计值或稳态值的情况在24小时内出现6次，表示链路劣化，否则表示链路正常。这种方案过于依赖专家经验，存在较高的漏检率，准确率低。
发明内容
发明内容
[0005] 本申请实施例提供一种网络异常检测方法，能够提高网络异常检测结果的准确率。
[0006] 第一方面，本申请实施例提供一种网络异常检测方法，包括：将目标网络分层成至少一级子网络；对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，相似矩阵用于指示该级子网络的拓扑信息；根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型；将目标网络的当前性能数据输入异常检测模型，输出检测结果。
[0007] 基于本申请实施例提供的方法，可以将目标网络分层成至少一级子网络；对网络进行分层处理能够对网络信息进行更精准的刻画，尽可能在异常检测业务中注入更多的有效信息；再根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型。其中，相似矩阵用于指示子网络的拓扑信息，在整个网络拓扑中，不同性质的链路的属性不同，在网络中的作用和地位也是不同的，电信网络中相同或者相近的链路，在性能表现形式上会有相似性，因此将链路的拓扑信息加入异常检测模型的训练过程中，可以使得训练得到的异常检测模型能更好的分析链路表现，提高异常检测模型的预测结果的准确率。
[0008] 在一种可能的实现方式中，至少一级子网络包括：网元级子网络、单板级子网络或端口级子网络中的一个或多个。每一级子网络可以视为网络的一层，例如，网元级子网络可以称为网元层、单板级子网络可以称为单板层、端口级子网络可以称为端口层。
[0009] 在一种可能的实现方式中，对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵包括：对于每一级子网络，确定该级子网络中的一个节点，模拟步长为L的随机游走，构建该级子网络的全部线路序列，L大于0；从全部线路序列中抽取部分线路序列作为样本，将样本输入神经网络模型；学习神经网络模型的隐藏层的权重，隐藏层的权重包括该级子网络的N条链路之间的连接关系、临近关系和归属关系中的至少一种，N为大于等于1的整数；根据隐藏层的权重确定该级子网络的相似矩阵，相似矩阵包括N行，每行对应该级子网络的一条链路，相似矩阵包括K列，K是神经网络模型的超参数。
[0010] 在一种可能的实现方式中，对于每一级子网络，若将子网络的节点作为研究对象，可以得到节点的相似矩阵，节点的相似矩阵可以指示该级子网络中的节点的拓扑信息。若将子网络的链路作为研究对象，可以得到链路的链路的相似矩阵，链路的相似矩阵可以用于指示该级子网络中的链路的拓扑信息。其中，链路的拓扑信息包括各个链路之间的相互关系信息，以及每个链路包括的节点的属性信息等。可选的，根据子网络的节点的相似矩阵可以确定子网络的链路的相似矩阵。若每条链路的源节点向量和宿节点向量都是K维，根据该级子网络的节点的相似矩阵确定该级子网络的链路的相似矩阵包括以下方式：方式一、用宿节点向量和源节点向量的和表示链路向量，链路向量为2K维；方式二、用宿节点向量和源节点向量的平均值表示链路向量，链路向量为K维；方式三、用源节点向量和宿节点向量的乘积表示链路向量，链路向量为K维；方式四、用源节点向量和宿节点向量的差值的L1范数表示链路向量，链路向量为K维；方式五、用源节点向量和宿节点向量的差值的L2范数表示链路向量，链路向量为K维。
[0011] 在一种可能的实现方式中，根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型包括：基于主动学习算法，根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型。图11是一种采用主动学习技术训练得到的模型的准确率和非主动学习技术训练得到的模型的准确率的对比示意图，可以理解的是，采用主动学习技术训练得到的模块具有更高的准确率。
[0012] 第二方面，本申请实施例提供一种网络异常检测装置，包括：分层单元，用于将目标网络分层成至少一级子网络；确定单元，用于对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，相似矩阵用于指示该级子网络的拓扑信息；训练单元，用于根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型；输入输出单元，用于将目标网络的当前性能数据输入异常检测模型，输出检测结果。
[0013] 在一种可能的实现方式中，至少一级子网络包括：网元级子网络、单板级子网络或端口级子网络中的一个或多个。
[0014] 在一种可能的实现方式中，确定单元用于：对于每一级子网络，确定该级子网络中的一个节点，模拟步长为L的随机游走，构建该级子网络的全部线路序列，L大于0；从全部线路序列中抽取部分线路序列作为样本，将样本输入神经网络模型；学习神经网络模型的隐藏层的权重，隐藏层的权重包括该级子网络的N条链路之间的连接关系、临近关系和归属关系中的至少一种，N为大于等于1的整数；根据隐藏层的权重确定该级子网络的相似矩阵，相似矩阵包括N行，每行对应该级子网络的一条链路，相似矩阵包括K列，K是神经网络模型的超参数。
[0015] 在一种可能的实现方式中，确定单元用于：对于每一级子网络，根据该级子网络的节点的相似矩阵确定该级子网络的链路的相似矩阵；若每条链路的源节点向量和宿节点向量都是K维，根据该级子网络的节点的相似矩阵确定该级子网络的链路的相似矩阵包括以下方式：方式一、用宿节点向量和源节点向量的和表示链路向量，链路向量为2K维；方式二、用宿节点向量和源节点向量的平均值表示链路向量，链路向量为K维；方式三、用源节点向量和宿节点向量的乘积表示链路向量，链路向量为K维；方式四、用源节点向量和宿节点向量的差值的L1范数表示链路向量，链路向量为K维；方式五、用源节点向量和宿节点向量的差值的L2范数表示链路向量，链路向量为K维。
[0016] 在一种可能的实现方式中，训练单元，用于：基于主动学习算法，根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型。
[0017] 第二方面及其各种可能的实现方式的技术效果可以参见第一方面及其各种可能的实现方式的技术效果，此处不再赘述。
[0018] 第三方面，本申请实施例提供了一种装置，该装置以芯片的产品形态存在，该装置的结构中包括处理器和存储器，该存储器用于与处理器耦合，保存该装置必要的程序指令和数据，该处理器用于执行存储器中存储的程序指令，使得该装置执行上述方法中网络异常检测装置的功能。
[0019] 第四方面，本申请实施例提供了一种网络异常检测装置，该网络异常检测装置可以实现上述方法实施例中网络异常检测装置所执行的功能，功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个上述功能相应的模块。
[0020] 在一种可能的设计中，该网络异常检测装置的结构中包括处理器和通信接口，该处理器被配置为支持该网络异常检测装置执行上述方法中相应的功能。该通信接口用于支持该网络异常检测装置与其他网元之间的通信。该网络异常检测装置还可以包括存储器，该存储器用于与处理器耦合，其保存该网络异常检测装置必要的程序指令和数据。
[0021] 第五方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行第一方面提供的任意一种方法。
[0023] 图1为现有技术中的一种基于专家经验的异常检测方案的流程示意图；
[0024] 图2为本申请实施例提供的一种网络异常检测装置的结构示意图；
[0025] 图3为本申请实施例提供的一种电信网络的结构示意图；
[0026] 图4为本申请实施例提供的一种适用于网络异常检测方法的流程示意图；
[0027] 图5为本申请实施例提供的一种电信网络的拓扑结构示意图；
[0028] 图6为本申请实施例提供的一种通过网络表示学习算法确定子网络的相似矩阵的流程示意图；
[0029] 图7为本申请实施例提供的一种样本抽取的过程示意图；
[0030] 图8为本申请实施例提供的一种网元级子网络的节点和链路的示意图；
[0031] 图9为本申请实施例提供的一种针对微波链路异常检测的流程示意图；
[0032] 图10为本申请实施例提供的一种在主动学习过程中采用不同的分类器所得到的模型的查全率、召回率和准确率的示意图；
[0033] 图11为本申请实施例提供的一种采用主动学习技术训练得到的模型的准确率和非主动学习技术训练得到的模型的准确率的对比示意图；
[0034] 图12为本申请实施例提供的又一种网络异常检测装置的结构示意图；
[0035] 图13为本申请实施例提供的再一种网络异常检测装置的结构示意图。
具体实施方式
[0036] 本申请实施例提供一种网络异常检测方法和装置，应用于对目标网络进行异常检测的场景，目标网络可以包括电信网络、有线电视网络和计算机网络等。其中，电信网络包括但不限于全球移动通信系统(global system for mobile communications，GSM)、码分多址(code division multiple access，CDMA)2000、宽带CDMA(wideband CDMA，WCDMA)、由802.11系列标准中定义的无线保真(wireless fidelity，WiFi)、全球互通微波存取(worldwide interoperability for microwave access，WiMAX)、长期演进(long term evolution，LTE)、LTE升级版(LTE-advanced，LTE-A)、第五代(5th generation，5G)移动通信系统以及这些无线通信系统的演进系统等。
[0037] 如图2所示，为本申请实施例提供的一种网络异常检测装置的结构示意图。该网络异常检测装置2可以包括输入模块201、特征工程模块202和模型训练模块203。其中，输入模块201可以用于接收异常检测模型的的输入数据，输入数据主要包含目标网络的性能数据以及拓扑信息；其中，拓扑信息的获取过程如下：将目标网络分层成至少一级子网络；对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，相似矩阵用于指示该级子网络的拓扑信息。特征工程模块202可以用于构造性能数据的统计特征和拓扑信息的网络特征，性能数据的统计特征是对原始性能数据进行统计分析后得到的统计结果，拓扑信息的网络特征是根据原始网络拓扑信息得到的网络的空间特征以及网络的节点或链路间的相互关系信息；模型训练模块203可以用于训练异常检测模型，将目标网络的当前性能数据输入异常检测模型后，该异常检测模型可以输出检测结果，该检测结果可以指示目标网络是否正常运行。
[0038] 为了下述各实施例的描述清楚简洁，首先给出相关概念或技术的简要介绍：
[0039] 相似矩阵：也可以称为权重矩阵或邻接矩阵，是由任意两点(任意两个数据)之间的权重值组成的矩阵。构建邻接矩阵的方法包括三种，分别为邻近法，K邻近(k-nearest neighbor，kNN)法和全连接法。
[0040] 邻近法：通过设置一个距离阈值，然后用欧式距离度量任意两点和的距离，两点间的权重要是1或0。
[0041] K邻近法：通过遍历所有的样本点，取每个样本最近的k个点作为近邻，确定每个样本和k个近邻的权重。
[0042] 全连接法；相比邻近法和K邻近法，全连接法中所有的点之间的权重值都大于0。在全连接法中，可以选择不同的核函数来定义两点之间的权重，常用的有多项式核函数，高斯核函数和Sigmoid核函数。
[0043] 主动学习(active learning)：在主动学习中，可以假设学习器对环境有一定的控制能力，能够“主动地”向学习器之外的某个“神谕”(oracle)进行查询来获得训练例的标记。即学习器可以自行挑选出一些未标记示例并通过神谕查询获得这些示例的标记，然后再将这些有标记示例作为训练例来进行常规的监督学习。
[0044] 网络表示学习(network representation learning)：又名网络嵌入(network embedding)或图嵌入(graph embedding)，是表示学习技术的一个子集。表示学习是一种对于数据广义的特征表示，例如可以是通过邻接矩阵对网络结构的表示，或者可以是通过链表对于列表结构的表示等等。网络表示学习则更加专注于社交网络的表示，旨在将网络中的节点以更加直观、更加高效的某种方式尽可能的还原原始空间中节点的关系。
[0045] 网络表示学习可以保留图的拓扑结构以及图中节点的信息，将图中的节点“向量化”。旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得到的向量形式可以在向量空间中具有表示以及推理的能力，同时可轻松方便的作为机器学习模型的输入，进而可将得到的向量表示运用到社交网络中常见的应用中，如网络异常检测任务中。
[0046] 电信网络的体系结构：示例性的，如图3所示，电信网络可以包括核心网、无线接入网(radio access network，RAN)和终端(例如，用户设备(user equipment，UE))。RAN可以包括基站和无线网络控制器(radio network controller，RNC)，用于控制UE无线接入到移动通信网络中。电信网络中的各个网元设备可以直接相连，例如，RNC可以和基站连接。具体的，各个网元之间可以是通过端口连接的。例如，RNC的端口1与基站1连接，RNC的端口2与基站2连接。
[0047] 目前，在进行网络异常检测时，基于专家经验的(Rule-Based)的异常检测方案过于依赖专家经验，存在较高的漏检率，准确率低且不易在多个应用和局点间推广。另外，还有一种基于机器学习的网络异常检测方案，该方案将网络异常检测问题转化为监督学习中的分类问题，利用分类算法，训练一个分类器，根据网络传输的性能数据进行异常检测。但是，这种方案有以下几个缺点：1、分类算法的选择十分复杂；2、异常数据与正常数据分布不均对算法准确率有很大影响；3、模型不能实时更新。
[0048] 无论是基于专家经验的异常检测方法还是基于机器学习的分类方法都是基于网络传输的性能数据去设计的，都没有利用到网络的拓扑信息。事实上，对网络(例如电信网络)进行异常检测或预测过程中，网络结构和关系是协助进行异常检测和预测的关键因素之一，有着重要的作用。本申请提供一种网络异常检测方法，可以根据网络表示学习获取层次化网络的网络信息，将该网络信息作为有效信息应用到网络异常检测任务中，能够提高网络异常检测算法的准确率。
[0049] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请的描述中，除非另有说明，“至少一个”是指一个或多个，“多个”是指两个或多于两个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0050] 为了便于理解，以下结合附图对本申请实施例提供的网络异常检测方法进行具体介绍。
[0051] 如图4所示，本申请实施例提供一种网络异常检测方法，以目标网络为电信网络为例进行说明，包括：
[0052] 401、将电信网络分层成至少一级子网络。
[0053] 在电信网络的网络拓扑中，不同性质的节点的属性不同，在网络中的作用和地位也是不同的。可以根据网络节点属性可以将网络结构分成至少一级子网络，例如可以分成网元级子网络、单板级子网络和端口级子网络。每一级子网络可以视为网络的一层，例如，网元级子网络可以称为网元层、单板级子网络可以称为单板层、端口级子网络可以称为端口层。
[0054] 举例来说，如图5所示，在电信网络的拓扑结构中，网元级子网络中的节点可以代表不同的网元，不同网元之间有一定的联系(例如可以连接或不连接)。单板级子网络中的节点包括每个网元上的单板，每个网元可以包括一个或多个单板，同一个网元下的不同单板之间可以连接或不连接。端口级子网络中的节点包括每个单板的端口，每个单板可以包括一个或多个端口，不同的端口可以连接或不连接。
[0055] 402、对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，相似矩阵用于指示该级子网络的拓扑信息。
[0056] 子网络的相似矩阵可以包括链路的相似矩阵和节点的相似矩阵。若将子网络的节点作为研究对象，可以得到节点的相似矩阵，节点的相似矩阵可以指示该级子网络中的节点的拓扑信息。若将子网络的链路作为研究对象，可以得到链路的链路的相似矩阵，链路的相似矩阵可以用于指示该级子网络中的链路的拓扑信息。其中，链路的拓扑信息包括各个链路之间的相互关系信息，以及每个链路包括的节点的属性信息等。举例来说，在网元级子网络中，若网元1和网元2相连接，网元1和网元2之间构成一条链路，该条链路的向量表示即相似矩阵的行。可以理解的是，网元级子网络的相似矩阵所包括的行的个数取决于网元级子网络的链路个数。
[0057] 如图6所示，通过网络表示学习算法确定该级子网络的相似矩阵的主要流程可以包括步骤S101-步骤S104。
[0058] S101、线路序列构造(route sequence construction)。
[0059] 如式(1)和式(2)所示，对于每一级子网络，确定该级子网络中的一个节点，模拟步长为L的随机游走(walk)，构建该级子网络的全部线路序列。其中，L大于0。
[0060]
[0061]
[0062] 其中，v表示随机游走中的当前节点，t表示上一个节点，x是v的相邻节点的集合。Z是设定的归一化常数，c0＝t＝v。dtx是节点t和x中的每个节点之间的最短距离路径，p是立即重新访问前一个节点t的概率，q是允许寻找区分“向前”和“向前”的节点的概率。
[0063] S102、样本构建(sample construction)。
[0064] 从步骤S101生成的线路序列中抽取部分线路序列(例如，抽取M个线路序列)作为样本。如图7所示，示意了一种样本抽取的过程。假设网元子网络的一条线路序列包括n0、n3、n5、n4、n2、n7、n9、n8等8个节点，对于节点n0，n0可以与n3和n5直接连接，即抽取样本(n0,n3)和(n0,n5)；对于节点n3，n3可以与n0、n5和n4直接连接，即抽取样本(n3,n0)、(n3,n5)和(n3,n4)；对于节点n5，n5可以与n0、n3、n4和n2直接连接，即抽取样本(n5,n0)、(n5,n3)、(n5,n4)和(n5,n2)；对于节点n4，n4可以与n3、n5、n2和n7直接连接，即抽取样本(n4,n3)、(n4,n5)、(n4,n2)和(n4,n7)。
[0065] S103、节点的权重学习(weight learning)。
[0066] 将步骤S102得到的样本输入神经网络模型(例如，skip-gram神经网络模型)，学习神经网络模型隐藏层的权重，隐藏层的权重包括该级子网络的N条链路之间的连接关系、临近关系和归属关系中的至少一种。其中，隐藏层包括神经网络模型中除输入层和输出层以外的其他各层。神经网络模型的输入层包括步骤S102生成的样本，神经网络模型的输出层包括训练完成的神经网络模型。而后，根据隐藏层的权重确定该级子网络的相似矩阵。
[0067] 示例性的，如图8所示，假设网元级子网络包括网元A、B、C和D，如式(3)所示，该网元级子网络对应的节点的相似矩阵可以包括N行，即N个向量，N＝4，每行对应一个节点(即网元)；该相似矩阵包括K列，K是神经网络模型的超参数，可以自行设定。例如，可以设定k为128，即相似矩阵可以包括128列。
[0068]
[0069] S104、链路的特征构建(feature construction)。
[0070] 根据步骤S103得到节点的相似矩阵后，进一步的，可以根据节点的相似矩阵确定该级子网络的链路的相似矩阵。可以理解的是，每条链路都包括两个节点，即源节点和宿节点。设定源节点向量f(n1)和宿节点向量f(n2)都是K维，如表1所示，链路的相似矩阵的构造可以包括以下方式：
[0071] 方式一、用宿节点向量和源节点向量的和表示链路向量，链路向量为2K维；
[0072] 方式二、用宿节点向量和源节点向量的平均值表示链路向量，链路向量为K维；
[0073] 方式三、用源节点向量和宿节点向量的乘积表示链路向量，链路向量为K维；
[0074] 方式四、用源节点向量和宿节点向量的差值的L1范数表示链路向量，链路向量为K维。其中，L1范数是指向量中各个元素绝对值之和。
[0075] 方式五、用源节点向量和宿节点向量的差值的L2范数表示链路向量，链路向量为K维。其中，L2范数是指向量中各元素的平方和然后开根。
[0076] 表1
[0077]
[0078] 其中，源节点向量即源节点对应的向量，是源节点在节点的相似矩阵中对应的行，宿节点向量即宿节点对应的向量，是宿节点在节点的相似矩阵中对应的行，源节点向量和宿节点向量的维数与节点的相似矩阵的列的数目相同。链路向量即链路对应的向量，即一个链路在链路的相似矩阵中对应的行，链路向量的维数与链路的相似矩阵的列的数目相同。
[0079] 如图8所示，假设以方式一构造链路的相似矩阵，链路E、F、G和H对应的相似矩阵可以如式(4)所示。该相似矩阵可以包括4行，每行对应一个链路向量，每个链路向量包括128维，即该相似矩阵包括128列：
[0080]
[0081] 403、根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型。
[0082] 下面以微波网络的链路质量预测为例进行说明。可以理解的是，微波链路质量优劣直接影响承载业务的质量。在微波的使用场景中，传输问题约占无线传输断站根因的30％，其中链路质量问题约占传输问题根因的25％，因此亟需一种微波链路质量预测方案能提前发现和解决链路质量风险，降低断站时间。
[0083] 如图9所示，给出一种针对微波链路异常检测的流程示意图。首先，向输入模块输入微波网络的链路的拓扑信息以及历史微波性能数据，链路的拓扑信息的获取过程如下：将微波网络分层成至少一级子网络；对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，相似矩阵用于指示该级子网络的拓扑信息。而后，基于特征工程模块分别对历史微波性能数据和链路拓扑信息进行统计分析；再通过模型训练模块训练异常检测模型。例如，可以根据统计分析得到的结果预测异常检测模型。在预测的过程中，若发现异常，及时将问题提交技术专家进行分析，根据技术专家对问题进行分析后得到的新的示例重新训练异常检测模型。最后，可以根据多次训练得到的异常检测模型进行微波链路的异常检测，即将当前性能数据输入异常检测模型，得到检测结果。
[0084] 其中，微波性能数据可以包括指示微波传输质量的数据(例如SNR_Max，SNR_Min,RSL_Max，RSL_Min)，以及指示微波传输误码秒的数据(例如，ES，SES，UAS)。微波链路性能由源站点(源节点)和宿站点(宿节点)同时影响，源站点或宿站点的性能数据发生波动(例如，源SNR_Min从50降到-5)，说明微波传输质量或微波传输误码秒发生变化。
[0085] 示例性的，对历史微波性能数据统计分析后，得到的微波性能数据的统计特征(关键绩效指标(key performance indicators，KPI)可以如表2所示：
[0086] 表2
[0087]性能数据的统计特征 维数
源站点和宿站点的SNR_Max值的方差 2维
源站点和宿站点的RSL_Max值的方差 2维
源站点和宿站点的SNR_Max和SNR_Min的平方差的和 1维
源站点和宿站点的SNR_Max的最小值与阈值的差 1维
源站点和宿站点的RSL_Max的最小值与阈值的差 1维
源站点和宿站点的SNR_Max的值与SNR_Max值的中位数的差的和 1维
源站点和宿站点的ES的最大值,SES的最大值,UAS的最大值 3维
源站点和宿站点的SNR_Max值的峰度 2维
源站点和宿站点的RSL_Max值的峰度 2维
源站点和宿站点的RSL_Max值的除去小于十分位数的数据方差 2维
源站点和宿站点的RSL_Max值的偏度 2维
源站点和宿站点的SNR_Max值的方差 2维
源站点和宿站点的RSL_Max值的方差 2维
源站点和宿站点的SNR_Max和SNR_Min的平方差的和 1维
源站点和宿站点的SNR_Max的最小值与阈值的差 1维
源站点和宿站点的RSL_Max的最小值与阈值的差 1维
源站点和宿站点的SNR_Max的值与SNR_Max值的中位数的差的和 1维
源站点和宿站点的ES的最大值,SES的最大值,UAS的最大值 3维
源站点和宿站点的SNR_Max值的峰度 2维
源站点和宿站点的RSL_Max值的峰度 2维
源站点和宿站点的RSL_Max值的除去小于十分位数的数据方差 2维
源站点和宿站点的RSL_Max值的偏度 2维
[0088] 链路拓扑信息可以包括至少一层子网络的链路拓扑信息。例如，可以包括网元级子网络的链路拓扑信息，单板级子网络的链路拓扑信息和端口级子网络的链路拓扑信息。可选的，可以将至少一层子网络的向量表示叠加，例如可以将网元级子网络的链路拓扑信息与单板级子网络的链路拓扑信息叠加。或者，可以将网元级子网络的链路拓扑信息、单板级子网络的链路拓扑信息和端口级子网络的链路拓扑信息叠加。
[0089] 示例性的，网元级链路拓扑信息可以包括网元名称和网元编号。
[0090] 单板级子网络的链路拓扑信息相对于网元级子网络的链路拓扑信息的粒度要更细，可以包括网元名称、网元编号和单板名称。同一网元可以连接不同网元，但同一网元下的同一单板只能连接同一网元下的不同单板，不能跨网元。即单板级的拓扑是对网元级拓扑进行了剪枝且具有更细的粒度。
[0091] 端口级子网络的链路拓扑信息相对于单板级子网络的链路拓扑信息的粒度要更细，可以包括网元名称、网元编号、单板名称和端口号。示例性的，端口级子网络的链路的命名方式可以如表3所示：
[0092] 表3
[0093]项目 值
源网元名称 GAF054-site0024-4
源网元ID 9-4300
源单板 1-ISV3
源端口 1(RTNIF-1)
宿网元名称 GAF002-GAF002-01
宿网元ID 9-4412
宿单板 4-ISV3
宿端口 1(RTNIF-1)
源网元名称 GAF054-site0024-4
源网元ID 9-4300
源单板 1-ISV3
源端口 1(RTNIF-1)
宿网元名称 GAF002-GAF002-01
宿网元ID 9-4412
宿单板 4-ISV3
宿端口 1(RTNIF-1)
[0094] 即端口级子网络的链路的命名可以为：GAF054-site0024-4-1-ISV3-1—GAF002-GAF002-01-4-ISV3-1。应理解，不同的端口可以相互连接，例如同一网元下的同一单板的端口可以相互连接，或者同一网元下的同一单板的端口可以连接同一网元下的不同单板的端口，或者不同网元的端口可以相互连接。即端口级子网络的链路拓扑信息是对单板级子网络的链路拓扑信息进行了剪枝且具有更细的粒度。
[0095] 模型训练模块可以基于半监督学习(semi-supervised learning)、直推学习(transductive learning)或主动学习(active learning)等学习技术，根据历史微波性能数据和链路拓扑信息训练异常检测模型。示例性的，基于主动学习方法，根据至少一级子网络的相似矩阵和电信网络的历史性能数据训练异常检测模型的过程可以包括步骤S201-步骤S205。
[0096] S201、通过孤立森林(isolation forest)异常检测算法从Du中选取k个正样本，m个负样本，k为大于等于0整数，m为大于等于0的整数，Du是未标记数据集(UnLabeled dataset)，未标记数据集中的数据包括历史性能数据和相似矩阵的数据，k个正样本即Du中的前k个异常样本(异常点，即有异常的性能数据)，m个负样本是从Du剩下的样本(即Du中去掉K个异常样本后的其余样本)中随机选取的m个样本。而后，将m+k个样本添加到Dl中，Dl是标记数据集(Labeled dataset)，标记数据集中的数据能够反映微波网络是否异常。
[0097] S202、利用Dl中的数据重新训练模型，通过重新训练得到的新模型重新检测Du中的样本。
[0098] S203、根据检测结果，选出h个新模型最不能确定的样本，反馈给业务专家确定，将确定后的样本放入Dl中重新训练模型，h为大于等于0整数。
[0099] S204、重复步骤S202和步骤S203，迭代n次，n为大于0整数。
[0100] S205、若新模型准确率稳定且达到业务要求，停止迭代。
[0101] 示例性的，一种基于主动学习方法训练异常检测模型的伪代码如下所示：
[0102] Input：(1)Labeled dataset (2)Unlabeled dataset
[0103] (3)Classifier CLF；(4)Label oracle ORACLE；(5)Iteration times n；
[0104] Ouput：Model M
[0105]
[0106]
[0107] 其中， 表示标记数据集， 表示历史性能数据， 表示至少一级子网络的相似矩阵； 表示未标记数据集， 表示相对于 更晚到达(更晚获得)的性能数据。M表示待训练的异常检测模型。
[0108] 可选的，在主动学习过程中，可以采用不同的分类器对样本进行分类，图10是一种在主动学习过程中采用不同的分类器，以及在不同的模型输入下所得到的异常检测模型的查全率(PRAUC)、召回率(Recall)和精确率(Precision)的示意图。其中，主动学习可以采用的分类器包括支持向量机(support vector machine，SVM)、逻辑回归分类器(logistic regression classifier，LR)、决策树(decision tree，DT)、随机森林(random forest，RF)和梯度提升决策树(gradient boosting decision tree，GBDT)。在图10中，每种分类器从左至右分别对应的模型输入为S、S+join、S+Avg、S+Hadamard、S+Weighted-L1、S+Weighted-L2。其中，S表示模型输入为性能数据的统计特征；S+join表示模型输入为性能数据的统计特征，以及根据步骤S104中的方式一构造链路的相似矩阵；S+Avg表示模型输入为性能数据的统计特征，以及根据步骤S104中的方式二构造链路的相似矩阵；S+Hadamard表示模型输入为性能数据的统计特征，以及根据步骤S104中的方式三构造链路的相似矩阵；S+Weighted-L1表示模型输入为性能数据的统计特征，以及根据步骤S104中的方式四构造链路的相似矩阵；S+Weighted-L2表示模型输入为性能数据的统计特征，以及根据步骤S104中的方式五构造链路的相似矩阵。
[0109] 图11是一种采用主动学习技术训练得到的模型的准确率和非主动学习技术训练得到的模型的准确率的对比示意图，可以理解的是，采用主动学习技术训练得到的模块具有更高的准确率。
[0110] 404、将目标网络的当前性能数据输入异常检测模型，输出检测结果。
[0111] 可以分别将目标网络的当前性能数据输入不叠加网络特征的异常检测模型(即仅根据历史微波性能数据训练得到的异常检测模型)、叠加一级网络特征的异常检测模型(例如，根据网元级链路拓扑信息和历史微波性能数据训练得到的异常检测模型)和叠加二级网络特征的异常检测模型(例如，根据网元级链路拓扑信息、单板级链路拓扑信息和历史微波性能数据训练得到的异常检测模型)。实验结果表明，不叠加网络特征的异常检测模型的预测结果的精度(precision)为83％，召回率(recall)为67％。叠加一级网络特征的异常检测模型的预测结果的precision为92.4％，recall为83％。叠加二级网络特征的的异常检测模型的预测结果的precision为93％，recall为87％。
[0112] 可以理解的是，分析历史微波性能数据和链路拓扑信息可知，相近链路的表现形式具有一定的相似性，由于微波传输受天气影响较大，局部地区天气差异不大，因此将链路的拓扑信息加入异常检测模型的训练过程中，可以使得训练得到的异常检测模型能更好的分析链路表现。
[0113] 基于本申请实施例提供的方法，可以将目标网络分层成至少一级子网络；对网络进行分层处理能够对网络信息进行更精准的刻画，尽可能在异常检测业务中注入更多的有效信息；再根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型。其中，相似矩阵用于指示子网络的拓扑信息，在整个网络拓扑中，不同性质的链路的属性不同，在网络中的作用和地位也是不同的，电信网络中相同或者相近的链路，在性能表现形式上会有相似性，因此将链路的拓扑信息加入异常检测模型的训练过程中，可以使得训练得到的异常检测模型能更好的分析链路表现，提高异常检测模型的预测结果的准确率。
[0114] 在采用对应各个功能划分各个功能模块的情况下，图12示出了上述实施例中所涉及的网络异常检测装置12的一种可能的结构示意图，网络异常检测装置包括：分层单元1201、确定单元1202、训练单元1203和输入输出单元1204。在本申请实施例中，分层单元
1201，用于将目标网络分层成至少一级子网络；确定单元1202，用于对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，相似矩阵用于指示该级子网络的拓扑信息；训练单元1203，用于根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型；输入输出单元1204，用于将目标网络的当前性能数据输入异常检测模型，输出检测结果。
1201，用于将目标网络分层成至少一级子网络；确定单元1202，用于对于每一级子网络，通过网络表示学习算法确定该级子网络的相似矩阵，相似矩阵用于指示该级子网络的拓扑信息；训练单元1203，用于根据至少一级子网络的相似矩阵和目标网络的历史性能数据训练得到异常检测模型；输入输出单元1204，用于将目标网络的当前性能数据输入异常检测模型，输出检测结果。
[0115] 在图4所示的方法实施例中，分层单元1201用于支持网络异常检测装置执行图4中的过程401。确定单元1202用于支持网络异常检测装置执行图4中的过程402。训练单元1203用于支持网络异常检测装置执行图4中的过程403。输入输出单元1204用于支持网络异常检测装置执行图4中的过程404。
[0116] 在一种可能的设计中，网络异常检测装置可以通过图13中的装置(结构或系统)来实现。
[0117] 图13所示为本申请实施例提供的一种装置的示意图。装置1300包括至少一个处理器1301，通信总线1302，存储器1303以及至少一个通信接口1304。
[0118] 处理器1301可以是中央处理器(central processing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。
[0119] 通信总线1302可包括一通路，在上述组件之间传送信息。
[0120] 通信接口1304，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local area networks，WLAN)等。
[0121] 存储器1303可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
[0123] 在具体实现中，作为一种实施例，处理器1301可以包括一个或多个CPU，例如图13中的CPU0和CPU1。
[0124] 在具体实现中，作为一种实施例，装置1300可以包括多个处理器，例如图13中的处理器1301和处理器1307。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
[0125] 在具体实现中，作为一种实施例，装置1300还可以包括输出设备1305和输入设备1306。输出设备1305和处理器1301通信，可以以多种方式来显示信息。例如，输出设备1305可以是液晶显示器(liquid crystal display，LCD),发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。
输入设备1306和处理器1301通信，可以以多种方式接受用户的输入。例如，输入设备1306可以是鼠标、键盘、触摸屏设备或传感设备等。
输入设备1306和处理器1301通信，可以以多种方式接受用户的输入。例如，输入设备1306可以是鼠标、键盘、触摸屏设备或传感设备等。
[0126] 在具体实现中，装置1300可以是台式机、便携式电脑、网络服务器、掌上电脑(personal digital assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或有图13中类似结构的设备。本申请实施例不限定装置1300的类型。
[0127] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0128] 以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。
[0129] 本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0130] 本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0131] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0132] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈