技术领域
[0001] 本
发明公开了一种基于区间划分的基站数据异常检测方法，涉及
人工智能计算机领域中的
数据挖掘，特别是
时空轨迹数据异常检测技术领域。
背景技术
[0002] 随着
定位技术和
普适计算的蓬勃发展，人们的日常行为数据被多种方式采集，轨迹
大数据因此诞生。轨迹大数据表现为定位设备所产生的大规模高速时空数据流，有效地对以数据流形式出现的轨迹大数据进行分析处理，可以发现隐含在轨迹数据中的异常现象，从而服务于
城市规划、安全管控等应用。
[0003] 现有的轨迹数据异常检测技术包括基于分类的检测、基于历史数据相似度的检测、基于距离的检测、基于聚类的检测等。这些法存在以下不足：
[0004] 1.轨迹流数据中的异常是未知的、时变的，基于分类不适合处理在线数据；
[0005] 2.基于距离的方法涉及大量轨迹数据的近邻查询和距离计算，时间开销大，准确度不高；
[0006] 3.基于历史数据的方法，依赖大量历史数据，不能有效评测新的异常模式；
[0007] 4.基于聚类的方法对特征和类簇的选取要求高，通常误判率较高。
发明内容
[0008] 本发明所要解决的技术问题是：针对
现有技术的
缺陷，提供一种基于区间划分的基站数据异常检测方法，首先根据基站采集数据的特征将原始数据集划分成若干个子集，然后对不同类型的子集采用不同的模型进行求解。最终得到异常点候选集。
[0009] 本发明为解决上述技术问题采用以下技术方案：
[0010] 一种基于区间划分的基站数据异常检测方法，所述方法包括以下步骤：
[0011] 步骤(1)、对原始轨迹数据集预处理，将处理后数据集划分为动态区间和静态区间；所述动态区间表示为任意多个连续的近邻孤立点的下标构成的范围，所述静态区间表示为原数据集中除去所有动态区间，所剩各数据
片段的起止下标构成的范围；
[0012] 步骤(2)、模型求解，对所述动态区间使用多维高斯模型和滑窗距离模型进行异常点提取；对所述静态区间使用
重心距离评分法进行异常点提取；
[0013] 步骤(3)使用五元组表示动态异常点和静态异常点，构成五元组集合表示异常点集。
[0014] 作为本发明的进一步优选方案，步骤(1)中所述预处理的规则为：清洗数据中不包含预先设定的字段的数据；对清洗后的数据进行去重，并按时间排序。
[0015] 作为本发明的进一步优选方案，步骤(1)中，利用动态区间搜索
算法将原始轨迹数据集进行区间划分，包括以下步骤：
[0016] 101、孤立点选取，令
指定时间范围内仅出现一次的数据作为孤立点，表达公式如下：
[0017]
[0018] 其中，lt＝(lont，latt)表示某个时刻t的空间
位置，由该时刻的经度lon和纬度lat组成， 表示以时刻ti为中心时刻的时间片段；
[0019] 如果 则lt为孤立点；
[0020] 102、动态区间搜索，设定任意多个连续的近邻孤立点的起止下标构成的范围称为动态区间：
[0021]
[0022] 上式表示两个孤立点lx，ly的近邻关系，其中index(lt)表示孤立点lt在原始数据集中的索引下标，则lx，ly近邻当且仅当
[0023] 对于多个孤立点组成的集合L＝{l1，l2，l3…li}，中任意子集 如果则称L为i-近邻孤立点集；
[0024] 近邻孤立点集的起止元素的下标组成的范围为动态区间，表示为I＝[index(l1)，index(li)]；
[0025] 103、静态区间生成，在预处理结果集的下标范围内，除去所有的动态区间，剩下的所有区间称为静态区间；
[0026] 令原始数据集下标区间S＝[0，n]，假定动态区间I1＝[i，i+k]，I2＝[j，j+u]，其中k，u＞0，i＞0，j＞i+k，j+u＜n，则区间J1＝[0，i-1]，J2＝[i+k+1，j-1]，J3＝[j+u+1，n]称为静态区间。
[0027] 作为本发明的进一步优选方案，步骤(2)中，所述动态区间的模型求解包含以下步骤：
[0028] 201、提取数据样本的经度、纬度、提取时间、位置切换速率四个维度代入高斯模型计算整个数据集中各项数据的概率
密度，对概率值进行从小到大排序，选取前λ个概率值对应的数据加入异常点候选集E1，多维高斯模型的计算公式如下：
[0029]
[0030] 其中，μ为N维均值向量，∑为N×N协方差矩阵，|∑|为∑的行列式；
[0031] 202、建立滑窗距离模型，在预处理结果集上选取任意连续并且大小为2k+1的数据W＝wi-k，…，wi-1，wi，wi+1，…，wi+k作为一个窗口，其中wi为窗口W的中心，wup＝wi-k，…，wi-1表示长度为k的上半窗，wdown＝wi+1，…，wi+k表示长度为k的下半窗。令R(wi，wup)表示中心点wi与上半窗wup的关联关系，表示为：
[0032]
[0033] 其中，distance(wi，wi-1)表示窗口中心wi和上文信息wi-1的欧式距离,表示上半窗wup中任意两位置距离的最大值；
[0034] 则窗口中心wi与上半窗wup相关当且仅当R(wi，wup)＝1；
[0035] 令R(wi，wdown)表示中心点wi与下半窗wdown的关联关系，表示为：
[0036]
[0037] 其中，distance(wi，wi+1)表示窗口中心wi和下文信息wi+1的欧式距离,表示下半窗wdown中任意两位置距离的最大值；
[0038] 则窗口中心wi与下半窗wdown相关当且仅当R(wi，wdown)＝1；
[0039] 将在预处理结果集上寻找异常点的过程转换成将窗口W以固定步长Step平移，寻找符合条件R(wi，wup)＝0∩R(wi，wdown)＝0的窗口中心的过程，将该窗口中心点加入异常点候选集E2。
[0040] 作为本发明的进一步优选方案，步骤(2)中，使用重心距离评分方法对静态区间进行异常点求解，包括以下步骤：
[0041] 203、重心点选取，令M表示静态区间J内所有数据的集合，则L′＝{l|l∈M，freqM(l)＞γ}表示集合M中出现频次大于
阈值γ的位置数据，其中freqM(l)表示位置l在集合M中出现的频次，采用加权平均的方式求区间重心点O，表示为：
[0042]
[0043] 其中， 表示权重， 为位置li的经度， 为位置li的纬度，n为L′中元素个数；
[0044] 204、距离评分计算，令distance(lx，ly)表示任意两个位置的距离，则集合L中任意元素与重心点距离的最大值称之为距离半径，表示为
[0045] 进而对于集合M中任意数据m的评分scorem表示为：
[0046]
[0047] 则静态区间异常点候选集E3＝{m|m∈M，scorem＝1}。
[0048] 作为本发明的进一步优选方案，所述步骤(3)具体包括以下步骤：
[0049] 301、将动态区间求解得到的异常点候选集E1和E2做交集，其中相同的元素提取为异常点；
[0050] 302、静态区间求解得到的异常点候选集E3中元素即为异常点；
[0051] 303、定义五元组Error＝[Account，Lon，Lat，Cptime，ErrFlag]表示上述提取的异常点，其中ErrFlag表示异常点类型，ErrFlag＝0表示动态异常点，ErrFlag＝1表示静态异常点。
[0052] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明所公开的方法，适合处理在线数据，时间短、准确度高，能有效评测新的异常模式，误判率较低。
附图说明
[0054] 图2是本发明中，区间划分示意图。
[0055] 图3是本发明中，滑窗距离模型示意图。
[0056] 图4是本发明中，重心距离评分法示意图。
[0057] 图5是本发明的一个具体
实施例中，实验数据原始轨迹示意图。
[0058] 图6是本发明的一个具体实施例中，实验数据的静态区间1示意图。
[0059] 图7是本发明的一个具体实施例中，实验数据的动态区间示意图。
[0060] 图8是本发明的一个具体实施例中，实验数据的静态区间2示意图。
具体实施方式
[0061] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0062] 下面结合附图对本发明的技术方案做进一步的详细说明：
[0063] 本发明所公开的一种基于区间划分的基站数据异常检测方法，其整体流程图如图1所示，包含以下步骤：
[0064] 步骤(1)、对原始轨迹数据集预处理，然后将处理后数据集划分为动态区间和静态区间，所述动态区间表示为任意多个连续的近邻孤立点的下标构成的范围，所述静态区间表示为原数据集中除去所有动态区间，所剩各数据片段的起止下标构成的范围，区间划分示意图如图2所示。
[0065] 步骤(1)中所述预处理的规则为：清洗数据中不包含经纬度、时间等字段的数据；对清洗后的数据进行去重，并按时间排序。
[0066] 进一步地，利用动态区间搜索算法将原始轨迹数据集进行区间划分，包括以下步骤：
[0067] 1、孤立点选取，令指定时间范围内仅出现一次的数据作为孤立点。公式如下：
[0068]
[0069] 其中，lt＝(lont，latt)表示某个时刻t的空间位置，由该时刻的经度lon和纬度lat组成， 表示以时刻ti为中心时刻的时间片段。如果则lt为孤立点。
[0070] 2、动态区间搜索，任意多个连续的近邻孤立点的起止下标构成的范围称为动态区间。令
[0071]
[0072] 上式表示两个孤立点lx，ly的近邻关系，其中index(lt)表示孤立点lt在原始数据集中的索引下标，则lx，ly近邻当且仅当 对于多个孤立点组成的集合L＝{l1，l2，l3…li}，中任意子集 如果 则称L为i-近邻孤立点集。近邻孤立
点集的起止元素的下标组成的范围为动态区间，表示为I＝[index(l1)，index(li)]。
[0073] 3、静态区间生成。在预处理结果集的下标范围内，除去所有的动态区间，剩下的所有区间称为静态区间。令原始数据集下标区间S＝[0，n]，假定动态区间I1＝[i，i+k]，I2＝[j，j+u]，其中k，u＞0，i＞0，j＞i+k，j+u＜n。则区间J1＝[0，i-1]，J2＝[i+k+1，j-1]，J3＝[j+u+1，n]称为静态区间。
[0074] 步骤(2)、模型求解，对所述动态区间使用多维高斯模型和滑窗距离模型进行异常点提取；对所述静态区间使用重心距离评分法进行异常点提取，其中，滑窗距离模型示意图如图3所示，重心距离评分法示意图如图4所示。
[0075] 进一步的，步骤(2)所述动态区间的模型求解包含以下步骤：
[0076] 1、提取数据样本的经度、纬度、提取时间、位置切换速率四个维度代入高斯模型计算整个数据集中各项数据的概率密度，对概率值进行从小到大排序，选取前λ个概率值对应的数据加入异常点候选集E1，多维高斯模型的计算公式如下：
[0077]
[0078] 其中μ为N维均值向量，∑为N×N协方差矩阵，|∑|为Σ的行列式。
[0079] 2、滑窗距离模型。在预处理结果集上选取任意连续并且大小为2k+1的数据W＝wi-k，…，wi-1，wi，wi+1，…，wi+k作为一个窗口，其中wi为窗口W的中心，wup＝wi+k，…，wi-1表示长度为k的上半窗，wdown＝wi+1，…，wi+k表示长度为k的下半窗。令R(wi，wup)表示中心点wi与上半窗wup的关联关系，表示为：
[0080]
[0081] 其中distance(wi，wi-1)表示窗口中心wi和上文信息wi-1的欧式距离,表示上半窗wup中任意两位置距离的最大值。则窗口中心
wi与上半窗wup相关当且仅当R(wi，wup)＝1。同理，令R(wi，wdown)表示中心点wi与下半窗wdown的关联关系，表示为：
[0082]
[0083] 其中distance(wi，wi+1)表示窗口中心wi和下文信息wi+1的欧式距离,表示下半窗wdown中任意两位置距离的最大值。则窗口
中心wi与下半窗wdown相关当且仅当R(wi，wdown)＝1。
[0084] 因此在预处理结果集上寻找异常点的过程可以转换成将窗口W以固定步长Step平移，寻找符合条件R(wi，wup)＝0∩R(wi，wdown)＝0的窗口中心的过程。将该窗口中心点加入异常点候选集E2；
[0085] 进一步地，使用重心距离评分方法对静态区间进行异常点求解，包含以下步骤：
[0086] 3、重心点选取。令M表示静态区间J内所有数据的集合。则L′＝{l|l∈M，freqM(l)＞γ}表示集合M中出现频次大于阈值γ的位置数据，其中freqM(I)表示位置l在集合M中出现的频次。采用加权平均的方式求区间重心点O，表示为
[0087]
[0088] 其中 表示权重， 为位置li的经度， 为位置li的纬度，n为L′中元素个数。
[0089] 4、距离评分计算。令distance(lx，ly)表示任意两个位置的距离。则集合L中任意元素与重心点距离的最大值称之为距离半径，表示为 进而对于集合M中任意数据m的评分scorem表示为：
[0090]
[0091] 则静态区间异常点候选集E3＝{m|m∈M，scorem＝1}。
[0092] 步骤(3)使用五元组表示动态异常点和静态异常点，构成五元组集合表示异常点集。具体包括以下步骤：
[0093] 1、将动态区间求解得到的异常点候选集E1和E2做交集，其中相同的元素提取为异常点；
[0094] 2、静态区间求解得到的异常点候选集E3中元素即为异常点；
[0095] 3、定义五元组Error＝[Account，Lon，Lat，Cptime，ErrFlag]表示上述提取的异常点，其中ErrFlag表示异常点类型，ErrFlag＝0表示动态异常点，ErrFlag＝1表示静态异常点。
[0096] 下面结合附图及附表，对本发明的具体实施方式作进一步的详细说明。
[0097] 以表1中部分实验数据为例：
[0098]
[0099] 表1：部分实验数据
[0100] 本发明的一种基于区间划分的基站数据异常检测方法包括以下步骤：
[0101] 1.预处理
[0102] 将不包含账号、经度、纬度、提取时间等字段的数据去除，将符合规则的数据按时间排序。
[0103] 2.区间划分
[0104] 1)孤立点选取。本发明中，如果满足 则lt为孤立点。其中Tt为前后间隔2小时的时间片段。表1中编号为20,34-39,72的数据，因为在前后2小时内仅出现一次，所以选取为孤立点。
[0105] 2)动态区间搜索。本发明中，任意多个连续的近邻孤立点的起止下标构成的范围称为动态区间。其中近邻关系阈值μ＝10。表1中，编号20和编号34间隔14，不满足近邻条件；编号39和编号72间隔33，也不满足条件。而34-39满足近邻条件，并且34-39可组成6-近邻孤立点集。因此[34,39]即为一个动态区间。
[0106] 3)静态区间生成。在下标范围内，除去所有的动态区间，剩下的所有区间称为静态区间。即静态区间为[1,33]，[40,73]。
[0107] 因此，本发明将原始数据集划分成多个动态区间和多个静态区间分别求解。如图5所示。
[0108] 3.模型求解
[0109] 1)高斯模型+滑窗距离模型
[0110] 动态区间中每个点的异常判断都依赖于它的上下文，因此本实验对动态区间求解时，分别向上、向下模糊5个位置数据用于辅助计算。
[0111] 首先，选取经度、纬度、时间、位置切换速率作为多维高斯的4个纬度对[29,44]计算其概率密度，并且对概率值进行从小到大排序，选取前λ＝3个概率值对应的数据36,37,38加入异常点候选集E1。
[0112] 其次，使用大小为2k+1(k＝5)的滑动窗口，窗口中心从34移动到39，判断[34,39]区间内各点与上下文的关联程度，其中关联阈值δ＝2。
[0113] 以编号37为例。假设窗口中心移动到37。先计算上半窗32-36的两两欧式距离的最大值为0.37251550801928224，下半窗40-44的两两欧式距离最大值为0.23724898399045094；点37与上文36的距离为1.3443963712052325，与下文38的欧式距离为2.0689669522578904。因此可发现37号与上半窗和下半窗的关联度不够，如图7所示。最终，将37加入异常点候选集E2
[0114] 2)重心距离评分
[0115] 本发明提出使用重心距离评分算法求解静态区间内的异常点。包括以下步骤：
[0116] 重心点选取。首先计算静态区间内各位置点的频次。如果频次大于阈值2。则将该位置作为重心的一个影响因子。如图6所示，以静态区间1为例。该区间内各点频次如下：
[0117]
[0118] 因此重心受1-5号位置影响，使用加权平均的方法可求得重心点O(120.01242,30.28419)。分别求1-5号与重心O的距离，取其中的最大值作为半径r。可求得2号位置距离O最远，距离约1509米。以O为圆心，r为半径画圆，圆外的点即为异常点。
[0119] 同理，如图8所示，静态区间2中编号72的数据异常，将其加入静态区间异常点候选集E。
[0120] 4.五元组表示异常点集
[0121] 异常点的表示包含以下步骤：
[0122] 1)将动态区间求解得到的异常点候选集E1和E2做交集，其中相同的元素提取为异常点；
[0123] 2)静态区间求解得到的异常点候选集E3中元素即为异常点；
[0124] 3)定义五元组Error＝[Account,Lon,Lat,Cptime,ErrFlag]表示上述提取的异常点，其中ErrFlag表示异常点类型，ErrFlag＝0表示动态异常点，ErrFlag＝1表示静态异常点
[0125] 因此，最终异常点集表示为：
[0126] [136****9106,120.24317,30.27825,1520317737,0]
[0127] [136****9106,120.42331,30.21835,1520333487,1]。
[0128] 上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的
修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
