技术领域
[0001] 本
发明涉及
机器学习技术领域，尤其是指一种基于大规模Embedding技术的Wi-Fi聚类方法及系统。
背景技术
[0002] 随着互联网行业的迅猛发展，无线网络走进每家每户，通过一个无线路由器，在这个无线路由器的点播
覆盖的有效范围都可以采用Wi-Fi连接方式进行联网，几乎所有的智能手机、
平板电脑和
笔记本电脑都支持Wi-Fi上网，是当今使用最广泛的一种无线网络传输技术，它几乎应用在各个地方，在网络媒体中，由于无线网络的频段在世界范围内是无需任何电信运营执照的，因此WLAN无线设备提供了一个世界范围内可以使用的，
费用极其低廉且数据带宽极高的无线空中
接口；用户可以在Wi-Fi覆盖区域内快速浏览网页，随时随地接听拨打电话。而其它一些基于WLAN的宽带数据应用，如流媒体、网络游戏等功能更是值得用户期待；有了Wi-Fi功能，打长途电话(包括国际长途)、浏览网页、收发
电子邮件、音乐下载、数码照片传递等，再无需担心速度慢和花费高的问题。Wi-Fi技术与蓝牙技术一样，同属于在办公室和家庭中使用的短距离无线技术；在日常休闲中，无线网络的覆盖范围在国内越来越广泛，高级宾馆、豪华住宅区、飞机场以及咖啡厅之类的区域都有Wi-Fi接口；当旅游、办公时，就可以在这些场所使用掌上设备可以尽情网上冲浪了；厂商只要在机场、车站、咖啡店、图书馆等人员较密集的地方设置“热点”，并通过高速线路将因特网接入上述场所。这样，由于“热点”所发射出的电波可以达到距接入点半径数10米至100米的地方，用户只要将支持Wi-Fi的笔记本电脑或PDA或手机或psp或ipodtouch等拿到该区域内，即可高速接入因特网，当然，在家也可以买无线路由器设置局域网然后可以痛快的无线上网；
[0003] 随着无线网络的发展，伴随着出现一些商业化产品，比如，Wi-Fi万能钥匙、Wi-Fi管家此类APP，在这类APP中，通过记录共享无线网络的帐号密码信息，使更多人能够享受无线网络带来的便利，与此同时，由于此类APP能够获取无线路由器的相关信息，通过用户的连接无线网络的情况以及无线网络本身的一些信息联合使用些相关
数据挖掘和机器学习
算法，能够深度挖掘出更多的信息，来达到商业化的效果，比如，利用在此APP平台上用户对无线网络的连接情况，可以将不同的无线网络环境进行聚类，区分出购物商场、餐厅、咖啡馆、电影院、图书馆、酒店、家庭、机场等不同的Wi-Fi环境场景，通过区分不同的无线环境，可以针对用户所处的环境场所，进行相关的推荐，以更大程度的方便用户，例如，当用户位于商场的无线场景时，可以对用户推荐相应的商店，当用户位于餐厅的环境场所时，可以推荐食物相关的产品，从而可以实现产品的商业化，达到平台、用户、商家三赢的良性循环。
[0004] 由于无线网络的发展和普及，用户数量的激增，数据量出现剧烈增长，随着数据量的增大，导致传统的
聚类算法迭代收敛过慢，算法性能不佳，无法满足工业生产条件的情况，同时，在现有的传统的聚类算法中，需要大量的人
力去做特征工程，而算法的表现很大程度上取决于特征，因此，需要多方面的数据来
支撑算法，而仅仅通过无线网络本身的数据提取出来的特征不足以支撑应用要求；此时，基于分布式的计算平台和计算
框架能够很好的解决数据量大导致算法性能不佳的问题，采用分布式存储HDFS做数据存储、分布式平台Spark做
数据处理，采用分布式计算框架PS-Lite做算法迭代计算，使算法实现的速度呈现数以100倍的增长，大规模Embedding技术能够很好的规避数据不全面会导致算法模型效果不佳，需要大量人力做特征工程的问题，通过简单的用户行为数据，就能够学习到每一个Wi-Fi的一个向量表达，使每一个Wi-Fi之间的关系较好的存储在表达向量中，从而能够实现良好的聚类效果。
发明内容
[0005] 本发明的目的在于克服
现有技术的不足，提出了一种基于大规模Embedding技术的Wi-Fi聚类方法及系统，可充分学习到每个Wi-Fi的一个唯一的向量表达，使相同场景下的Wi-Fi能够得到相近的向量表达，有一定的泛化性能；通过使用基于PS-Lite分布式计算框架能够使模型较快的得到收敛，对大规模的数据的训练和测试在性能上有较大提高。
[0006] 为实现上述目的，本发明所提供的技术方案，如下：
[0007] 一种基于大规模Embedding技术的Wi-Fi聚类方法，首先，将每一个用户半年的连接过Wi-Fi按照时间顺序组成一个个序列，统计每个用户连接过的Wi-Fi的数量的分布情况，分析筛选出合理的样本序列，将样本中出现过的Wi-Fi进行统计得到一个字典，使每个Wi-Fi有一个唯一的标识，随机选取字典中一部分的Wi-Fi人工标注其类别；然后，将每一个用户的Wi-Fi序列经过滑动窗口的进行
加窗处理，窗口内的Wi-Fi记为局部信息，对扫描过的Wi-Fi进行随机
采样得到一组Wi-Fi记为全局信息，联合局部信息和全局信息作为一组训练的样本，输入到一个三层神经网络模型中，预测该窗口后面一个Wi-Fi出现的概率，学习到的
输入层与
隐藏层之间的权重作为Wi-Fi的新的向量；其次，在人工标注的Wi-Fi类别下使用学习到的Wi-Fi向量计算类内平均余弦相似度和类间平均余弦相似度，设定一个
阈值，比较两个余弦相似度的差异程度，当这个差别超过这个阈值，即说明这个训练的向量有效，并将学习到的向量使用TSNE和Tensorboard
可视化，直接观察相同类别的Wi-Fi向量的聚拢程度；最后，根据实际应用场景的多少以及Wi-Fi数量级的大小选择聚类的类别个数，将学习到的Wi-Fi的向量输入到Kmeans聚类算法中进行聚类得到每一个Wi-Fi的类别；
[0008] 所述方法流程按如下具体步骤执行：
[0010] 1.1)进行数据处理，将每一个用户半年内连接过的Wi-Fi按照连接时间顺序分别组成序列，统计每个用户连接过的Wi-Fi数量以及其分布，根据分布情况，确定上下两个阈值，去掉连接过的Wi-Fi数量超出阈值范围内的用户序列，然后将样本随机
抽取一部分作为训练集，其余部分作为测试集；
[0011] 1.2)将出现过的Wi-Fi进行统计，制成字典，根据字典将每一个Wi-Fi进行One-Hot独热编码；选取字典中一部分的Wi-Fi进行人工标注其Wi-Fi来源场景作为Wi-Fi的类别，来源场景包括公共场所Wi-Fi、商场大厦Wi-Fi、餐馆Wi-Fi、酒店Wi-Fi、私人Wi-Fi，其中公共场所Wi-Fi包括图书馆Wi-Fi、医院Wi-Fi、机场Wi-Fi；
[0012] 2)设计一个大规模Embedding方法，具体实现按以下步骤实现：
[0013] 2.1)整理Embedding方法的数据样本，将每一个用户的Wi-Fi序列经过滑动窗口进行加窗处理，窗口内的Wi-Fi记为局部信息，对扫描过的Wi-Fi进行随机采样得到一组Wi-Fi记为全局信息，连个局部信息和全局信息作为一组训练的样本，将窗口后面一个Wi-Fi来源场景记为这一组训练样本的标签；
[0014] 2.2)采用一个三层神经网络模型将Wi-Fi进行Embedding，使其映射到一个高维空间，将样本中Wi-Fi的One-Hot独热编码输入到该三层神经网络中，该神经网络输入层与隐藏层之间设有大小为词典大小n乘以向量长度d的权重矩阵，将输入的One-Hot编码乘以权重矩阵得到d维长度的向量即为隐藏层d个神经元，将隐藏层每一个神经元累加得到一个神经元然后输入到激活函数Sigmoid函数中，得到的值即为预测的窗口后面Wi-Fi出现的概率，使用AUC、LogLoss等评价指标计算预测误差，再使用反向传播的方式更新迭代每一层的参数直到收敛；根据这个三层神经网络，即Embedding映射关系，将每一个Wi-FiEmbedding成一个高维空间的向量，使每一个向量与Wi-Fi一一对应，并保留其对应Wi-Fi的特征；
[0015] 3)对学习到的Embedding向量进行评估，首先，在已标注的类别下对学习到的Wi-Fi的新的向量，在同一个类别下计算两两之间的余弦相似度，得到每个类别下的平均余弦相似度，然后，再计算不同类别下的Wi-Fi的平均余弦相似度，设定一个阈值，当类内类间比小于这个阈值时，就可以认为该Embedding向量有好的表达效果；将学习到的Wi-Fi Embedding之后的向量用PCA等方式
降维，再作为输入用TSNE和Tensorboard进行可视化，直接观察向量的聚拢效果；
[0016] 4)对学习到的向量用Kmeans方法进行聚类，具体实现按以下具体步骤执行：
[0017] 4.1)确定要聚类的类别K，从所有学习到的Wi-Fi向量中随机选择K个样本点作为K个聚类中心点；
[0018] 4.2)分别计算其余每个样本点到这K个聚类中心点的距离，选择最近的一个聚类中心点与其为同一类别；
[0019] 4.3)对于4.2)中同一类别的所样本点，通过求平均样本点的方法重新选择其聚类中心点，重复4.2)的步骤直到所有的样本点的内容不再发生改变；
[0020] 4.4)多次重复以上步骤选择最优的聚类结果。
[0021] 一种基于大规模Embedding技术的Wi-Fi聚类系统，包括：
[0022] 数据处理模
块，包括方法样本数据抽取单元和样本数据处理单元；所述数据抽取单元是指从
数据仓库HIVE中的用户行为数据记录中抽取出制造样本所需的数据如UserID、连接Wi-Fi时间、Wi-FiID等；所述样本数据处理单元用于将抽取出的数据整理成样本的形式，通过Spark读取样本数据抽取模块中数据，将每个用户连接过的Wi-Fi按照时间顺序整理成序列；
[0023] 算法实现模块，基于分布式计算框架参数
服务器PS-Lite，PS-Lite由一系列Server
节点和一系列Worker节点组成，每个Server节点分配到输入层到隐藏层之间的部分参数权重，所有的Server节点共同维护神经网络中的所有参数；每个Worker对分配给自己的数据进行梯度计算处理，再将计算好的梯度情况通过push的形式发送给相应的Server，Server将参数更新后，再采用pull的形式将新的参数传送给Worker节点进行下一轮的迭代计算；
[0024] 评估模块，该评估模块主要分为两部分，一部分是对学习到的向量的一个量化的评估，将学习到的Wi-Fi的向量在标注数据中分别计算类内、类间余弦相似度，通过量化同类别以及不同类别下的Wi-Fi的向量的表达的差异来评估向量的优劣；另一部分是对学习到的向量的一个可视化，首先通过降维的方式，将学习到的向量，其向量的长度往往是上百维，降维到二至三维，然后使用不同的可视化方式将其展现出来，可以直观的观察到标注类别下同类别的Wi-Fi向量的聚拢程度。
[0025] 本发明与现有技术相比，具有如下优点与有益效果：
[0026] 1、采用分布式方式进行数据预处理，在现实中，数据的数量达到TB、PB数量集的时候，数据的存储、处理以及计算都将面临的考验，采用分布式的数据存储HDFS，将
大数据分散的存储在不同的相对廉价的机器上，解决了集中式存储需要大容量、高价格机器的需求，同时基于HDFS分布式存储数据自动保存副本，副本丢失后自己恢复，有较高的容错性；而基于Spark分布式的数据处理，能够提高数据处理的速度，Spark的内存计算可以将RDD常驻内存，减少磁盘IO的开销，能够提高数据处理的性能。
[0027] 2、使用了一个新的大规模Embedding的方法，该方法参考word2vec算法进行了改进，在使用了局部信息的同时加入了全局信息，预测时引入更多的信息，使该方法有更好的效果，同时，在引入全局信息时，采用了随机采样的方式，提高了低频Wi-Fi训练时的权重，达到强正则的效果，使该方法有较好的泛化性能。该方法本身可以运用的场景非常广泛，对于序列化的行为数据类型，甚至社交关系相关的图型的数据类型都可以采用类似的方式做Embedding处理；并且，相较于传统的聚类算法，该方法不要求全面的数据来提取特征，仅仅需要用户的一个行为序列数据就可以学习到Embedding到高维空间的向量的表达，同时节省了大量的人工特征工程时间；由于学习到的向量具有数值意义，可以通过学习到的Wi-Fi向量，通过用户的行为序列，将序列中的Wi-Fi的向量进行平均可以得到每个用户的一个向量的表达，这样可以对用户有一个新的类别特征，这样的需求在很多场景下都有积极的意义。
附图说明
[0028] 图1为基于大规模Embedding技术的Wi-Fi聚类样本数据处理
流程图。
[0029] 图2为基于大规模Embedding技术的Wi-Fi聚类方法框架图。
[0030] 图3为基于大规模Embedding技术的Wi-Fi聚类方法的评估流程图。
[0031] 图4为分布式计算框架Parameter Sever的原理图。
[0032] 图5为基于大规模Embedding技术的Wi-Fi聚类系统总体方案示意图。
具体实施方式
[0033] 下面结合具体
实施例对本发明作进一步说明。
[0034] 本实施例所提供的基于大规模Embedding技术的Wi-Fi聚类方法，具体是：在数据处理方面，如图1所示，从客户端后台数据中抽取出相关的字段，将每一个用户半年的连接过Wi-Fi按照时间顺序组成一个个序列，统计每个用户连接过的Wi-Fi的数量的分布情况，分析筛选出合理的样本序列，将样本中出现过的Wi-Fi进行统计得到一个字典，使每个Wi-Fi有一个唯一的标识，随机选取字典中一部分的Wi-Fi人工标注其类别；方法框架上，如图2所示，将每一个用户的Wi-Fi序列经过滑动窗口的进行加窗处理，窗口内的Wi-Fi记为局部信息，对扫描过的Wi-Fi进行随机采样得到一组Wi-Fi记为全局信息，联合局部信息和全局信息作为一组训练的样本，预测该窗口后面一个Wi-Fi出现的概率，学习到的权重作为Wi-Fi的新的向量；其次，在方法性能评估方面，除了采用常用的损失函数直接对方法模型的准确度进行评估，还引入的新的评估方式直接对学习到的向量进行评估，如图3所示，在人工标注的Wi-Fi类别下使用学习到的Wi-Fi向量计算类内平均余弦相似度和类间平均余弦相似度，设定一个阈值，比较两个余弦相似度的差异程度，当这个差别小于这个阈值，即可认为这个训练的向量有效，同时，将学习到的向量使用TSNE和Tensorboard可视化，直接观察相同类别的Wi-Fi向量的聚拢程度；最后，将评估结果合格的向量输入到Kmeans聚类算法中，根据实际应用场景的多少以及Wi-Fi数量级的大小选择聚类的类别个数，通过聚类算法使得具有相同属性的Wi-Fi能够归为同一个类别。
[0035] 该方法的实现基于分布式框架PS-Lite，如图4所示，PS-Lite由一系列Server节点和一系列Worker节点组成，每个Server节点分配到输入层到隐藏层之间的部分参数权重，所有的Server节点共同维护神经网络中的所有参数；每个Worker对分配给自己的数据进行梯度计算处理，再将计算好的梯度情况通过push的形式发送给相应的Server，Server将参数更新后，再采用pull的形式将新的参数传送给Worker节点进行下一轮的迭代计算。
[0036] 基于大规模Embedding技术的Wi-Fi聚类方法的处理流程具体如下：
[0037] 步骤1，数据样本整理
[0038] 步骤1.1，进行数据处理，将每一个用户半年内连接过的Wi-Fi按照连接时间顺序分别组成序列，统计每个用户连接过的Wi-Fi数量以及其分布，根据分布情况，确定上下两个阈值，去掉连接过的Wi-Fi数量超出阈值范围内的用户序列，然后将样本随机抽取一部分作为训练集，其余部分作为测试集。
[0039] 步骤1.2，将出现过的Wi-Fi进行统计，制成字典，根据字典将每一个Wi-Fi进行One-Hot独热编码；选取字典中一部分的Wi-Fi进行人工标注其Wi-Fi来源场景作为Wi-Fi的类别，其来源场景包括公共场所Wi-Fi、商场大厦Wi-Fi、餐馆Wi-Fi、酒店Wi-Fi、私人Wi-Fi，其中公共场所Wi-Fi包括图书馆Wi-Fi、医院Wi-Fi、机场Wi-Fi。
[0040] 步骤2，设计一个大规模Embedding方法，具体实现按以下步骤实现：
[0041] 步骤2.1，整理Embedding方法的数据样本，将每一个用户的Wi-Fi序列经过滑动窗口进行加窗处理，窗口内的Wi-Fi记为局部信息，对扫描过的Wi-Fi进行随机采样得到一组Wi-Fi记为全局信息，连个局部信息和全局信息作为一组训练的样本，将窗口后面一个Wi-Fi来源场景记为这一组训练样本的标签。
[0042] 步骤2.2，采用一个三层神经网络模型将Wi-Fi进行Embedding，使其映射到一个高维空间，将样本中Wi-Fi的One-Hot独热编码输入到该三层神经网络中，该神经网络输入层与隐藏层之间设有大小为词典大小n乘以向量长度d的权重矩阵，将输入的One-Hot编码乘以权重矩阵得到d维长度的向量即为隐藏层d个神经元，将隐藏层每一个神经元累加得到一个神经元然后输入到激活函数Sigmoid函数中，得到的值即为预测的窗口后面Wi-Fi出现的概率，使用AUC、LogLoss等评价指标计算预测误差，再使用反向传播的方式更新迭代每一层的参数直到收敛；根据这个三层神经网络，即Embedding映射关系，将每一个Wi-Fi Embedding成一个高维空间的向量，使每一个向量与Wi-Fi一一对应，并保留其对应Wi-Fi的特征。
[0043] 步骤3，对学习到的Embedding向量进行评估，首先，在已标注的类别下对学习到的Wi-Fi的新的向量，在同一个类别下计算两两之间的余弦相似度，得到每个类别下的平均余弦相似度，然后，再计算不同类别下的Wi-Fi的平均余弦相似度，设定一个阈值，当类内类间比小于这个阈值时，就可以认为该Embedding向量有好的表达效果；将学习到的Wi-Fi Embedding之后的向量用PCA等方式降维，再作为输入用TSNE和Tensorboard进行可视化，直接观察向量的聚拢效果。
[0044] 步骤4，对学习到的向量用Kmeans方法进行聚类，具体实现按以下具体步骤执行：
[0045] 步骤4.1，确定要聚类的类别K，从所有学习到的Wi-Fi向量中随机选择K个样本点作为K个聚类中心点；
[0046] 步骤4.2，分别计算其余每个样本点到这K个聚类中心点的距离，选择最近的一个聚类中心点与其为同一类别；
[0047] 步骤4.3，对于步骤4.2中同一类别的所样本点，通过求平均样本点的方法重新选择其聚类中心点，重复步骤4.2的步骤直到所有的样本点的内容不再发生改变；
[0048] 步骤4.4，多次重复以上步骤选择最优的聚类结果。
[0049] 基于大规模Embedding技术，一方面相较于传统的聚类算法，降低了对数据全面性的要求，同时省去了大量人工的特征工程，在数据处理阶段能够省时省力；另一方面方法本身的复杂度仅仅基于字典数量，并且由于基于word2vec之上，可以非常有效的训练出较好的模型，再加上全局信息使方法本身带有强正则，有很好的泛化能力。
[0050] 基于上述的基于大规模Embedding技术，本实施例提供的一种基于大规模Embedding技术的Wi-Fi聚类系统，由数据处理模块、算法实现模块以及评估模块组成。
[0051] 数据处理模块，包括方法样本数据抽取单元和样本数据处理单元；所述数据抽取单元是指从数据仓库HIVE中的用户行为数据记录中抽取出制造样本所需的数据如UserID、连接Wi-Fi时间、Wi-FiID等；所述样本数据处理单元用于将抽取出的数据整理成样本的形式，通过Spark读取样本数据抽取模块中数据，将每个用户连接过的Wi-Fi按照时间顺序整理成序列。
[0052] 算法实现模块，基于分布式计算框架参数服务器PS-Lite，PS-Lite由一系列Server节点和一系列Worker节点组成，每个Server节点分配到输入层到隐藏层之间的部分参数权重，所有的Server节点共同维护神经网络中的所有参数；每个Worker对分配给自己的数据进行梯度计算处理，再将计算好的梯度情况通过push的形式发送给相应的Server，Server将参数更新后，再采用pull的形式将新的参数传送给Worker节点进行下一轮的迭代计算。
[0053] 评估模块，该评估模块主要分为两部分，一部分是对学习到的向量的一个量化的评估，将学习到的Wi-Fi的向量在标注数据中分别计算类内、类间余弦相似度，通过量化同类别以及不同类别下的Wi-Fi的向量的表达的差异来评估向量的优劣；另一部分是对学习到的向量的一个可视化，首先通过降维的方式，将学习到的向量，其向量的长度往往是上百维，降维到二至三维，然后使用不同的可视化方式将其展现出来，可以直观的观察到标注类别下同类别的Wi-Fi向量的聚拢程度。
[0054] 本发明通过Embedding的方式得到每个Wi-Fi的一个向量的表达，然后直接对向量进行聚类；如图4所示，描述了Embedding技术的原理，相对于传统的聚类算法，使用Embedding技术具备以下优点：(1)降低了对数据要求，仅仅需要用户的一个行为数据，而传统的聚类算法往往需要更加全面的多方位的数据；(2)不需要进行人工的特征工程，只需将用户的行为数据按时间顺利序列化即可；(3)该方法基于word2vec算法，能训练出高效的模型；(4)方法本身带有强正则，有较好的泛化性能。因此针对大数据的聚类场景，基于Embedding的方式能够更加高性能。
[0055] 本发明的特点还在于借助分布式HDFS、Spark、PS-Lite的高性能、易扩展的特点采用了基于内存计算的Spark计算框架以及PS-Lite的参数服务器进行迭代数据处理和数据计算，有效的提高的数据处理时间，参数迭代更新速度，保证了海量Wi-Fi数据的高效的预处理和模型的
高性能计算。
[0056] 为了测试本发明的应用效果，将这一技术应用到了Wi-Fi万能钥匙的用户数据上。通过Wi-Fi万能钥匙，用户可以连接到附近其他用户分享过的Wi-Fi，从而实现Wi-Fi的共享，而该平台可以通过对Wi-Fi的聚类，得到Wi-Fi所在场景，可以针对用户所在场景做相关的推荐，从而实现平台的自负盈亏，由于该应用数据类型毕竟单一，无法涉及到更多的用户信息和场景信息，使用传统的聚类算法很难达到一个良好的可以的工业化的效果，该方法通过用户的连接情况组成时间序列，然后通过训练将每一个Wi-Fi得到一个相应的向量表达，通过该向量能够唯一的标识Wi-Fi信息，摈弃了传统的聚类算法对数据全面性的要求，以及耗时费力的人工特征工程，而完成Wi-Fi的聚类，从而可以达到一个良好的聚类效果，Wi-Fi聚类总体方案如图5所示，该模型通过使用分布式的Spark框架，HDFS存储以及基于PS-Lite的计算框架，完整的实现了数据获取模块、数据处理模块、算法实现模块、评估模块一整套方法的流程，该模型通过使用量化和可视化两种不同的方式将学习到的向量进行评估，能够无论从数据上还是从图像上对方法可行性进行分析。
[0057] 以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
