数据处理方法、装置、存储介质及电子设备
阅读：580发布：2023-05-29
专利汇可以提供数据处理方法、装置、存储介质及电子设备专利检索，专利查询，专利分析的服务。并且本 发明 实施例 提供一种 数据处理 方法、装置、存储介质及 电子 设备，该方法包括：基于提升树模型获取待检测数据的欺诈概率值；根据图模型以及所述待检测数据的欺诈概率值获取第一群组；基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。通过图模型以及关联规则模型分别与提升树模型融合，然后将这两种模型的结果进行融合打分，融合了多种模型的优点、克服了每种模型的缺点以及单一模型欠拟合的缺点，提升了识别欺诈群组的准确度。，下面是数据处理方法、装置、存储介质及电子设备专利的具体信息内容。
1.一种数据处理方法，其特征在于，所述方法包括：
基于提升树模型获取待检测数据的欺诈概率值；
根据图模型以及所述待检测数据的欺诈概率值获取第一群组；
基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；
基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。
2.如权利要求1所述的方法，其特征在于，根据图模型以及所述待检测数据的欺诈概率值获取第一群组之前，所述方法包括：
以每个待检测数据作为顶点表，提取所述待检测数据中相同的维度特征作为边表，并根据所述各维度特征的权重计算出所述边表的关联值；
根据所述顶点表、所述边表以及所述边表的关联值生成所述待检测数据的图数据。
3.如权利要求2所述的方法，其特征在于，根据图模型以及所述待检测数据的欺诈概率值获取第一群组,包括：
基于图模型获取所述待检测数据的多个特征群组；
获取所述多个特征群组中每个特征群组内欺诈概率值超过欺诈阈值的待检测数据；
筛选出所述欺诈概率值超过欺诈阈值的待检测数据所占对应的特征群组内的待检测数据的比例超过比例阈值的特征群组，所述特征群组为第一群组。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：获取所述关联规则模型；
获取样本数据；
基于关联规则初始模型获取所述样本数据的多个规则群组；
基于所述多个规则群组内样本数据的真实结果确定每个规则群组对应的规则的提升度；
筛选出所述提升度超过提升度阈值的规则群组；
基于所述规则群组获取所述关联规则模型；其中，所述关联规则模型能够获取所述规则群组对应的规则以及所述规则的提升度。
5.如权利要求4所述的方法，其特征在于，基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组，包括：
筛选出所述待检测数据的欺诈概率值超过所述欺诈阈值的待检测数据；
将所述待检测数据输入至所述关联规则模型，以获取所述规则对应的第二群组。
6.如权利要求5所述的方法，其特征在于，基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组，包括：
基于所述第一群组获取所述第一群组的直间度距离；
基于所述待检测数据的欺诈概率值确定打分模型；
将所述欺诈概率值、所述第一群组、所述第一群组的直间度距离、所述第二群组以及所述规则的提升度输入至所述打分模型，确定所述待检测数据中的目标欺诈群组。
7.如权利要求6所述的方法，其特征在于，基于所述第一群组获取所述第一群组的直间度距离，包括：
基于所述图数据中所述第一群组内的每个待检测数据与超过所述欺诈阈值的待检测数据的距离，获取所述第一群组的直间度距离。
8.如权利要求6所述的方法，其特征在于，基于所述待检测数据的欺诈概率值确定打分模型，包括：
将初始打分模型中获取的欺诈群组的分数映射到所述欺诈群组内的每个待检测数据，得到所述欺诈群组内的每个待检测数据的分数；
基于所述欺诈群组内的每个待检测数据的分数以及欺诈概率值，确定所述初始打分模型中的权重；
基于所述权重得到所述打分模型。
9.一种数据处理装置，其特征在于，所述装置包括：
第一获取模块，配置为基于提升树模型获取待检测数据的欺诈概率值；
第二获取模块，配置为根据图模型以及所述待检测数据的欺诈概率值获取第一群组；
第三获取模块，配置为基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；
确定模块，配置为基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
数据处理方法、装置、存储介质及电子设备
技术领域
[0001] 本发明涉及计算机技术领域，具体而言，涉及一种数据处理方法、装置、存储介质及电子设备。
背景技术
[0002] 随着信息科技的发展,基于信息的欺诈行为越来越多,其中,很多都是团伙作案。
[0004] 无监督聚类算法主要原理是不依靠标签，而是通过寻找样本特征数据的内在关联(距离)，来试图将样本划分成多个簇(cluster)，而达到分群的目的。例如,K-Means是将n个样本划分到k个簇中，使得每个点都属于离他最近的均值(此即聚类中心)对应的簇，以之作为聚类的标准。
[0005] 半监督聚类算法则除了考虑样本特征数据之间的关联外，还一定程度上考虑到了样本的标签信息。例如,标签传播算法(Label Propagation Algorithm)是一种基于图的半监督学习方法，其基本思路是用已标记节点的标签信息去预测未标记节点的标签信息。该算法的时间复杂度和空间复杂度分别为O(n)和O(n2)，其中n为社区的节点数。
[0006] 在实现本发明的过程中，发明人发现上述欺诈团伙的识别方法至少存在以下技术问题：
[0007] 无监督聚类算法的缺点：无监督算法的缺点显而易见，由于没有考虑到样本的标签，再好的无监督算法都不能充分利用数据的价值，这是因为样本的标签往往对建模来说是其最重要的信息。此外，无监督聚类算法往往考虑的是样本间的距离，在样本特征不强、特征维度有限的情况下，空间距离较近的样本未必是相同的标签，距离较远的样本也未必是不同的标签，因此其聚类的结果也许会和真实标签差异较大。
[0008] 半监督图聚类算法的缺点：尽管半监督算法考虑到了样本标签的信息，但基于既有标签直接给图上的未知样本打标容易造成精确率过低的问题。这是因为欺诈样本占总体比例始终是很小的(通常是千分之一级别)，因此与欺诈样本有过关联(这些关联包括手机号、联系人、直亲、Cookie等)的未知样本，依然有很大概率不是欺诈的。此外，上述这些关联的维度有限，无法充分利用到样本的其它特征信息，也无法进行有效的特征工程扩展维度，再加上每种关联维度之间的强弱无法确定，因此，半监督图聚类算法在实践当中效果并不突出。
[0009] 因此，需要一种新的数据处理方法、装置、电子设备及计算机可读介质。
[0010] 在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
[0011] 有鉴于此，本发明提供一种数据处理方法、装置、存储介质及电子设备，提升了识别欺诈群组的准确度。
[0012] 本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
[0013] 根据本发明实施例的第一方面，提供一种数据处理方法，其中，所述方法包括：
[0014] 基于提升树模型获取待检测数据的欺诈概率值；
[0015] 根据图模型以及所述待检测数据的欺诈概率值获取第一群组；
[0016] 基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；
[0017] 基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。
[0018] 在本发明的一些示例性实施例中，基于前述方案，根据图模型以及所述待检测数据的欺诈概率值获取第一群组之前，所述方法包括：
[0019] 以每个待检测数据作为顶点表，提取所述待检测数据中相同的维度特征作为边表，并根据所述各维度特征的权重计算出所述边表的关联值；
[0020] 根据所述顶点表、所述边表以及所述边表的关联值生成所述待检测数据的图数据。
[0021] 在本发明的一些示例性实施例中，基于前述方案，根据图模型以及所述待检测数据的欺诈概率值获取第一群组,包括：
[0022] 基于图模型获取所述待检测数据的多个特征群组；
[0023] 获取所述多个特征群组中每个特征群组内欺诈概率值超过欺诈阈值的待检测数据；
[0024] 筛选出所述欺诈概率值超过欺诈阈值的待检测数据所占对应的特征群组内的待检测数据的比例超过比例阈值的特征群组，所述特征群组为第一群组。
[0025] 在本发明的一些示例性实施例中，基于前述方案，所述方法还包括：获取所述关联规则模型；
[0026] 获取样本数据；
[0027] 基于关联规则初始模型获取所述样本数据的多个规则群组；
[0028] 基于所述多个规则群组内样本数据的真实结果确定每个规则群组对应的规则的提升度；
[0029] 筛选出所述提升度超过提升度阈值的规则群组；
[0030] 基于所述规则群组获取所述关联规则模型；其中，所述关联规则模型能够获取所述规则群组对应的规则以及所述规则的提升度。
[0031] 在本发明的一些示例性实施例中，基于前述方案，基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组，包括：
[0032] 筛选出所述待检测数据的欺诈概率值超过所述欺诈阈值的待检测数据；
[0033] 将所述待检测数据输入至所述关联规则模型，以获取所述规则对应的第二群组。
[0034] 在本发明的一些示例性实施例中，基于前述方案，基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组，包括：
[0035] 基于所述第一群组获取所述第一群组的直间度距离；
[0036] 基于所述待检测数据的欺诈概率值确定打分模型；
[0037] 将所述欺诈概率值、所述第一群组、所述第一群组的直间度距离、所述第二群组以及所述规则的提升度输入至所述打分模型，确定所述待检测数据中的目标欺诈群组。
[0038] 在本发明的一些示例性实施例中，基于前述方案，基于所述第一群组获取所述第一群组的直间度距离，包括：
[0039] 基于所述图数据中所述第一群组内的每个待检测数据与超过所述欺诈阈值的待检测数据的距离，获取所述第一群组的直间度距离。
[0040] 在本发明的一些示例性实施例中，基于前述方案，基于所述待检测数据的欺诈概率值确定打分模型，包括：
[0041] 将初始打分模型中获取的欺诈群组的分数映射到所述欺诈群组内的每个待检测数据，得到所述欺诈群组内的每个待检测数据的分数；
[0042] 基于所述欺诈群组内的每个待检测数据的分数以及欺诈概率值，确定所述初始打分模型中的权重；
[0043] 基于所述权重得到所述打分模型。
[0044] 根据本发明实施例的第二方面，提供一种数据处理装置，其中，所述装置包括：
[0045] 第一获取模块，配置为基于提升树模型获取待检测数据的欺诈概率值；
[0046] 第二获取模块，配置为根据图模型以及所述待检测数据的欺诈概率值获取第一群组；
[0047] 第三获取模块，配置为基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；
[0048] 确定模块，配置为基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。
[0049] 在本发明的一些示例性实施例中，基于前述方案，所述装置还包括：预处理模块，配置为以每个待检测数据作为顶点表，提取所述待检测数据中相同的维度特征作为边表，并根据所述各维度特征的权重计算出所述边表的关联值；以及根据所述顶点表、所述边表以及所述边表的关联值生成所述待检测数据的图数据。
[0050] 在本发明的一些示例性实施例中，基于前述方案，所述第二获取模块,包括：
[0051] 第一获取单元，配置为基于图模型获取所述待检测数据的多个特征群组；
[0052] 第二获取单元，配置为获取所述多个特征群组中每个特征群组内欺诈概率值超过欺诈阈值的待检测数据；
[0053] 筛选单元，配置为筛选出所述欺诈概率值超过欺诈阈值的待检测数据所占对应的特征群组内的待检测数据的比例超过比例阈值的特征群组，所述特征群组为第一群组。
[0054] 在本发明的一些示例性实施例中，基于前述方案，所述装置还包括：规则获取模块，配置为获取所述关联规则模型；所述规则获取模块，包括：
[0055] 第一获取单元，配置为获取样本数据；
[0056] 第二获取单元，配置为基于关联规则初始模型获取所述样本数据的多个规则群组；
[0057] 确定单元，配置为基于所述多个规则群组内样本数据的真实结果确定每个规则群组对应的规则的提升度；
[0058] 筛选单元，配置为筛选出所述提升度超过提升度阈值的规则群组；
[0059] 第三获取单元，配置为基于所述规则群组获取所述关联规则模型；其中，所述关联规则模型能够获取所述规则群组对应的规则以及所述规则的提升度。
[0060] 在本发明的一些示例性实施例中，基于前述方案，所述第三获取模块，配置为筛选出所述待检测数据的欺诈概率值超过所述欺诈阈值的待检测数据；以及将所述待检测数据输入至所述关联规则模型，以获取所述规则对应的第二群组。
[0061] 在本发明的一些示例性实施例中，基于前述方案，所述确定模块，配置为基于所述第一群组获取所述第一群组的直间度距离；基于所述待检测数据的欺诈概率值确定打分模型；将所述欺诈概率值、所述第一群组、所述第一群组的直间度距离、所述第二群组以及所述规则的提升度输入至所述打分模型，确定所述待检测数据中的目标欺诈群组。
[0062] 在本发明的一些示例性实施例中，基于前述方案，所述确定模块，配置为基于所述图数据中所述第一群组内的每个待检测数据与超过所述欺诈阈值的待检测数据的距离，获取所述第一群组的直间度距离。
[0063] 在本发明的一些示例性实施例中，基于前述方案，所述确定模块，配置为将初始打分模型中获取的欺诈群组的分数映射到所述欺诈群组内的每个待检测数据，得到所述欺诈群组内的每个待检测数据的分数；基于所述欺诈群组内的每个待检测数据的分数以及欺诈概率值，确定所述初始打分模型中的权重；基于所述权重得到所述打分模型。根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现第一方面所述的方法步骤。
[0064] 根据本发明实施例的第四方面，提供一种电子设备，其中，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的方法步骤。
[0065] 本发明实施例中，基于提升树模型获取待检测数据的欺诈概率值；根据图模型以及所述待检测数据的欺诈概率值获取第一群组；基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。通过图模型以及关联规则模型分别与提升树模型融合，然后将这两种模型的结果进行融合打分，融合了多种模型的优点、克服了每种模型的缺点以及单一模型欠拟合的缺点，提升了识别欺诈群组的准确度。
[0067] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0068] 图1是根据一示例性实施例示出的一种数据处理方法的流程图；
[0069] 图2是本发明实施例示出的一种图数据的示意图；
[0070] 图3是根据一示例性实施例示出的获取第一群组的方法的流程图；
[0071] 图4是根据一示例性实施例示出的获取关联规则模型的方法的流程图；
[0072] 图5是根据一示例性实施例示出的利用样本数据获取到打分模型的方法的流程图；
[0073] 图6是根据一示例性实施例示出的一种模型间数据流转的示意图；
[0074] 图7是根据一示例性实施例示出的一种数据处理装置的结构示意图；
[0075] 图8是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
[0076] 现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
[0077] 此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
[0078] 附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0079] 附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0080] 应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
[0081] 下面结合具体的实施例，对本发明实施例提出的数据处理方法进行详细的说明。需要说明的是，执行本发明实施例的执行主体可以包括具有计算处理能力的装置执行，例如：服务器和/或终端设备，但本发明并不限于此。
[0082] 图1是根据一示例性实施例示出的一种数据处理方法的流程图。
[0083] 如图1所示，该方法可以包括但不限于以下步骤：
[0084] 在S110中，基于提升树模型获取待检测数据的欺诈概率值。
[0085] 本发明实施例中，待检测数据可以是至少一个待检测数据，在获取到待检测数据后，可以提取待检测数据的多维的特征。基于该待检测数据的多维特征，可以构造出更多维的特征，如交叉特征、聚合特征、窗口特征、OneHot特征等多项特征，特征的数目可以是500多维，从而充分利用待检测数据的特征信息。特征可以包括但不限于：手机号、联系人、直亲、Cookie、姓氏、地区、年龄、性别、职业等。
[0086] 根据本发明实施例，在获取到待检测数据后，还可以对待检测数据进行过采样，去掉一些信息不全、信息错误的待检测数据，然后对提升树模型进行贝叶斯参数调优，从而使基于提升树模型获取待检测数据的欺诈概率值更加准确。
[0087] 本发明实施例中，提升树模型可以具体是LightGBM，LightGBM是由微软公司开发和开源的二阶梯度提升树模型，树之间通过Boosting框架进行集成。相比较而言，它比一阶梯度模型(如GBDT)收敛更快、拟合能力更强、准召率更高。
[0088] 本发明实施例中，LightGBM输出的欺诈概率值(Probs)一方面会作为LouVain模型分群结果的筛选，这样可以找到高风险的第一群组；另一方面，由欺诈概率值(Probs)进行阈值调整得到的待检测数据作为关联规则模型的输入，可用于发现高提升度的共性规则的第二群组。
[0089] 在S120中，根据图模型以及所述待检测数据的欺诈概率值获取第一群组。
[0090] 本发明实施例中，在获取到待检测数据后，可以对待检测数据进行预处理，以获取待检测数据的图数据。
[0091] 本发明实施例中，在获取待检测数据的图数据时，以每个待检测数据作为顶点表，提取所述待检测数据中相同的维度特征作为边表，并根据所述各维度特征的权重计算出所述边表的关联值，从而根据所述顶点表、所述边表以及所述边表的关联值生成所述待检测数据的图数据。
[0092] 例如，待检测数据包括A、B、C、D，其中，则以A、B、C分别作为顶点表，假设A和B的手机号和姓氏相同，B和C的联系人相同，C和D的直亲相同，预设手机号特征维度的权重为4，联系人特征维度的权重为3，直亲特征维度的权重为2，姓氏特征维度的权重为1，则可以计算出A和B之间存在边表，该边表的关联值为手机号对应的权重与姓氏对应的权重之和：4+1＝5，B和C之间存在边表，该边表的关联值为联系人对应的权重3，C和D之间存在边表，该边表的关联值为直亲对应的权重2，其对应的图数据如图2所示，图2是本发明实施例示出的一种图数据的示意图。
[0093] 本发明实施例中，在获取到待检测数据的图数据后，可以根据图模型以及所述待检测数据的欺诈概率值获取第一群组，该第一群组的数目可以是至少一个。
[0094] 本发明实施例中，图模型可以是模块度社区发现LouVain模型，LouVain模型是一种基于模块度(Modularity)的图社区发现算法，可以用于网络图分群，比起其它图算法，它的分群结果更加稳定。
[0095] 在S130中，基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组。
[0096] 本发明实施例中，在获取第二群组时，可以基于关联规则模型从构造出更多维的特征的待检测数据中获取第二群组，第二群组的数目可以是至少一个。
[0097] 本发明实施例中，可以基于样本数据获取到针对某(些)规则的关联规则模型。然后，可以基于欺诈阈值，对获取到的待检测数据的欺诈概率值进行过滤，筛选出超过该欺诈阈值的待检测数据，然后将筛选出的待检测数据输入至该关联规则模型，能够输出该筛选出的待检测数据中每条规则对应的第二群组。
[0098] 本发明实施例中，关联规则模型Association Rules，包含了一整套的算法和流程，而非特指某个算法。例如，关联规则模型可以涵盖以下算法：Apriori，Eclat，FP-Growth，Ripper以及C50。
[0099] 在S140中，基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。
[0100] 本发明实施例中，基于第一群组可以获取所述第一群组的直间度距离，基于第二群组可以获取到其对应的规则的提升度。基于所述待检测数据的欺诈概率值可以确定打分模型，通过将欺诈概率值、所述第一群组、所述第一群组的直间度距离、所述第二群组、所述规则的提升度输入至打分模型，可以输出欺诈群组以及各欺诈群组的得分，然后基于得分对欺诈群组进行排序以及筛选，从欺诈群组中确定目标欺诈群组。
[0101] 本发明实施例中，基于提升树模型获取待检测数据的欺诈概率值；根据图模型以及所述待检测数据的欺诈概率值获取第一群组；基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。通过图模型以及关联规则模型分别与提升树模型融合，然后将这两种模型的结果进行融合打分，融合了多种模型的优点、克服了每种模型的缺点以及单一模型欠拟合的缺点，提升了识别欺诈群组的准确度。
[0102] 下面结合具体的实施例，对本发明实施例中获取第一群组的方法进行详细的说明。
[0103] 图3是根据一示例性实施例示出的获取第一群组的方法的流程图。
[0104] 如图3所示，该方法可以包括但不限于以下步骤：
[0105] 在S310中，基于图模型获取所述待检测数据的多个特征群组。
[0106] 本发明实施例中，在获取到待检测数据的图数据后，基于图模型获取待检测数据的多个特征群组。其中，每个特征群组中该特征相同的待检测数据为至少2个。例如，手机号群组中，包括A、B、C、D、E五个待检测数据，其中，A和B的手机号相同，C、D和E的手机号相同。
[0107] 在S320中，获取所述多个特征群组中每个特征群组内欺诈概率值超过欺诈阈值的待检测数据。
[0108] 本发明实施例中，基于S110中获取到的每个待检测数据的欺诈概率值，可以查找到每个特征群组内的待检测数据的欺诈概率值。将每个特征群组内的待检测数据的欺诈概率值与欺诈阈值进行比较，可以获取到每个特征群组内的超过欺诈阈值的待检测数据。例如，上述示例中，假设手机号群组中A、B、C的欺诈概率值超过欺诈阈值，则可以得到手机号群组内的待检测数据A、B、C。
[0109] 需要注意的是，该欺诈阈值可以与S130中的基于欺诈阈值对获取到的待检测数据的欺诈概率值进行过滤的欺诈阈值相同，也可以针对各自的场景分别设置。
[0110] 在S330中，筛选出所述欺诈概率值超过欺诈阈值的待检测数据所占对应的特征群组内的待检测数据的比例超过比例阈值的特征群组，所述特征群组为第一群组。
[0111] 本发明实施例中，在获取到每个特征群组中超过欺诈概率值超过欺诈阈值的待检测数据后，确定这些待检测数据占据对应的特征群组的待检测数据的比例，从而筛选出超过比例阈值的特征群组，筛选出的特征群组为第一群组。
[0112] 例如，上述示例中，手机号群组内的欺诈概率值超过欺诈阈值的待检测数据为A、B、C，其占该手机号群组的待检测数据的比例为：3/5＝0.6，假设比例阈值为0.5，则该手机号群组即为第一群组。
[0113] 需要指出的是，筛选出的第一群组可以视情况再次运用图模型迭代。
[0114] 本发明实施例中，基于提升树模型获取待检测数据的欺诈概率值与图模型共同确定第一群组，这样一方面融合了提升树模型的标签信息，另一方面提高了图模型获取的第一群组的精确率和召回率。
[0115] 根据本发明实施例，在获取到第一群组后，可以基于图数据中所述第一群组内的每个待检测数据与超过所述欺诈阈值的待检测数据的距离，获取所述第一群组的直间度距离。
[0116] 本发明实施例中，两个数据的距离可以用这两个数据之间的边表的数目表示，例如，图2所示的图数据库中,A与B的距离是1，A与C的距离是2，A与D的距离是3。
[0117] 本发明实施例中，直间度距离是指某群组内的每个数据距离其图数据库内欺诈数据的距离的倒数的均值。在获取到第一群组内的每个待检测数据与超过所述欺诈阈值的待检测数据的距离后，可以获取到该第一群组内的每个待检测数据与其图数据库中的超过欺诈阈值的待检测数据的距离的倒数的均值，该均值为该第一群组的直间度距离。本发明实施例中，直间度距离取值在0到1之间(进行归一化后)，该值越大表明该群组内的数据与欺诈数据(黑样本)“距离”越近，也就是欺诈程度越高。需要说明的是，一个数据的图数据库是指存在该数据与其他数据的边表的数据库，若两个数据之间不存在任何边表，则认为这两个数据在两个图数据库中。
[0118] 例如，上述示例中，假设C、D的欺诈概率值超过欺诈阈值，则包括A、B、C、D的群组的直间度距离为：A、B、C、D分别距离其它数据的距离的倒数的均值。
[0119] 下面结合具体的实施例，对本发明实施例中获取关联规则模型的方法进行详细的说明。
[0120] 图4是根据一示例性实施例示出的获取关联规则模型的方法的流程图。如图4所示，该方法可以包括但不限于以下步骤：
[0121] 在S410中，获取样本数据。
[0122] 本发明实施例中，样本数据可以是涉及到欺诈性质的历史数据，包括其对应的真实结果，即白样本、黑样本，其中黑样本为欺诈样本。
[0123] 在S420中，基于关联规则初始模型获取所述样本数据的多个规则群组。
[0124] 本发明实施例中，可以基于Apriori，Eclat，FP-Growth，Ripper以及C50等算法设置关联规则初始模型。根据样本数据的多维特征构造出更多维的特征后，基于该关联规则初始模型获取到样本数据的多个规则群组。例如，规则为：无职业，年龄在20-30岁，性别为男，获取到的该规则的规则群组中包括样本数据A、B、C、D。
[0125] 在S430中，基于所述多个规则群组内样本数据的真实结果确定每个规则群组对应的规则的提升度。
[0126] 本发明实施例中，Lift(提升度)：表示“包含X的事务中同时包含Y事务的比例”与“包含Y事务的比例”的比值。公式表达：lift(X->Y)＝conf(X->Y)/supp(Y)＝P(X and Y)/(P(X)*P(Y))＝conf(Y->X)/supp(X)，其中conf为置信度，supp为支持度。提升度反映了关联规则中的两个规则的相关性，提升度>1且越高表明正相关性越高，提升度<1且越低表明负相关性越高，提升度＝1表明没有相关性。提升度也可以表达成Lift＝(P(A&B)/P(A))/P(B)＝P(A&B)/P(A)/P(B)。
[0127] 本发明实施例中，获取到提升度后，对提升度进行归一化，提升度可以用于衡量群组共性欺诈程度，若某一规则的提升度越大，表明该规则对于识别黑样本的能力越强，也就是符合该规则的样本欺诈程度越高。例如，假设上述示例中，其中A、B、C样本真实结果为欺诈样本，即黑样本，而D为白样本，其中样本总共包括10个，黑样本共5个，则提升度Lift＝黑样本在该规则群组比例/所有黑样本占所有样本的比例＝0.75/0.5＝1.5。
[0128] 在S440中，筛选出所述提升度超过提升度阈值的规则群组。
[0129] 根据本发明实施例，可以设置一可调整的提升度阈值。
[0130] 在S450中，基于所述规则群组获取所述关联规则模型；其中，所述关联规则模型能够获取所述规则群组对应的规则以及所述规则的提升度。
[0131] 本发明实施例中，基于筛选出的提升度超过提升度阈值的规则群组，可以获取到该规则群组对应的关联规则模型，该关联规则模型能够获取到该规则以及该规则的提升度。
[0132] 例如，上述示例中，假设提升度阈值为1，则规则为：无职业，年龄在20-30岁，性别为男对应的规则群组中A、B、C样本真实结果为欺诈样本，即黑样本，而D为白样本，其中样本总共包括10个，黑样本共5个，该规则的提升度为1.5，大于提升高阈值，则能够获取到该规则群组的关联规则初始模型即为关联规则模型，该关联规则模型能够获取到的规则为：无职业，年龄在20-30岁，性别为男，该规则的提升度为1.5。
[0133] 本发明实施例中，利用提升度(Lift)进行规则强弱筛选，并融合所有强规则，从而融合关联规则模型的优点，提升识别欺诈群组的准确度，同时规则的存在也增强了整个模型的解释力。
[0134] 根据本发明实施例，在对待检测数据进行识别时，可以基于获取到的待检测数据的欺诈概率值，筛选出待检测数据中欺诈概率值超过欺诈阈值的待检测数据，从而将所述待检测数据输入至所述关联规则模型，以获取所述规则对应的第二群组。
[0135] 例如，待检测数据为A、B、C，基于提升树模型获取到A、B、C的欺诈概率值后，其中，A的欺诈概率值小于欺诈阈值，则可以筛选出B、C，将B、C输入至关联规则模型，以获取第二群组。
[0136] 上述实施例中，实现了提升树模型与关联规则模型的融合，提升了第二群组中欺诈数据的概率，强化了规则的提升度。
[0137] 下面结合具体的实施例，对本发明实施例中利用样本数据获取到打分模型的方法进行详细的说明。需要指出的是，本实施例中以样本数据为例进行说明，但本发明并不限于此，例如，本实施例中的样本数据也可以替换成测试数据、样本数据或待检测数据等。
[0138] 图5是根据一示例性实施例示出的利用样本数据获取到打分模型的方法的流程图。如图5所示，该方法可以包括但不限于以下步骤：
[0139] 在S510中，基于提升树模型获取样本数据的欺诈概率值。
[0140] 在S520中，根据图模型以及所述样本数据的欺诈概率值获取第一群组。
[0141] 在S530中，基于关联规则模型以及所述样本数据的欺诈概率值,从所述样本数据中获取规则对应的第二群组。
[0142] 在S540中，基于所述样本数据的欺诈概率值确定打分模型。
[0143] 本发明实施例中，可以将初始打分模型中获取的欺诈群组的分数映射到所述欺诈群组内的每个待检测数据，得到所述欺诈群组内的每个待检测数据的分数，然后基于所述欺诈群组内的每个待检测数据的分数以及欺诈概率值，确定所述初始打分模型中的权重，基于所述权重得到所述打分模型。本发明实施例中，打分模型可以表示如下：
[0144]
[0145] 其中，Score为欺诈群组的分数，表示欺诈群组为欺诈群组的概率。Dist为直间度距离，Lift为提升度，W为权重，Probs为欺诈概率值，Topn为一种特定计算方式，只选择群组最高提升度的n条规则的提升度进行平均，而不是对所有平均。
[0146] 本发明实施例中，为确定上述公式(1)中的W，可以设置一初始W，该初始W对应的模型为初始打分模型，基于该初始打分模型可以获取到一欺诈群组的分数，将该初始打分模型中的群组Score映射到该欺诈群组内各个样本，得到该欺诈群组内的每个样本的Score，然后通过最大化每个样本的Score与欺诈概率值Probs的皮尔逊相似度系数，来自动计算或训练该初始打分模型，确定W。需注意，在这种情况下，即使没有样本数据，依然可以基于待检测数据的欺诈概率值对初始打分模型进行自动训练，以确定W，从而确定打分模型。
[0147] 例如，可以通过如下公式确定W：
[0148] which w＝argmaxw Similarity(Score，Probs) (2)需要说明的是，上述公式中，Score表示的是欺诈群组内的每个样本的分数。
[0149] 上述实施例中，在获取到样本数据的欺诈概率值、第一群组、第二群组后，最大化欺诈群组内的每个样本的分数与该样本的欺诈概率值的皮尔逊相似度系数，对W进行监督式的学习，确定打分模型以及欺诈群组，提升了识别目标欺诈群组的准确率。
[0150] 需要注意的是，不仅可以基于样本数据的欺诈概率值对初始打分模型进行训练，还可以基于样本数据的真实结果对初始打分模型进行训练，例如，基于欺诈群组中的每个样本数据的真实结果，确定欺诈群组的真实欺诈概率，然后最大化该样本的真实欺诈概率与该样本的分数的皮尔逊相似度系数，从而确定W。
[0151] 在S550中，将所述欺诈概率值、所述第一群组、所述第一群组的直间度距离、所述第二群组以及所述规则的提升度输入至所述打分模型，确定目标欺诈群组。
[0152] 本发明实施例中，在确定样本数据的欺诈概率值后可以确定打分模型，通过将欺诈概率值、所述第一群组、所述第一群组的直间度距离、所述第二群组、所述规则的提升度输入至打分模型，可以输出欺诈群组以及各欺诈群组的得分，然后基于得分对欺诈群组进行排序以及筛选，从欺诈群组中确定目标欺诈群组。
[0153] 本发明上述实施例中，实现了对打分模型的自动训练，使整个流程更加自动化，对图模型输出的“直间度距离”和关联规则模型输出的“提升度”进行监督式的加权求和，所谓监督式指权重自动通过最大化每个样本的Score与LightGBM输出的该样本的Probs的皮尔逊相似系数来计算，无需人工干预。
[0154] 根据本发明实施例，在获取打分模型后，可以基于待检测数据得到的欺诈概率值、所述第一群组、所述第一群组的直间度距离、所述第二群组、所述规则的提升度输入该打分模型，得到各欺诈群组的分数，从中选择分数最高的或者超过分数阈值的欺诈群组，该(些)欺诈群组为目标欺诈群组，从而实现从待检测数据中确定目标欺诈群组。
[0155] 下面结合具体的实施例，对本发明实施例中的数据处理的方法进行详细的说明。
[0156] 图6是根据一示例性实施例示出的一种模型间数据流转的示意图。本发明实施例中，模型可以包括：提升树模型LightGBM、图模型LouVain、关联规则模型Association Rules以及打分模型Score。
[0157] 如图6所示，该方法可以包括但不限于以下流程：
[0158] 在S601中，获取样本数据的特征工程数据,并将该特征工程数据发送至LightGBM模型以及Association Rules模型。
[0159] 本发明实施例中，对样本数据进行特征工程处理，可以包括基于样本数据的多维特征，可以构造出更多维的特征。样本数据的特征工程数据是指构造出的样本数据的更多维的特征数据。
[0160] 在S602中，LightGBM模型根据输入的特征工程数据获取样本数据的欺诈概率值。
[0161] 在S603中，LightGBM模型将欺诈概率值分别发送至LouVain模型、Association Rules模型以及Score模型。
[0162] 在S604中，获取样本数据的图数据,并将图数据发送至LouVain模型。
[0163] 在S605中，LouVain模型基于图数据以及欺诈概率值获取第一群组以及第一群组的直间度距离。
[0164] 本发明实施例中，可以对LouVain模型进行多次校验，例如，通过验证集数据进行一次以上校验，通过测试集数据进行两次以上校验。
[0165] 在S606中，LouVain模型将第一群组以及第一群组的直间度距离发送至打分模型。
[0166] 在S607中,Association Rules模型基于特征工程数据以及欺诈概率值,获取第二群组以及规则对应的提升度。
[0167] 在S608中，Association Rules模型将第二群组以及规则对应的提升度发送至打分模型。
[0168] 在S609中，打分模型根据欺诈概率值、第一群组以及第一群组的直间度距离、第二群组以及规则对应的提升度，获取欺诈群组以及每个群组的得分。
[0169] 需要指出的是，可以通过基于个体数据的欺诈概率值确定群组的欺诈概率值，通过最大化目标欺诈群组的欺诈概率值与Score的皮尔逊相似度系数，确定打分模型，进而确定目标欺诈群组以及每个群组的得分。
[0170] 本发明实施例中，在获取到获取欺诈群组以及每个群组的得分后，可以基于得分对欺诈群组进行排序，根据排序选择Top N为目标欺诈群组。
[0171] 需要说明的是，上述群组的样本数之和N可以取决于样本总量(如200万)和欺诈样本比例(如千分之二)，如N＝4000。目标欺诈数据可用于任何反欺诈场景中，如，可以交给业务人员识别、预判和分析团伙作案。
[0172] 应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。
[0173] 下述为本发明装置实施例，可以用于执行本发明方法实施例。在下文对装置的描述中，与前述方法相同的部分，将不再赘述。
[0174] 图7是根据一示例性实施例示出的一种数据处理装置的结构示意图，其中，所述装置700包括：
[0175] 第一获取模块710，配置为基于提升树模型获取待检测数据的欺诈概率值；
[0176] 第二获取模块720，配置为根据图模型以及所述待检测数据的欺诈概率值获取第一群组；
[0177] 第三获取模块730，配置为基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；
[0178] 确定模块740，配置为基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。
[0179] 本发明实施例中，基于提升树模型获取待检测数据的欺诈概率值；根据图模型以及所述待检测数据的欺诈概率值获取第一群组；基于关联规则模型以及所述待检测数据的欺诈概率值,从所述待检测数据中获取规则对应的第二群组；基于所述待检测数据的欺诈概率值、所述第一群组以及所述第二群组确定所述待检测数据中的目标欺诈群组。通过图模型以及关联规则模型分别与提升树模型融合，然后将这两种模型的结果进行融合打分，融合了多种模型的优点、克服了每种模型的缺点以及单一模型欠拟合的缺点，提升了识别欺诈群组的准确度。
[0180] 图8是根据一示例性实施例示出的一种电子设备的结构示意图。需要说明的是，图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
[0181] 如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
[0182] 以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0183] 特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的终端中限定的上述功能。
[0184] 需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
[0185] 附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0186] 描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取模块、第二获取模块、第三获取模块以及确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种内生安全的网络功能基础平台及数据处理方法 | 2020-05-08 | 936 |
| 一种电镀产品的入库方法 | 2020-05-11 | 936 |
| 信息显示装置和方法以及程序和记录介质 | 2020-05-08 | 779 |
| 一种多通道高速率的5G信号处理装置 | 2020-05-08 | 486 |
| 一种数据处理方法及设备 | 2020-05-08 | 316 |
| 一种大数据交换平台网络架构 | 2020-05-08 | 15 |
| 一种信息安全攻防平台的数据层系统 | 2020-05-08 | 314 |
| 数据处理方法、装置、设备和存储介质 | 2020-05-11 | 111 |
| 基于统计特征视角合成质量预测方法、信息数据处理终端 | 2020-05-08 | 876 |
| 一种资产数据处理方法、装置以及设备 | 2020-05-08 | 869 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈