技术领域
[0001] 本
说明书一个或多个
实施例涉及
机器学习领域，尤其涉及计算机执行的、对关系网络图进行节点嵌入的方法及装置。
背景技术
[0002] 关系网络图是对现实世界中实体之间的关系的描述，目前广泛地应用于各种计算机信息处理中。一般地，关系网络图包含节点集合和边集合，节点表示现实世界中的实体，边表示现实世界中实体之间的联系。例如，在社交网络中，人就是实体，人和人之间的关系或联系就是边。
[0003] 在许多情况下，希望将关系网络图中的元素或结构用向量的形式进行表示，这个过程称为图嵌入。典型的，希望将图中的每个节点(实体)用多维空间中的坐标值来表示，也就是将各个节点映射到一个多维空间中，用多维空间中的点代表图中的节点。多维空间可以是2维、3维空间，也可以是更高维空间。用多维空间的坐标来表达图中的节点，可以应用于计算节点和节点之间的相似度，发现图中的社团结构，预测未来可能形成的边联系，以及对图进行
可视化等。
[0004] 图嵌入是一种非常重要的
基础技术能
力。根据一种方案，采用
监督学习的方式，考虑节点特征和节点之间的关联关系，训练得到图嵌入模型，根据训练得到的图嵌入模型进行关系网络图的嵌入表达。然而，已有的方法通常是针对单一连接关系的关系网络图进行模型训练，对于复杂的异构网络图难以进行嵌入表达。
[0005] 因此，希望能有改进的方案，能够有效地对异构关系网络图进行图嵌入。
发明内容
[0006] 本说明书一个或多个实施例描述了一种计算机执行的对关系网络图进行节点嵌入的方法和装置。通过这样的方法，可以对具有多种连接关系的异构关系网络图进行有效的节点嵌入。
[0007] 根据第一方面，提供了一种计算机执行的、对关系网络图进行节点嵌入的方法，所述关系网络图包括多个节点，所述多个节点之间通过多种连接关系进行连接，所述方法包括：
[0008] 获取所述关系网络图中第一节点的节点特征，以及所述第一节点在所述多种连接关系下对应的多个第一邻居节点集；
[0009] 至少基于所述第一节点的节点特征，确定所述第一节点的初级
迭代的嵌入向量；
[0010] 针对所述第一节点，执行预定级数的向量迭代，其中每级向量迭代包括：基于所述第一节点的上一级迭代的嵌入向量，第一节点的全邻居节点的上一级聚合向量和第一参数集，确定所述第一节点的本级迭代的嵌入向量；其中，所述第一节点的全邻居节点的上一级聚合向量是基于第一权重因子，对所述多个第一邻居节点集中各个第一邻居节点集对应的上一级聚合向量进行加权求和而确定，所述各个第一邻居节点集对应的上一级聚合向量为，各个第一邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合；
[0011] 根据所述第一节点的所述预定级数的嵌入向量，确定该第一节点的节点嵌入结果。
[0012] 在一种实施例中，所述多个节点对应于多个用户；所述多种连接关系包括以下中的多种：亲情关系、通信关系、资金关系、媒介关系、人际关系。
[0013] 进一步的，所述通信关系可以包括以下中的一项或多项：电话通话，短消息，即时通讯工具中的消息；
[0014] 所述资金关系可以包括以下中的一项或多项：转账、收款、红包、代充、代付、条码收款、条码付款、AA收款、C2C手机当面付、送礼金、交房租、信用卡代还款、代购、亲密付；
[0015] 所述媒介关系包括使用过同一媒介，所述同一媒介可以包括以下中的一项或多项：同
银行卡、同身份证、同邮箱、同账户号、同手机号、同物理地址、同终端设备号；
[0016] 所述人际关系可以包括以下中的一项或多项：具有共同关注的人，具有共同加入的群组，具有共同参加的活动。
[0017] 在一种实施例中，所述节点特征包括用户属性特征，所述用户属性特征包括以下中的一项或多项：用户ID、性别、年龄、注册时长、教育程度、职业。
[0018] 根据一种实施方式，所述第一参数集包括第一参数和第二参数；在这样的情况下，在所述每级向量迭代中，分别以第一参数和第二参数为权重系数，对所述第一节点的上一级迭代的嵌入向量和所述全邻居节点的上一级聚合向量进行加权求和，基于求和结果得到所述第一节点的本级迭代的嵌入向量。
[0019] 根据不同实施方式，在所述向量迭代中，通过以下方式之一确定所述各个第一邻居节点集对应的上一级聚合向量：
[0020] 计算各个第一邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的加和，作为该第一邻居节点集对应的上一级聚合向量；
[0021] 计算各个第一邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的均值，作为该第一邻居节点集对应的上一级聚合向量；
[0022] 以各个第一邻居节点集中包括的邻居节点与所述第一节点之间的连接关系的强度为权重系数，计算各个邻居节点的上一级迭代的嵌入向量的加权求和，作为该第一邻居节点集对应的上一级聚合向量。
[0023] 在一个实施例中，所述第一参数集通过监督训练而确定，而所述第一权重因子针对所述各个邻居节点集预先设定。
[0024] 在这样的情况下，监督训练包括以下过程：
[0025] 获取所述关系网络中预先标定的第二节点的节点特征，节点标签，以及所述第二节点在所述多种连接关系下对应的多个第二邻居节点集；
[0026] 至少基于所述第二节点的节点特征，确定所述第二节点的初级迭代的嵌入向量；
[0027] 针对所述第二节点，执行所述预定级数的向量迭代，其中每级向量迭代包括：基于所述第二节点的上一级迭代的嵌入向量，第二节点的全邻居节点的上一级聚合向量和第二参数集，确定所述第二节点的本级迭代的嵌入向量，其中第二节点的全邻居节点的上一级聚合向量是基于所述第一权重因子，对所述多个第二邻居节点集中各个第二邻居节点集对应的上一级聚合向量进行加权求和而确定，所述各个第二邻居节点集对应的上一级聚合向量为，各个第二邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合；
[0028] 根据所述第二节点的所述预定级数的嵌入向量，确定该第二节点的预测值；
[0029] 至少根据所述第二节点的节点标签和预测值，确定损失函数的损失值；
[0030] 在损失值减小的方向调整所述第二参数集，根据调整后的第二参数集得到所述第一参数集。
[0031] 在另一实施例中，所述第一参数集和所述第一权重因子均通过监督训练而确定。
[0032] 在这样的情况下，监督训练包括以下过程：
[0033] 获取所述关系网络中预先标定的第二节点的节点特征，节点标签，以及所述第二节点在所述多种连接关系下对应的多个第二邻居节点集；
[0034] 至少基于所述第二节点的节点特征，确定所述第二节点的初级迭代的嵌入向量；
[0035] 针对所述第二节点，执行所述预定级数的向量迭代，其中每级向量迭代包括：基于所述第二节点的上一级迭代的嵌入向量，第二节点的全邻居节点的上一级聚合向量和第二参数集，确定所述第二节点的本级迭代的嵌入向量，其中第二节点的全邻居节点的上一级聚合向量是基于第二权重因子，对所述多个第二邻居节点集中各个第二邻居节点集对应的上一级聚合向量进行加权求和而确定，所述各个第二邻居节点集对应的上一级聚合向量为，各个第二邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合；
[0036] 根据所述第二节点的所述预定级数的嵌入向量，确定该第二节点的预测值；
[0037] 至少根据所述第二节点的节点标签和预测值，确定损失函数的损失值；
[0038] 在损失值减小的方向调整所述第二参数集和所述第二权重因子，根据调整后的第二参数集得到所述第一参数集，根据调整后的第二权重因子得到所述第一权重因子。
[0039] 根据第二方面，提供了一种对关系网络图进行节点嵌入的装置，所述关系网络图包括多个节点，所述多个节点之间通过多种连接关系进行连接，所述装置包括：
[0040] 获取单元，配置为获取所述关系网络图中第一节点的节点特征，以及所述第一节点在所述多种连接关系下对应的多个第一邻居节点集；
[0041] 初级确定单元，配置为至少基于所述第一节点的节点特征，确定所述第一节点的初级迭代的嵌入向量；
[0042] 向量迭代单元，配置为针对所述第一节点，执行预定级数的向量迭代，其中每级向量迭代包括：基于所述第一节点的上一级迭代的嵌入向量，第一节点的全邻居节点的上一级聚合向量和第一参数集，确定所述第一节点的本级迭代的嵌入向量；其中，所述第一节点的全邻居节点的上一级聚合向量是基于第一权重因子，对所述多个第一邻居节点集中各个第一邻居节点集对应的上一级聚合向量进行加权求和而确定，所述各个第一邻居节点集对应的上一级聚合向量为，各个第一邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合；
[0043] 结果确定单元，配置为根据所述第一节点的所述预定级数的嵌入向量，确定该第一节点的节点嵌入结果。
[0044] 根据第三方面，提供了一种计算机可读存储介质，其上存储有
计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
[0045] 根据第四方面，提供了一种计算设备，包括
存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
[0046] 根据本说明书实施例提供的方法和装置，在通过向量迭代进行节点嵌入的过程中，通过借鉴注意力机制，针对各种连接关系引入权重因子，而将多种连接关系下邻居节点的影响作用进行聚合，确定出节点的嵌入向量，如此，针对具有多种连接关系的异构关系网络图，实现有效的节点嵌入。
附图说明
[0047] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0048] 图1示出关系网络图的示意图；
[0049] 图2示出另一种关系网络图的示意图；
[0050] 图3示出根据一个实施例的对关系网络图进行节点嵌入的方法
流程图；
[0051] 图4示出根据一个实施例的节点嵌入装置的示意性
框图。
具体实施方式
[0052] 下面结合附图，对本说明书提供的方案进行描述。
[0053] 如前所述，关系网络图可以抽象为包括节点集合和边集合，其中节点表示现实世界中的实体，边表示实体之间的关联关系。
[0054] 图1示出关系网络图的示意图，其中以用户为节点进行示例。如图所示，具有关联关系的用户之间通过边进行连接。不过，图1中仅考虑了用户之间的一种关联关系，或者，将多种关联关系合并为一种关联关系，因此，用户之间只有一种类型的连接边。这就构成单一连接关系的关系网络图，或称为单视图关系网络图。
[0055] 然而，实际上，用户之间的关联关系可以有很多种。图2示出另一种关系网络图，其中同时考虑用户之间的多种关联关系，例如包括亲情关系，资金关系，通信关系。此时，每种关联关系对应一种类型的连接边，在图2中分别用粗实线，细实线和粗虚线示出。如此，用户之间可能同时存在多种类型的连接边。这就构成一种异构网络，其中包含基于多种连接关系确定的多种类型的连接边。
[0056] 下面描述对于这样的异构网络进行图嵌入的实施方式。
[0057] 图3示出根据一个实施例的对关系网络图进行节点嵌入的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图3所示，该方法包括：步骤31，获取关系网络图中第一节点的节点特征，以及所述第一节点在多种连接关系下对应的多个第一邻居节点集；步骤32，至少基于所述第一节点的节点特征，确定所述第一节点的初级迭代的嵌入向量；步骤33，针对所述第一节点，执行预定级数的向量迭代，每级向量迭代包括：基于所述第一节点的上一级迭代的嵌入向量，第一节点的全邻居节点的上一级聚合向量和第一参数集，确定第一节点的本级迭代的嵌入向量；其中所述第一节点的全邻居节点的上一级聚合向量是基于第一权重因子，对所述多个第一邻居节点集中各个第一邻居节点集对应的上一级聚合向量进行加权求和而确定，所述各个第一邻居节点集对应的上一级聚合向量为，各个第一邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合；步骤34，根据所述第一节点的预定级数的嵌入向量，确定该第一节点的节点嵌入结果。
[0058] 下面结合具体例子，描述以上各个步骤的具体执行方式。
[0059] 如上所述，图3的方法可以对异构的关系网络图进行节点嵌入，这样的关系网络图中包括多个节点，多个节点之间通过多种连接关系进行连接。
[0060] 在一个例子中，上述关系网络图为用户关系网络图，图中每个节点对应一个用户。节点之间的连接关系即为用户之间的关联关系，这样的关联关系可以包括以下中的多种：
亲情关系、通信关系、资金关系，人际关系、媒介关系等等。
[0061] 更具体的，亲情关系可以包括家属、亲子关系，这可以通过用户自身填写或提交的信息、绑定的亲属专用账号等方式获取。在图2的例子中，如果两个用户之间具有亲情关系，则用粗实线对其进行连接。
[0062] 通信关系可以包括通过电话通话，发送短消息，利用即时通讯工具进行消息传送等方式建立的关联关系。如果两个用户之间通过以上各种方式建立过通信，则认为这两个用户之间具有通信关系，在图2的例子中，通过细实线对其进行连接。
[0063] 资金关系可以包括通过以下方式发生的资金往来：转账、收款、红包、代充、代付、条码收款、条码付款、AA收款、C2C手机当面付、送礼金、交房租、信用卡代还款、代购、亲密付等等。如果两个用户之间通过以上各种方式发生过资金往来，则认为这两个用户之间具有资金关系，在图2的例子中，通过虚线对其进行连接。
[0064] 此外，还可以考虑用户之间的非直接的人际关系。如果两个用户之间具有共同关注的人，或者具有共同加入的群组，或者具有共同参加的活动等其他共同点，则可以认为这两个用户之间具有人际关系。
[0065] 媒介关系是指两个用户使用过同一媒介，所述同一媒介可以包括以下中的一项或多项：同银行卡、同身份证、同邮箱、同账户号、同手机号、同物理地址、同终端设备号，等等。如果两个用户使用过上述列举的同一媒介，则认为这两个用户之间具有媒介关系。
[0066] 用户之间还可能存在其他类型的关联关系，在此不一一列举。针对用户关系网络图进行节点嵌入，相当于为每个用户确定出对应的嵌入向量来表征该用户的特点以及他在整个关系网络图中的
位置。
[0067] 在另一个例子中，上述关系网络图可以为商品关系网络图，图中每个节点对应一个商品。商品之间也存在多种关联关系，例如，卖家关联关系，买家关联关系，类别关联关系，上下游关联关系等等。如果两个商品属于同一卖家，则认为这两个商品具有卖家关联关系；如果两个商品曾被同一买家购买，那么可以认为这两个商品具有买家关联关系；如果两个商品被系统平台划分到同一小类，则具有类别关联关系；如果一个商品被系统平台归为另一商品的上游/下游产品，那么这两个商品具有上下游关联关系。商品之间也可能存在其他类型的关联关系，在此不一一列举。
[0068] 在其他例子中，关系网络图中的节点还可以代表其他实体，根据实体之间的多种关系，在节点之间通过多种连接关系进行连接，由此形成异构关系网络图。
[0069] 为了对上述的异构关系网络图进行节点嵌入，首先在步骤31，获取关系网络图中任意节点的节点特征，以及该节点在多种连接关系下对应的多个邻居节点集。为了表述的方便，在本文上下文中，将该任意节点称为第一节点。
[0070] 在关系网络图为用户关系网络图的情况下，第一节点对应一个用户。此时，第一节点的节点特征可以包括用户属性特征，例如用户的ID，性别、年龄、注册时长、教育程度、职业，等等。
[0071] 在关系网络图为商品关系网络图的情况下，第一节点对应一个商品。此时，第一节点的节点特征可以包括商品属性特征，例如商品的名称、类别、价格、上架时间等等。
[0072] 还可以通过其他方式获取第一节点的节点特征，例如获取节点的编号编码等作为节点特征，等等。
[0073] 除了确定第一节点自身的节点特征，还确定与该第一节点直接连接的邻居节点所构成的邻居节点集。由于关系网络图中节点之间具有多种连接关系，因此，在步骤31可以获取第一节点在每种连接关系下的邻居节点集，称为第一邻居节点集。如此，对于m种连接关系，可以获取到第一节点的m个第一邻居节点集：N1，N2，…,Nm。
[0074] 本领域技术人员了解，存在多种方式来记录关系网络的拓扑结构，例如采用邻接矩阵，或者邻接表来记录关系网络中节点的连接关系。在存在m种连接关系的情况下，关系网络图可以根据连接关系拆分为节点集合相同，边集合不同的m个子图，分别用m个邻接矩阵或连接表记录这m个子图的连接关系。通过分别读取这m个邻接矩阵或邻接表，可以容易地获取第一节点在m种连接关系下的m个邻居节点集。
[0075] 更具体的，在图2的例子中，假定关系网络图中存在3种连接关系，记为A(亲情关系)，B(通信关系)，C(资金关系)；相应的，对于图中任意的第一节点v，可以获取该节点v在A连接关系下的邻居节点集NA，在B连接关系下的邻居节点集NB，以及在C连接关系下的邻居节点集NC。
[0076] 接着，在步骤32，至少基于上述第一节点的节点特征，确定该第一节点的初级迭代的嵌入向量。
[0077] 假定在步骤31确定的第一节点v的节点特征为xv，在一种实施例中，可以将该节点特征直接作为该第一节点的初级迭代的嵌入向量，即：
[0078]
[0079] 其中， 的下
角标v表示对应于节点v，上角标表示迭代级数，上角标为0则指示出为初级迭代。
[0080] 在另一实施例中，也可以针对节点特征进行一定运算，得出该第一节点的初级迭代的嵌入向量，例如：
[0081]
[0082] 其中，w为权重参数，σ为非线性变换函数。
[0083] 由于第一节点为关系网络图中任意的一个节点，如此，可以针对关系网络中的每个节点，均确定出其初级迭代的嵌入向量。
[0084] 接着，在步骤33，针对第一节点，执行预定级数K的向量迭代，在每级向量迭代中，基于第一节点的上一级迭代的嵌入向量，第一节点的全邻居节点的上一级聚合向量和第一参数集，确定第一节点的本级迭代的嵌入向量。
[0085] 换而言之，在第k级迭代时，基于第一节点v的上一级迭代的嵌入向量 全邻居节点的上一级聚合向量 以及第一参数集，确定第一节点v的本级迭代的嵌入向量即 其中S为第一参数集。
[0086] 更具体的，在一个例子中，第一节点v的本级迭代的嵌入向量 可以根据下式确定：
[0087]
[0088] 其中，Bk和Wk为第一参数集中的参数。因此，在式(3)中，分别以第一参数Bk和第二参数Wk为权重系数，对第一节点的上一级迭代的嵌入向量 和全邻居节点的上一级聚合向量 进行加权求和，基于求和结果(施加σ函数)得到第一节点的本级迭代的嵌入向量[0089] 根据一种实施方式，式(3)中σ为非线性变换函数。在更具体的例子中，σ可以是sigmoid函数，tanh函数，softmax函数等等。
[0090] 更进一步的，以上第一节点的全邻居节点的上一级聚合向量 是基于第一权重因子α，对步骤31获取的m个第一邻居节点集N1-Nm中各个第一邻居节点集Ni对应的上一级聚合向量 进行加权求和而确定，其中，各个第一邻居节点集Ni对应的上一级聚合向量为，各个第一邻居节点集Ni中包括的邻居节点的上一级迭代的嵌入向量的聚合。
[0091] 具体的，在一个例子中，第一节点的全邻居节点的上一级聚合向量 通过下式确定：
[0092]
[0093] 其中，αi为权重因子， 为第一邻居节点集Ni中包括的邻居节点的上一级迭代的嵌入向量的聚合。该聚合可以通过多种方式实现。
[0094] 在一个实施例中，可以计算第一邻居节点集Ni中包括的邻居节点u的上一级迭代的嵌入向量 的加和，作为该第一邻居节点集Ni对应的上一级聚合向量 即：
[0095]
[0096] 在另一实施例中，可以计算第一邻居节点集Ni中包括的邻居节点u的上一级迭代的嵌入向量 的均值，作为该第一邻居节点集Ni对应的上一级聚合向量 即：
[0097]
[0098] 其中，|Ni|表示邻居节点集Ni中的节点数目。
[0099] 在又一实施例中，可以获取第一邻居节点集Ni中的邻居节点u与第一节点v之间的连接关系的强度，以该强度为权重系数β，计算各个邻居节点的上一级迭代的嵌入向量的加权求和，作为该第一邻居节点集Ni对应的上一级聚合向量 即：
[0100]
[0101] 还可以通过其他方式对Ni中邻居节点u的上一级迭代的嵌入向量 进行聚合，从而得到第一邻居节点集Ni对应的上一级聚合向量
[0102] 将以上得到的 代入到式(4)，就可以得到第一节点的全邻居节点的上一级聚合向量 再基于如此确定的上一级聚合向量 和第一节点v的上一级迭代的嵌入向量 就可以得到第一节点v的第k级迭代的嵌入向量
[0103] 通过以上过程可以看到，由于 是通过对邻居节点u的上一级迭代的嵌入向量聚合得到，最终，第一节点v的第k级迭代的嵌入向量 本质上基于，第一节点v自身的k-1级迭代的嵌入向量 以及第一节点在各种连接关系下邻居节点u的k-1级迭代的嵌入向量 进行融合而确定。
[0104] 并且，当关系网络图存在多种连接关系时，引入注意力机制(attention机制)的思想，通过权重因子αi，对每种连接关系下形成的邻居节点集合对应的 进行加权聚合，得到第一节点的本级迭代的嵌入向量。
[0105] 在一个具体实施例中，将式(6)代入到式(4)，得到全邻居节点的上一级聚合向量再将式(4)代入到式(3)，可以得到第一节点v的第k级迭代的嵌入向量 的一种具体确定方式：
[0106]
[0107] 下面沿用图2的例子，并结合式(8)，描述向量迭代的过程。
[0108] 在图2的例子中，假定某个节点v，在A(亲情)连接关系下的邻居节点集NA包括节点(1,2,3,4)，在B(通信)连接关系下的邻居节点集NB包括节点(3,4,5,6)，在C(资金)连接关系下的邻居节点集NC包括节点(6,7,8)。
[0109] 首先根据式(1)或式(2)确定出关系网络图中每个节点的初级迭代向量，这包括节点v的初级迭代嵌入向量 以及节点v分别在邻居节点集NA，NB，NC中的各个邻居节点u(u分别为节点1,2,3,4,5,6,7,8)的初级迭代嵌入向量
[0110] 然后，就可以根据式(8)进行向量迭代。
[0111] 当k＝1时，
[0112]
[0113] 其中i＝A时，对集合NA中节点(1,2,3,4)的初级嵌入向量 进行聚合，i＝B时，对集合NB中节点(3,4，5,6)的初级嵌入向量 进行聚合，i＝C时，对集合NC中节点(6，7,8)的初级嵌入向量 进行聚合，然后对这3个集合各自的聚合结果，分别施加权重因子αA,αB,αC进行求和，作为节点v的全邻居节点的上一级总聚合结果。基于该总聚合结果和节点v的初级嵌入向量，就可以得到其1级嵌入向量。类似的，还可以得到其他节点的1级嵌入向量。
[0114] K＝2时，
[0115]
[0116] 这个过程与前述k＝1类似，只是聚合对象为各个节点的1级嵌入向量。
[0117] 如此，根据节点的上一级迭代的嵌入向量，确定出本级迭代的嵌入向量，反复执行向量迭代过程，直到达到预设级数K。
[0118] 于是，在步骤34，根据第一节点的预定级数K的嵌入向量 确定该第一节点的节点嵌入结果。
[0119] 一般的，可以直接将预定级数K的嵌入向量 作为节点v的最终嵌入向量，也即节点嵌入结果：
[0120]
[0121] 在其他例子中，也可以基于 进行简单的线性运算，作为节点v的嵌入结果。
[0122] 如此，对于具有多种连接关系的异构关系网络图，通过向量迭代进行节点嵌入；在向量迭代过程中，基于各种连接关系形成的邻居节点集各自的权重，进行邻居节点的向量聚合，从而考虑多种连接关系对当前节点的影响。
[0123] 在向量迭代过程中，涉及的参数至少包括第一参数集，例如式(3)和式(8)中的Bk和Wk，以及权重因子αi，又称为第一权重因子。
[0124] 在一个实施例中，上述第一参数集通过监督训练而确定，而第一权重因子αi由业务人员根据经验而设定。
[0125] 更具体的，在一个例子中，针对各种连接关系，即针对各种连接关系对应的邻居节点集，预设权重因子作为上述第一权重因子αi。例如，在图2的例子中，存在3种连接关系，进而每个节点具有3个邻居节点集。为此，可以分别针对3个邻居节点集NA，NB，NC，预设对应的权重因子αA,αB,αC。
[0126] 在另一例子中，针对各种连接关系对应的邻居节点集，以及针对各级迭代，预设权重因子。仍以图2的3种连接关系为例，进一步的，假定希望进行K＝3次迭代。那么就需要针对每一级迭代k，预设对应的权重因子αAk,αBk,αCk，即各个邻居节点集对应的权重因子在各级迭代中可以不同。如果存在m种关联关系，预设迭代级数为K，则需要预设m*K个权重因子αi，j，其中i属于1到m，j属于1到K。
[0127] 在另一种实施例中，上述第一参数集和第一权重因子均通过监督训练而确定。在这样的情况下，第一权重因子可以有更细粒度上的区分和不同。例如，在一个例子中，第一权重因子可以表示为 其中gi表示第i种连接关系。如此，不同连接关系下，不同迭代级数中，针对不同节点，权重因子都可以不同。
[0128] 下面描述通过监督训练确定以上参数的过程。
[0129] 对于节点嵌入的监督训练而言，需要获取关系网络中已标定的节点，这样的节点会具有人工标定的节点标签。节点标签与最终通过节点嵌入向量对节点进行分析的目标有关。例如，在一个例子中，关系网络图中节点对应于用户，最终希望通过节点嵌入得到用户的嵌入向量，以对用户进行分类。这样的情况下，节点标签可以是用户的分类标签。更具体的，在二分类情况下，用户的分类标签例如可以是，高
风险用户，普通用户；也可以是多分类标签，例如，用户风险等级。
[0130] 为了描述的简单，将已标定节点称为第二节点。如此，在监督训练中，首先需要获取上述第二节点p的节点特征，节点标签，以及第二节点p在前述的多种连接关系下对应的多个第二邻居节点集。其中节点特征和邻居节点集的获取方式与步骤31类似，不再赘述。
[0131] 接着，至少基于第二节点的节点特征，确定第二节点的初级迭代的嵌入向量该过程与步骤32类似。
[0132] 然后，针对所述第二节点p，执行预定级数K的向量迭代，其中每级(k级)向量迭代包括：基于第二节点的上一级迭代的嵌入向量 第二节点的全邻居节点的上一级聚合向量 和第二参数集，确定所述第二节点的本级迭代的嵌入向量。其中，第二参数集是与第一参数集对应的、训练过程中使用的临时参数集。初始的，第二参数集中的参数值可以随机初始化，并在训练过程中不断调整。
[0133] 在第一权重因子通过预设方式设定的情况下，上述第二节点的全邻居节点的上一级聚合向量 是基于预先设定的第一权重因子，对多个第二邻居节点集中各个第二邻居节点集对应的上一级聚合向量进行加权求和而确定，而各个第二邻居节点集对应的上一级聚合向量为，各个第二邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合。
[0134] 在没有预先设定第一权重因子的情况下，上述第二节点的全邻居节点的上一级聚合向量 是基于第二权重因子，对多个第二邻居节点集中各个第二邻居节点集对应的上一级聚合向量进行加权求和而确定。其中，第二权重因子是与第一权重因子对应的、训练过程中使用的临时权重因子。初始的，第二权重因子中的因子值可以随机初始化，并在训练过程中不断调整。
[0135] 除了参数值/因子值的不同，针对第二节点执行向量迭代的过程与前述步骤33对应一致。
[0136] 通过预定级数K的向量迭代，可以确定出第二节点的嵌入向量 然后，可以根据该第二节点的嵌入向量 确定该第二节点的预测值。
[0137] 在一个例子中，将第二节点的预测值Yp确定为：
[0138]
[0139] 其中，θ为权重向量。
[0140] 接着，至少根据该第二节点的节点标签和预测值，确定损失函数的损失值。
[0141] 损失函数可以有多种形式。例如，在回归任务的例子中，损失函数可以基于多个第二节点的标签值和预测值的均方差。
[0142] 在分类任务的例子中，可以采用softmax形式的损失函数：
[0143] L＝∑pyplogYp+(1-yp)log(1-Yp) (13)
[0144] 其中，yp为第二节点p的标签值，Yp为其预测值。
[0145] 在确定出损失函数对应的损失值的基础上，就可以在损失值减小的方向进行参数调整。
[0146] 在第一权重因子通过预设方式设定的情况下，仅调整上述的第二参数集，使得调整后的损失值减小。在反复调整第二参数集，使得模型达到收敛条件的情况下，将如此调整后的第二参数集作为前述的第一参数集。
[0147] 在不对第一权重因子进行设定的情况下，参数调整包括调整上述的第二参数集以及上述的第二权重因子，使得调整后的损失值减小。在反复调整第二参数集合以及第二权重因子，使得模型达到收敛条件的情况下，将调整后的第二参数集作为前述的第一参数集，将调整后的第二权重因子作为前述的第一权重因子。
[0148] 如此，通过利用有标签的标定节点(第二节点)进行监督训练的方式，确定出节点嵌入过程中的参数。利用这些参数，对待分析节点(第一节点)执行前述的步骤31-34，就可以确定出异构关系网络中任意节点的嵌入向量结果。节点的嵌入向量可以用于后续对节点，或对关系网络图进行进一步的分析，例如，可以利用节点的嵌入向量计算节点之间的相似度，对节点进行聚类，为节点进行关联内容推荐，等等。
[0149] 回顾以上，在通过向量迭代进行节点嵌入的过程中，通过借鉴注意力机制，针对各种连接关系引入权重因子，而将各种连接关系下邻居节点的影响作用进行聚合，确定出节点的嵌入向量，如此，针对具有多种连接关系的异构关系网络图，实现有效的节点嵌入。
[0150] 根据另一方面的实施例，提供了一种对关系网络图进行节点嵌入的装置，该装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。图4示出根据一个实施例的节点嵌入装置的示意性框图。图4中的节点嵌入装置400用于对关系网络图进行节点嵌入，其中关系网络图包括多个节点，所述多个节点之间通过多种连接关系进行连接。如图4所示，该装置400包括：
[0151] 获取单元41，配置为获取所述关系网络图中第一节点的节点特征，以及所述第一节点在所述多种连接关系下对应的多个第一邻居节点集；
[0152] 初级确定单元42，配置为至少基于所述第一节点的节点特征，确定所述第一节点的初级迭代的嵌入向量；
[0153] 向量迭代单元43，配置为针对所述第一节点，执行预定级数的向量迭代，其中每级向量迭代包括：基于所述第一节点的上一级迭代的嵌入向量，第一节点的全邻居节点的上一级聚合向量和第一参数集，确定所述第一节点的本级迭代的嵌入向量；其中，所述第一节点的全邻居节点的上一级聚合向量是基于第一权重因子，对所述多个第一邻居节点集中各个第一邻居节点集对应的上一级聚合向量进行加权求和而确定，所述各个第一邻居节点集对应的上一级聚合向量为，各个第一邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合；
[0154] 结果确定单元44，配置为根据所述第一节点的所述预定级数的嵌入向量，确定该第一节点的节点嵌入结果。
[0155] 根据一种实施方式，所述多个节点对应于多个用户；所述多种连接关系包括以下中的多种：亲情关系、通信关系、资金关系、媒介关系、人际关系。
[0156] 进一步的，在不同例子中，通信关系可以包括以下中的一项或多项：电话通话，短消息，即时通讯工具中的消息；
[0157] 资金关系可以包括以下中的一项或多项：转账、收款、红包、代充、代付、条码收款、条码付款、AA收款、C2C手机当面付、送礼金、交房租、信用卡代还款、代购、亲密付；
[0158] 媒介关系包括使用过同一媒介，所述同一媒介可以包括以下中的一项或多项：同银行卡、同身份证、同邮箱、同账户号、同手机号、同物理地址、同终端设备号；
[0159] 人际关系可以包括以下中的一项或多项：具有共同关注的人，具有共同加入的群组，具有共同参加的活动。
[0160] 在一个实施例中，所述节点特征包括用户属性特征，所述用户属性特征包括以下中的一项或多项：用户ID、性别、年龄、注册时长、教育程度、职业。
[0161] 根据一种实施方式，上述第一参数集包括第一参数和第二参数；相应的，所述向量迭代单元43配置为，分别以第一参数和第二参数为权重系数，对所述第一节点的上一级迭代的嵌入向量和所述全邻居节点的上一级聚合向量进行加权求和，基于求和结果得到所述第一节点的本级迭代的嵌入向量。
[0162] 根据不同实施例，所述向量迭代单元43配置为，通过以下方式之一确定所述各个第一邻居节点集对应的上一级聚合向量：
[0163] 计算各个第一邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的加和，作为该第一邻居节点集对应的上一级聚合向量；
[0164] 计算各个第一邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的均值，作为该第一邻居节点集对应的上一级聚合向量；
[0165] 以各个第一邻居节点集中包括的邻居节点与所述第一节点之间的连接关系的强度为权重系数，计算各个邻居节点的上一级迭代的嵌入向量的加权求和，作为该第一邻居节点集对应的上一级聚合向量。
[0166] 在一个实施例中，所述第一参数集通过监督训练单元45而确定，所述第一权重因子针对所述各个邻居节点集预先设定。
[0167] 根据上述实施例，所述获取单元41还配置为，获取所述关系网络中预先标定的第二节点的节点特征，节点标签，以及所述第二节点在所述多种连接关系下对应的多个第二邻居节点集；
[0168] 所述初级确定单元42还配置为，至少基于所述第二节点的节点特征，确定所述第二节点的初级迭代的嵌入向量；
[0169] 所述向量迭代单元43还配置为，针对所述第二节点，执行所述预定级数的向量迭代，其中每级向量迭代包括：基于所述第二节点的上一级迭代的嵌入向量，第二节点的全邻居节点的上一级聚合向量和第二参数集，确定所述第二节点的本级迭代的嵌入向量，其中第二节点的全邻居节点的上一级聚合向量是基于所述第一权重因子，对所述多个第二邻居节点集中各个第二邻居节点集对应的上一级聚合向量进行加权求和而确定，所述各个第二邻居节点集对应的上一级聚合向量为，各个第二邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合；
[0170] 所述监督训练单元45配置为：
[0171] 根据所述第二节点的所述预定级数的嵌入向量，确定该第二节点的预测值；
[0172] 至少根据所述第二节点的节点标签和预测值，确定损失函数的损失值；
[0173] 在损失值减小的方向调整所述第二参数集，根据调整后的第二参数集得到所述第一参数集。
[0174] 在另一实施例中，所述第一参数集和所述第一权重因子均通过监督训练单元45而确定。
[0175] 根据该实施例，所述获取单元41还配置为，获取所述关系网络中预先标定的第二节点的节点特征，节点标签，以及所述第二节点在所述多种连接关系下对应的多个第二邻居节点集；
[0176] 所述初级确定单元42还配置为，至少基于所述第二节点的节点特征，确定所述第二节点的初级迭代的嵌入向量；
[0177] 所述向量迭代单元43还配置为，针对所述第二节点，执行所述预定级数的向量迭代，其中每级向量迭代包括：基于所述第二节点的上一级迭代的嵌入向量，第二节点的全邻居节点的上一级聚合向量和第二参数集，确定所述第二节点的本级迭代的嵌入向量，其中第二节点的全邻居节点的上一级聚合向量是基于第二权重因子，对所述多个第二邻居节点集中各个第二邻居节点集对应的上一级聚合向量进行加权求和而确定，所述各个第二邻居节点集对应的上一级聚合向量为，各个第二邻居节点集中包括的邻居节点的上一级迭代的嵌入向量的聚合；
[0178] 所述监督训练单元45配置为：
[0179] 根据所述第二节点的所述预定级数的嵌入向量，确定该第二节点的预测值；
[0180] 至少根据所述第二节点的节点标签和预测值，确定损失函数的损失值；
[0181] 在损失值减小的方向调整所述第二参数集和所述第二权重因子，根据调整后的第二参数集得到所述第一参数集，根据调整后的第二权重因子得到所述第一权重因子。
[0182] 通过以上的装置，可以对具有多种连接关系的异构关系网络图进行节点嵌入。
[0183] 根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3所描述的方法。
[0184] 根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3所述的方法。
[0185] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用
硬件、
软件、
固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
[0186] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何
修改、等同替换、改进等，均应包括在本发明的保护范围之内。
