技术领域
[0001] 本
发明涉及
知识库构建技术领域，更具体地涉及一种基于层次卷积网络的实体与段落链接方法。
背景技术
[0002] 如今，已广泛使用的大规模知识库有Freebase、WordNet和YAGO等。它们都致
力于构建一个全局的资源库，并且允许机器更方便地
访问并获取结构化公共信息。同时，这些知识库提供了应用程序结构(APIs)以方便人们查询相关实体更为丰富的信息。例如，当我们在YAGO
数据库中检索一个城市名“Washington D.C.”时，返回结果如下表1所示：
[0003] 表1
[0004]
[0005] 可以看到，返回的结果信息都是一些高度结构化的组织信息。但这些结构化信息并不符合人们理解实体的实际语境及语义信息。和YAGO数据库不同，Freebase和WordNet则返回结构化信息的同时会额外返回与检索实体相关的描述性段落，如下表2所示：
[0006] 表2
[0007]
[0008] 可以看到，如表2所示的描述性段落更有益于用户理解查询实体词的具体语境及语义信息。然而，Freebase和WordNet的描述性段落信息都是由人工进行编辑的，这会导致
大数据下对实体进行段落描述的局限性并耗费大量的时间与人力。因此，如何设计一个高效的实体与描述性段落自动链接方法是大数据时代知识库构建所迫切亟需的任务。
[0009] 从表2的返回结果中还可以看到，描述性内容并不一定要包含查询实体词，而只需包含一些相关词对实体进行多方面地描述即可。因此，为了解决此问题，实体与段落链接方法需要从两个方面着手：1、从给定的一段描述性段落中捕捉文本的主题信息；2、找到和实体相关的重要描述性内容。比较传统的方法多是基于主题模型方法
抽取段落的主题信息，如狄利克雷分布(LDA)及概率潜语义分析(PLSA)等。这些方法的普遍问题是抽取的主题信息是基于文档层的词共现信息获得的，受社交媒体中短文本特征表示的高稀疏性影响比较严重，而且丢失了文本中的词序信息。
[0010] 近些年，随着
深度神经网络的兴起，一些研究者尝试采用深度模型及词向量化表示方法学习描述性段落的深层隐式语义特征表示以解决实体与段落的链接问题。然而，现有的基于深度模型方法在解决描述性段落的语义特征抽取时，只是简单地把整个段落看成一个长句进行处理或直接把多个语句进行加权平均得到语义向量。而实际上，段落中的句子顺序也是具有语义逻辑关系的。
[0011] 另一方面，捕捉段落中与实体密切相关的描述性线索也是非常重要的。如上述表2返回结果中的描述性段落虽然没有直接包含查询实体词“Washington D.C.”，但是却包含了很多相关的词汇或短语，如：“George Washington”、“United States”及“capital”等。因此，对实体进行向量化特征表示有助于实体与描述性段落的链接工作。
发明内容
[0012] 针对上述技术问题，本发明的主要目的在于提供一种基于层次卷积网络的实体与段落链接方法，从而能够将互联网中的实体词与描述性段落无需人工参与即自动链接，有助于大数据下的语义知识库的构建。
[0013] 为了实现上述目的，本发明提供了一种基于层次卷积网络的实体与段落链接方法，包括以下步骤：
[0014] 利用
卷积神经网络通过词向量化表示转
化成句子向量化表示，所述卷积网络有利于抽取查询实体在描述段落中的重要线索；
[0015] 所述句子向量化表示再次经过卷积神经网络并考虑所述句子次序信息得到段落向量化表示；
[0016] 所述句子向量化表示和所述段落向量化表示通过Softmax输出，借助已有实体作为监督信息进行所述卷积神经网络模型的训练；
[0017] 同时考虑所述段落语义向量特征与实体语义向量特征之间的pair-wise相似度信息进一步改善所述卷积神经网络模型的训练；
[0018] 给定一个测试描述段落，利用所述训练好的神经网络模型进行深层语义特征抽取得到所述测试段落的向量化表示，然后基于此语义表示经过Softmax输出可直接链接到目标实体上。
[0019] 本发明的实体与段落链接方法将实体与段落的链接中的特征学习问题划分为四个层次，分别为：原始文本段落通过词向量化表示得到的特征矩阵层；通过卷积神经网络得到的句子向量化表示特征层；通过卷积神经网络得到的段落向量化表示特征层；利用词向量查表法得到实体词的向量化表示特征层。通过卷积特征网络和词向量查表，本发明的方法在两个文本数据集上实体与段落链接方法的
精度值ACC显著优越于其他对比方法，且相对于最好的对比方法二，本发明方法在两个数据集上的精度值分别提升了12.4％和16.76％。
附图说明
[0020] 图1为作为本发明一个
实施例的基于层次卷积网络的实体与段落链接方法的
流程图；
[0021] 图2为作为本发明一个实施例的基于层次卷积网络的实体与段落链接方法的
框架示意图；
[0022] 图3为作为本发明一个实施例的基于层次卷积网络的实体与段落链接方法的性能示意图。
具体实施方式
[0023] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
[0024] 本发明公开了一种基于层次卷积网络的实体与段落链接方法，能够将互联网中的实体词与描述性段落进行无需人工参与地自动链接，其总体构思是，通过层次化卷积神经网络先对段落中的词向量进行卷积得到句子的向量化表示。考虑句子在段落中的次序信息，并对句子的向量化表示进行再次卷积得到段落的向量化表示。然后利用实体特征做为监督信息指导卷积神经网络模型的参数学习，同时考虑段落的深度语义特征与实体语义向量化表示之间的pair-wise相似性信息改善卷积神经网络模型的学习。给定一个新描述性段落，则可利用训练好的卷积神经网络模型抽取其深度语义特征，并基于此特征输出得到对应的实体链接。
[0025] 更具体地，该方法首先利用卷积神经网络通过词向量化表示转化成句子向量化表示。然后利用句子向量化表示再次经过卷积神经网络并考虑所述句子次序信息得到段落向量化表示。句子向量化表示和段落向量化表示通过Softmax输出，借助已有实体作为监督信息进行所述卷积神经网络模型的训练。同时，考虑段落语义向量特征与实体语义向量特征之间的pair-wise相似度信息进一步改善卷积神经网络模型的训练。给定一个测试描述段落，利用训练好的神经网络模型进行深层语义特征抽取得到测试段落的向量化表示，然后基于此语义表示经过Softmax输出可直接链接到目标实体上。
[0026] 下面结合附图对作为本发明一个实施例的基于层次卷积网络的实体与段落链接方法进行详细描述。
[0027] 图1为作为本发明一个实施例的基于层次卷积网络的实体与段落链接方法的流程图。
[0028] 参照图1，在步骤S101，通过卷积神经网络模型和词向量化表示，抽取待处理段落中每条句子的向量化表示特征；
[0029] 根据本发明的一个示例性实施例，所述通过卷积神经网络模型和词向量化表示，抽取待处理段落中每条句子的向量化表示特征的步骤包括：
[0030] 在步骤S1011，给定待处理段落中的一条句子，利用查表法得到词项量化表示并将句子表征成矩阵形式；
[0031] 在步骤S1012，在所述句子矩阵化表示特征上进行一维卷积，获取卷积后的特征矩阵；
[0032] 在步骤S1013，在所述卷积后的特征矩阵上进行均值
采样对特征进行压缩，得到句子的向量化表示。
[0033] 根据本发明的一个示例性实施例，所述利用查表法得到词项量化表示并将句子表征成矩阵形式的步骤包括：
[0034] 给定一个word2vec训练好的词向量集合 其中，|V|为词典大小，d为词向量的维度。则任意段落中长度为n的句子可表示成：
[0035] s＝(x1；x2；...；xn) (1)
[0036] 其中，xi是利用查表法在词向量集合中找到的第i个词对应的向量化表示。其中，若词xi未出现在已训练好的词向量集合中，则在本发明的该示例性实施例中直接对其进行随机初始化表示。
[0037] 在步骤S1012，所述在句子矩阵化表示特征上进行一维卷积，获取卷积后的特征矩阵的步骤包括：
[0038] 这里，用 表示句子s中从第i个词起始的hs个连续词特征。给定一个一维卷积核 则hs个连续词特征卷积后的特征矩阵为：
[0039]
[0040] 其中，b(1)是偏置项，f是激活函数， 是hs个连续词特征 卷积后的特征矩阵。则所述句子的特征矩阵经过卷积后为：
[0041]
[0042] 在步骤S1013，所述在卷积后的特征矩阵上进行均值采样对特征进行压缩，得到句子的向量化表示的步骤包括：
[0043] 在本发明的该示例性实施例中，所述采用均值采样的步骤为：
[0044]
[0045] 至此，每个卷积核 会生成一个d维
特征向量 如果使用了k个卷积核，则经过一个卷积层，最终会得到句子的向量化表示为 则句子向量化表示的维度为d·k。
[0046] 在步骤S102，利用卷积神经网络结构和所述句子向量化表示，学习所述段落的深度语义特征；
[0047] 根据本发明的一个示例性实施例，所述段落的深度语义特征学习方法包括：
[0048] 在步骤S1021，利用所述段落中的句子向量特征按句子在所述段落中的词序将段落表征成矩阵形式；
[0049] 在步骤S1022，在所述段落矩阵化表示特征上进行一维卷积，获取卷积后的特征矩阵；
[0050] 在步骤S1023，在所述卷积后的特征矩阵上进行均值采样对特征进行压缩并进行一次线性变换，得到段落的向量化表示。
[0051] 根据本发明的一个示例性实施例，所述利用段落中的句子向量特征按句子在所述段落中的词序将段落表征成矩阵形式的步骤包括：
[0052] 已得到所述段落的l条句子的向量化表示，则段落可表示成：
[0053] t＝(s1；s2；...；sl) (5)
[0054] 在步骤S1022，所述在段落矩阵化表示特征上进行一维卷积，获取卷积后的特征矩阵的步骤包括：
[0055] 这里，用 表示段落t中从第i个句子起始的ht个连续句子特征。给定一个一维卷积核 则ht个连续句子特征卷积后的卷积特征为：
[0056]
[0057] 其中，b(2)是偏置项，f是激活函数， 是ht个连续句子特征 卷积后的特征。则所述段落的特征经过卷积后为：
[0058]
[0059] 在步骤S1023，所述在卷积后的特征矩阵上进行均值采样对特征进行压缩并进行一次线性变换，得到段落的向量化表示的步骤包括：
[0060] 在本发明的该示例性实施例中，所述采用均值采样的步骤为：
[0061]
[0062] 至此，经过卷积核W(2)生成一个d·k维特征向量 为了方便计算段落特征与实体特征的相似性，需保证向量维度的统一，则对所述段落向量进行一次线性变换：
[0063]
[0064] 其中， 为线性变换矩阵，而特征向量z为本发明的一个示例性实施例中最终段落特征向量。
[0065] 在步骤S103，所述句子的向量化表示和所述段落的向量化表示分别经过Softmax输出拟合所述段落所属实体；
[0066] 根据本发明的一个示例性实施例，所述句子和所述段落的向量化表示分别拟合所述段落所属实体的方法包括以下步骤：
[0067] 在步骤S1031，对所述句子向量和段落向量分别进行线性变换得到输出向量，并使用Dropout技术进行正则；
[0068] 在步骤S1032，使用Softmax函数计算候选实体的链接概率；
[0069] 根据本发明的一个示例性实施例，所述对句子向量和段落向量进行线性变换得到输出向量，并使用Dropout技术进行正则的步骤包括：
[0070] 对句子向量特征s和段落向量特征t分别进行线性变化，得到两个输出向量：
[0071] ys＝W(4)·(sοr)+b(4) (10)
[0072] y＝W(5)·(zοr)+b(5) (11)
[0073] 其中， 和 是权重矩阵，m是本发明的一个示例性实施例中的实体数，符号。表示矩阵元素的乘操作，而 则是一个服从一定概率ρ的伯努利分布。使用Dropout技术可以防止过拟合，可以增强神经网络模型的鲁棒性。
[0074] 在步骤S1032，使用所述Softmax函数计算所述候选实体的链接概率的步骤包括：
[0075] 在所述句子向量特征和所述段落向量特征的两个所述
输出层分别使用Softmax激活函数计算每个对应所述实体词的概率值：
[0076]
[0077]
[0078] 则在公式(12)和公式(13)中，psi和pi分别表示对应第i个所述实体词的概率值。
[0079] 在步骤S104，计算所述实体的向量化表示与所述段落向量化表示的pair-wise相似信息；
[0080] 给定一个实体词集合E＝{e1，e2，...，em}，利用word2vec对所述实体词集合进行初始化，则实体词集合E与所述段落特征向量z的相似性为：
[0081] sim(z，E)＝{z·e1，z·e2，...，z·em} (14)
[0082] 其中，操作符z·e表示所述段落特征向量z和对应所述实体词e的相似性。
[0083] 在步骤S105，通过Softmax拟合目标实体词及段落特征向量与目标实体词的pair-wise相似度信息进行误差反向传播训练卷积神经网络模型；
[0084] 根据本发明的一个示例性实施例，所述通过Softmax拟合目标实体词及所述段落特征向量与目标实体词的pair-wise相似度信息进行误差反向传播所述训练卷积神经网络模型的步骤包括：
[0085] 在步骤S1051，根据所述句子特征和段落特征输出，利用所述Softmax对所述
训练数据集中目标实体词的拟合结果设定目标函数；
[0086] 在步骤S1052，根据所述段落特征与所述目标实体词的pair-wise相似度信息设定目标函数；
[0087] 在步骤S1053，设定全局目标约束函数；
[0088] 在步骤S1054，利用随机梯度下降方法对模型中的参数进行更新；
[0089] 根据本发明的一个示例性实施例，所述根据句子特征和段落特征输出利用所述Softmax对所述训练数据集中目标实体词的拟合结果设定目标函数的步骤包括：
[0090] 利用公式(10)、(11)和公式(12)、(13)，设定所述句子向量化特征及所述段落向量化特征的目标约束函数分别为：
[0091]
[0092]
[0093] 其中，Ls为所述句子向量化特征的目标约束函数，Lp1为所述段落向量化特征的目标约束函数， 为所有训练语料中段落集合 中的所有句子集合， 是第i个句子所属的正确实体词而 是第i个段落所属的正确实体词。
[0094] 在步骤S1052，所述根据段落特征与所述目标实体词的pair-wise相似度信息设定目标函数的步骤包括：
[0095] 为了增强所述段落与实体的语义表达能力，本发明通过设定目标约束函数增强所述段落向量化特征与其对应的所述所属实体词向量化特征的相似性，并削弱所述段落向量化特征与其对应的所述非所属实体词向量化特征的相似性，其目标约束函数如下：
[0096]
[0097] 其中，er是给定所述段落z所属的正确实体词。
[0098] 在步骤S1053，所述设定全局目标约束函数的步骤如下：
[0099] L＝Ls+(1-α)·Lp1+α·Lp2 (18)
[0100] 其中，α是权重调和系数，用来平衡所述段落向量化特征的两个约束Lp1和Lp2。
[0101] 在步骤S1054，所述利用随机梯度下降方法对所述模型中的参数进行更新的步骤包括：
[0102] 设定的所述目标约束函数中所有的模型训练参数统一表示为θ：
[0103] θ＝(x，W(1)，b(1)，W(2)，b(2)，α，W(3)，W(4)，b(4)，W(5)，b(5)，E) (19)[0104] 本发明的一个示例性实施例中，采用随机梯度下降方法进行误差反向传播对所述目标函数进行优化。
[0105] 在步骤S106，利用更新后卷积神经网络模型对测试描述性段落进行深度语义特征抽取，然后基于段落的向量化表示与对应的实体词进行链接。
[0106] 根据本发明的一个示例性实施例，所述用更新后的所述卷积神经网络模型对所述测试描述性段落进行深度语义特征抽取，然后基于所述段落的向量化表示与对应的所述实体词进行链接的步骤包括：
[0107] 在步骤S1061，给定一个测试段落文本，先通过公式(2)、(3)、(4)计算所述段落中句子的向量化特征s；
[0108] 在步骤S1062，通过公式(6)、(7)、(8)、(9)计算所述段落的向量化特征z；
[0109] 在步骤S1063，利用生成的所述段落的向量化特征z，使用无Dropout的线性变换及Softmax函数输出对应的所述实体词的匹配概率：
[0110] y＝W(5)·z+b(5) (20)
[0111]
[0112] 则匹配概率最高的实体词即为所述测试段落的所属实体词。
[0113] 图2为作为本发明一个实施例的基于层次卷积网络的实体与段落链接方法的框架示意图。
[0114] 参照图2，基于层次卷积网络的实体与段落链接方法共有四个层次的特征向量化表示，分别为：
[0115] 特征层次一：原始文本段落通过词向量化表示得到的特征矩阵；
[0116] 特征层次二：通过卷积神经网络得到的句子向量化表示特征；
[0117] 特征层次三：通过卷积神经网络得到的段落向量化表示特征；
[0118] 特征层次四：利用词向量查表法得到实体词的向量化表示特征；
[0119] 整个模型训练阶段共有三处监督信息进行指导，分别为：
[0120] 监督信息一：句子的向量化表示特征经过线性变化和Softmax输出后对所属实体词的拟合信息；
[0121] 监督信息二：段落的向量化表示特征经过线性变化和Softmax输出后对所属实体词的拟合信息；
[0122] 监督信息三：段落的向量化表示特征经过线性变化后和所属实体词的Pair-wise相似度信息；
[0123] 为了准确评估本发明方法的实体与段落的链接性能，本发明通过对比实体与段落链接结果和段落真实所属实体的一致性得到本发明方法的精度(ACC)。给定一个描述性段落样本x(i)，本发明方法链接的实体词为e(i)，及段落真实所述实体词为 则精度的定义如下：
[0124]
[0125] 其中， 是描述性段落的个数，δ(x，y)是指示函数，当x＝y时指示函数为1，当x≠y时指示函数为0。
[0126] 本发明的试验中采用两种公开文本数据集：
[0127] History：该数据集包含409个实体，1704条段落。
[0128] Literature：该数据集包含445个实体，2247条段落。
[0129] 针对这些文本数据集，本发明不做任何处理(包括去停用词和词干还原等操作)。平均每个段落包含4-6条句子，而每个段落只包含1个实体词。数据集的具体统计信息如表3所示：
[0130] 表3
[0131]
[0132] 本发明的试验中采用以下对比方法：
[0133] 对比方法一：基于词袋模型与逻辑斯特回归方法，该方法直接在原始文本的词袋模型上采用逻辑斯特回归方法；
[0134] 对比方法二：基于卷积神经网络的链接方法，该方法采用传统的卷积神经网络模型简单地将实体与段落链接问题看成一个分类问题。
[0135] 本发明试验中采用参数设置如表4所示：
[0136] 表4
[0137]数据集 ρ hs ht d k
History 0.5 3 6 100 1
Literature 0.5 3 8 100 1
[0138] 表4中，参数ρ为模型训练时采用Dropout的比重系数，hs为句子向量化特征表示时卷积核的框口大小，ht为段落向量化特征表示时卷积核的框口大小，d为词向量维数，k为句子向量化特征表示时卷积核的个数。
[0139] 本发明试验中，所有实体与段落链接方法执行50次求取其平均精度值(ACC)，最终的试验结果如表5所示：
[0140] 表5
[0141]方法 History/精度值(％) Literature/精度值(％)
对比方法一 65.10±0.01 61.17±0.05
对比方法二 77.01±3.92 74.50±10.3
本发明方法 89.41±1.05 91.26±0.50
[0142] 表5为本发明方法、对比方法一、对比方法二在两个文本数据集上实体与段落链接方法的精度值(ACC)评测结果。试验结果表明，本发明方法的性能显著优越于其他对比方法。且相对于最好的对比方法二，本发明方法在两个数据集上的精度值分别提升了12.4％和16.76％。
[0143] 同时，本发明试验验证在进行句子特征表示时卷积核的滑动词窗口大小对本发明方法进行实体与段落链接的精度值性能的影响，试验结果如图3所示。可以看到，当词窗口大小为3时，本发明方法性能在两个数据集上都达到最优，而当词窗口大小大于3时，本发明方法的精度值性能下降。因而本发明实验中采用的句子特征卷积核的滑动词窗口大小均为3。
[0144] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
