技术领域
[0001] 本
发明涉及
自然语言处理领域特别是一种基于多任务联合学习的论辩挖掘系统及其工作方法。
背景技术
[0002] 目前，有许多方法可以应用在论辩挖掘任务中。在早期的工作，绝大多数研究都仅从论辩挖掘的单个子任务出发，针对单个子任务进行建模解决任务，而忽略了三个子任务间的关联信息，导致系统性能较低。
[0003] 此外，有部分工作采用流
水线模型对三个子任务进行联合建模以加入三个子任务的联系。流水线方法由于论点类型识别的错误会影响到论点关系的
抽取错误，存在错误传播的问题。另外，这种方法将识别出来的论点进行两两
配对，之后进行论点关系分类，产生了论点关系对的冗余信息。
[0004] 为此，有工作采用Bi-LSTM-CRF的标注模型，将三个子任务拼接成一个整体，训练神经网络预测标签的总体分布。但这种方法未能充分考虑到论辩挖掘语料库标签样本的多样性，只能解决一些数据量充足且标签完备的数据集，无法解决数据稀疏性问题，导致了模型的泛化性能较差，难以应用到新的数据集上。面临上述问题，人们希望能够找到一种更加细致的以及能够充分考虑不同数据集标签不一致问题的方法，进而解决数据稀疏性难题，提高论辩挖掘模型的泛化能
力。
发明内容
[0005] 有鉴于此，本发明的目的是提供一种基于多任务联合学习的论辩挖掘系统及其工作方法，能够从现有论辩文本数据中学习高
质量的文本向量特点，提高泛化能力，应用于预测的新数据集中，最终检测出文本的论辩结构。
[0006] 本发明采用以下方案实现：包括数据预处理模
块、文本嵌入模块、联合学习模块和论辩挖掘标签输出模块；所述数据预处理模块用以对数据进行预处理；所述文本嵌入模块用以分别在词级别和字符级别提取包括输入的文本中的语义、词性以及论点类型的表示，并以向量表示这些特征，作为联合学习模块的向量输入；所述联合学习模块用以采用多任务学习中参数的硬共享机制，将不同论辩挖掘数据集都视为不同的任务，多个任务共享了一个联合学习模块的隐层，并行的进行训练学习，并且使用栈式双向长短时记忆神经网络学习文本的上下文信息，用以完成序列标注任务；所述论辩挖掘标签输出模块用以完成论辩挖掘论点类型预测工作，输出文本中论点的类型。
[0007] 进一步地，本发明提供一种基于多任务联合学习的论辩挖掘系统的工作方法，包括以下步骤：
[0008] 步骤S1：将待挖掘论辩结构即论点类型的论辩文档输入至数据预处理模块进行预处理，得到的预处理后的文本,并输入所述文本嵌入模块；
[0009] 步骤S2：所述文本嵌入模块采用词级别的CNN和字符级别的CNNs-Highwway分别对预处理后的文本提取词级别和字符级别的特征，这些特征包括词的数字字符占比信息和字符大小写信息，并以向量表示，输入联合学习模块；
[0010] 步骤S3：所述联合学习模块根据文本嵌入模块输出的文本数据，采用多任务硬参数共享机制，将每一个不同的数据集视为不同的论辩挖掘任务，使用双向长短时记忆神经网络学习隐层表示，并行进行训练参数，学习文本数据的上下文信息，用以完成论点边界检测和后续的论点部件类型预测；
[0011] 步骤S4：所述论辩挖掘标签输出模块将得到的论点的类型标签输出。
[0012] 进一步地，所述数据预处理模块对数据进行预处理包括以下步骤：
[0013] 步骤SA：去除文档中的网页链接，特殊字符，标点符号；
[0014] 步骤SB：对文档进行分词处理；
[0015] 步骤SC：对英文数据进行词干还原处理；
[0016] 步骤SD：根据中英文的停用词表分别过滤掉数据集中包含的停用词。
[0017] 进一步地，所述步骤S2具体包括以下步骤：
[0018] 步骤S21：令CNN的输入为一段预处理后长度为n的文本为x＝[x1,x2,x3,...xn]，按照词向量的定义，每个单词表示为d维的向量；
[0019] 步骤S22：在序列x上调用一个窄卷积和一个窗口大小为k的卷积核，以 和作为填充向量，使得序列保持固定长度；
[0020] 步骤S23：根据： 计算文本x经过CNN提取特征后的序列C＝[c1,c2,c3,...cn]；其中f表示非线性激活函数，xi:j表示第i到j个单词,b表示偏差；
[0021] 步骤S23：通过采用四种不同长度的k＝1,2,3,4的卷积核窗口获取论辩挖掘文本中的局部上下文特征表示；
[0022] 步骤S24：令单词K∈V由字符序列[c1,...,cl]组成，其中l表示单词K的长度；单词K的字符级表示由矩阵CK∈Rd×l给出，其中第j列表示字符向量cj；这样即在Ck之间调用一个窄卷积和一个宽度为w的
滤波器H＝Rd×w；
[0023] 步骤S25：接着添加一个偏移变量bias并应用非线性函数得到特征映射fk∈Rl-w+1；对于特定的第i个特征映射，有：fk[i]＝tanh〈( Ck[*,i:i+w+1],H>+b)，其中Ck[*,i:i+w+1]为第i列到第(i+w+1)列的Ck，符号〈A,B>＝Tr(ABT)表示Frobenius内积；
[0024] 步骤S26：引入最大化函数： 以此作为滤波器H所对应的特征应用于单词。
[0025] 步骤S27：将CNN提取的结果输入到高速神经网络层中，通过高速神经网络的转换
门来过滤有价值的特征，并将得到的结果输入联合学习模块；
[0026]
[0027] 其中，g表示非线性函数，t＝σ(WTy+bT)称为转换门，(1-t)称为进位门。
[0028] 进一步地，所述步骤S3具体包括以下步骤：
[0029] 步骤S31:联合学习模块输入为文本嵌入模块输出的共享特征参数向量，包括词Vw、字符Vc、词性Vp，用于学习文本的上下文信息并识别论点部件实体；
[0030] 步骤S32:构建双向栈式LSTM，计算获得句子向量，每个LSTM单元在第t个单词由一个n维向量组成，包括：一个输入门it，一个遗忘门ft，一个输出门ot，一个记忆单元ct，以及一个隐藏单元ht，每个LSTM单元接收一个n维的向量输入，前一个隐藏状态为ht-1，前一个记忆单元为ct-1；
[0031] 根据以下公式更新参数：
[0032] it＝σ(W(i)xt+I(i)ht-1+bi)
[0033] ft＝σ(W(f)xt+I(f)ht-1+bf)
[0034] ot＝σ(W(o)xt+I(o)ht-1+bo)
[0035] ut＝tanh(W(u)xt+I(u)ht-1+bu)
[0036] ct＝it⊙ut+ft⊙ct-1
[0037] ht＝ot⊙tanh(ct)
[0038] 其中，σ表示logistic激活函数，⊙表示向量的点积，W和I表示权重矩阵，b表示偏w c e差向量，LSTM单元在第t个单词上的输入为第t个单词的词Vt 、字符Vt和词性V的联结向量将两个反向LSTM的隐藏单元 和 连接为 作为输出；
[0039] 步骤S33:对输入句子的每个单词标记上BIO标签，然后再标记它的论点类型,形成BIO-论点类型的形式；
[0040] 步骤S34:构建一个由DenseNet和Softmax组成的两层神经网络：
[0041]
[0042]
[0043] 其中，W是权重矩阵，b是偏差向量；
[0044] 步骤S35:将st和前一个词的向量ei-1作为输入，之后经过一层神经网络输入到Softmax层获得论点部件实体的类型标签，得到输出映射为向量ei。
[0045] 进一步地，所述步骤S4具体包括以下步骤：
[0046] 步骤S41：采用条件随机场(CRF)直接将
输出层面的关联分离出来，学习上下文的相关信息；
[0047] 步骤S42：在训练过程中，给出了损失函数如下：loss(y,x)＝-E(y,x)+log(z)[0048] 其中，y表示真实的标签序列，x为输入序列，z为归一化常量，E(y,x)指输入x与标签y的路径
能量，表示为 h(yi；x)表示标签的打分函数，g(yk,yk+1)为一个待训练的参数矩阵；
[0049] 步骤S43：根据步骤S42的得分输出预测的数据集标签结果。
[0050] 与
现有技术相比，本发明具有以下有益效果：
[0051] 本发明能够结合多任务学习方法、高质量地从论辩性文本中进行论辩挖掘。
附图说明
[0052] 图1为本发明
实施例的系统的示意配置图。
具体实施方式
[0053] 下面结合附图及实施例对本发明做进一步说明。
[0054] 应该指出，以下详细说明都是例示性的，旨在对本
申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0055] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本
说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0056] 如图1所示，本实施例提供一种基于多任务联合学习的论辩挖掘系统，包括数据预处理模块、文本嵌入模块、联合学习模块和论辩挖掘标签输出模块；所述数据预处理模块用以对数据进行预处理；所述文本嵌入模块用以分别在词级别和字符级别提取包括输入的文本中的语义、词性以及论点类型的表示，并以向量表示这些特征，作为联合学习模块的向量输入；所述联合学习模块用以采用多任务学习中参数的硬共享机制，将不同论辩挖掘数据集都视为不同的任务，多个任务共享了一个联合学习模块的隐层，并行的进行训练学习，并且使用栈式双向长短时记忆神经网络学习文本的上下文信息，用以完成序列标注任务；所述论辩挖掘标签输出模块用以完成论辩挖掘论点类型预测工作，输出文本中论点的类型。
[0057] 较佳的，本实施例提供一种基于多任务联合学习的论辩挖掘系统的工作方法，包括以下步骤：
[0058] 步骤S1：将待挖掘论辩结构即论点类型的论辩文档输入至数据预处理模块进行预处理，得到的预处理后的文本,并输入所述文本嵌入模块；
[0059] 步骤S2：所述文本嵌入模块采用词级别的CNN和字符级别的CNNs-Highwway分别对预处理后的文本提取词级别和字符级别的特征，这些特征包括词的数字字符占比信息和字符大小写信息，并以向量表示，输入联合学习模块；
[0060] 步骤S3：所述联合学习模块根据文本嵌入模块输出的文本数据，采用多任务硬参数共享机制，将每一个不同的数据集视为不同的论辩挖掘任务，使用双向长短时记忆神经网络学习隐层表示，并行进行训练参数；此外，在该模块使用双向长短时记忆神经网络学习文本数据的上下文信息，加入双向长短时记忆神经网络中用以完成论点边界检测和后续的论点部件类型预测；
[0061] 步骤S4：所述论辩挖掘标签输出模块将得到的论点的类型标签输出。
[0062] 较佳的，在本实施例中，所述文本嵌入模块主要包含了词级别的CNN和字符级别的CNNs-Highwway两个部分。
[0063] 在本实施例中，输入的在线论辩性文档中包含了丰富的信息但是同时也夹杂了一定的噪声。因此，首先对数据进行预处理，所述数据预处理模块对数据进行预处理包括以下步骤：
[0064] 步骤SA：去除文档中的网页链接，特殊字符，标点符号；
[0065] 步骤SB：对文档进行分词处理；
[0066] 步骤SC：对英文数据进行词干还原处理；
[0067] 步骤SD：根据中英文的停用词表分别过滤掉数据集中包含的停用词。
[0068] 在本实施例中，文本嵌入模块使用神经网络分别在词级别和字符级别提取输入的文本中语义、词性以及论点类型的表示等，具体分为两个部分，如下：
[0069] 基于CNN的词级别表示：
[0070] 步骤S21：令CNN的输入为一段预处理后长度为n的文本为x＝[x1,x2,x3,...xn]，按照词向量的定义，每个单词表示为d维的向量；
[0071] 步骤S22：在序列x上调用一个窄卷积和一个窗口大小为k的卷积核，以 和作为填充向量，使得序列保持固定长度；
[0072] 步骤S23：根据： 计算文本x经过CNN提取特征后的序列C＝[c1,c2,c3,...cn]；其中f表示非线性激活函数，xi:j表示第i到j个单词,b表示偏差；
[0073] 步骤S23：通过采用四种不同长度的k＝1,2,3,4的卷积核窗口获取论辩挖掘文本中的局部上下文特征表示；
[0074] 基于CNNs-Highway的字符级表示：
[0075] 本实施例拓展应用了用以解决序列PTB的CNN模型。使用了多个不同宽度的滤波器来获取单词k的特征。对于给定的单词k我们将它的字符堆叠形成矩阵Ck，对Ck用多个滤波器卷积操作，接着进行最大
池化为单词k获得一个固定的维度的表示作为高速神经网络的输入。
[0076] 步骤S24：假设C为字符集合，d表示字符向量的维度，Q∈Rd×|C|表示字符向量矩阵。令单词K∈V由字符序列[c1,...,cl]组成，其中l表示单词K的长度；单词K的字符级表示由矩阵CK∈Rd×l给出，其中第j列表示字符向量cj；这样即在Ck之间调用一个窄卷积和一个宽度为w的滤波器H＝Rd×w；
[0077] 步骤S25：接着添加一个偏移变量bias并应用非线性函数得到特征映射fk∈Rl-w+1；对于特定的第i个特征映射，有：fk[i]＝tanh(
+b)，其中Ck[*,i:i+w+1]k T
为第i列到第(i+w+1)列的C，符号＝Tr(AB)表示Frobenius内积；
[0078] 步骤S26：引入最大化函数： 以此作为滤波器H所对应的特征应用于单词。
[0079] 步骤S27：将CNN提取的结果输入到高速神经网络层中，通过高速神经网络的转换门来过滤有价值的特征，并将得到的结果输入联合学习模块；
[0080]
[0081] 其中，g表示非线性函数，t＝σ(WTy+bT)称为转换门，(1-t)称为进位门。
[0082] 在本实施例中，联合学习模块采用多任务学习中参数的硬共享机制，将不同论辩挖掘数据集都视为不同的任务，当模型训练时，不是单独地为每个任务训练模型，而是多个任务共享了一个模型的隐层，这样做的目的在于能够有效降低过拟合的
风险。此外，使用栈式双向长短时记忆神经网络学习文本的上下文信息加入模型中，用来完成序列标注任务。
[0083] 所述步骤S3具体包括以下步骤：
[0084] 步骤S31:联合学习模块输入为文本嵌入模块输出的共享特征参数向量，包括词Vw、字符Vc、词性Vp，用于学习文本的上下文信息并识别论点部件实体；
[0085] 步骤S32:栈式LSTM神经网络的输入为文本嵌入层输出的共享特征参数向量，来学习文本的上下文信息并识别论点部件实体，构建双向栈式LSTM，计算获得句子向量，每个LSTM单元在第t个单词由一个n维向量组成，包括：一个输入门(i nput gate)it，一个遗忘门(forget gate)ft，一个输出门(output gate)ot，一个记忆单元(memory ce l l)ct，以及一个隐藏单元ht，每个LSTM单元接收一个n维的向量输入，前一个隐藏状态为ht-1，前一个记忆单元为ct-1；
[0086] 根据以下公式更新参数：
[0087] it＝σ(W(i)xt+I(i)ht-1+bi)
[0088] ft＝σ(W(f)xt+I(f)ht-1+bf)
[0089] ot＝σ(W(o)xt+I(o)ht-1+bo)
[0090] ut＝tanh(W(u)xt+I(u)ht-1+bu)
[0091] ct＝it⊙ut+ft⊙ct-1
[0092] ht＝ot⊙tanh(ct)
[0093] 其中，σ表示logistic激活函数，⊙表示向量的点积，W和I表示权重矩阵，b表示偏w c e差向量，LSTM单元在第t个单词上的输入为第t个单词的词Vt 、字符Vt和词性V的联结向量将两个反向LSTM的隐藏单元 和 连接为 作为输出；
[0094] 步骤S33:对输入句子的每个单词标记上BIO标签，然后再标记它的论点类型,形成BIO-论点类型的形式；
[0095] 步骤S34:将论辩挖掘的任务一论点边界检测和任务二论点类型的识别都看做序列标注问题，先对输入句子的每个单词标记上BIO标签，然后再标记它的论点类型，即每个单词形成“BIO-论点类型”的形式，这样的标记方法即是论辩挖掘任务一和任务二的标签。在序列编码层的顶层完成这两项任务，构建一个由DenseNet和Softmax组成的两层神经网络：
[0096]
[0097]
[0098] 其中，W是权重矩阵，b是偏差向量；
[0099] 步骤S35:将st和前一个词的向量ei-1作为输入，之后经过一层神经网络输入到Softmax层获得论点部件实体的类型标签，得到输出映射为向量ei。
[0100] 栈式LSTM(StackedLSTM)能够学习更高时域的特征表示，通过融合当前的LSTM的隐层状态和上一层LSTM的隐层状态，可以充分学习文本中的上下文信息，获取更深层次的特征。在训练过程中，栈式LSTM通过前向或后向的传播，使用隐层状态和捕获论辩挖掘文本中“过去”和“将来”的信息，最后将两种状态结合为网络的输出。
[0101] 在本实施例中，作为本系统的最终预测标签输出模块，本实施例采用了条件随机场(CRF)，相较于普通的softmax解析分类，条件随机场(CRF)可以直接将输出层面的关联分离出来，更容易学习到上下文的相关信息，效果也更加的优秀。
[0102] 所述步骤S4具体包括以下步骤：
[0103] 步骤S41：采用条件随机场(CRF)直接将输出层面的关联分离出来，学习上下文的相关信息；
[0104] 步骤S42：在训练过程中，给出了损失函数如下：loss(y,x)＝-E(y,x)+log(z)[0105] 其中，y表示真实的标签序列，x为输入序列，z为归一化常量，E(y,x)指输入x与标签y的路径能量，表示为 h(yi；x)表示标签的打分函数，g(yk,yk+1)为一个待训练的参数矩阵；
[0106] 步骤S43：根据步骤S42的得分输出预测的数据集标签结果。以上所述仅为本发明的较佳实施例，凡依本发明申请
专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
