一种文本蕴含识别方法及装置专利检索-自然语言处理人工智能人工智能专利检索查询-专利查询网

一种文本蕴含识别方法及装置

阅读：1022发布：2020-06-20

专利汇可以提供一种文本蕴含识别方法及装置专利检索，专利查询，专利分析的服务。并且本发明属于自然语言处理技术领域，公开了一种文本蕴含识别方法和装置，其通过动态门控推理网络(DGIN)动态选择前提和假设文本不同层面语义的信息，具体体现在DGIN模型结合了词级别信息的细粒度推理和句子级别门控结构来捕捉全局语义，同时从直接相连，相似和差异三个层面来共同推理文本对的蕴含关系。本发明可以有效捕捉文本对的关系以及利用句子级别语义信息，从而提升文本蕴含识别的准确率。，下面是一种文本蕴含识别方法及装置专利的具体信息内容。

权利要求

1.一种文本蕴含识别方法，用于对输入的包括前提文本与假设文本的文本对进行编码得到对应的文本向量，并利用自然语言推理中的注意力机制对所述文本向量进行推理来确定所述文本对中前提文本与假设文本之间的文本蕴含关系并输出，其特征在于：
所述利用自然语言推理中的注意力机制对所述文本向量进行推理是基于长短期记忆网络的门控选择和动态注意力机制来进行的动态推理，其中，该动态推理包括分别对文本对从直接相连、相似性和差异性三个层面共同进行推理，在从直接相连、相似性和差异性三个层面进行推理之前，各所述层面需要分别先对前提文本和假设文本进行词级别注意力推理，再做句子门控选择全局语义相关部分。
2.根据权利要求1所述的文本蕴含识别方法，其特征在于，确定所述文本对中前提文本与假设文本之间的文本蕴含关系是通过直接相连、相似性和差异性三个层面共同动态推理得到的三个推理特征拼接起来，采用一层基于激活函数的全连接层进行降维，再用分类函数进行分类输出来得到的蕴含关系。
3.根据权利要求1或2所述的文本蕴含识别方法，其特征在于，所述对前提文本和假设文本进行词级别注意力推理的方法包括：对输入的假设文本的每个输入词，都计算前提文本所有词和假设当前词的注意力。
4.根据权利要求3所述的文本蕴含识别方法，其特征在于，所述做句子门控选择全局语义相关部分的方法包括：计算前提文本向量和假设文本向量的相关性，并从全局上选择与假设文本更相关的表示。
5.一种文本蕴含识别装置，包括：
编码网络模块，用于对输入的包括前提文本与假设文本的文本对进行编码得到对应的文本向量；
动态推理模块，用于利用自然语言推理中的注意力机制对所述文本向量进行推理来确定所述文本对中前提文本与假设文本之间的文本蕴含关系；
输出模块，用于确定并输出文本蕴含关系；
其特征在于：所述动态推理模块利用自然语言推理中的注意力机制对所述文本向量进行推理的过程是基于长短期记忆网络的门控选择和动态注意力机制来进行的动态推理，其中，该动态推理包括分别对文本对从直接相连、相似性和差异性三个层面共同进行推理，在从直接相连、相似性和差异性三个层面进行推理之前，各所述层面需要分别先对前提文本和假设文本进行词级别注意力推理，再做句子门控选择全局语义相关部分。
6.根据权利要求5所述的文本蕴含识别装置，其特征在于，所述输出模块用于确定所述文本对中前提文本与假设文本之间的文本蕴含关系是通过直接相连、相似性和差异性三个层面共同动态推理得到的三个推理特征拼接起来，采用一层基于激活函数的全连接层进行降维，再用分类函数进行分类输出来得到的蕴含关系。
7.根据权利要求5或6所述的文本蕴含识别装置，其特征在于，所述动态推理模块用于对前提文本和假设文本进行词级别注意力推理的方法包括：对输入的假设文本的每个输入词，都计算前提文本所有词和假设当前词的注意力。
8.根据权利要求7所述的文本蕴含识别装置，其特征在于，所述动态推理模块用于做句子门控选择全局语义相关部分的方法包括：计算前提文本向量和假设文本向量的相关性，并从全局上选择与假设文本更相关的表示。

说明书全文

一种文本蕴含识别方法及装置

技术领域

[0001] 本发明涉及自然语言推理技术领域，特别是涉及一种文本蕴含识别方法和装置。

背景技术

[0002] 自然语言推理(Nature Language Inference,NLI)任务是自然语言处理的一个重要子任务，是否能推理出两段文本之间的关系是机器进一步理解自然语言的基础。自然语言推理又被称为文本蕴含识别(Recognizing Textual Entailment，简称RTE)，是指给定两段文本P,和H，其中P为前提(Premise)，H为假设(Hypothesis)，若能从前提P的内容中推断出假设H的内容，则称P和H为蕴含关系，否则为非蕴含关系，非蕴含关系可进一步划分为中立关系(P和H的事实无关)和矛盾关系(P和H两者内容矛盾)。文本蕴含技术是关系抽取、机器阅读理解、对话问答、文本摘要等任务的技术基础，运用文本蕴含技术可进一步提高这些任务的精度。

[0003] 早期的文本蕴含研究大多采用特征工程方法，通过相似度特征、逻辑演算、基于转换等方式，构建各种特征来判断文本的蕴含关系。近年来随着深度学习理论的完善和大规模文本蕴含数据的发布，越来越多基于神经网络的文本蕴含模型被提出。

[0004] 现有方式一，基于文本编码的模型是通过训练一个句子级别编码网络，来分别编码前提和假设的句子表示，并将表示向量连接后用于两段文本的关系分类。文本编码模型则可通过LSTM，CNN，注意力机制等构造。这种方式可提升句子语义表示，但缺少了文本之间的交互，而对于文本蕴含任务来说，交互特征对蕴含关系的识别十分重要。

[0005] 现有方式二，基于交互聚合网络则是采用注意力机制对前提和假设文本进行交互，通过计算词级别注意力矩阵来提取前提和假设的交互特征，并将交互特征再次编码用于分类。由于不同的交互特征均通过此注意力矩阵构造，而此注意力矩阵仅计算一次，这样带来的问题是如果前一层的文本表示稍有偏颇，则会影响局部注意力矩阵的结果，进而得到不准确的交互特征；且随着对句子语义理解的深入，句子中词的重要程度也应动态变化。

[0006] 现有方式三，基于动态匹配的思想对前提和假设文本进行动态推理，但都是基于词级别细粒度特征进行推理，并没有结合句子级别语义信息。

[0007] 例如，现有专利(公开号CN109299262A)公开了一种融合多粒度信息的文本蕴含关系识别方法，该文本蕴含关系识别方法通过字词句层面的融合和分别计算不同粒度的注意力来实现文本蕴含关系的识别。具体来说，该方法在不同粒度来计算各种交互注意力，即词之间，词句之间，句子之间的注意力；同时该方法中词级别注意力计算的是双向非动态交互，句子级别体现直接计算句子级别注意力并用于分类结果。该方法虽然采用了交互注意力机制，但文本蕴含的识别精度依然不高。

[0008] 因此，如何在现有文本蕴含识别技术的基础上，进一步提升运用文本蕴含识别的精度，仍旧是本领域技术人员研究和改进的方向。

发明内容

[0009] 技术目的

[0010] 本发明的目的是如何进一步提升自然语言处理过程中文本蕴含识别的精度。

[0011] 技术方案

[0012] 第一方面

[0013] 一种文本蕴含识别方法，用于对输入的包括前提文本与假设文本的文本对进行编码得到对应的文本向量，并利用自然语言推理中的注意力机制对所述文本向量进行推理来确定所述文本对中前提文本与假设文本之间的文本蕴含关系并输出，其中，所述利用自然语言推理中的注意力机制对所述文本向量进行推理是基于长短期记忆网络的门控选择和动态注意力机制来进行的动态推理，其中，该动态推理包括分别对文本对从直接相连、相似性和差异性三个层面共同进行推理，在从直接相连、相似性和差异性三个层面进行推理之前，各所述层面需要分别先对前提文本和假设文本进行词级别注意力推理，再做句子门控选择全局语义相关部分。

[0014] 在一些实施方案中，确定所述文本对中前提文本与假设文本之间的文本蕴含关系是通过直接相连、相似性和差异性三个层面共同动态推理得到的三个推理特征拼接起来，采用一层基于激活函数的全连接层进行降维，再用分类函数进行分类输出来得到的蕴含关系。

[0015] 在一些实施方案中，所述对前提文本和假设文本进行词级别注意力推理的方法包括：对输入的假设文本的每个输入词，都计算前提文本所有词和假设当前词的注意力。

[0016] 在一些实施方案中，所述做句子门控选择全局语义相关部分的方法包括：计算前提文本向量和假设文本向量的相关性，并从全局上选择与假设文本更相关的表示。

[0017] 第二方面

[0018] 提供一种文本蕴含识别装置，包括：编码网络模块，用于对输入的包括前提文本与假设文本的文本对进行编码得到对应的文本向量；动态推理模块，用于利用自然语言推理中的注意力机制对所述文本向量进行推理来确定所述文本对中前提文本与假设文本之间的文本蕴含关系；输出模块，用于确定并输出文本蕴含关系；其中，所述动态推理模块利用自然语言推理中的注意力机制对所述文本向量进行推理的过程是基于长短期记忆网络的门控选择和动态注意力机制来进行的动态推理，其中，该动态推理包括分别对文本对从直接相连、相似性和差异性三个层面共同进行推理，在从直接相连、相似性和差异性三个层面进行推理之前，各所述层面需要分别先对前提文本和假设文本进行词级别注意力推理，再做句子门控选择全局语义相关部分。

[0019] 在一些实施方案中，所述输出模块用于确定所述文本对中前提文本与假设文本之间的文本蕴含关系是通过直接相连、相似性和差异性三个层面共同动态推理得到的三个推理特征拼接起来，采用一层基于激活函数的全连接层进行降维，再用分类函数进行分类输出来得到的蕴含关系。

[0020] 在一些实施方案中，所述动态推理模块用于对前提文本和假设文本进行词级别注意力推理的方法包括：对输入的假设文本的每个输入词，都计算前提文本所有词和假设当前词的注意力。

[0021] 在一些实施方案中，所述动态推理模块用于做句子门控选择全局语义相关部分的方法包括：计算前提文本向量和假设文本向量的相关性，并从全局上选择与假设文本更相关的表示。

[0022] 技术效果

[0023] 本发明对于现有技术的贡献在于：结合了词级别局部交互信息和句子级别门控机制捕捉全局信息来动态推理前提文本和假设文本之间的关系；同时，其除了推理前提文本和假设文本本身外，还从文本对的相似性和差异性两个层面进行动态推理，进一步丰富了模型对语义信息的理解，从而有效提升自然语言处理过程中文本蕴含识别的精度。附图说明

[0024] 图1为本发明文本蕴含识别装置在一实施例中的架构图。

具体实施方式

[0025] 技术术语解释

[0026] 1、sgMatch-LSTM，英文sentence gate Match LSTM的简称，中文翻译为：句子门控推理结构。即在LSTM的基础上做了句子级别的门控选择设置。

[0027] 2、DGIN，英文Dynamic Gated Inference Network的简称，中文翻译为：门控动态推理网络，其可以通过训练而建立得到的一个网络模型。即本发明是在基于sgMatch-LSTM而形成的一个动态推理网络。

[0028] 3、LSTM(Long Short-Term Memory)是长短期记忆网络，是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，在实际应用中，其可以被应用于进行自然语言推理。

[0029] 需要注意的，下文中涉及的其他中文或英文的技术用于，即为本技术领域的常用语，故这里不作一一解释。

[0030] 实施例1

[0031] 本实施例提供了一种文本蕴含识别方法，其用于对输入的包括前提文本与假设文本的文本对进行编码得到对应的文本向量，并利用自然语言推理中的注意力机制对所述文本向量进行推理来确定所述文本对中前提文本与假设文本之间的文本蕴含关系并输出，其中，所述利用自然语言推理中的注意力机制对所述文本向量进行推理是基于长短期记忆网络的门控选择和动态注意力机制来进行的动态推理，其中，该动态推理包括分别对文本对从直接相连、相似性和差异性三个层面共同进行推理，在从直接相连、相似性和差异性三个层面进行推理之前，各所述层面需要分别先对前提文本和假设文本进行词级别注意力推理，再做句子门控选择全局语义相关部分。

[0032] 上述文本蕴含识别方法中通过词级别细粒度语义信息对假设和前提文本进行推理，可以充分把握局部细节特征，同时引入了句子级别信息作为门控来对前提的动态文本表示进行选择，可以对全局文本进行整合，最后再结合文本的直接连接、相似性和差异性三个层面来共同进行动态推理，以实现全面推理文本间的关系，最终得到推理结果。这种方法得到的推理结果相比于现有方法得到的推理结果要更为精确。

[0033] 具体的，本发明的整体推理过程包含三个层次，即文本编码层、动态推理层和输出层。其中，文本编码层和输出层的处理方法与现有技术中的处理方法类似，故下面描述中将不作详细阐述，而动态推理层是本发明对于现有技术中的贡献之处，其推理方法与现有技术中的推理方法不同，故下面将对动态推理层做详细描述。

[0034] 在一些具体实施例中，文本编码层可以是基于长短期记忆网络(简称LSTM)编码来对文本对中的前提文本和假设文本进行编码得到文本向量。本实施例中具体还可以采用双向长短期记忆网络(简称BiLSTM)编码来对文本对中的前提文本和假设文本进行编码得到文本向量。

[0035] 在一些具体实施例中，输出层可以是采用分类函数来对推理结果进行分类确定得到最后的推理结果。

[0036] 为便于本领域技术人员能够清楚地地理解和实施本发明的技术方案，下面将对本发明文本蕴含识别方法作详细说明。

[0037] 例如，使用P表示前提文本，H表示假设文本，其中lp为前提文本长度，lh为假设文本长度。那么p和h之间的蕴含关系可以表示为y∈{entailment,neural,contradiction}，y为真实的类标签。

[0038] 基于上述设定，下面将从文本编码层、动态推理层和输出层的模型框架来对文本蕴含识别方法进行详细说明。

[0039] 具体的，在本文编码层中，将对文本对进行编码。本实施例将通过双向长短期记忆网络模型来编码文本向量，其中，对编码文本向量的双向长短期记忆网络模型的计算方式如下：

[0040]

[0041]

[0042] 其中，为前提文本向量；为假设文本向量；BiLSTMenc表示双向长短期记忆网络，p为未编码的前提文本词向量，h为未编码的假设文本词向量，i表示前提文本中第i个词，j表示假设文本中第j个词，lp是前提文本总长度，lh是假设文本总长度。

[0043] 具体的，在动态推理层中，将分为三个层面(即从直接相连、相似性和差异性三个层面共同进行动态推理)进行自然语言推理，因此可以分三个模型来共同进行推理。其中，每个层面中将依次先对前提文本和假设文本进行词级别注意力推理，再做句子门控选择全局语义相关部分。因此，每个层面为一个句子门控推理结构(即sgMatch-LSTM)，而动态推理层构成于基于句子门控推理结构的动态推理网络(即DGIN)。为此，为便于理解，这里先从每个层面对前提文本和假设文本进行词级别注意力推理，再做句子门控选择全局语义相关部分进行展开说明。

[0044] 具体的，在每个层面中，首先将对输入的假设文本的每个输入词，都计算前提文本所有词和假设当前词的注意力，计算方式为：

[0045]

[0046]

[0047] 其中，在公式(3)中，tanh为激活函数，为前提文本，为假设文本中第j个词；为sgMatch-LSTM中第j-1步隐层输出，即下文计算公式(12)的第j-1步，
为训练的权重参数，为元素相乘，e表示全为1的向量，
长度为lp，目的是将前式复制lp遍，变成维张量，以便和每个前提词
进行注意力加权，是维度为(d，lp)的矩阵(张量)。因此，Kj是前提文本中每个词对于假设文本中第j个词的注意力，其注意力计算考虑了sgMatch-LSTM前j-1步的输出结果，因此每一步的注意力是动态变化的。

[0048] 其中，在公式(4)中，为第j步推理的前提文本向量，表示前提文本基于假设中第j个词得到的向量表示，wk是的向量。应当理解，W是整个网络的权重参数，而向量是w的表现形式，这个权重参数是向量形式(有的则是矩阵形式)，故其与上述wk的含义不矛盾)。softmax是归一化函数，得到的每个词的归一化权重，再将权重向量和相乘，得到和当前假设词相关的前提文本向量，其中表示最终得到的前提文本向量维度为2d。

[0049] 通过上述计算方式(3)和(4)的模型可以实现对前提文本和假设文本进行词级别注意力推理。

[0050] 具体的，在每个层面中，其次将引入了句子级别信息作为门控来对前提的动态文本表示进行选择。通过计算前提文本向量和假设文本向量的相关性，并利用sigmoid函数从全局上选择与假设文本更相关的表示。

[0051]

[0052]

[0053] 其中，在公式(5)中，其中表示行的长度为2d，列长度为2d的矩阵，表示矩阵仅一列，长度为2d，由于只有一列，所以有时也将其描述为向量。hvec为假设文本经过文本编码层之后的自注意力加权句向量。σ为sigmoid激活函数，得到(0-1)区间的一个值，目的是通过句子语义层面计算前提和假设的相似性，将句子语义层面的相似性结果作为一个权重来控制词级别匹配向量的输出；sg是通过sigmoid函数得到的权重输出结果，维度为2d维。

[0054] 其中，在公式(6)中，rj为门控选择后的前提向量表示，⊙表示对应元素相乘(非矩阵乘法)，根据句子语义匹配结果来有选择性提取前提向量相似或差异部分。通过上述计算方式(5)和(6)的模型可以引入了句子级别信息作为门控来对前提的动态文本表示进行选择。

[0055] 另外，再从三个层面角度来讲，上步中得到的rj是经过词级别注意力和句子门控得到前提文本句向量，再将rj和通过直接连接(contact)，元素点乘(multiply)，元素相差(subtract)三种方式拼接分别对应送入sgMatch-LSTM模型中。

[0056] 其中，直接连接拼接方式的计算方式为：

[0057]

[0058] 其中，mj_con＝[：,：]表示直接相连(也可以称为：直接连接)。

[0059] 直接相连后通过sgMatch-LSTM的计算方式：

[0060]

[0061]

[0062]

[0063]

[0064]

[0065] 其中，分别为LSTM中的输入门、遗忘门和输出门，为LSTM中的记忆单元，是LSTM中第j个词的隐层单元，σ为sigmoid激活函数，⊙为元素相乘。

[0066] 应当理解，sgMatch-LSTM的内部结构与基本的LSTM的内部结构是一致的，只不过本发明提出的sgMatch-LSTM是基于文本蕴含任务，在原始LSTM上做了修改来得到的。具体的讲，mj是sgMatch-LSTM的输入，其分别有三种形式，那对应的，是sgMatch-LSTM第j步隐层输出结果，是sgMatch-LSTM第j-1步隐层输出，是第j步记忆单元的结果，是sgMatch-LSTM第j-1步记忆单元的值。其中，Wii，Wih，bib是sgMatch-fi fh fb oi oh ob
LSTM输入门的权重和偏置；W ，W ，b 是sgMatch-LSTM遗忘门的权重和偏置，W ，W ，b 是sgMatch-LSTM输出门的权重和偏置；Wc，bc为权重参数和偏置。通过上述描述足以使一般公众对本申请中的sgMatch-LSTM结构有清晰的理解，故这里不作赘述。

[0067] 具体的，计算公式(3)至(12)为整个sgMatch-LSTM结构，这里是DGIN网络基于sgMatch-LSTM结构对前提和假设文本除了从直接相连方式推理之外，DGIN网络基于sgMatch-LSTM结构还分别从相似性和差异性2个层面进行动态推理。

[0068] 具体的，在相似性推理层面，rj和通过点乘计算相似层面的注意力，计算方式为：

[0069] (3)式改为，

[0070] (5)式改为，

[0071] (7)式改为，

[0072] 即将(3)式和(5)式中词级别注意力，句子门控机制改为乘积方式注意力，目的是关注词级别、句子级别语义中相似的部分，并将得到的前提向量rj和第j个假设词通过元素点乘方式⊙捕捉相似。其中Kj_mul为相似部分词级别注意力张量，sg_mul为相似部分句子级别门控张量，mj_mul为相似层面第j个元素的输入。其他参数同原(3)式，(5)式同，不再赘述。

[0073] 具体的，在差异层面，将rj和通过相减计算差异层面的注意力，计算方式为：

[0074] (3)式改为，

[0075] (5)式改为，

[0076] (7)式改为，

[0077] 即将(3)式，(5)式中词级别注意力，句子门控机制改为相减方式注意力，目的是关注词级别、句子级别语义中差异的部分，并将得到的前提向量rj和第j个假设词通过元素相减的方式“–“捕捉差异。其中Kj_sub为差异层面词级别注意力张量，sg_sub为差异句子级别门控张量，mj_sub为差异层面第j个元素的输入。其他参数同原(3)式，(5)式同，不再赘述。

[0078] 结合上述描述可知，计算公式(3)至(18)为整个DGIN网络，由于本文创新点之一是对于文本不同层面的理解考虑有不同的动态注意力，所以对相似和差异层面分别计算不同的注意力，对于整个sgMatch-lstm结构并未改变。例如，公式(13)-(15)即是对相似层面计算注意力，整个sgMatch-lstm结构并未改变，就是公式(3)、(5)、(7)分别改成计算文本相似层面的注意力，即点乘方式，使最后的结果向量是更关注两段文本的相似层面。

[0079] 因此可见上述三个层面的作用在于：直接拼接可以动态推理两段文本所有信息，元素点乘是一种最简单的相似度计算方法，可提取两段文本的相似信息，而相减操作可以指明推断方向，同时重点捕捉前提和假设之间的差异信息。通过从文本三个层面，以及结合细粒度词级别和句子级别信息共同进行动态推理，即可全面推理文本间的关系，最终得到推理结果。

[0080] 最后，在输出层中，将上层三个层面输出得到3个推理特征拼接起来采用一层激活函数为tanh的全连接层进行降维，全连接层隐层维度为最后用softmax函数分类作选择输出。其中，输出层的模型可以用端到端方式进行训练，模型采用交叉熵损失函数。

[0081] 下面将通过实验和实验结果分析来对上述实施例的技术效果进行验证，具体实验过程和实验结果分析过程如下。

[0082] 实验

[0083] 1、数据和评价指标

[0084] 本实验采用SNLI数据集和SCITAIL数据集进行验证。SNLI是由斯坦福在2015年发布的大型文本蕴含数据集，包含3类标签，句式简单而相对固定，是很多自然语言理解任务的基准数据集。而SCITAIL数据集科学类文本蕴含数据集，根据科学类多选问答任务构造的前提和假设文本，包含2类标签，不受手工规则的限定且句式多样复杂，推理相对困难。两个数据集分布如表1所示。

[0085]

[0086] 表1.两个数据集的分布

[0087] 其中，本模型所采用的评价指标：准确率(Accuracy)，N，E,C分别为Neural，Entailment和Contradiction。

[0088] 2、环境及参数设置

[0089] 本发明中的模型基于Tensorflow框架搭建，采用ADAM优化器作为整个模型的优化函数，第一个动量系数设为0.9，第二个动量系数设为0.999。学习率为0.0004，batch size为32，为了防止过拟合，LSTM层和全连接层dropout比率为均为0.2。初始词嵌入采用预训练的300维Glove词嵌入，对于OOV单词，采用高斯分布随机初始化一个300维的向量，所有词向量在整个训练过程中不更新。本文三个sgMatch-LSTM结构共享参数。

[0090] 3、实验结果

[0091] 本模型在SCITAIL数据集上运行结果如表2所示。由表2实验结果，本模型在SCITAL数据集取得了80.7％的准确率，分别超过了较为先进的文本匹配模型DecompAtt和ESIM的8.4％和10.1％。DecompAtt和ESIM模型均采用词级别注意力矩阵进行文本匹配，但其在较为复杂的SCITAIL数据集上表现效果一般，说明仅用一次局部注意力矩阵的方式在并不能很好推理复杂的文本关系。而本模型采用动态推理方式取得了较好的效果，验证动态推理的有效性。本模型分别也超过了分解图蕴含模型(DEGM)3.4％和采用对抗训练的AdvEntuRE模型1.7％，证明了本文模型DGIN的有效性。

[0092] 需要注意的是，前文仅对表2中部分模型作了结果描述，其它模型的验证结果可以参见表2。

[0093]

[0094] 表2.SCITAL数据集验证结果

[0095] 本模型在SNLI数据集上的验证结果如表3所示，由于现有很多文本匹配模型采用更复杂的堆叠结构以及构建手工特征来提升准确率，本文选取了在SNLI数据集上较为经典且有效的单模型作为比较。[24]完全基于注意力方式对文本进行编码和交互，[9]引入了记忆网络的思想对LSTM进行改进,[4]和[5]均是动态词级别推理的模型，但[4]并未将推理结果进一步连接用于下一步推理，[5]仅对前提和假设进行一次推理，[6]是采用TreeLSTM结构以额外捕捉文本的词法句法等信息。[3]则是采用词级别注意力矩阵来交互前提和假设文本。从实验结果来看，本文模型均优于上述模型。

[0096] 需要注意的是，前文仅对表3中部分模型作了结果描述，其它模型的验证结果可以参见表3。

[0097]

[0098] 表3.SNLI数据集验证结果

[0099] 实验结果分析

[0100] 1、模型部分结构分析

[0101] 结合表4，当仅用LSTM网络推理而不对前提和文本进行进一步交互时，即去掉动态推理过程，模型准确率只有72.1％，下降了5.7；当仅对文本对进行词级别动态推理，不用全局句子门控机制，模型效果仅为76.0％；当采用句子级别门控机制对推理结果进行进一步选择，模型效果上升了1.1，这也说明了通过句子级别来捕捉全局语义信息能有效弥补局部推理的局限性；当结合句子门控以及乘积、差异等不同层面语义信息可全面提升文本蕴含推理的能力，达到79.1％的效果。

[0102]

[0103] 表4.SCITAIL数据集DGIN结构分析

[0104] 2、样例分析

[0105] 结合表5，表5给出了一些文本对样例，mLSTM结构即为DGIN模型仅用词级别信息动态匹配的模型。由样例1和样例2可看到，基于词级别的动态推理倾向于对齐前提和假设中相似的词，当相似词越多，越可能被判定为蕴含关系，反之判定为中立关系。而样例3中两段文本有较多相似词，仅通过词级别语义推理会将其预测为蕴含关系，但本文模型DGIN因引入句子级别语义信息使得模型可基于全局信息综合判断。样例4由于句子较长且句式相对复杂，mLSTM结构也错将其预测为中立关系，DGIN通过多个层面判断可正确预测蕴含关系。

[0106] 需要注意的是，表5中的前提1和假设1即为样例1，即上述样例序号2-4与表5中的前提和假设的序号对应一致。

[0107]

[0108] 表5.结果样例分析

[0109] 综上所述，本发明提出sgMatch-LSTM结构，通过词级别细粒度推理和句子级别门控机制来动态用于动态推理文本蕴含关系，并基于此结构提出动态门控推理网络(DGIN)，分别从三个层面来推理文本的语义关系。通过实验证明，本发明在SNLI数据集上准确率达到86.8％，以及在较复杂的SCITAIL数据集上达到79.1％的效果，超过了短文本匹配中较好的ESIM模型和分解图模型DEGM，实验证明了本文模型的有效性。

[0110] 实施例2

[0111] 基于上述实施例1中的文本蕴含识别方法，本实施例基于相同的构思，提供与其对应的文本蕴含识别装置，该文本蕴含识别装置可以通过软件、硬件或者其结合的方式来形成一个产品整体。

[0112] 具体的，见图1，为本实施例一种文本蕴含识别装置的架构图，如图所示，该文本蕴含识别装置200包括编码网络模块210、动态推理模块220和输出模块230，其中，编码网络模块用于对输入的包括前提文本与假设文本的文本对进行编码得到对应的文本向量；动态推理模块用于利用自然语言推理中的注意力机制对所述文本向量进行推理来确定所述文本对中前提文本与假设文本之间的文本蕴含关系；输出模块用于确定并输出文本蕴含关系；其中，所述动态推理模块利用自然语言推理中的注意力机制对所述文本向量进行推理的过程是基于长短期记忆网络的门控选择和动态注意力机制来进行的动态推理，其中，该动态推理包括分别对文本对从直接相连、相似性和差异性三个层面共同进行推理，在从直接相连、相似性和差异性三个层面进行推理之前，各所述层面需要分别先对前提文本和假设文本进行词级别注意力推理，再做句子门控选择全局语义相关部分。

[0113] 由于本实施例提供的文本蕴含识别装置所要解决的技术问题和产生的技术效果与实施例1一致，且其技术原理与实施例1是相同的，故这里就不在对技术方案的内容做详细描述。

[0114] 具体的，所述输出模块用于确定所述文本对中前提文本与假设文本之间的文本蕴含关系是通过直接相连、相似性和差异性三个层面共同动态推理得到的三个推理特征拼接起来，采用一层基于激活函数的全连接层进行降维，再用分类函数进行分类输出来得到的蕴含关系。

[0115] 具体的，所述动态推理模块用于对前提文本和假设文本进行词级别注意力推理的方法包括：对输入的假设文本的每个输入词，都计算前提文本所有词和假设当前词的注意力。

[0116] 具体的，所述动态推理模块用于做句子门控选择全局语义相关部分的方法包括：计算前提文本向量和假设文本向量的相关性，并从全局上选择与假设文本更相关的表示。

标题	发布/更新时间	阅读量
自然语言处理模型训练方法、任务执行方法、设备及系统	2020-05-11	867
问答阅读理解模型获取方法、装置、电子设备及存储介质	2020-05-11	12
一种基于多种实体注意力和改进预训练语言模型的药物间关系抽取方法	2020-05-12	729
基于画像的医学科普文章推荐方法及系统	2020-05-11	302
基于大数据的职业兴趣预测方法、装置、设备及存储介质	2020-05-14	475
一种基于句法模式和机器学习的开放式关系的抽取方法	2020-05-14	806
一种基于信用大数据的标签分类和定量分析方法	2020-05-11	914
基于中文小说文本的阅读器信息抽取方法及系统	2020-05-13	70
数据处理方法和装置	2020-05-14	430
基于多模态注意力机制的视频内容描述方法、系统、装置	2020-05-11	738

一种文本蕴含识别方法及装置

一种文本蕴含识别方法及装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：