技术领域
[0001] 本
发明属于
自然语言处理技术领域，具体涉及一种基于外部知识增强的机器阅读理解方法、系统、装置。
背景技术
[0001] 机器阅读理解是在自然语言处理中非常重要的一个研究任务。机器阅读理解需要系统通过阅读一篇相关文章，来回答对应的问题。而在阅读理解任务中，利用外部知识是一个相当热
门的研究方向。如何在阅读理解系统中使用外部知识也受到了广泛的关注。外部知识的来源主要分为两类，一类是非结构化的外部自然语言语料；另一类则是结构化的知识表示，比如说知识图谱。本发明主要关注如何利用结构化的知识表示。结构化的知识图谱中，通常将知识表示成若干个三元组，比如(shortage，related_to，lack)和(need，related_to，lack)。
[0002] 以往利用这类结构化知识时，通常根据阅读理解原文和问题
信息检索回相关的三元组集合作为外部知识，然而，在对三元组建模时，只针对单独的三元组建模，即无法捕捉三元组之间的信息，也就是多跳的信息，换句话说，则是未捕捉原有的三元组间的图结构信息。因此，本
专利提出一种基于外部知识增强的机器阅读理解模型。
发明内容
[0003] 为了解决
现有技术中的上述问题，即为了解决现有机器阅读理解方法未利用外部知识中三元组间的图结构信息，导致答案预测准确率较低的问题，本发明第一方面，提出了一种基于外部知识增强的机器阅读理解的方法，该方法包括：
[0004] 步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
[0005] 步骤S200，基于外部
知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的
数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
[0006] 步骤S300，通过图注意
力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
[0007] 步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层
感知器和softmax分类器获取待回答问题对应的答案。
[0008] 在一些优选的实施方式中，步骤S100中“分别生成所述第一文本、所述第二文本中各实体的上下文表示”其方法为：通过BERT模型分别生成所述第一文本、所述第二文本中各实体的上下文表示。
[0009] 在一些优选的实施方式中，所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，其包括以所述相邻实体为head实体或tail实体的三元组集合。
[0010] 在一些优选的实施方式中，步骤S200中“基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱”，其方法为：通过Dismult模型初始化所述外部知识库，构建知识图谱。
[0011] 在一些优选的实施方式中，步骤S300中“通过图注意力网络融合各实体的知识子图”，其方法为：通过图注意力网络更新融合各实体知识子图中的
节点；更新融合方法如下：
[0012]
[0013]
[0014]
[0015] 其中，hj为知识子图中j节点的表示，αn为注意力机制算得的归一化的概率得分，tn为j节点邻居节点的表示，βn为与第n个邻居节点的逻辑得分，βj为与第j个邻居节点的逻辑得分，rn为边的表示，hn为知识子图中n节点的表示，wr、wh、wt为rn、hn、tn对应的可训练参数，Nj为知识子图中j节点的邻居节点个数，l为第l次
迭代，T为转置，n、j为下标。
[0016] 在一些优选的实施方式中，步骤S400中“通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示”，其方法为：
[0017]
[0018] wi＝σ(W[tbi；tki])
[0019] 其中，ti'为知识增强后的文本表示，wi为控制知识流入的计算
阈值，σ(·)为sigmoid函数，W为可训练参数，tbi为文本上下文表示，tki为知识表示，i为下标。
[0020] 本发明的第二方面，提出了一种基于外部知识增强的机器阅读理解的系统，该系统包括上下文表示模
块、获取知识子图模块、知识表示模块、输出答案模块；
[0021] 所述上下文表示模块，配置为获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
[0022] 所述获取知识子图模块，配置为基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
[0023] 所述知识表示模块，配置为通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
[0024] 所述输出答案模块，配置为通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于
多层感知器和softmax分类器获取待回答问题对应的答案。
[0025] 本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于外部知识增强的机器阅读理解方法。
[0026] 本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于外部知识增强的机器阅读理解方法。
[0027] 本发明的有益效果：
[0028] 本发明通过利用三元组之间的图结构信息，提高了答案预测的准确率。本发明通过外部知识库获取阅读理解原文文本及待回答问题文本中各实体的三元组集合及阅读理解原文文本各实体三元组集合中对应相邻实体的三元组集合，即将相关的三元组集合及三元组之间的信息作为外部知识。基于Dismult模型初始化外部知识库构建知识图谱，将这些三元组集合恢复其在知识图谱中的图结构信息，使其保持知识图谱中的子图结构信息，并通过图注意力网络动态更新融合子图结构信息。可以克服传统无法有效利用结构化外部知识里的结构信息，即外部知识中三元组之间的信息，以此来提高机器进行答案预测的准确率。
附图说明
[0029] 通过阅读参照以下附图所做的对非限制性
实施例所做的详细描述，本
申请的其他特征、目的和优点将会变得更明显。
[0030] 图1是本发明一种实施例的基于外部知识增强的机器阅读理解方法的流程示意图；
[0031] 图2是本发明一种实施例的基于外部知识增强的机器阅读理解系统的
框架示意图；
[0032] 图3是本发明一种实施例的基于外部知识增强的机器阅读理解方法的详细系统架构示意图。
具体实施方式
[0033] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0035] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0036] 本发明的基于外部知识增强的机器阅读理解方法，如图1所示，包括以下步骤：
[0037] 步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
[0038] 步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
[0039] 步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
[0040] 步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。
[0041] 为了更清晰地对本发明基于外部知识增强的机器阅读理解方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
[0042] 步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本。
[0043] 自然语言处理的长期目标是让计算机能够阅读、处理文本，并且理解文本的内在含义。理解，意味着计算机在接受自然语言输入后能够给出正确的反馈。传统的自然语言处理任务，例如
词性标注、句法分析以及
文本分类，更多地聚焦于小范围层面(例如一个句子内)的上下文信息，更加注重于词法以及语法信息。然而更大范围、更深层次的上下文语义信息在人类理解文本的过程中起着非常重要的作用。正如对于人类的语言测试那样，一种测试机器更大范围内理解能力的方法是在给定一篇文本或相关内容(事实)的
基础上，要求机器根据文本的内容，对相应的问题作出回答，类似于各类英语考试中的阅读题。这类任务通常被称作机器阅读理解。
[0044] 在本实施例中，先获取阅读理解原文和待回答问题，使用
编码器对阅读理解原文和待回答问题在不同层次上进行建模。即先对阅读理解原文和待回答问题分别独立编码，捕获阅读理解原文和待回答问题的上下文信息，再捕获阅读理解原文和待回答问题的交互信息。
[0045] 在本发明中，我们使用预训练语言模型BERT作为编码器。BERT是一个多层双向的transformer编码器，是一个在超大规模语料上预训练的语言模型。我们将阅读理解原文和待回答问题通过式(1)进行编辑，作为BERT编码器的输入。
[0046] [CLS]Question[SEP]Paragraph[SEP](1)
[0047] 其中，Question为待回答问题，Paragraph为阅读理解原文，[CLS]、[SEP]为分割符。如图3所示，Tok1……TokN为待回答问题序列分词过后的N个单词，Tok1……TokM为阅读理解原文序列分词过后的M个单词，E1…EN为待回答问题中每个单词的词嵌入和
位置编码，E′1…E′M为阅读理解原文中每个单词的词嵌入和位置编码，T1…TN为经过编码器生成待回答问题的每个单词蕴含了上下文信息的表示，T1′…T′M为经过编码器生成阅读理解原文的每个单词蕴含了上下文信息的表示，Question and Paragraph Modeling为对阅读理解原文文本和待回答问题的文本进行建模的过程，Knowledge Sub-Graph Construction为知识子图构建，Knowledge Graph为知识图谱，sub-Graph为知识子图，Graph Attention为图注意力网络，Output Layer为
输出层，…electricity needs and…(电力需求)Question(问题)，…electricity shortages(电力短缺)…Paragraph(相关阅读理解原文)。
[0048] 利用BERT编码器(或BERT模型)生成阅读理解原文和待回答问题的上下文表示。即将阅读理解原文和待回答问题对应的文本序列的字符，利用BERT编码器生成对应的隐含表示。
[0049] 步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱。
[0050] 在人类阅读理解过程中，当有些问题不能根据给定文本进行回答时，人们会利用常识或积累的背景知识进行作答，而在机器阅读理解任务中却没有很好的利用外部知识，这是机器阅读理解和人类阅读理解存在的差距之一。
[0051] 在本实施例中，根据阅读理解中给定的阅读理解原文和待回答问题，先从中识别出实体，利用实体从外部知识库中根据阅读理解原文和待回答问题信息检索回相关的三元组集合及三元组集合之间的信息作为外部知识，并且将这些三元组集合恢复其在知识图谱中的图结构信息，使其保持知识图谱中的子图结构信息。以此来提高机器进行答案预测的准确率。
[0052] 三元组通常表示为(head，relation，tail)，head和tail通常是一个具有现实含义的实体，而relation则是表示前后相邻实体之间的一种关系。对于阅读理解原文中的第i个实体，我们检索相关的三元组集合，其中head或者tail包含这个token(单词)的主干。比如说，对于token为shortage，我们检索回三元组(shortage，related to，lack)。
[0053] 然后检索阅读理解原文的各实体的相邻实体的三元组集合，即阅读理解原文文本中各实体的三元组集合中对应的相邻实体，以该相邻实体为head或tail的三元组集合。例如上述检索回的三元组(shortage，related to，lack)，检索到它的相邻实体的三元组为(need，related to，lack)。
[0054] 上述外部知识库中的三元组集合通常为离散的，我们通过知识图谱嵌入表示方法初始化整个外部知识库的表示，将其中的三元组集合进行关联。即通过Dismult模型初始化外部知识库。其中，Dismult模型是基于
能量函数的知识图谱表示方法。
[0055] 基于上述获取的三元组集合，构建三元组集合集。即三元组集合集包括三部分：所述第一文本、所述第二文本中各实体的三元组集合、第二文本中各实体三元组集合中对应相邻实体的三元组集合。
[0056] 基于获取的三元组集合集，通过相同的实体将其恢复成一个知识子图，这个知识子图包含了检索回来的三元组信息。所以，一个简单的知识子图实例为(shortage，related to，lack，related to，need)，而lack是其中的相同实体。这个知识子图设为g，而它的节点(实体)和边则被上述的知识图谱嵌入表示方法初始化其表示。使用知识图谱嵌入技术，基于整个知识图谱的信息获取实体和边的分布式向量表示，使得每个实体和边都有唯一的一个分布式向量表示。
[0057] 步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示。
[0058] 在本实施例中，利用图注意力网络迭代更新知识子图的节点和边表示，最终获得具有结构感知的图节点表示，即知识表示。对于子图gi＝{n1,n2,…,nk}，其中，k是节点的个数。我们假设Nj是第j个节点的邻居。图中的节点一共更新L次，第j个节点更新的方式如公式(2)(3)(4)所示：
[0059]
[0060]
[0061]
[0062] 其中，hj为知识子图中j节点的表示，αn为注意力机制算得的归一化的概率得分，tn为j节点邻居节点的表示，βn为与第n个邻居节点的逻辑得分，βj为与第j个邻居节点的逻辑得分，rn为边的表示，hn为知识子图中n节点的表示，wr、wh、wt为rn、hn、tn对应的可训练参数，Nj为知识子图中j节点的邻居节点个数，l为第l次迭代，T为转置，n、j为下标。
[0063] 经过L次更新，每个节点(实体)能够得到其最终表示。
[0064] 步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。
[0065] 在本实施例中，通过哨兵机制将知识表示和上下文表示进行拼接，得到知识增强的文本表示。即将实体表示和文本中的实体一一对应，利用哨兵机制对知识进行选取，最终获得知识增强的文本表示。基于知识增强的文本表示，通过多层感知器和softmax分类器获取待回答问题的答案的起始位置、终止位置及对应的分布概率。具体处理如下：
[0066] 将知识的表示和文本上下文表示利用哨兵机制进行拼接，因为对于推理来说，外部知识不总是会有所影响，哨兵机制如下，利用公式(5)计算当前知识选择的阈值：
[0067] wi＝σ(W[tbi；tki]) (5)
[0068] 其中，wi为计算所得阈值，σ(·)为sigmoid函数，W为可训练参数，tbi为文本上下文表示，tki为知识表示，i为下标。
[0069] 然后，使用这个阈值来控制知识的是否选取，如公式(6)所示：
[0070]
[0071] 其中，ti'为知识增强后的文本表示。
[0072] 接着，我们利用这个表示生成最终的答案，设知识增强的文本表示，即最终的表示为T＝{t1',t'2,...,t'n}，其中，ti'∈RH(实数的向量空间)。接着，我们学习一个开始向量S∈RH和结束向量E∈RH，分别代表篇章当前位置是答案的起始得分。接着，答案
片段的开始位置在某个位置上的概率值通过一个Softmax函数，Softmax函数的输入是Ti(第i个知识增强后的文本表示)和S点乘的结果，计算如公式(7)所示：
[0073]
[0074] 其中， 为第i个字符在开始位置的概率值。
[0075] 同理，答案片段的结束位置在篇章的某个位置的概率值也可以通过上述公式计算，第i个字符是结束位置的概率值可由公式(8)计算：
[0076]
[0077] 其中， 为第i个字符是结束位置的概率值。
[0078] 本发明使用的训练目标是答案正确起始位置的对数似然函数，可由公式(9)计算：
[0079]
[0080] 其中， 是正确答案开始位置的预测概率值， 是正确答案的结束位置的预测概率值，N是总样本数，L为对数似然函数。
[0081] 为了说明系统的有效性，本发明通过数据集来验证本方法的性能。本发明使用ReCoRD数据集进行验证本方法在机器阅读理解任务上的性能。对比结果如表1所示：
[0082] 表1
[0083] 其中，表1中EM是精确匹配度指标，F1是模糊匹配度指标，QANet、SAN、DocQA w/o ElMo、DocQA w/ELMo是四个基准阅读理解模型方法的名称，SKG-BERT-Large是本发明预读理解模型方法的英文名称。由表1可以看出，本方法取得了比基准阅读理解模型方法更好的结果。
[0084] 本发明第二实施例的一种基于外部知识增强的机器阅读理解系统，如图2所示，包括：上下文表示模块100、获取知识子图模块200、知识表示模块300、输出答案模块400；
[0085] 所述上下文表示模块100，配置为获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
[0086] 所述获取知识子图模块200，配置为基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
[0087] 所述知识表示模块300，配置为通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
[0088] 所述输出答案模块400，配置为通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。
[0089] 所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0090] 需要说明的是，上述实施例提供的基于外部知识增强的机器阅读理解系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0091] 本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于外部知识增强的机器阅读理解方法。
[0092] 本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于外部知识增强的机器阅读理解方法。
[0093] 所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
[0094] 本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以
电子硬件、计算机
软件或者二者的结合来实现，
软件模块、方法步骤对应的程序可以置于随机
存储器(RAM)、内存、
只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、
硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的设定应用和设计约束条件。本领域技术人员可以对每个设定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0095] 术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示设定的顺序或先后次序。
[0096] 术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0097] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
