专利汇可以提供基于多层双向LSTM和验证模型的观点型问题阅读理解方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于多层双向LSTM和验证模型的观点型问题阅读理解方法,所述方法融合了 抽取 式模型和判别式模型的优点,在阅读理解、特征学习的 基础 上,加入推理建模,以得到问题和文章具有推理性的特征表示,并且在后续学习中将候选答案与正确答案的关系作为分类问题,设计了相应的Loss函数,针对部分问题在给定文章中得不到正确答案的情况,设计了验证模型,所述方法在处理观点型问题阅读理解数据集时相比现有的方法准确率更高。,下面是基于多层双向LSTM和验证模型的观点型问题阅读理解方法专利的具体信息内容。
1.基于多层双向LSTM和验证模型的观点型问题阅读理解方法,其特征在于,所述方法包括以下步骤:
S1、对文章及问题中的句子进行预处理,所述预处理包括分词、词性标注、命名实体识别,将单词映射成词表当中对应的词向量,并与词性及命名实体类型的特征向量拼接在一起,形成文章和问题的初始特征向量表示;
S2、将文章与问题的初始特征向量表示分别通过第一层BiLSTM进行处理,得到文章和问题的浅层特征表示;
S3、将文章与问题的浅层特征表示进行推理建模,得到文章和问题具有推理关系的浅层特征表示,将文章和问题具有推理关系的浅层特征表示通过第二层BiLSTM进行处理,得到文章和问题具有相关性的深层特征表示;
S4、对问题中各单词的表示进行加权组合,形成问题的最终特征表示向量 通过向量与文章的向量表示做内积,抽取出文章中能够用于回答问题的信息片段,再次通过注意力机制,对信息片段进行加权组合,形成文章的最终特征表示向量 作为解码器的初始隐状态输入,对观点型问题的答案分为是、否、无法判断三个类别,在做内积抽取信息片段时,将三分类问题与信息片段作为联合任务进行建模,所述建模包括:将问题的最终特征表示 和文章的最终特征表示 进行串联,得到新特征表示sjoint;将sjoint输入到判别模型中,得到正确答案所属分类的概率,所述判别模型的DisQA Loss函数如公式(3)和(4)所示,p(y|sjonit)=softmax((wssjoint+b)wy) (3)
其中,y为表示三个类别的向量,ws为特征的权重,wy为类别的权重,b为偏置量;
S5、使用一个单向LSTM作为解码器,并以文章的最终特征向量表示作为其输入序列,按照序列到序列的方式逐个单词地生成对应的候选答案;
S6、将能否从文章中获取到合理的候选答案的问题建模成二分类模型,通过二分类模型对得到的候选答案的合理性进行验证,具体包括以下步骤:将问题的最终特征表示 和文章的最终特征表示 进行串联,得到新特征表示sjoint;将sjoint输入到二分类验证模型中,通过将sjoint与权重做内积,得到sjoint的二维向量表示,从而得到所属类别的概率,所述二分类验证模型的VerQA Loss函数如公式(5)所示,
其中,m为训练样本个数,n为参数大小,θ为函数中的参数,
λ是正则项系数;
S7、根据候选答案合理性对生成的答案文本进行处理,输出正确答案。
2.根据权利要求1所述的基于多层双向LSTM和验证模型的观点型问题阅读理解方法,其特征在于,步骤S3中,推理建模具体包括:假设得到的浅层特征表示对为
其中,pi为文章的伴随向量,qj为问题的伴随向量,lp为文章的伴随向量长度,lq为问题的伴随向量长度,aij为
3.根据权利要求1所述的基于多层双向LSTM和验证模型的观点型问题阅读理解方法,其特征在于,将步骤S6中得到的二维向量表示通过logistic regression函数进行处理得到一个概率分布,对概率分布进行优化。
4.根据权利要求1所述的基于多层双向LSTM和验证模型的观点型问题阅读理解方法,其特征在于,将问题的注意力加权组合向量与文章的最终向量表示做内积,其结果通过softmax函数转化为概率分布,对概率分布进行优化。
5.根据权利要求1所述的基于多层双向LSTM和验证模型的观点型问题阅读理解方法,其特征在于,将问题和文章的最终向量表示与权重做内积得到一个三维向量表示,通过softmax函数转化为概率分布,对概率分布进行优化。
6.根据权利要求1所述的基于多层双向LSTM和验证模型的观点型问题阅读理解方法,其特征在于,步骤S7中,设定阈值tv,当不存在合理的候选答案的概率大于或等于tv时,输出答案为无法确定;当不存在合理的候选答案的概率小于tv时,输出答案为步骤S5中得出的候选答案。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
特征扩展卷积神经网络的案件微博观点句识别构建方法 | 2020-05-11 | 891 |
一种基于深度学习的校园心理辅导的方法及装置 | 2020-05-13 | 942 |
一种基于多任务联合学习的论辩挖掘系统及其工作方法 | 2020-05-13 | 806 |
基于电力专业术语的语义分析方法 | 2020-05-12 | 502 |
基于物理距离和语义距离的双向LSTM模型的构建方法 | 2020-05-08 | 713 |
一种基于句法模式和机器学习的开放式关系的抽取方法 | 2020-05-11 | 921 |
非命名实体对象抽取方法、装置、电子设备及存储介质 | 2020-05-13 | 627 |
一种面向金融事件的混合型因果关系发现方法 | 2020-05-11 | 513 |
一种基于事理推荐的逻辑图谱构建及预警方法和装置 | 2020-05-13 | 332 |
一种电商产品竞争分析方法及系统 | 2020-05-14 | 221 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。