专利汇可以提供一种基于融合编码的摘要文本生成方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种基于融合编码的 摘要 文本生成方法,包括以下步骤:确定输入句子,将句子中每个词进行映射得到词向量;将句子中每个词经Spacy工具集转换为相应词性特征,通过映射得到 词性标注 特征;构建生成式文本摘要模型,将词向量、词性标注特征导入模型中,得到摘要序列。本发明提供的一种基于融合编码的摘要文本生成方法,通过生成式文本摘要模型,融合词向量和词性标注特征作为模型输入,有效提升了模型性能;同时将局部信息与全局信息进行融合编码,有利于模型的梯度传递,保证了句子的长期依赖。,下面是一种基于融合编码的摘要文本生成方法专利的具体信息内容。
1.一种基于融合编码的摘要文本生成方法,其特征在于,包括以下步骤:
S1:确定输入句子,将句子中每个词进行映射得到词向量;
S2:将句子中每个词经Spacy工具集转换为相应词性特征,通过映射得到词性标注特征;
S3:构建生成式文本摘要模型,将词向量、词性标注特征导入模型中,得到摘要序列。
2.根据权利要求1所述的一种基于融合编码的摘要文本生成方法,其特征在于:在步骤S3中,所述的生成式文本摘要模型包括词嵌入层、融合模块、选择层和解码器;其中:
所述词嵌入层用于融合词向量、词性标注特征,得到融合模块的350维融合输入,其中,词向量设定为300维,词性标注特征设定为50维;
所述融合模块包括局部编码层、全局编码层和融合层;
其中,所述局部编码层由双向门控循环单位GRU组成,通过双向GRU获取融合输入信息的上下文局部表征H,其维度为300×m,m维输入句子的总词数;
所述全局编码层由多头自注意力层组成,通过6个线性变换将300维的上下文局部表征H映射维6个50维的子表征Qi,其中i=1,2,...,6,再使用放缩点积注意力计算每个子表征的长期依赖特征,最后通过矩阵拼接融合所有子表征的全局信息,得到上下文全局表征G,其维度为300×m;
所述融合层用于将上下文局部表征H与上下文全局表征G直接相加,获得融合编码;
所述选择层通过神经网络的sigmoid函数筛选融合编码中的重点信息,将重点信息保留突出;
所述解码器通过门控循环单位GRU进行解码,最终得到摘要序列。
3.根据权利要求2所述的一种基于融合编码的摘要文本生成方法,其特征在于:所述词嵌入层通过矩阵拼接的方式融合词向量、词性标注特征。
4.根据权利要求2所述的一种基于融合编码的摘要文本生成方法,其特征在于:所述放缩点积注意力Attention计算公式具体为:
其中, 为子表征的维度,为50,其中i=1,2,...,6,为子表征的序号。
5.根据权利要求2所述的一种基于融合编码的摘要文本生成方法,其特征在于:所述选择层通过神经网络的sigmoid函数筛选融合编码中的重点信息K,其具体计算公式为:
K=σ(WkG+bk)*G;
其中,Wk和bk是选择层的参数,在模型训练时优化更新,σ为sigmoid函数,*为哈达玛乘积。
6.根据权利要求5所述的一种基于融合编码的摘要文本生成方法,其特征在于:所述解码器通过门控循环单位GRU进行解码,其具体计算公式为:
st=GRU(yt-1,ct-1,st-1);
其中,yt-1是上一个解码得到的摘要词的词向量,ct-1是上一个解码状态中的注意力表征,st-1是上一个解码状态中的GRU状态,注意力表征ct的具体计算公式如下:
其中:
其中:
其中, 为模型参数的转置矩阵,Wa,Ua均为模型参数,在训练过程中优化更新,ki为重要信息K矩阵的第i个向量,st-1是上一个解码状态中的GRU状态;由此,注意力表征能够学习到上一个解码状态中的GRU状态与当前第i个编码状态的关联;
通过线性转换将注意力表征ct、上一个解码得到的摘要词的词向量yt-1、当前GRU状态st进行融合,得到融合解码状态rt,具体计算公式如下:
rt=Wryt-1+Urct+Vrst;
其中,Wr,Ur,Vr为模型参数,在训练过程中优化更新;
最后对融合解码状态rt采用归一化指数函数变换,得到当前摘要位置t中出现某个词的概率,取最大概率的词作为该位置的摘要词Yt,最终得到摘要序列Y1,Y2,...,YT。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
摘要生成装置和摘要生成方法 | 2020-05-11 | 212 |
包括特定人的视频摘要 | 2020-05-12 | 614 |
视频摘要提取 | 2020-05-11 | 508 |
处理消息摘要指令 | 2020-05-12 | 19 |
音乐摘要自动生成方法 | 2020-05-12 | 340 |
图文摘要的评价方法 | 2020-05-13 | 521 |
选择性会议摘要 | 2020-05-11 | 784 |
实时视频摘要 | 2020-05-11 | 887 |
内容摘要验证接口方法 | 2020-05-12 | 559 |
图文摘要生成方法 | 2020-05-12 | 776 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。