基于层级交互注意力的文本摘要方法
阅读：106发布：2020-05-14
专利汇可以提供基于层级交互注意力的文本摘要方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及基于层级交互注意 力 的文本 摘要 方法，属于 自然语言处理 技术领域。本发明通过层级交互注意力提取 编码器 不同层次的特征息来指导摘要的生成。同时为了避免因引入不同层次特征而带来的信息冗余问题，利用变分信息 瓶颈 压缩数据噪声。本发明针对生成式文本摘要，在基于注意力的编解码 框架 下，通过注意力机制提取编码器多层上下文信息来指导解码过程，同时通过引入变分信息瓶颈对信息进行约束，从而提高生成式文本摘要的 质量 。实验结果表明该方法能够显著改善编解码框架在生成式摘要任务上的性能。，下面是基于层级交互注意力的文本摘要方法专利的具体信息内容。
1.基于层级交互注意力的文本摘要方法，其特征在于：所述基于层级交互注意力的文本摘要方法的具体步骤如下：
Step1、使用英文数据集Gigaword作为训练集，采用预处理脚本对数据集进行预处理得到训练集和开发集，每个训练样本包含一对输入文本和摘要句；
Step2、编码器利用双向LSTM对训练集进行编码，层数设置为三层；
Step3、解码器采用单向LSTM网络，输入待解码的句子计算各层上下文向量；
Step4、对于多层编解码模型，编解码器包含多层LSTM，在每一层LSTM中计算上层与当前层之间的隐状态表征，从而将上层的上下文向量融合到当前层；
Step5、将带有特征信息的各层上下文向量与当前层的输出进行拼接，得到当前层的解码器隐状态；
Step6、融入不同层次的上下文信息会带来信息的冗余和噪声，利用变分信息瓶颈对数据进行压缩和去噪。
2.根据权利要求1所述的基于层级交互注意力的文本摘要方法，其特征在于：所述步骤Step1的具体步骤为：对数据进行标准化处理，包括数据集所有单词全部转小写、将所有数字替换为#，将语料中出现次数小于5次的单词替换为UNK标识；从开发集中选择一部分数据进行去除和筛选后作为测试集。
3.根据权利要求1所述的基于层级交互注意力的文本摘要方法，其特征在于：所述步骤Step2的具体步骤：编码器采用双向长短期记忆网络Bi-Directional LSTM,BILSTM，BILSTM包括前向和后向LSTM，前向LSTM从左向右读取输入序列得到前向编码向量，而后向LSTM从右向左读取序列得到后向编码向量，最后将前向和后向编码向量拼接得到输入序列的向量表征。
4.根据权利要求1所述的基于层级交互注意力的文本摘要方法，其特征在于：
所述步骤Step3的具体步骤为：
Step3.1、解码器采用单向LSTM网络，读取编码器最后时刻的状态向量初始化，然后根据输入上下文表征向量，逐词生成摘要序列，其中生成摘要的长度必须小于等于输入序列的长度；
Step3.2、在解码时，解码器读取上一时刻目标词的词嵌入向量，上一时刻的隐状态向量和当前时刻的上下文向量生成该时刻的隐状态向量；
Step3.3、引入注意力机制，根据上一时刻解码器的隐状态、编码向量计算得到当前时刻的上下文向量；
Step3.4、然后通过当前时刻上下文向量和隐状态向量计算得到当前时刻的输出向量，进而计算得到当前时刻的输出向量在预设目标词表上输出概率。
5.根据权利要求1所述的基于层级交互注意力的文本摘要方法，其特征在于：所述步骤Step4的具体步骤为：
Step4.1、融合上层的上下文向量和隐状态向量作为当前层的输入；
Step4.2、将当前层的输入送入LSTM得到当前层网络的输出；
Step4.3、计算多层解码器网络的最后一层的输出向量，计算得到目标输出在词表上的概率分布。
6.根据权利要求1所述的基于层级交互注意力的文本摘要方法，其特征在于：所述步骤Step5的具体步骤为：
Step5.1、在网络当前层，对获取各层上下文向量分别进行拼接，得到跨层融合的上下文向量和解码器隐状态，其包含了编码器不同层次的特征信息；
Step5.2、利用解码器隐状态和上下文向量计算得到输出向量，进而可以计算出输出向量在词表上的输出概率。
7.根据权利要求1所述的基于层级交互注意力的文本摘要方法，其特征在于：所述步骤Step6的具体步骤为：
Step6.1、给定输入序列，编解码模型通过计算概率生成摘要序列；
Step6.2、通过最大化生成摘要概率的对数似然函数来学习模型参数；
Step6.3、引入信息瓶颈作为编码的中间表征，构造从中间表征到输出序列的损失，作为分类的交叉熵损失；
Step6.4、加入约束，要求概率的分布与标准正态分布的KL散度Kullback–Leibler divergence尽量小。
基于层级交互注意力的文本摘要方法
技术领域
背景技术
[0002] 随着深度学习技术的发展，生成式文本摘要方法成为了当下研究的热点。传统 的基于注意力机制的编解码模型通常仅考虑编码器高层的语义信息作为上下文的语 义表征，而忽略了低层神经网络获取的词级结构等细节特征。本发明提出一种基于 层级交互注意力机制的多层特征提取和融合方法来获取编码器不同层次的特征，同 时在解码端引入变分信息瓶颈对融合信息进行压缩和去噪，从而生成更高质量的摘 要。
发明内容
[0003] 本发明提供了基于层级交互注意力的文本摘要方法，能获取编码器不同层次的 特征，同时在解码端引入变分信息瓶颈对融合信息进行压缩和去噪，从而生成更高 质量的摘要，在生成摘要时不仅关注编码器高层抽象特征，同时提取低层的细节信 息来提高摘要生成质量。
[0004] 本发明的技术方案是：基于层级交互注意力的文本摘要方法，所述基于层级交 互注意力的文本摘要方法的具体步骤如下：
[0005] Step1、使用文本摘要领域英文数据集Gigaword作为训练集，采用预处理脚本对 数据集进行预处理，分别得到380万和18.9万的训练集和开发集，每个训练样本包 含一对输入文本和摘要句；
[0006] 作为本发明的优选方案，所述步骤Step1的具体步骤为：对数据进行标准化处理， 包括数据集所有单词全部转小写、将所有数字替换为#，将语料中出现次数小于5次 的单词替换为UNK标识等；从开发集中选择一部分数据进行去除和筛选后作为测试 集。
[0007] Step2、利用双向LSTM对训练集进行编码，层数设置为三层；编码器采用双向 长短期记忆网络Bi-Directional LSTM,BILSTM，BILSTM包括前向和后向LSTM，前 向LSTM从左向右读取输入序列得到前向编码向量，而后向LSTM从右向左读取序 列得到后向编码向量，最后将前向和后向编码向量拼接得到输入序列的向量表征。
[0008] Step3、解码器采用单向LSTM网络，输入待解码的句子计算各层上下文向量： 解码器采用单向LSTM网络，读取编码器最后时刻的状态向量初始化，然后根据输 入上下文表征向量，逐词生成摘要序列，其中生成摘要的长度必须小于等于输入序 列的长度；在解码时，解码器读取上一时刻目标词的词嵌入向量，上一时刻的隐状 态向量和当前时刻的上下文向量生成该时刻的隐状态向量；引入注意力机制，根据 上一时刻解码器的隐状态、编码向量计算得到当前时刻的上下文向量；然后通过当 前时刻上下文向量和隐状态向量计算得到当前时刻的输出向量，进而计算得到当前 时刻的输出向量在预设目标词表上输出概率。
[0009] Step4、对于多层编解码模型，编解码器均包含多层LSTM，在每一层LSTM中 计算上层与当前层之间的隐状态表征，从而将上层的上下文向量融合到当前层；
[0010] 作为本发明的优选方案，所述步骤Step4的具体步骤为：
[0011] Step4.1、融合上层的上下文向量和隐状态向量作为当前层的输入；
[0012] Step4.2、将当前层的输入送入LSTM得到当前层网络的输出；
[0013] Step4.3、计算多层解码器网络的最后一层的输出向量，计算得到目标输出在词 表上的概率分布。
[0014] Step5、将带有特征信息的各层上下文向量与当前层的输出进行拼接，得到当前 层的解码器隐状态；
[0015] 作为本发明的优选方案，所述步骤Step5的具体步骤为：
[0016] Step5.1、在网络当前层，对获取各层上下文向量分别进行拼接，得到跨层融合 的上下文向量和解码器隐状态，其包含了编码器不同层次的特征信息；
[0017] Step5.2、利用解码器隐状态和上下文向量计算得到输出向量，进而可以计算出 输出向量在词表上的输出概率。
[0018] Step6、融入不同层次的上下文信息会带来信息的冗余和噪声，利用变分信息瓶 颈对数据进行压缩和去噪。
[0019] 作为本发明的优选方案，所述步骤Step6的具体步骤为：
[0020] Step6.1、给定输入序列，编解码模型通过计算概率生成摘要序列；
[0021] Step6.2、通过最大化生成摘要概率的对数似然函数来学习模型参数；
[0022] Step6.3、引入信息瓶颈作为编码的中间表征，构造从中间表征到输出序列的损 失，作为分类的交叉熵损失；
[0023] Step6.4、加入约束，要求概率的分布与标准正态分布的KL散度Kullback–Leibler divergence尽量小。
[0024] 本发明的有益效果是：
[0025] 1、本发明提出基于层级交互注意力机制的编解码模型，通过注意力获取不同层 次的语义信息来改善摘要的生成质量。
[0026] 2、本发明首次提出将变分信息瓶颈应用于摘要生成任务，对数据进行压缩和去 噪，有利于减少融入不同层次的上下文信息会带来信息的冗余和噪声。
[0028] 图1是本发明中的流程图；
[0030] 图3是本发明提出的层内融合机制图；
[0031] 图4是本发明提出的跨层融合机制图。
具体实施方式
[0032] 实施例1：如图1-图4所示，基于层级交互注意力的文本摘要方法，所述基于层 级交互注意力的文本摘要方法的具体步骤如下：
[0033] Step1、使用英文数据集Gigaword作为训练集，采用预处理脚本对数据集进行预 处理，分别得到380万和18.9万的训练集和开发集，每个训练样本包含一对输入文 本和摘要句；
[0034] Step2、编码器利用双向LSTM对训练集进行编码，层数设置为三层；
[0035] Step3、解码器采用单向LSTM网络，输入待解码的句子计算各层上下文向量；
[0036] Step4、对于多层编解码模型，编解码器包含多层LSTM，在每一层LSTM中计 算上层与当前层之间的隐状态表征，从而将上层的上下文向量融合到当前层；
[0037] Step5、将带有特征信息的各层上下文向量与当前层的输出进行拼接，得到当前 层的解码器隐状态；
[0038] Step6、融入不同层次的上下文信息会带来信息的冗余和噪声，利用变分信息瓶 颈(Variational Information Bottleneck,VIB)对数据进行压缩和去噪。
[0039] 作为本发明的优选方案，所述步骤Step1的具体步骤为：对数据进行标准化处理， 包括数据集所有单词全部转小写、将所有数字替换为#，将语料中出现次数小于5次 的单词替换为UNK标识等。从18.9万开发集中随机选择8000条作为开发集，选择2000条数据作为测试集。去除测试集中原文本长度小于5的句子，最后筛选得到1951 条数据作为测试集。为了验证模型的泛化能力，本发明同时选择DUC2004作为测试 集。DUC2004数据集仅包含500条文本，每个输入文本均对应4条标准摘要句。
[0040] 此优选方案设计是本发明的重要组成部分，主要为本发明收集语料过程，为本 发明识别事件时序关系提供了数据支撑。
[0041] 作为本发明的优选方案，所述步骤Step2的具体步骤为：
[0042] 本发明编码器采用双向长短期记忆网络(Bi-Directional LSTM,BILSTM)，与 LSTM相比，BILSTM包括前向和后向LSTM，前向LSTM从左向右读取输入序列 得到前向编码向量 而后向LSTM从右向左读取序列得到后向编码向 量 如下所示。
[0043]
[0044]
[0045] 其中， 和 分别表示前向LSTM和后向LSTM网络，最后将前向和 后向编码向量拼接得到输入序列的向量表征
[0046] 此优选方案设计是本发明的重要组成部分，主要为本发明编码的过程，利用 LSTM对句子进行建模存在一个问题，就是无法编码从后到前的信息。在更细粒度 的分类时，如对于强程度的褒义、弱程度的褒义、中性、弱程度的贬义、强程度的 贬义的五分类任务需要注意情感词、程度词、否定词之间的交互。通过BiLSTM可 以更好的捕捉双向的语义依赖。
[0047] 作为本发明的优选方案，所述步骤Step3的具体步骤为：
[0048] Step3.1、解码器采用单向LSTM网络，其中s表示序列起始。
[0049] t0时刻，解码器读取s和编码器最后时刻的状态向量来预测y1的输出概率；然后 根据输入上下文表征向量，逐词生成摘要序列，其中生成摘要的长度必须小于等于 输入序列的长度；
[0050] Step3.2、在解码时刻t，解码器读取t-1时刻目标词的词嵌入向量wt-1，隐状态 向量st-1和上下文向量ct生成t时刻的隐状态向量st，如式(3)所示：
[0051] st＝LSTM(wt-1,st-1,ct) (3)
[0052] Step3.3、如图2所示，解码器引入注意力机制，根据t-1时刻解码器的隐状态st-1、 编码向量h计算得到t时刻的上下文向量ct。具体过程如式(4，5，6)所示：
[0053]
[0054]
[0055]
[0056] Step3.4、然后通过t时刻上下文向量ct和隐状态向量st计算得到t时刻的输出向 量pt，进而计算得到pt在预设目标词表上输出概率pvocab,t。具体计算如式(7，8) 所示：
[0057] pt＝tanh(Wm([st；ct])+bm) (7)
[0058] Pvocab,t＝softmax(Wppt+bp) (8)
[0059] 此优选方案设计是本发明的重要组成部分，主要为本发明解码的过程。LSTM避 免了长期依赖性问题。对LSTM来说，长时间“记住”信息是一种默认的行为，而 不是难以学习的东西。
[0060] 作为本发明的优选方案，所述步骤Step4的具体步骤为：
[0061] 层内融合机制：
[0062] 层内融合机制(Inner-Layer Merge)旨在将上层上下文向量融入第当前层的编码中， 从而实现多层编码器信息的融合。
[0063] Step4.1、融合k-1层的上下文向量和隐状态向量作为第k层的输入。具体计算 公式如式(9，10，11)所示。
[0064]
[0065]
[0066]
[0067] 其中， 为获取的k-1层的上下文向量， 为第k-1层的隐状态向量。通过 计算得到第k层的输入向量
[0068] Step4.2、然后将其送入第k层LSTM得到第k层网络的输出
[0069] Step4.3、计算多层解码器网络的最后一层的输出向量pt，最后计算得到目标输 出在词表上的概率分布Pvocab。
[0070] 此优选方案设计是本发明的重要组成部分，这种基于层级交互注意力机制的多 层特征提取和融合方法来获取编码器不同层次的特征，解决了传统的基于注意力机 制的编解码模型通常仅考虑编码器高层的语义信息作为上下文的语义表征，而忽略 了低层神经网络获取的词级结构等细节特征。从而生成更高质量的摘要。
[0071] 作为本发明的优选方案，所述步骤Step5的具体步骤为：
[0072] 跨层融合机制：
[0073] 跨层融合机制(Cross-Layer Merge)在最后一层对获取的多层上下文向量进行融 合，具体如图4所示。
[0074] Step5.1、在网络r层，对获取各层上下文向量 和 分别进行拼接，得到跨层 融合的上下文向量ct和解码器隐状态st，其包含了编码器不同层次的特征信息。
[0075] Step5.2、最后利用st和ct计算得到输出向量pt。具体公式如式(12，13，14) 下：
[0076]
[0077]
[0078] pt＝tanh(Wm([st；ct])+bm) (14)
[0079] 最后计算得到pt在词表vocab上的输出概率Pt,vocab。
[0080] 此优选方案设计是本发明的重要组成部分，这种基于层级交互注意力机制的多 层特征提取和融合方法来获取编码器不同层次的特征，解决了传统的基于注意力机 制的编解码模型通常仅考虑编码器高层的语义信息作为上下文的语义表征，而忽略 了低层神经网络获取的词级结构等细节特征。从而生成更高质量的摘要。
[0081] 作为本发明的优选方案，所述步骤Step6的具体步骤为：
[0082] 变分信息瓶颈通过在X到Y的分类任务中，引入Z作为源输入X的中间表征， 构造从X→Z→Y的信息瓶颈RIB(θ)，计算过程如式(15，16)所示：
[0083] RIB(θ)＝I(Z,Y；θ)-βI(Z,X；θ) (15)
[0084]
[0085] 其中I(Z,Y；θ)表示Y和Z之间的互信息量。我们的目标是以互信息作为信息量 的度量，学习编码Z的分布，使得从X→Y的信息量尽可能少，强迫模型让最重要 的信息流过信息瓶颈，而忽略与任务无关的信息，从而实现信息去冗余和去噪。
[0086] 对于摘要任务来讲，给定输入序列x，编解码模型通过计算概率Pθ(y|x)生成摘 要序列y，其中θ为模型的参数，如权重矩阵W和偏移量b等。具体公式如式(17) 所示。
[0087]
[0088] 其中，y＜t＝(y1,y2,…yt-1)表示t时刻之前已解码所有单词。如式(18)所示， 模型通过最大化生成摘要概率的对数似然函数来学习模型参数θ。
[0089] loss＝-logPθ(y|x) (18)
[0090] 因此，在传统的编解码模型中，我们引入信息瓶颈z＝f(x,y＜t)作为编码的中间 表征，构造从中间表征z到输出序列y的损失，作为分类的交叉熵损失，计算公式如 式(19)所示。
[0091]
[0092] 同时加入约束，要求Pθ(z|x)的分布与标准正态分布Q(z)的KL散度 (Kullback–Leibler divergence)尽量小，加入VIB后，训练损失函数如式(20)所 示：
[0093]
[0094] 其中λ为超参数，我们设置为1e-3。
[0095] 此优选方案设计引入变分信息瓶颈来对数据进行压缩和去噪，有利于减少融入 不同层次的上下文信息会带来信息的冗余和噪声。
[0096] Step7、为了验证本发明的效果，以下介绍实验数据集、评价指标、实验的详细 参数设置及对比的基准模型，并对实验结果进行分析和讨论。
[0097] 实验采用ROUGE(Recall-Oriented Understudy for Gisting Evaluation)值作为模型的 评价指标。ROUGE是由Lin等人提出的一种自动摘要的评价指标，其基于生成摘要 与标准参考摘要中的n元词组(n-gram)共现信息来评价摘要的质量。
[0098]
[0099] 其中，n-gram表示n元词，{Gold}表示标准参考摘要，Countmatch(n-gram)表 示模型生成摘要和标准参考摘要中共现的n-gram词组个数，Count(n-gram)表示 标准参考摘要中出现的n-gram词组个数。本发明采用pyrouge脚本计算ROUGE值， 最后选择Rouge-1(unigram)，Rouge-2(bigram)，Rouge-L(longest common subsequence) 值作为模型性能的评价指标。
[0100] 编码器和解码器均选择3层的LSTM，编码器为双向LSTM，而解码器为单向 LSTM。编码器和解码器的隐状态均设置为512。为了减少模型的参数，我们设置编 码器和解码器共享词嵌入层。词嵌入维度设置为512，本发明不使用Word2vec，Glove， Bert等预训练词向量，而是对词嵌入层进行随机初始化。本发明设置编解码器的词 表的大小为50k，未登录词使用UNK来替代。其他参数设置如下：dropout为0.3， 优化器选择Adam，批次大小设置为64。同样为了提高摘要的生成质量，本发明在 模型推断阶段使用Beam Search策略，Beam Size设置为12。
[0101] 本发明选取以下6个模型作为基准模型，所有基准模型的训练数据和测试数据 均与本发明相同。
[0103] ABS+：基于ABS模型，使用DUC2003数据集对模型进行微调，其性能在 DUC2004数据集上进一步得到提升。
[0104] RFs2s：编码器和解码器均采用GRU，编码器输入融合了词性标记、命名实体标 记等语言学特征。
[0105] CAs2s：编解码器都通过卷积神经网络来实现，在卷积过程中加入线性门控单元 (Gated Linear Unit,GLU)，多步注意力等优化策略。
[0106] SEASS：在传统的注意力机制的编解码模型中，提出在编码端增加选择性门控 网络来控制信息从编码端向解码端的流动，从而实现编码信息的提纯。
[0107] CGU：与SEASS相似，提出通过self-attention和Inception convolution network 优化编码器，构造源输入的全局信息表征。
[0108] Our_s2s：本发明实现的编解码模型。
[0109] 表1列出了本发明模型与基准模型在Gigaword测试集上的Rouge-1，Rouge-2 和Rouge-L的F1值比对结果。其中Our_s2s是本发明实现的带有注意力的编解码模 型，Inner_s2s和Cross_s2s分别表示在Our_s2s基础上增加了层内融合机制和跨层融 合机制，Beam和Greedy表示在测试阶段采用Beam Search策略还是贪心搜索策略。
[0110] 表1 Gigaword测试集实验结果比对.
[0111]模型 RG-1(F1) RG-2(F1) RG-L(F1)
ABS(Beam) 29.55 11.2 26.42
ABS+(Beam) 29.76 11.88 26.96
RFs2s(Beam) 32.67 15.59 30.64
CAs2s(Beam) 33.78 15.97 31.15
SEASS(Greedy) 35.48 16.50 32.93
SEASS(Beam) 36.15 17.54 33.63
CGU(Beam) 36.31 18.00 33.82
Our_s2s(Beam) 33.62 16.35 31.34
Inner_s2s(Greedy) 36.05 17.18 33.47
Inner_s2s(Beam) 36.52 17.75 33.81
Cross_s2s(Greedy) 36.23 17.19 33.71
Cross_s2s(Beam) 36.97 18.36 34.35
ABS(Beam) 29.55 11.2 26.42
ABS+(Beam) 29.76 11.88 26.96
RFs2s(Beam) 32.67 15.59 30.64
CAs2s(Beam) 33.78 15.97 31.15
SEASS(Greedy) 35.48 16.50 32.93
SEASS(Beam) 36.15 17.54 33.63
CGU(Beam) 36.31 18.00 33.82
Our_s2s(Beam) 33.62 16.35 31.34
Inner_s2s(Greedy) 36.05 17.18 33.47
Inner_s2s(Beam) 36.52 17.75 33.81
Cross_s2s(Greedy) 36.23 17.19 33.71
Cross_s2s(Beam) 36.97 18.36 34.35
[0112] 从表1可以看出，本发明提出的Inner_s2s和Cross_s2s相比基准模型都有了一 定程度的提升，特别是使用Beam Search搜索策略的Cross_s2s模型在RG-1、RG-2 和RG-L三个指标上均取得了最佳性能。同样可以看出Cross_s2s相比Inner_s2s在 Greedy和Beam搜索策略下，模型性能都更好。
[0113] 为了进一步验证模型的泛化能力，本发明在DUC2004数据集上进行试验，实验 结果如表2所示。DUC2004数据集要求生成长度固定的摘要(75bytes),与之前的研究 工作相同[1,7,18]，本发明设置生成摘要的长度固定为18个词，以满足最短长度的需 求。DUC2004数据集一般采用召回率而非F1值作为模型性能的评价指标。DUC2004 数据集每个原句对应四条人工摘要作为标准摘要，因此本发明在四个标准摘要上分 别进行验证，并以四次的验证结果的平均值作为评测结果。
[0114] 表2 DUC2004测试集实验结果比对
[0115]模型 RG-1(R) RG-2(R) RG-L(R)
ABS 26.55 7.06 22.05
ABS+ 28.18 8.49 23.81
RFs2s 28.35 9.46 24.59
CAs2s 28.97 8.26 24.06
SEASS 29.21 9.56 25.51
Inner_s2s 30.29 13.24 27.94
Cross_s2s 30.14 13.05 27.85
ABS 26.55 7.06 22.05
ABS+ 28.18 8.49 23.81
RFs2s 28.35 9.46 24.59
CAs2s 28.97 8.26 24.06
SEASS 29.21 9.56 25.51
Inner_s2s 30.29 13.24 27.94
Cross_s2s 30.14 13.05 27.85
[0116] 从表2可以看出，本发明提出的Inner_s2s和Cross_s2s模型性能相近，但是在RG-1， RG-2和RG-L三个指标的Recall值均超过了基准模型。特别与ABS+相比，虽然其 模型利用DUC2003数据集进行了调优，但是本发明提出的Inner_s2s模型仍然在RG-1， RG-2和RG-L上分别提高了2.11，4.75和4.13。与当前最优模型SEASS相比，RG-2 指标提高了将近3个百分点。
[0117] 本发明针对生成式文本摘要，在基于注意力的编解码框架下，提出基于层级交 互注意力机制。通过注意力机制提取编码器多层上下文信息来指导解码过程，同时 通过引入变分信息瓶颈对信息进行约束，从而提高生成式文本摘要的质量。
[0118] 上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上 述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明 宗旨的前提下作出各种变化。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 摘要生成装置和摘要生成方法 | 2020-05-11 | 371 |
| 摘要的作成方法和装置 | 2020-05-12 | 432 |
| 处理消息摘要指令 | 2020-05-12 | 661 |
| 一种自动文本摘要方法 | 2020-05-13 | 461 |
| 一种自动文本摘要方法 | 2020-05-13 | 349 |
| 摘要生成方法和装置 | 2020-05-12 | 335 |
| 影像摘要装置 | 2020-05-11 | 451 |
| 内容摘要验证接口方法 | 2020-05-12 | 707 |
| 多功能摘要书籍 | 2020-05-11 | 632 |
| 视频摘要系统 | 2020-05-11 | 269 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈