一种混合长短期记忆网络和卷积神经网络的文本分类方法专利检索-多层感知器前馈神经网络人工神经网络机器学习人工智能人工智能专利检索查询-专利查询网

一种混合长短期记忆网络和 卷积神经网络的文本分类方法

阅读：1007发布：2020-05-31

专利汇可以提供一种混合长短期记忆网络和卷积神经网络的文本分类方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种混合长短期记忆网络和卷积神经网络的文本分类方法，通过充分结合双向长短期记忆网络在学习文本的上下文信息方面的优势以及卷积神经网络在学习文本局部特征方面的优势，利用双向长短期记忆网络学习词的上下文信息后，再通过卷积神经网络进一步学习提取上下文信息的词向量的局部特征，接着再利用双向长短期记忆网络学习这些局部特征的上下文，形成固定维度的输出，最后通过一个多层感知器进行分类输出。可以进一步提高模型分类的准确率，并具有较好的通用性，在测试的多个语料库上都取得了很好的效果。，下面是一种混合长短期记忆网络和卷积神经网络的文本分类方法专利的具体信息内容。

权利要求

1.一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于，所述方法包括以下步骤：
步骤1、对文本中的句子进行预处理，结合训练语料集中句子的长度分布及均方差，确定句子的长度阈值后形成统一的句子长度，利用预训练好的词向量表获取输入文本中每一个词的向量化表示，形成连续和稠密的实数向量矩阵；
步骤2、对于输入的句子词向量，分别通过一个正向的LSTM网络学习各个词的上文信息和一个逆向的LSTM网络学习各个词的下文信息，并将学习的结果进行串联合并，从而将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示；
步骤3、使用多个不同宽度、包含不同权值的核矩阵分别对双向LSTM网络输出的词向量矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；
步骤4、使用一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子的多层全局特征矩阵，并将结果进行串联合并；
步骤5、使用两个相反方向的LSTM网络分别学习句子局部特征间的长期依赖关系，并将最后的学习结果进行输出；
步骤6、将步骤5的输出结果先通过一个全连接隐层，接着再经过一个softmax层对句子的类别进行预测。
2.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述一种混合长短期记忆网络和卷积神经网络的文本分类方法是在一个多层神经网络中完成的，所述步骤1在第一层输入层中完成，步骤2在第二层双向LSTM层中完成，步骤3在第三层CNN层中完成，步骤4在第四层池化层中完成，步骤5在第五层双向LSTM层中完成，步骤6在第六层输出层中完成。
3.根据权利要求2所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述第二层双向LSTM层用于学习原始输入句子中各个词的上下文信息，并且把每个词的学习结果进行串联后输出，所述第五层双向LSTM层学习卷积后句子特征间的上下文信息，并且只输出最后一步的学习结果。
4.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：步骤1中，所述对句子进行预处理包括标点符号过滤、缩写补齐、删除空格、对句子进行分词和非法字符过滤。
5.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤3为局部特征学习过程，通过多个不同词步长的二维卷积窗口和卷积核对包含上下文信息的词向量进行学习，从而得到不同粒度的短语信息。
6.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤4为采样和降维过程，通过一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子中每一个池化窗口内最重要的特征值，并作为局部窗口中的特征表示。
7.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤5为局部特征的上下文学习，通过双向LSTM学习局部特征之间的上下文信息，并输出最后一个词向量的学习结果，同时形成固定维度的一维输出。
8.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤6为分类输出，通过一个全连接的多层感知器进行分类判断，并根据指定分类体系上的概率分布情况得到最终的输出。
9.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤6在一个多层感知器中完成，包括一个全连接隐层和一个softmax层，步骤6的输出结果为对应文本的预测类别。

说明书全文

一种混合长短期记忆网络和卷积神经网络的文本分类方法

技术领域

[0001] 本发明涉及自然语言处理领域，具体涉及一种混合长短期记忆网络和卷积神经网络的文本分类方法。

背景技术

[0002] 基于机器学习的文本自动分类是近年来自然语言处理领域中最热门的一个研究方向，在信息检索、搜索引擎、自动问答、电子商务、数字图书馆、自动文摘、新闻门户等众多领域已经得到广泛和深入的应用。所谓的文本自动分类是指在给定分类体系的前提下，利用机器学习的方式来对文本的内容进行分析后自动确定文本类别的过程。20世纪90年代以前，文本自动分类主要采用基于知识工程的方式，即由专业人员手工进行分类，其缺点是成本高、费时费力。90年代以来，许多研究人员开始将各种统计方法和机器学习方法应用于自动文本分类，例如支持向量机SVM、AdaBoost 算法、朴素贝叶斯算法、KNN算法和Logistic回归等。近年来，随着深度学习和各种神经网络模型的快速发展，基于深度学习的文本分类方法引起了学术界和工业界的密切关注与研究，一些典型的神经网络模型，如递归神经网络(以长短期记忆网络LSTM和GRU为主要代表)和卷积神经网络CNN都被广泛地应用于文本的分类中，并取得了良好的效果。现有的研究和应用已证明递归神经网络适合用于学习句子中语言单元间的长期依赖关系，卷积神经网络适合用于学习句子的局部特征，但目前的研究没有充分地结合递归神经网络和卷积神经网络各自的优势，也没有结合考虑句子中语言单元的上下文信息。

发明内容

[0003] 本发明的目的是针对上述现有技术的不足，提供了一种混合长短期记忆网络和卷积神经网络的文本分类方法，利用双向LSTM学习文本句子中词的上文信息和下文信息，接着将学习结果通过CNN进一步提取局部特征，然后再利用一个双向LSTM层来学习局部特征间的关系，最后将学习结果通过一个多层感知器进行分类和输出。

[0004] 本发明的目的可以通过如下技术方案实现：

[0005] 一种混合长短期记忆网络和卷积神经网络的文本分类方法，所述方法包括以下步骤：

[0006] 步骤1、对文本中的句子进行预处理，结合训练语料集中句子的长度分布及均方差，确定句子的长度阈值后形成统一的句子长度，利用预训练好的词向量表获取输入文本中每一个词的向量化表示，形成连续和稠密的实数向量矩阵；

[0007] 步骤2、对于输入的句子词向量，分别通过一个正向的LSTM网络学习各个词的上文信息和一个逆向的LSTM网络学习各个词的下文信息，并将学习的结果进行串联合并，从而将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示；

[0008] 步骤3、使用多个不同宽度、包含不同权值的核矩阵分别对双向LSTM网络输出的词向量矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；

[0009] 步骤4、使用一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子的多层全局特征矩阵，并将结果进行串联合并；

[0010] 步骤5、使用两个相反方向的LSTM网络分别学习句子局部特征间的长期依赖关系，并将最后的学习结果进行输出；

[0011] 步骤6、将步骤5的输出结果先通过一个全连接隐层，接着再经过一个softmax层对句子的类别进行预测。

[0012] 进一步地，所述一种混合长短期记忆网络和卷积神经网络的文本分类方法是在一个多层神经网络中完成的，所述步骤1在第一层输入层中完成，步骤2在第二层双向LSTM层中完成，步骤3在第三层CNN层中完成，步骤4在第四层池化层中完成，步骤5在第五层双向LSTM层中完成，步骤6在第六层输出层中完成。

[0013] 进一步地，所述第二层双向LSTM层用于学习原始输入句子中各个词的上下文信息，并且把每个词的学习结果进行串联后输出，所述第五层双向LSTM层学习卷积后句子特征间的上下文信息，并且只输出最后一步的学习结果。

[0014] 进一步地，步骤1中，所述对句子进行预处理包括标点符号过滤、缩写补齐、删除空格、对句子进行分词和非法字符过滤。

[0015] 进一步地，所述步骤3为局部特征学习过程，通过多个不同词步长的二维卷积窗口和卷积核对包含上下文信息的词向量进行学习，从而得到不同粒度的短语信息。

[0016] 进一步地，所述步骤4为采样和降维过程，通过一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子中每一个池化窗口内最重要的特征值，并作为局部窗口中的特征表示。

[0017] 进一步地，所述步骤5为局部特征的上下文学习，通过双向LSTM学习局部特征之间的上下文信息，并输出最后一个词向量的学习结果，同时形成固定维度的一维输出。

[0018] 进一步地，所述步骤6为分类输出，通过一个全连接的多层感知器进行分类判断，并根据指定分类体系上的概率分布情况得到最终的输出。

[0019] 进一步地，所述步骤6在一个多层感知器中完成，包括一个全连接隐层和一个softmax层，步骤6的输出结果为对应文本的预测类别。

[0020] 本发明与现有技术相比，具有如下优点和有益效果：

[0021] 本发明通过充分结合双向LSTM在学习文本的上下文信息方面的优势以及CNN在学习文本局部特征方面的优势，提出一种混合LSTM和CNN的文本分类方法，通过利用双向LSTM学习词的上下文信息后，再通过CNN进一步学习提取上下文信息的词向量的局部特征，接着再利用双向LSTM学习这些局部特征的上下文，形成固定维度的输出，最后通过一个多层感知器进行分类输出。可以进一步提高模型分类的准确率，并具有较好的通用性，在测试的多个语料库上都取得了很好的效果。附图说明

[0022] 图1为本发明实施例多层神经网络模型的总体架构图。

具体实施方式

[0023] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

[0024] 实施例：

[0025] 本实施例提供了一种混合长短期记忆网络和卷积神经网络的文本分类方法，所述方法包括以下步骤：

[0026] 步骤1、对文本中句子进行预处理，包括标点符号过滤、缩写补齐、删除空格、对句子进行分词和非法字符过滤，结合训练语料集中句子的长度分布及均方差，确定句子的长度阈值后形成统一的句子长度，利用预训练好的词向量表获取输入文本中每一个词的向量化表示，形成连续和稠密的实数向量矩阵；

[0027] 步骤2、对于输入的句子词向量，分别通过一个正向的LSTM网络学习各个词的上文信息和一个逆向的LSTM网络学习各个词的下文信息，并将学习的结果进行串联合并，从而将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示；

[0028] 步骤3、使用多个不同宽度、包含不同权值的核矩阵分别对双向LSTM网络输出的词向量矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；

[0029] 步骤4、使用一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子的多层全局特征矩阵，并将结果进行串联合并；

[0030] 步骤5、使用两个相反方向的LSTM网络分别学习句子局部特征间的长期依赖关系，并将最后的学习结果进行输出；

[0031] 步骤6、将步骤5的输出结果先通过一个全连接隐层，接着再经过一个softmax层对句子的类别进行预测。

[0032] 上面所述一种混合长短期记忆网络和卷积神经网络的文本分类方法是在一个多层神经网络中完成的，多层神经网络的架构图如图1所示，所述步骤1在第一层输入层中完成；步骤2在第二层双向LSTM层中完成，其中，双向LSTM的输出维度为256维；步骤3在第三层CNN层中完成，其中，CNN层中的卷积词步长分别为2、3、4，输出维度为128维；步骤4在第四层池化层中完成，池化窗口的词步长分别为2，3、4，并且采用一维最大值池化；步骤5在第五层双向LSTM层中完成，其中双向LSTM层的输出维度为128维，并且只输出最后一个词的学习结果；步骤6在第六层输出层中完成，所述输出层为一个多层感知器，包括一个全连接隐层和一个softmax层，所述全连接隐层为128维，dropout值为0.5，步骤6的输出结果为对应文本的预测类别。模型训练过程中采用多元交叉熵定义损失函数，并结合了RMSProp优化器。

[0033] 其中，所述第二层双向LSTM层用于学习原始输入句子中各个词的上下文信息，并且把每个词的学习结果进行串联后输出，所述第五层双向LSTM层学习卷积后句子特征间的上下文信息，并且只输出最后一步的学习结果。

[0034] 其中，所述步骤3为局部特征学习过程，通过多个不同词步长的二维卷积窗口和卷积核对包含上下文信息的词向量进行学习，从而得到不同粒度的短语信息，所述步骤4为采样和降维过程，通过一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子中每一个池化窗口内最重要的特征值，并作为局部窗口中的特征表示，所述步骤5为局部特征的上下文学习，通过双向LSTM学习局部特征之间的上下文信息，并输出最后一个词向量的学习结果，同时形成固定维度的一维输出，所述步骤6为分类输出，通过一个全连接的多层感知器进行分类判断，并根据指定分类体系上的概率分布情况得到最终的输出。

[0035] 以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

标题	发布/更新时间	阅读量
一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法	2020-05-13	356
自动自适应气候控制	2020-05-14	125
模块化神经网络的直接定位方法	2020-05-17	607
用于叠加的笔迹的识别技术的系统和方法	2020-05-16	311
一种基于特征选择和集成学习的软件缺陷个数预测方法	2020-05-18	531
一种基于三维空间时序建模的深度视频人体行为识别方法	2020-05-19	456
基于伪标签方法和弱监督学习的过程数据故障分类方法	2020-05-08	385
基于外部知识增强的机器阅读理解方法、系统、装置	2020-05-08	974
一种基于对抗生成网络的人脑效应连接识别方法	2020-05-16	365
一种深度递归心血管图像显示方法	2020-05-18	192

一种混合长短期记忆网络和卷积神经网络的文本分类方法

一种混合长短期记忆网络和卷积神经网络的文本分类方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：