技术领域
[0001] 本
发明涉及的是一种
自然语言处理方法，也涉及一种图像分类方法，具体地说是一种文本情感分析方法。
背景技术
[0002]
文本分类是自然语言处理领域的经典问题，而
情感识别是文本分类中比较有挑战性的工作，当前处理情感分析问题的方法主要有以下三种：一是构造情感词典来进行情感分析，将情感词汇构建成情感词典对于情感分析来说是一个必要而不充分条件，情感词典内容无论如何拓展都无法包含全部情感表达形式，另外有些词汇
情感极性并不明确，有些语句可能没有用到情感词汇，但是也表达了某种情感，再有就是在一些语境下有些情感词汇表达了恰恰相反的意思，这些问题就会导致该方法的局限性；二是传统的
机器学习方法如逻辑回归(Logistic Regression)、朴素贝叶斯(Naive Bayes)等，其中逻辑回归只能用于线性二分类问题，朴素贝叶斯的结论基于特征的先验概率，而特征之间假设完全独立，这些要求在现实情况中往往是不满足的，分类效果有时差强人意，因此也有很大的局限性；三是目前比较热
门的深度学习方法如
卷积神经网络(Convolutional Neural Network，CNN)，循环神经网络(Recurrent Neural Network，RNN)等，它们采用的都是基于欧式空间的数据，最大特点就是具有规则的空间结构，特征可以用一维或者二维矩阵来表示，处理起来比较高效。但是在现实生活中，大部分数据都是不规则的结构，这种数据会用拓扑交互图来表达，不具备平移不变性，很难选去一个固定的卷积核来适应整个图的不规则性，这种结构的数据就会令CNN或RNN瞬间失效。
[0003] 由于文本情感的本质具有复杂性，一段文本并不是词语的简单线性组合，我们在描述一个句子时，都是将句子作为一个整体而不是词语的集合来看待的，词语的不同组合、不同顺序、不同数量都会表达不同的含义和情感，这导致了文本情感分析工作的困难，因此，文本情感分析工作实际上是对人脑思维的模拟。真正的情感判断并不是简单的规则罗列，而是一个复杂的网络。因此，采用文本情感分析的图神经网络
算法(Emotion Graph Convolutional Network，Emo-GCN)，将文本信息抽象成一张拓扑交互图表达，Emo-GCN可以在图中提取特征，从而对图中的
节点进行分类，进而对图数据进行分类。图数据在空间上具有以下两个特征：一是节点特征，每个节点都具有自己的特征，该特征体现在点上；二是结构特征，节点与节点之间存在一定的联系，该特征体现在边上。总的来说，图数据既要考虑节点信息，也要考虑结构信息，图卷积神经网络就可以既学习节点特征，又能学习节点与节点之间的关联信息，最终达到情感分析的目的。
发明内容
[0004] 本发明的目的在于提供一种具有较好精确度的基于深度学习的文本情感分析方法。
[0005] 本发明的目的是这样实现的：
[0006] (1)文本数据预处理：去除停用词，提取关键字，所述的提取关键字是采用TextRank关键字提取算法形成关键字集合；
[0007] (2)构建文档拓扑交互图：通过构建关键字共现图，形成稠密的子图；获取子图和文档中句子的向量表示，进而将句子分配给子图；设计子图与子图之间的边缘连接和边缘权重，形成文档的拓扑交互图表达；
[0008] (3)执行Emo-GCN训练模型：将步骤(2)中形成的拓扑交互图作为Emo-GCN模型的输入，在Emo-GCN训练模型中，首先进行
抽取节点特征变换：每一个节点将自身的特征信息经(l)过变换后发送给邻居节点，通过邻接矩阵A和特征矩阵H 得到每个
顶点邻居特征的汇总；
其次融合局部结构信息：每个节点都将邻居节点的特征信息聚合起来，获得节点聚合矩阵；
将聚合的信息做非线性变换，增强模型的表达能
力，所述的非线性变换采用非线性激活函数。
[0009] 本发明还可以包括：
[0010] 1.在步骤(2)中，通过判断两个单词是否同时出现在一个句子中来决定是否共现。
[0011] 2.步骤(3)中所述的执行Emo-GCN训练模型，具体步骤如下：
[0012] (3-1)初始输入为一个特征矩阵H(0)＝N×F(0)，其中N为节点数量，F(0)为每个节点输入特征的数量，卷积层的传播规则如下： 其中邻接矩阵是对邻接矩阵进行归一化操作，为了在信息传递过程中保持特征
(l)
矩阵H 的原有分布；
[0013] (3-2)抽取节点特征变换：每一个节点将自身的特征信息经过变化后发送给邻居节点，通过邻接矩阵A和特征矩阵H(l)相乘得到每个顶点邻居特征的汇总信息；
[0014] (3-3)融合局部结构信息：每个节点都将邻居节点的特征信息聚合起来，即上一步得到的特征汇总矩阵再乘权值矩阵W(l)获得聚合矩阵；
[0015] (3-4)非线性变换：将步骤(3-3)中聚合的信息做非线性变换，传播规则公式中的σ即为非线性激活函数，所述非线性激活函数为ReLU函数或Sigmoid函数；
[0017] 本发明提供了一种基于深度学习的具有较好精确度的文本情感分析方法。其中的深度学习方法采用Emo-GCN算法。
[0018] 与
现有技术相比，本发明具有以下优点：Emo-GCN模型采用层级结构，逐层抽取特征，能够使分析结果更加准确；采用端到端的训练方式，只需要给图中的节点一个标记，就可以让模型自己学习融合节点的特征信息和结构信息；另外，可以处理Non Euclidean Structure(非结构化)的数据，突破了CNN只能处理平移不变性数据的局限性。本发明突破了已有文本情感分析方法的固有模式，采用新颖的拓扑交互图表达进而使用图卷积神经网络进行文本情感分析，并且仍然具备强大的适应性。
附图说明
[0020] 图2是Emo-GCN算法的结构图；
[0021] 图3是Emo-GCN算法与其他主流方法LSTM、CNN、TextCNN在文本情感分析结果准确率上的对比折线图。
具体实施方式
[0022] 本发明的基于深度学习的文本情感分析方法，主要包括以下步骤：
[0023] (1)文本数据预处理：去除停用词，提取关键字，在提取关键字时采用TextRank关键字提取算法，从而形成关键字集合。
[0024] (2)构建文档拓扑交互图：通过构建关键字共现图(Key Graph)，形成稠密的子图；获取子图和文档中句子的向量表示，进而将句子分配给子图；设计子图与子图之间的边缘连接和边缘权重，形成文档的拓扑交互图表达。
[0025] (3)执行Emo-GCN训练模型：将步骤(2)中形成的拓扑交互图作为Emo-GCN模型的输入，该模型是谱图卷积的一阶局部近似，是一个具有多个层的图卷积神经网络，每一个卷积层处理一阶的邻域信息，
叠加多个卷积层即可以实现层与层之间的信息传递，在该模型中，首先进行抽取节点特征变换：每一个节点将自身的特征信息经过变换后发送给邻居节点，通过邻接矩阵A和特征矩阵H(l)得到每个顶点邻居特征的汇总；融合局部结构信息：每个节点都将邻居节点的特征信息聚合起来，获得节点聚合矩阵。将聚合的信息做非线性变换，增强模型的表达能力，非线性变换采用非线性激活函数，如ReLU函数、Sigmoid函数等。
[0026] 在步骤(2)中所述通过判断两个单词是否同时出现在一个句子中来决定是否共现；将句子分配给子图时，既可以获得句子和子图的向量表示则可以通过计算余弦相似度来分配句子；也可以获得句子和子图的坐标表示则可以通过计算欧式距离来分配句子。
[0027] 在步骤(3)中所述执行Emo-GCN训练模型，具体步骤如下：
[0028] (3-1)初始输入为一个特征矩阵H(0)＝N×F(0)，其中N为节点数量，F(0)为每个节点输入特征的数量，卷积层的传播规则如下： 其中邻接矩阵为了在层与层之间传播信息时也要保留自身节点的特征信息， 是对
邻接矩阵进行归一化操作，为了在信息传递过程中保持特征矩阵H(l)的原有分布，防止一些度数较高的顶点和度数低的顶点在特征分布上产生很大的差异。
[0029] (3-2)抽取节点特征变换：每一个节点将自身的特征信息经过变化后发送给邻居节点，通过邻接矩阵A和特征矩阵H(l)相乘得到每个顶点邻居特征的汇总信息。
[0030] (3-3)融合局部结构信息：每个节点都将邻居节点的特征信息聚合起来，即上一步得到的特征汇总矩阵再乘权值矩阵W(l)获得聚合矩阵。
[0031] (3-4)非线性变换：将步骤(3-3)中聚合的信息做非线性变换，增强模型的表达能力，传播规则公式中的σ即为非线性激活函数，如ReLU函数、Sigmoid函数等。
[0032] (3-5)在卷积层后加一个池化层防止过拟合问题出现，以减少损失。
[0033] 下面举例对本发明做更详细的描述。
[0034] (1)文档数据预处理：去除文档中停用词和非法字符，提取关键字，在提取关键字时采用TextRank关键字提取算法，从而形成关键字集合。TextRank关键字提取公式为：
[0035]
[0036] 其中S(Vi)为Vi的权重，初始值可设置为1；d为阻尼系数，一般设置为0.85；In(Vi)为图中对应入度的节点；Out(Vj)为图中对应出度的节点。
[0037] (2)构建关键字共现图(Key Graph)：每个关键字构成该图中的顶点，如果有些关键字至少共同出现在一个句子当中，则将顶点连接。如果有些关键字顶点彼此高度相关，就会形成稠密的子图。该图揭示了各个关键字之间的联系。
[0038] (3)句子分配：首先获取每个句子的向量表示，该操作使用TF-IDF算法实现，同时我们也可以获得步骤(2)中各个子图的TF-IDF向量表示。接着计算子图和句子之间的余弦相似度，选择相似度最高的子图进行句子分配，目前，我们实现了将句子按照子图分组，另外，对于与任何子图都不匹配的句子，我们创建一个不包含任何关键字的虚拟顶点，将这些句子分配给该顶点。
[0039] (4)构建文档拓扑交互图：将步骤(3)中的子图抽象成新的顶点，从而构成文档拓扑交互图中的顶点，对于这些顶点之间的边缘以及边缘权重，我们可以计算每两个顶点上所分配的句子之间的余弦相似度来实现。
[0040] (5)将步骤(4)中形成的拓扑交互图作为Emo-GCN模型的输入，该模型是谱图卷积的一阶局部近似，是一个具有多层的图卷积神经网络，每一个卷积层处理一阶的邻域信息，叠加多个卷积层即可以实现层与层之间的信息传递，在该模型中，初始输入为一个特征矩阵H(0)＝N×F(0)，其中N为节点数量，F(0)为每个节点输入特征的数量，卷积层的传播规则如下：
[0041]
[0042] 其中 IN为单位矩阵，目的是在层与层之间传播信息时也要保留自身节点的特征信息， 是对邻接矩阵进行归一化操作，为了在信息传递过程中保持特征(l)矩阵H 的原有分布，防止一些度数较高的顶点和度数低的顶点在特征分布上产生很大的差异。首先进行抽取节点特征变换：每一个节点将自身的特征信息经过变化后发送给邻居节点，通过邻接矩阵A和特征矩阵H(l)相乘得到每个顶点邻居特征的汇总。
[0043] (6)融合局部结构信息：每个节点都将邻居节点的特征信息聚合起来，即步骤(5)(l)中得到的特征汇总矩阵再乘权值矩阵W 获得聚合矩阵。
[0044] (7)非线性变换：将步骤(6)中聚合的信息做非线性变换，增强模型的表达能力，传播规则公式中的σ即为非线性激活函数，如ReLU函数。ReLU函数的表达式为：
[0045]
[0046]
[0047] 该函数将输入分成两段去映射，当输入值小于0时，则将原值映射为0，若输入值大于0则按照原值传递。使用该函数的优点是收敛速度很快，并且治愈药一个
阈值就可以得到激活值，计算复杂度较低。
[0048] (8)在卷积层后加一个池化层防止过拟合问题出现，以减少损失。
[0049] 为了更清晰的描述本发明提出的基于深度学习的文本情感分析方法的有效性，表1给出各种算法在10次实验的情感识别准确率。
[0050] 表1 10次实验各种算法的情感分析准确率
[0051]训练次数\算法模型 LSTM CNN TextCNN Emo-GCN
1 0.82285 0.54799 0.75382 0.85232
2 0.87190 0.87009 0.79276 0.85763
3 0.87049 0.86516 0.81141 0.85632
4 0.86602 0.87237 0.82849 0.86408
5 0.86414 0.86336 0.83648 0.86688
6 0.85433 0.85615 0.84510 0.86266
7 0.85912 0.85834 0.84745 0.86034
8 0.85795 0.85458 0.84957 0.87657
9 0.85176 0.85513 0.85066 0.87121
10 0.85184 0.85192 0.85035 0.88313
[0052] 从表1中可以看出，在10次实验中各种算法用于文本情感分析的对比中，本发明提出的Emo-GCN算法分类识别准确率较高。因此，本发明提出基于深度学习的文本情感分析方法具有较好的情感识别
精度，并且在数据稀疏情况下仍然具有一定的适应性。
[0053] 本发明的深度学习方法采用图卷积神经网络情感识别算法(Emo-GCN)。本发明的特点体现在：(1)文本数据预处理：输入文本数据，去除停用词，提取关键字，在提取关键字时采用TextRank关键字提取算法，从而形成关键字集合。(2)构建文档拓扑交互图：通过构建关键字共现图(Key Graph)，形成稠密的子图；获取子图和文档中句子的向量表示，进而将句子分配给子图；设计子图与子图之间的边缘连接和边缘权重，形成文档的拓扑交互图表达。(3)执行Emo-GCN训练模型：将拓扑交互图作为Emo-GCN模型的输入，在该模型中，首先进行抽取节点特征变换，然后融合局部结构信息，获得节点聚合矩阵。将聚合的信息做非线性变换，增强模型的表达能力，加入池化层防止过拟合现象发生。Emo-GCN模型采用层级结构，逐层抽取特征，能够使分析结果更加准确。本发明突破了已有文本情感分析方法的固有模式，采用新颖的拓扑交互图表达文本信息进而使用图卷积神经网络进行文本情感分析，并且仍然具备强大的适应性。该方法应用于产品推荐、市场预测、决策调整等方面，具有极高的商业价值。
